TWI763937B - 用於在支援輔助訊框的視訊編碼格式中編碼視訊串流的方法及編碼器 - Google Patents

用於在支援輔助訊框的視訊編碼格式中編碼視訊串流的方法及編碼器

Info

Publication number
TWI763937B
TWI763937B TW107135901A TW107135901A TWI763937B TW I763937 B TWI763937 B TW I763937B TW 107135901 A TW107135901 A TW 107135901A TW 107135901 A TW107135901 A TW 107135901A TW I763937 B TWI763937 B TW I763937B
Authority
TW
Taiwan
Prior art keywords
image data
frame
resolution
scaled
auxiliary frame
Prior art date
Application number
TW107135901A
Other languages
English (en)
Other versions
TW201929547A (zh
Inventor
維克多 艾德帕姆
漢普斯 林森
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201929547A publication Critical patent/TW201929547A/zh
Application granted granted Critical
Publication of TWI763937B publication Critical patent/TWI763937B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明係關於視訊編碼之領域。特定言之，本發明係關於一種用於在支援輔助訊框之一視訊編碼格式中編碼一視訊串流之方法及編碼器，其中此等輔助訊框可與參考該等輔助訊框之訊框一起用於位元率控制，其原因為該等輔助訊框之影像資料包括由一視訊擷取裝置擷取之一影像資料之一按比例縮小變型，且參考該輔助訊框之該訊框的運動向量經計算/判定，以按比例放大該影像資料之該按比例縮小變型以再次具有預期解析度。

Description

用於在支援輔助訊框的視訊編碼格式中編碼視訊串流的方法及編碼器
本發明係關於視訊編碼之領域。特定言之，本發明係關於一種用於在支援輔助訊框之一視訊編碼格式中編碼一視訊串流之方法及編碼器。
過去幾年，數位及線上視訊及其應用大受歡迎。經由(例如)網際網路串流傳輸視訊(直播視訊及錄製視訊兩者)正變得比傳統觀看視訊方式(諸如電視或租賃DVD)更受歡迎。串流視訊存在之一問題係實現串流傳輸之網際網路連接之頻寬太低以致影響串流視訊之解析度(HD、4K、1080P等等)或網際網路連接之頻寬不穩定。頻寬不夠會引起串流視訊不流暢，其使視訊因遲延而沒法看。使視訊準備在一有限頻寬網際網路連接上串流傳輸之一方式係位元率控制。位元率控制在視訊編碼中起到重要作用，其中位元率控制確保編碼位元串流可被成功傳輸且充分利用有限頻寬。換言之，其根據固定或可變頻寬來調整視訊輸出位元。通常，位元率控制與壓縮率及訊框率一起工作，其通常在低位元率處產生較差品質。
US 2004/120398 (Zhang等人)揭示一種用於適應性編碼包含一影像序列之一視訊之方法，其中各影像係兩個場之一圖片。將視訊之各影像編碼為一訊框且自編碼訊框提取位元率失真特性，同時將視訊之各影像編碼為兩個場且自場提取位元率失真特性。根據所提取之位元率失真特性來判定一成本函數之一參數值λ，且由所提取之位元率失真特性及參數λ建構一成本函數。接著，取決於影像之建構成本函數之一值而選擇訊框編碼或場編碼用於各影像。
US 6 226 3276 (Igarashi等人)揭示一種考量表示由區域組成之一圖片之一訊框之編碼器。針對各區域，編碼器決定基於訊框或基於場之正交變換將最高效率地減少該區域中之空間冗餘。針對各區域，編碼器決定基於訊框或基於場之預測編碼將最高效率地減少該區域中之時間冗餘。編碼器使用最高效率正交變換技術及使用最有效預測編碼技術來編碼圖片訊框之各區域以產生一編碼信號。一解碼器解碼編碼信號。編碼信號記錄於一記錄媒體上、經由一傳輸通道傳輸或廣播。
「An adaptive divide-and-predict coding for intra-frame of H.264/AVC」(Piao等人)揭示一種針對H.264/AVC之漸進視訊序列所提出之框內編碼方案。在所提出之方法中，在一水平或垂直方向上進行每隔一像素取樣且無任何去頻疊濾波，接著產生偶數像素及奇數像素之兩個子訊框。分別由框內及框間編碼方法編碼偶數像素及奇數像素子訊框。所提出之方法擴展至一多級情況，其中將偶數像素子訊框再細分為一偶數像素子訊框及一奇數像素子訊框等等以進一步提高編碼效率。
因此，需要在此背景內進行改良。
因此，鑑於上文，本發明之一目的係克服或至少緩解上文所討論之問題。特定言之，一目的係提供一種編碼方法及編碼器，其在需要複變換一視訊串流之擷取訊框時減少視訊擷取系統之資源上之負載且促進原始擷取影像資料之取得。
根據本發明之一第一態樣，提供一種用於在一視訊編碼格式中編碼一視訊串流之方法，其中該視訊編碼格式支援將一輔助訊框包含於該編碼視訊串流中，該輔助訊框由該編碼視訊串流中之另一訊框參考且包括與該編碼視訊串流中之另一訊框互補之影像資料，該輔助訊框包括一旗標值，該旗標值指示該輔助訊框之該影像資料不意欲在解碼該編碼視訊串流時被展示，而是與該另一訊框之資料一起用於達成待展示影像資料。
該方法包括以下步驟： - 接收由一視訊擷取裝置擷取之第一影像資料； - 判定該視訊串流在被解碼時之一預期解析度； - 按比例縮小該第一影像資料以獲得第一按比例縮小影像資料，其中該第一按比例縮小影像資料具有低於該預期解析度之一第一解析度； - 準備一第一空白輔助訊框，其中該第一輔助訊框之該影像資料具有等於該預期解析度之一解析度且包括全部具有相同預界定值之位元； - 將該第一按比例縮小影像資料粘貼至該第一輔助訊框之該影像資料中； - 將該第一輔助訊框編碼為一框內訊框； - 判定用於將該第一輔助訊框之該影像資料中之該第一按比例縮小影像資料按比例放大為具有該預期解析度之第一按比例放大影像資料之一第一影像變換； - 藉由根據至少一預定巨集區塊大小取樣源自該第一影像變換之像素之移動來判定第一運動向量；及 - 將該第一影像資料編碼至作為參考該第一輔助訊框之一框間訊框之一第一訊框，其中該第一訊框之運動向量對應於該等第一運動向量。
一輔助訊框一般意謂與編碼視訊串流中之另一訊框(亦稱為一主影像)互補之一影像資料之儲存體。換言之，該另一訊框參考輔助訊框。輔助訊框可以各種形式用於輔助顯示與其互補但通常本身不被顯示之訊框。輔助訊框亦可指稱輔助影像、輔助影像項目、非顯示訊框、輔助圖片等等。一輔助訊框之已知應用包含將其用於一α平面或一深度圖。
因此，第一訊框(及以下第二訊框、第三訊框等等)亦可稱為主影像或主訊框。
在本發明中，術語「解析度」一般係指一影像中像素之數目。解析度有時由影像之寬度及高度以及影像中像素之總數目識別。解析度之另一術語係「大小」或像素尺寸。
「預期解析度」一般意謂意欲展示之視訊串流之解析度，(例如) 4K、1080P、720P、DVD、VCD、1920×1080等等。例如，一用戶端可請求呈一特定解析度(例如1080P)之一視訊串流，或編碼器否則可知道意欲以何種解析度解碼編碼視訊串流，(例如)編碼器中之一硬編碼值或基於請求用戶端之一IP位址或其類似者。預期解析度亦可包括一像素總量及一縱橫比，例如360萬像素及16*9。根據一些實施例，預期解析度可基於編碼視訊串流意欲展示於其上之一電子影像裝置之一像素密度。
術語「第一輔助訊框之影像資料具有對應於預期解析度之一解析度」(及第二訊框、第三訊框等等之類似表達)一般意謂輔助訊框之影像資料之大小對應於具有預期解析度之一影像之一大小，例如1080P之預期解析度之1920×1080。
在(例如) H.265編碼標準(及諸如Google's VP10之其他較新編碼標準)內，一訊框可被標記為「不顯示」，其意謂訊框將不顯示給使用者。在(例如) H.265中，標記可藉由將片段標頭中之pic_output_flag設定為假且將SEI標頭中之no_display旗標設定為真來完成。
發明者已認識到，此等輔助訊框可與參考輔助訊框之訊框一起用於位元率控制，因為輔助訊框之影像資料包括由一視訊擷取裝置擷取之一影像資料之一按比例縮小變型，且參考輔助訊框之訊框之運動向量經計算/判定以按比例放大影像資料之按比例縮小變型以再次具有預期解析度。比例縮小因數(即，第一解析度)可經判定以達成編碼視訊串流之位元大小之一所需減小。由於可使用比具有預期解析度之影像資料少之位元來編碼輔助訊框之按比例縮小影像資料，所以可減小用於傳輸編碼視訊串流之所需頻寬。在此實施例中，不包括按比例縮小影像資料之輔助訊框之影像資料之部分將為空白的且因此可使用非常少位元來編碼。例如，將第一輔助訊框編碼為一I訊框之步驟可包括使用一第一巨集區塊大小來編碼包括第一按比例縮小影像資料之第一輔助訊框之影像資料及使用一第二巨集區塊大小來編碼不包括第一按比例縮小影像資料之第一輔助訊框之影像資料，其中第一巨集區塊大小小於第二巨集區塊大小。因此，可提供達成位元率控制之另一方式。
本實施例可具有之另一優點係：編碼視訊串流可由支援由編碼器使用之視訊編碼格式之一標準視訊串流解碼器解碼，因為上述方法遵循此視訊編碼格式之標準。再者，一使用者將獲益於能夠在不必重新開始串流之情況下依一順應標準方式接收一低解析度視訊串流。
根據一些實施例中，該方法進一步包括以下步驟： - 接收由該視訊擷取裝置擷取之第二影像資料； - 按比例縮小該第二影像資料以獲得第二按比例縮小影像資料，其中該第二按比例縮小影像資料之一解析度係該第一解析度； - 準備一第二空白輔助訊框，其中該第二輔助訊框之影像資料具有等於該預期解析度之一解析度； - 將該第二按比例縮小影像資料粘貼至該第二輔助訊框之該影像資料中； - 將該第二輔助訊框編碼為參考該第一輔助訊框之一框間訊框； - 判定用於將該第二輔助訊框之該影像資料中之該第二按比例縮小影像資料按比例放大為具有該預期解析度之按比例放大影像資料之第二影像變換； - 藉由取樣該第二影像變換來判定第二運動向量； - 將該第二影像資料編碼至作為參考該第二輔助訊框之一框間訊框之一第二訊框，其中該第二訊框之運動向量對應於該等第二運動向量。
一些視訊壓縮標準(諸如本文所描述之視訊編碼格式)指定根據框內訊框(例如I訊框)及框間訊框(例如P訊框或B訊框)所實施之時間視訊壓縮。一框內訊框基本上為僅使用待編碼之影像訊框中之資訊來編碼之一影像訊框。再者，自針對待編碼之影像訊框所擷取之所有影像資料計算框內訊框。因此，框內訊框有時指稱一全訊框。框間訊框(亦指稱預測訊框或差動訊框)係基於來自先前(及視情況稍後)編碼影像訊框之資訊以及當前編碼訊框之資訊，即，框間訊框可被描述為利用先前(及視情況稍後)影像訊框中之時間冗餘資訊。實施此類型之編解碼器(壓縮標準)之編碼器通常產生一框內訊框後接預定數目個框間訊框及接著一新框內訊框後接相同數目個框間訊框。一框內訊框後接數個框間訊框之此序列之長度通常指稱組圖長度(GOP長度)。針對例如H.265之一些壓縮標準，可在編碼期間調整GOP長度。
就本實施例而言，第二輔助訊框之編碼利用時間視訊壓縮。因此，第二輔助訊框之編碼利用先前第一輔助訊框中之時間冗餘資訊。因此，編碼第二輔助訊框可含有與第一輔助訊框之影像資料(即，第一影像資料)及描述不存在於第一輔助訊框中之影像內容之影像資料有關之第二影像資料之運動向量位移及預測誤差(亦指稱殘值)兩者。
應注意，上文所揭示之實施例可依一反覆方式實施，其意謂可根據界定GOP長度，對由視訊擷取裝置擷取之第三影像資料、第四影像資料等等重複實施例。此後，可開始一框內訊框後接數個框間訊框之一新序列。因此，根據一些實施例，該方法進一步包括以下步驟： - 藉由一視訊記錄裝置擷取第三影像資料； - 按比例縮小該第三影像資料以獲得第三按比例縮小影像資料，其中該第三按比例縮小影像資料具有一第二解析度，該第二解析度不同於該第一解析度，且低於該預期解析度； - 準備一第三空白輔助訊框，其中該第三輔助訊框之影像資料具有等於該預期解析度之一解析度； - 將該第三按比例縮小影像資料粘貼至該第三輔助訊框之該影像資料中； - 將該第三輔助訊框編碼為一框內訊框； - 判定用於將該第三輔助訊框之該影像資料中之該第三按比例縮小影像資料按比例放大為具有該預期解析度之第三按比例放大影像資料之一第三影像變換； - 藉由取樣該第三影像變換來判定第三運動向量； - 將該第三影像資料編碼至作為參考該第三輔助訊框之一框間訊框之一第三訊框，其中該第三訊框之運動向量對應於該等第三運動向量。
改變其中開始一新GOP之一訊框上之比例縮小因數(不同於第一解析度之第二解析度)以導致一框間編碼輔助訊框可具有的優點係：框間訊框係自輔助訊框之所有影像資料計算，且因此不取決於基於一不同比例縮小因數(第一解析度)來編碼之一先前訊框。由於允許比例縮小因數在編碼期間改變，所以編碼器可非常迅速地對就減小編碼視訊串流之大小的新要求(例如改變可用頻寬)作出反應，以因此提供一改良位元率控制。根據一些實施例，亦在編碼期間改變GOP長度，使得編碼器可甚至更快適應一新要求。
根據一些實施例，該方法進一步包括以下步驟： - 判定該第一影像資料之一區段ROI1將以一第三解析度被包含於該編碼視訊串流中，該第三解析度高於該第一解析度； - 將具有該第三解析度之該ROI1粘貼於該第一輔助訊框之該影像資料中，使得該ROI1不覆寫該第一按比例縮小影像資料或變成由該第一按比例縮小影像資料覆寫，以使該ROI1不與該第一按比例縮小影像資料重疊； - 判定用於將具有該預期解析度之該ROI1插入該第一按比例放大影像資料中之一第四影像變換； - 藉由取樣該第四影像變換來判定第四運動向量； 其中將該第一影像資料編碼至作為一框間訊框之該第一訊框的步驟包括將該第一訊框之運動向量判定為對應於該等第一運動向量及該等第四運動向量。
在此實施例中，該第一輔助訊框之該影像資料之該空白部分用於提供可受一觀看者(或影像分析軟體)特別關注之一較高解析度影像資料，例如人臉或車牌。可藉由重新組態該第一訊框之該等運動向量來達成由該視訊擷取裝置擷取之該影像資料之任何給定關注部分之解碼視訊串流之一較高解析度。因此，該等第四運動向量將該ROI1映射至該第一按比例放大影像資料中之正確位置(對應於該第一影像資料中之該ROI1之位置)中。
根據一些實施例，該方法進一步包括以下步驟： - 判定該第二影像資料之一區段ROI2以該第三解析度包含於該編碼視訊串流中； - 將具有該第三解析度之該ROI2粘貼於該第二輔助訊框之該影像資料中，使得該ROI2不覆寫該第二按比例縮小影像資料或變成由該第二按比例縮小影像資料覆寫； - 自將具有該預期解析度之該ROI2插入該第二按比例放大影像資料中判定一第五影像變換； - 藉由取樣該第四影像變換來判定第五運動向量； 其中將該第二影像資料編碼至作為一框間訊框之該第二訊框之步驟包括將該第二訊框之運動向量判定為對應於該等第二運動向量及該等第五運動向量。
ROI2通常展示相同於ROI1之主題，且自一編碼視角看，此可為有利的，因為在該情況中該第二輔助訊框之框間編碼可更有效。然而，情況並非總是如此，判定為以一較高解析度變型包含於該等輔助訊框中之該第一影像資料及該第二影像資料之該等區段可不同，例如在該第一輔助訊框中展示車牌及在該第二輔助訊框中展示駕駛員之人臉。因此，該等第五運動向量將該ROI2映射至該第二按比例放大影像資料中之正確位置(對應於該第二影像資料中之該ROI2之位置)中。
根據一些實施例，該ROI1及該ROI2分別粘貼於該第一輔助訊框及該第二輔助訊框之影像資料中之對應位置上。自一編碼視角看，此可在框間訊框編碼該第二輔助訊框之該影像資料時為有利的，因為當編碼器搜尋先前(第一)輔助訊框之影像資料中之類似巨集區塊時，則匹配編碼器之區塊匹配演算法之搜尋窗可較小。
根據一些實施例，該第三解析度係來自以下列表之一者：等於該預期解析度之解析度及大於該預期解析度之解析度。此實施例可使該ROI1在被解碼及顯示時提高詳細度。
根據一些實施例，該預期解析度等於由該視訊記錄裝置擷取之影像資料之解析度。此可增加該編碼方法之靈活性，因為比例縮小因數可經變動使得與取決於要求而下降至一高細節損失(高比例縮小因數)之擷取影像資料(低比例縮小因數)相比，按比例縮小影像資料幾乎無細節損失。然而，根據一些實施例，該預期解析度亦可低於由該視訊記錄裝置擷取之影像資料之解析度。
根據一些實施例，該視訊編碼格式係以下列表之一者：高效率影像檔案格式、高效率視訊編碼、H.265、H.264、VP10、VP9、AV1、進階視訊編碼及H.266。然而，應注意，本發明涵蓋本文所描述之支援輔助訊框之任何視訊編碼格式。
根據一些實施例，該方法包括：基於與該編碼器連接之一數位網路之一位元率來判定該第一解析度。例如，該編碼器及/或一位元率控制器可自(例如)一應用程式連續接收關於該位元率之報告，該應用程式經由該編碼器與傳輸視訊串流之一接收器之間的一鏈路來推送持續訊務，且計算一時間平均數。該位元率之另一實例係與該編碼器連接之該數位網路之最大上傳速度(一預設值)。術語「位元率」一般意謂與該編碼器連接之該數位網路之有效通量。上述內容同樣適用於該第二解析度。下文將描述判定該第一/第二解析度之其他方式。
根據本發明之一第二態樣，由一電腦程式產品達成上述目的，該電腦程式產品包括具有指令之一電腦可讀儲存媒體，該等指令經調適以在由具有處理能力之一裝置執行時實施第一態樣之方法。
根據一第三態樣，由一編碼器達成上述目的，該編碼器經調適以在一視訊編碼格式中編碼由一視訊記錄裝置擷取之一視訊串流，其中該視訊編碼格式支援將一輔助訊框包含於該編碼視訊串流中，該輔助訊框由該編碼視訊串流中之另一訊框參考且包括與該編碼視訊串流中之另一訊框互補之影像資料，該輔助訊框包括一旗標變數，該旗標變數指示該輔助訊框之該影像資料不意欲在解碼該編碼視訊串流時被展示，而是與該另一訊框之資料一起用於達成待展示之影像資料，其中該編碼器經進一步調適以： - 接收由該視訊擷取裝置擷取之第一影像資料； - 判定該視訊串流在被解碼時之一預期解析度； - 按比例縮小該第一影像資料以獲得第一按比例縮小影像資料，其中該第一按比例縮小影像資料具有低於該預期解析度之一第一解析度； - 準備一第一空白輔助訊框，其中該第一輔助訊框之該影像資料具有等於該預期解析度之一解析度且包括全部具有相同預界定值之位元； - 將該第一按比例縮小影像資料粘貼至該第一輔助訊框之該影像資料中； - 將該第一輔助訊框編碼為一框內訊框； - 判定用於將該第一輔助訊框之該影像資料中之該第一按比例縮小影像資料按比例放大為具有該預期解析度之第一按比例放大影像資料之一第一影像變換； - 藉由根據至少一預定巨集區塊大小取樣源自該第一影像變換之像素之移動來判定第一運動向量；及 - 將該第一影像資料編碼至作為參考該第一輔助訊框之一框間訊框之一第一訊框，其中該第一訊框之運動向量對應於該等第一運動向量。
根據一第四態樣，由一系統達成上述目的，該系統包括根據第三態樣之一編碼器，該編碼器經由一數位網路連接至一解碼器，該解碼器經配置以解碼在該編碼器之視訊編碼格式中編碼之一視訊串流，其中該編碼器經調適以： - 經由該數位網路接收預期解析度； - 接收一第一解析度； - 根據該所接收之預期解析度及該所接收之第一解析度來編碼該視訊串流； - 經由該數位網路傳輸該編碼視訊串流， 其中該解碼器經調適以： - 經由該數位網路接收該編碼視訊串流； - 解碼該編碼視訊串流以達成一解碼視訊串流。
根據一些實施例，該系統進一步包括一顯示器，其中該編碼器經進一步調適以： - 判定該第一影像資料之一區段ROI1以一第三解析度包含於該編碼視訊串流中，該第三解析度高於該第一解析度； - 將具有該第三解析度之該ROI1粘貼於該第一輔助訊框之該影像資料中，使得該ROI1不覆寫該第一按比例縮小影像資料或變成由該第一按比例縮小影像資料覆寫以使該ROI1不與該第一按比例縮小影像資料重疊； - 判定用於將具有該預期解析度之該ROI1插入該第一按比例放大影像資料中之一第四影像變換； - 藉由取樣該第四影像變換來判定第四運動向量； 其中將該第一影像資料編碼至作為一框間訊框之該第一訊框之步驟包括將該第一訊框之運動向量判定為對應於該等第一運動向量及該等第四運動向量， 其中該解碼器經進一步調適以： - 解碼該編碼視訊串流以達成一解碼視訊串流，其中該解碼包括自該第一輔助訊框之該影像資料提取該ROI1；及 - 在該顯示器上獨立於該解碼視訊串流而顯示該ROI1。
在此實施例中，一客製解碼器根據支援該編碼器之該視訊編碼格式之一解碼器之標準解碼方法來解碼該編碼視訊串流，且同時自該第一輔助訊框提取該ROI1之該影像資料以提供(例如)一靜止影像或包括該ROI1之該影像資料之一第二解碼視訊串流(及視情況提供來自後續輔助訊框之其他關注區域)。此實施例可具有之優點係：單獨展示特別關注之區域(ROI1)，使得一觀看者可不受影像資料(該ROI1自其提取)之(若干)剩餘部分之影像內容干擾地查看該ROI1之影像內容。該ROI1之單獨顯示可在解碼ROI1之解析度大於該解碼視訊串流之解析度時特別有利且因此在插入該解碼視訊串流之該影像內容中時按比例縮小。為此，根據一些實施例，該第三解析度大於該預期解析度，其中在該顯示器上獨立於該解碼視訊串流而顯示該ROI1之步驟包括在該顯示器上以該第三解析度顯示該ROI1。
第二態樣、第三態樣及第四態樣一般可具有相同於第一態樣之特徵及優點。應進一步注意，除非另有明確說明，否則本發明係關於特徵之所有可能組合。
現將在下文參考附圖來更完全描述本發明，附圖中展示本發明之實施例。將在操作期間描述本文所揭示之系統及裝置。
本發明旨在對支援將一輔助訊框包含於編碼視訊串流中之一視訊編碼格式提供一持續視訊串流之動態大小調整。此給予一位元率控制器在需要降低編碼視訊串流之位元大小(位元率)時一起工作之另一可能性(壓縮率及訊框率除外)，其可在低可用位元率處特別有利。作為一實例，使壓縮率保持較低(例如，量化參數QP在28處)時之一低解析度視訊串流(例如VGA視訊)通常產生比具有一高壓縮率(例如，QP在46處)之一高解析度視訊串流(例如FHD視訊)更佳之一品質，即使兩個編碼視訊串流具有相同位元率。
現將結合圖1至圖2及圖5來描述本發明之實施例。
圖1展示由一視訊擷取裝置104擷取之一場景102，其導致包括三個影像訊框106a至106c之一視訊串流106。圖1之下部分例示用於在支援將一輔助訊框包含於編碼視訊串流中之一視訊編碼格式中編碼一視訊串流之一方法之一實施例。一編碼器108接收由視訊記錄裝置104擷取之一第一影像資料106a。編碼器108判定視訊串流在被解碼時之一預期解析度。如本文所描述，預期解析度可等於由視訊記錄裝置104擷取之影像資料106之解析度。然而，預期解析度亦可不同於由視訊記錄裝置104擷取之影像資料106之解析度。例如，視訊記錄裝置可以一非常高解析度擷取視訊，且傳輸及稍後解碼編碼視訊串流之解析度可無需一樣高。因此，預期解析度可低於由視訊記錄裝置104擷取之影像資料106a至106c之解析度。編碼器可依不同方式獲知預期解析度。例如，預期解析度可為可自編碼器108取得之一硬編碼值(例如在編碼器108之一記憶體中)。預期解析度亦可為編碼器108中之一可組態值。在該情況中，組態可(例如)由一使用者完成或由請求編碼視訊串流之一裝置設定。當然，判定預期解析度之其他方式係可行的。
接著，編碼器按比例縮小S504第一影像資料106a以達成第一按比例縮小影像資料114，其中第一按比例縮小影像資料具有低於預期解析度之一第一解析度118x*118y。可使用諸如最近相鄰內插法、雙線性及雙立方演算法、Box取樣等等之任何已知的影像縮放演算法來執行按比例縮小。
可基於與編碼器108連接之一數位網路之一位元率來判定/設定S502第一解析度。可根據可自編碼器108取得之一硬編碼值(例如在編碼器之一記憶體中)來進一步設定S502第一解析度。第一解析度亦可為編碼器中之一可組態值。在該情況中，組態可(例如)係由一使用者完成或係由請求編碼視訊串流之一裝置設定。第一解析度經判定/設定S502，使得編碼視訊串流滿足一位元率要求。第一解析度可依一反覆方式設定S502，以連續量測編碼視訊串流之位元率/大小，且基於量測及位元率要求來調適預期解析度。無論如何，亦可被指稱為比例縮小因數之第一解析度經設定S502，且用於按比例縮小經接收之影像資料106a至106c。
接著，編碼器108準備一第一輔助訊框110a，其中第一輔助訊框110a之影像資料具有對應於預期解析度之一解析度116x*116y。此時，輔助訊框110a的影像資料將係空白的(所有位元具有零值)，替代地，所有位元將具有(例如)對應於黑色、白色或綠色之一預設值。自一編碼器視角看，使一預設值對應於一預界定色彩可為有利的。例如，若在各處使用相同值(色彩)(其中值被簡單編碼(諸如黑色、白色或綠色))，則可降低位元率成本。接著，將第一按比例縮小資料114插入S506至第一輔助訊框110a之影像資料中，其隨後被編碼為一框內訊框。在圖1之實例中，將第一按比例縮小資料114插入輔助訊框110a之影像資料的「右上角」中(將影像資料視覺化為圖1中之一矩陣)。然而，可將第一按比例縮小資料插入第一輔助訊框110a之影像資料中的任何位置處，只要稍後判定第一運動向量(參閱下文)時記住屬於第一按比例縮小資料之位元的指數。
為稍後能夠將第一按比例縮小影像資料114按比例放大至預期解析度116x*116y，判定S508運動向量120。運動向量120對應於第一輔助訊框110a之影像資料中之第一按比例縮小影像資料114至具有預期解析度116x*116y之第一按比例放大影像資料之一按比例放大(數位材料之放大稱為按比例放大或解析度提高)。因此，運動向量將第一按比例縮小資料114中之巨集區塊「移動」至具有預期解析度之第一按比例放大影像資料中之新位置。用於解碼器處之實際按比例放大之演算法取決於解碼器之實施方案，但一般可使用諸如最近相鄰內插法、雙線性及雙立方演算法、Box取樣等等之任何已知影像縮放演算法。
按比例放大由基於預期解析度116x*116y、第一解析度118x*118y及第一按比例縮小影像資料114插入輔助訊框110a之影像資料中之方式來判定之一影像變換方程式(影像變換等等)界定。影像變換方程式將在應用於第一按比例縮小影像資料114 (及第二按比例縮小影像資料、第三按比例縮小影像資料等等)時將具有第一解析度118x*118y之第一按比例縮小影像資料114按比例放大為具有預期解析度116x*116y之影像資料。運動向量表示影像變換方程式，且可依諸多方式判定。根據一些實施例，藉由根據一判定巨集區塊大小取樣影像變換方程式來判定運動向量。例如，若影像變換方程式導致一特定像素應向右移動5個像素且向下移動3個像素，則基於取樣大小(巨集區塊大小)及相鄰像素之變換來判定此像素之實際移動。根據其他實施例，複數個巨集區塊大小用於取樣，其中用於映射方案之一特定區域之巨集區塊大小取決於影像變換方程式如何看起來像針對該對應區域。例如，巨集區塊大小可自16×16變動為4×4。此實施例將降低運動向量之位元率之成本，且可依一高效率方式針對其中較小巨集區塊將導致一更正確取樣/映射之影像變換方程式之局部區域使用多數位元，且針對其中變換更均勻之局部區域使用較少位元。
為進一步降低運動向量之位元率之成本，可使取樣更稀疏(增加巨集區塊之大小)以使解碼器內插於所接收之運動向量之間以計算一較小巨集區塊之運動向量以達成輔助訊框中之影像資料之一較平滑變換。此可藉由使一內插參數包含於編碼位元串流中或設定一p訊框之一標頭中之一旗標等等來達成。
根據其他實施例，基於輔助訊框110a中按比例縮小影像資料114之對應區域之詳細度來進行取樣影像變換方程式以達成運動向量。例如，針對包括一高直線度(可使用任何適合邊緣偵測演算法來判定)之按比例縮小影像資料114中之一局部區域，影像變換中之對應區域需要一較密集取樣(較小巨集區塊大小)。具有一較低線度之區域可採用一較稀疏取樣。
當判定第一運動向量120時，可將一第一訊框112a編碼S510為參考第一輔助訊框110a (其編碼為上文所描述之一框內訊框)之一框間訊框，其中第一訊框112a之運動向量120 (由第一訊框112a中之箭頭示意性繪示)對應於如上文所描述般判定之第一運動向量120。應注意，第一訊框112a之運動向量120可被預計算且(例如)儲存於可由編碼器存取之記憶體中。第一解析度與預期解析度之間的比率可用作為(例如)具有比率及對應運動向量之一資料庫中之一查找值(此資料庫中之值可假定按比例縮小影像資料依一特定方式插入輔助訊框之影像資料中，例如在左上角或左下角等等)。可在編碼器108之運行時間基於上文所描述之預期解析度及第一解析度來進一步計算運動向量。
如上文所描述，本發明之一優點係支援由編碼器使用之視訊編碼格式(例如H.265)之一標準解碼器可根據圖1來解碼一視訊串流。解碼器將第一訊框112a之運動向量120應用於第一輔助訊框110a之第一按比例縮小影像資料114以達成第一輔助訊框110a之第一按比例縮小影像資料114之按比例放大且因此最終導致具有預期解析度116x*116y之解碼影像資料。
圖2展示圖1中所描述之方法之一延伸，其中視訊串流106之所有三個擷取影像訊框(影像資料) 106a至106c由編碼器108編碼。在圖2中，如圖1及圖5中步驟S502至S510中所描述般編碼第一影像資料106a以達成一編碼第一訊框112a及一編碼第一輔助訊框110a。在編碼第一影像資料106a之後，編碼器108接收第二影像資料106b。依類似於上文針對第一輔助訊框110a所描述之方式之一方式編譯一第二輔助訊框110b之影像資料。
將第二輔助訊框110b有利地編碼為參考第一輔助訊框110a之一框間訊框(例如P訊框)以利用先前影像訊框(在此情況中係第一輔助訊框110a)中之時間冗餘資訊。因此，根據一些實施例，基於第二影像資料106b與第一影像資料106a之間的比較來進行第二輔助訊框110b之編碼。在圖2中，編碼第二輔助訊框110b由運動向量(在右上角)示意性表示，但描述不存在於第一輔助訊框之影像資料中但存在於第二影像資料中之影像內容及/或預測誤差(亦指稱殘值)之影像資料當然亦可包含於編碼第二輔助訊框110b中。
根據其他實施例，亦將第二輔助訊框110b編碼為一I訊框。
編碼器108繼續編碼參考第二輔助訊框110b之一第二訊框112b，第二訊框編碼為一框間訊框。第二訊框之運動向量經判定使得其對應於第二輔助訊框110b之影像資料中之第二按比例縮小影像資料至具有預期解析度之第二按比例放大影像資料之一按比例放大。在此情況中，第二訊框112b之運動向量等於第一訊框112a之運動向量，因為使用相同於第一影像資料106a之縮放因數來按比例縮小第二影像資料106b，且依對應於將第一按比例縮小影像資料114插入第一輔助訊框110a中之方式之方式將第二按比例縮小影像資料插入第二輔助訊框110b之影像資料中之一位置中。因此，可藉由複製第一訊框之運動向量來判定第二訊框112b之運動向量。可採用任何其他方式來判定第二訊框之運動向量，如上文結合針對第一訊框112a之圖1所描述。換言之，使用進一步影像資料106b且根據預期解析度及比例縮小因數/第一解析度來判定S512一進一步輔助訊框110b及一進一步訊框112b。將進一步輔助訊框110b編碼為參考一先前輔助訊框110a之一框間訊框。將進一步訊框112b編碼為參考進一步輔助訊框110b之一框間訊框。只要未到達一GOP之一末端(如圖5之步驟512中所判定)，使線上之下一影像資料(例如第三影像資料106c)重複/反覆編碼一框間編碼輔助訊框及一框間編碼常規訊框之上述程序S512。
若到達一GOP之末端(如圖5之步驟512中所判定)，則判定S516是否需要一新比例縮小因數(例如，要求改變位元率以需要一新比例縮小因數來滿足新要求，替代地，先前比例縮小因數不足以滿足當前要求)。若不需要新比例縮小因數，則編碼程序使線上之下一影像資料(例如第三影像資料106c)繼續步驟S504。
本發明之一優點係可達成擷取影像資料106a至106c之動態大小調整。因此，編碼器可非常迅速地對關於減小編碼視訊串流之位元大小(位元率)之新要求(例如改變可用頻寬)作出反應。在圖2之實例中，針對第三影像資料106c判定S516需要一新比例縮小因數，且在此實例中，歸因於(例如)更多可用頻寬或其類似者而採用/設定S502一較低比例縮小因數。接著，使用新較低比例縮小因數來重複步驟S504至S510。由於比例縮小因數已在第二影像資料106b與第三影像資料106c之間改變，所以將一第三輔助訊框110c有利地編碼S506為一框內訊框。針對由視訊擷取裝置104擷取之第三影像資料106c，根據此實施例之編碼程序包含：按比例縮小S504第三影像資料106c以達成第三按比例縮小影像資料116，其中第三按比例縮小影像資料116具有一第二解析度，該第二解析度(圖2中未展示)不同於第一解析度(即，圖1中所展示之118x*118y)且低於預期解析度(即，圖1中所展示之116x*116y)。準備一第三輔助訊框110c，第三輔助訊框110c之影像資料具有預期解析度116x*116y，且將第三按比例縮小影像資料116插入S506至經框內編碼之第三輔助訊框110c之影像資料中。接著，編碼器判定S508對應於第三輔助訊框110c之影像資料中之第三按比例縮小影像資料116至預期解析度116x*116y之一按比例放大之第三運動向量(在圖2中由一第三訊框112c中之箭頭示意性繪示)。可如上文針對第一訊框112a所描述般判定第三運動向量。此後，編碼器108可將第三訊框112c編碼S510為參考第三輔助訊框110c之一框間訊框，其中第三訊框之運動向量對應於第三運動向量。
在圖2中(及類似地，在以下圖3至圖4中)，括號內之數字描述編碼輔助訊框110 (AF)及「常規」訊框112 (AF)包含於一編碼視訊串流中之順序。就圖2之實例而言，順序係：AF1 110a、RF1 112a、AF2 110b、RF2 112b、AF3 110c、RF3 112c。
僅使用輔助訊框110之影像資料之一部分來傳輸由影像擷取裝置104擷取之影像資料106a至106c之另一優點(動態位元率控制可能性除外)係輔助訊框110之影像資料之空白部分可用於以一較高解析度提供擷取影像資料106a至106c之一部分304。此部分有利地受一觀看者(或影像分析軟體)特別關注，例如一人臉或一車牌。圖3中例示此實施例。
在圖3中，判定第一影像資料之一區段304。區段304以一第三解析度包含於編碼視訊串流中，其中第三解析度高於第一解析度。例如，若第一解析度係720P，則第三解析度可為4K。根據一些實施例，第三解析度可等於預期解析度。然而，若以大於預期解析度之一解析度擷取影像資料106a至106b，則第三解析度可有利地大於預期解析度，例如等於由視訊擷取裝置擷取之影像資料106a至106b之解析度或在影像資料106a至106b之解析度與預期解析度之間的某位置處。
在判定區段304之後，視情況將其按比例縮小至第三解析度(若其尚未呈第三解析度，即，若第三解析度係擷取影像資料106a之解析度)。呈第三解析度之區段304將在下文指稱ROI1，且在圖3中展示為具有元件符號302。接著，將ROI1 302插入第一輔助訊框110a之影像資料中，使得ROI1 302不覆寫第一按比例縮小影像資料114或變成由第一按比例縮小影像資料114覆寫，即，使得ROI1 302不會與第一按比例縮小影像資料114重疊。
下一步驟係判定對應於將具有預期解析度之ROI1 302插入第一按比例縮小影像資料114之按比例放大變型中之(第四)運動向量。可依相同於上文針對第一運動向量、第二運動向量及第三運動向量所闡釋之方式之方式藉由(例如)基於第三解析度、預期解析度及第一輔助影像110a之影像資料中之ROI1之位置取樣一影像變換方程式來判定此等運動向量。第四運動向量在圖3中示意性地展示為第一訊框112a之右上角中之箭頭。接著，第四運動向量用於判定框間編碼第一訊框112a之運動向量。換言之，將第一訊框112a編碼為一框間訊框之步驟包括判定對應於第一運動向量(用於將按比例縮小影像資料114按比例放大至預期解析度)及第四運動向量之第一訊框112a之運動向量。
仍將第一輔助訊框110a編碼為一框內訊框。
針對第二影像資料106b，此影像資料中之一關注區段之編碼可利用上文所描述之時間視訊壓縮來完成以將第二輔助訊框110b編碼為一框間訊框。因此，將呈第三解析度之第二影像資料中之區段ROI2有利地插入對應於第一輔助訊框110a之影像資料中之ROI1之位置之第二輔助訊框110b之影像資料中之位置上。將ROI2插入第二輔助訊框之影像資料中，使得ROI2不覆寫第二按比例縮小影像資料或變成由第二按比例縮小影像資料覆寫。接著，判定對應於將具有預期解析度之ROI2插入第二按比例放大影像資料中之第五運動向量，且將第二訊框110b編碼為一框間訊框包括判定對應於第二運動向量及第五運動向量之第二訊框之運動向量。
因此，編碼器108經調適以編碼視訊串流106，如上文結合圖1至圖3所描述。編碼器108可直接提供於視訊擷取裝置104中，或有線或無線連接至視訊擷取裝置104以接收視訊串流106之影像資料106a至106d。編碼器108可包括或連接至用於取得預計算運動向量之一記憶體。編碼器108可包括用於計算影像變換方程式(即，用於按比例放大按比例縮小影像資料之方程式及/或用於將ROI1/ROI2放置於正確位置中及設置按比例放大影像資料之比例之方程式)及/或來自一影像變換方程式之取樣運動向量之一處理單元。替代地或另外，編碼器可經調適以自經調適以計算/判定影像變換方程式及/或運動向量之一單獨計算單元接收此等影像變換方程式及/或運動向量。根據一些實施例，此單獨計算單元可產生整個第一/第二/第三訊框，其稍後與編碼器108中之輔助訊框互連。編碼器108可經進一步調適以按比例縮小由視訊擷取裝置104擷取之影像資料106a至106d，如上文所描述。根據一些實施例，編碼器自一單獨縮放單元接收按比例縮小影像資料。編碼器通常包括用於編碼接收影像資料(如上文所描述)之一或若干處理單元(例如一CPU)。CPU可(例如)經調適以運行自一電腦可讀儲存媒體安裝之軟體，其中指令經調適以在由CPU執行時實施上述實施例之任何者之編碼方法。編碼器可經進一步調適以(經由(例如)網際網路)將編碼視訊串流無線或有線傳輸至經調適以解碼編碼視訊串流之一解碼器。
圖4依舉例方式揭示包括上文所描述之一編碼器108之一系統。編碼器108經由一數位網路402連接至一解碼器404，解碼器404經配置以解碼在編碼器108之視訊編碼格式中編碼之一視訊串流416。視訊編碼格式可為以下列表之一者：高效率影像檔案格式、高效率視訊編碼、H.265、H.264、VP10、VP9、AV1、進階視訊編碼及H.266。然而，應注意，本發明涵蓋本文所描述之支援輔助訊框之任何視訊編碼格式。
因此，編碼器108根據預期解析度及第一解析度(比例縮小因數)來編碼由視訊擷取裝置擷取之複數個影像資料106a至106b。根據一些實施例，預期解析度可自數位網路402接收408，例如由接收編碼視訊串流416之一用戶端應用程式418或使用者判定且經由數位網路402傳輸405至編碼器。可基於與編碼器連接之一數位網路之一位元率(即，編碼器108與解碼器404之間的數位網路402之一有效通量)來判定406第一解析度。替代地，一單獨位元率控制單元可基於如上文所描述般量測之此位元率來判定第一解析度。位元率控制單元可將第一(第二等等)解析度連續傳送至編碼器或僅在第一解析度自當前使用解析度改變時(例如當頻寬條件改變時)傳送此解析度。可由編碼器108依其他方式判定及接收第一解析度。例如，可基於由視訊擷取裝置擷取之視訊串流106之品質來判定第一解析度(及類似地，圖2之第二解析度)。若在黑暗條件中(例如在夜晚期間)擷取視訊串流，則視訊串流106 (影像資料106a至106c)通常包括很多雜訊以降低視訊串流之品質且因此有利地產生比在(例如)白天期間擷取視訊串流106時之解析度低之一第一解析度。判定第一解析度之其他實例包括自意欲觀看稍後解碼視訊串流之一使用者或自將分析稍後解碼視訊串流之視訊分析軟體接收此資訊。
編碼器108經調適以經由數位網路402傳輸編碼視訊串流416。解碼器404經調適以經由數位網路402接收編碼視訊串流416且解碼編碼視訊串流416以達成一解碼視訊串流。
根據一些實施例，系統包括一顯示器418。解碼器可連接至顯示器418且將解碼視訊串流傳輸至顯示器418而以預期解析度展示410。
根據實施例，當第一影像資料106a之一區段304以一第三解析度包含302 (本文指稱ROI1)於編碼視訊串流416中(如上文所描述)時，解碼器404可經進一步調適以解碼編碼視訊串流以達成一解碼視訊串流，其中解碼包括自第一輔助訊框之影像資料提取ROI1及在顯示器上(例如)以第三解析度(或由解碼器404判定之任何其他解析度)獨立412於解碼視訊串流而顯示ROI1。ROI1亦包含414於自輔助訊框獲取之影像資料410中且使用(例如)第一/第二訊框112a至112b之運動向量來按比例放大。
應瞭解，熟習技術者可依諸多方式修改上述實施例且仍使用上述實施例中所展示之本發明之優點。例如，可依任何適合方式改變編碼輔助訊框及與輔助訊框互補之訊框之順序。例如，可在將與編碼輔助訊框交錯之參考輔助訊框之框間編碼訊框包含於編碼視訊串流中之前首先編碼一GOP內之所有輔助訊框。因此，本發明不應受限於所展示之實施例，而是應僅由隨附申請專利範圍界定。另外，熟習技術者應瞭解，可組合所展示之實施例。
102‧‧‧場景104‧‧‧視訊擷取裝置/視訊記錄裝置106‧‧‧視訊串流106a至106c‧‧‧影像訊框/影像資料108‧‧‧編碼器110‧‧‧輔助訊框110a‧‧‧第一輔助訊框110b‧‧‧第二輔助訊框110c‧‧‧第三輔助訊框112‧‧‧「常規」訊框112a‧‧‧第一訊框112b‧‧‧第二訊框112c‧‧‧第三訊框114‧‧‧第一按比例縮小影像資料116‧‧‧第三按比例縮小影像資料116x*116y‧‧‧預期解析度118x*118y‧‧‧第一解析度120‧‧‧運動向量302‧‧‧ROI1304‧‧‧部分/區段402‧‧‧數位網路404‧‧‧解碼器405‧‧‧傳輸406‧‧‧判定408‧‧‧接收410‧‧‧展示/影像資料412‧‧‧獨立顯示414‧‧‧包含416‧‧‧視訊串流418‧‧‧顯示器/用戶端應用程式S502‧‧‧步驟S504‧‧‧步驟S506‧‧‧步驟S508‧‧‧步驟S510‧‧‧步驟S512‧‧‧步驟S514‧‧‧步驟S516‧‧‧步驟
參考附圖，將透過本發明之較佳實施例之以下繪示性及非限制性詳細描述來較佳理解本發明之上述及額外目的、特徵及優點，其中相同元件符號將用於類似元件，其中： 圖1示意性地繪示用於在支援輔助訊框之一視訊編碼格式中編碼一視訊串流之一方法之一第一實施例； 圖2示意性地繪示用於在支援輔助訊框之一視訊編碼格式中編碼一視訊串流之一方法之一第二實施例； 圖3示意性地繪示用於在支援輔助訊框之一視訊編碼格式中編碼一視訊串流之一方法之一第三實施例； 圖4示意性地繪示包括根據圖3之一編碼器之一系統，該編碼器經由一數位網路連接至一解碼器，該解碼器經配置以解碼在該編碼器之視訊編碼格式中編碼之一視訊串流； 圖5係展示根據實施例之用於在支援輔助訊框之一視訊編碼格式中編碼一視訊串流之一方法的一流程圖。
102‧‧‧場景
104‧‧‧視訊擷取裝置/視訊記錄裝置
106‧‧‧視訊串流
106a至106c‧‧‧影像訊框/影像資料
108‧‧‧編碼器
110a‧‧‧第一輔助訊框
112a‧‧‧第一訊框
114‧‧‧第一按比例縮小影像資料
116x*116y‧‧‧預期解析度
118x*118y‧‧‧第一解析度
120‧‧‧運動向量

Claims (15)

  1. 一種用於在一視訊編碼格式中編碼一視訊串流之方法，其中該視訊編碼格式支援將一輔助訊框(auxiliary frame)(110)包含於該編碼視訊串流(416)中，該輔助訊框(110)係由該編碼視訊串流(416)中之另一訊框(112)參考，且包括與該編碼視訊串流(416)中之另一訊框互補的影像資料，該輔助訊框(110)包括一旗標值(flag value)，該旗標值指示該輔助訊框(110)之該影像資料不意欲在解碼該編碼視訊串流(416)時被展示，而是與該另一訊框之資料一起用於達成待展示的影像資料，該方法包括以下步驟：接收由一視訊擷取裝置(104)擷取(capture)之第一影像資料(106a)；判定(S502)該視訊串流(106)在被解碼時之一預期解析度(intended resolution)；按比例縮小(scaling down)(S504)該第一影像資料(106a)以獲得第一按比例縮小影像資料(114)，其中該第一按比例縮小影像資料(114)具有低於該預期解析度之一第一解析度；準備一第一空白(empty)輔助訊框(110a)，其中該第一輔助訊框(110a)之該影像資料具有等於該預期解析度之一解析度，且包括全部具有相同預界定值之位元；將該第一按比例縮小影像資料(114)粘貼(paste)(S506)至該第一輔助訊框(110a)之該影像資料中；將該第一輔助訊框(110a)編碼為一框內訊框(intra frame)；判定用於將第一輔助訊框(110a)之該影像資料(106)中之該第一按比例縮小影像資料(114)按比例放大(upscaling)為具有該預期解析度之第一 按比例放大影像資料之一第一影像變換；藉由根據至少一預定巨集區塊大小(predetermined macroblock size)取樣源自該第一影像變換之像素的移動來判定(S508)第一運動向量(120)；及將該第一影像資料編碼(106a)編碼至作為參考該第一輔助訊框(110a)之一框間訊框(inter frame)之一第一訊框(112a)，其中該第一訊框(112a)之運動向量(120)對應於該等第一運動向量(120)。
  2. 如請求項1之方法，進一步包括以下步驟：接收由該視訊擷取裝置(104)擷取之第二影像資料(106b)；按比例縮小該第二影像資料(106b)以獲得第二按比例縮小影像資料，其中該第二按比例縮小影像資料之一解析度係該第一解析度；準備一第二空白輔助訊框(110b)，其中該第二輔助訊框(110b)之該影像資料具有等於該預期解析度之一解析度；將該第二按比例縮小影像資料粘貼至該第二輔助訊框(110b)之該影像資料中；將該第二輔助訊框(110b)編碼為參考該第一輔助訊框(110a)之一框間訊框；判定用於將該第二輔助訊框(110b)之該影像資料中之該第二按比例縮小影像資料按比例放大為具有該預期解析度之第二按比例放大影像資料之一第二影像變換；藉由取樣該第二影像變換來判定第二運動向量；將該第二影像資料(106b)編碼至作為參考該第二輔助訊框(110b)之一 框間訊框之一第二訊框(112b)，其中該第二訊框(112b)之運動向量對應於該等第二運動向量。
  3. 如請求項1或2之方法，進一步包括以下步驟：藉由一視訊擷取裝置(104)擷取第三影像資料(106c)；按比例縮小該第三影像資料(106c)以獲得第三按比例縮小影像資料(116)，其中該第三按比例縮小影像資料(116)具有一第二解析度，該第二解析度不同於該第一解析度，且低於該預期解析度；準備一第三空白輔助訊框(110c)，其中該第三輔助訊框(110c)之該影像資料具有等於該預期解析度之一解析度；將該第三按比例縮小影像資料(116)粘貼至該第三輔助訊框(110c)之該影像資料中；將該第三輔助訊框(110c)編碼為一框內訊框；判定用於將該第三輔助訊框(110c)之該影像資料中之該第三按比例縮小影像資料按比例放大為具有該預期解析度之第三按比例放大影像資料之一第三影像變換；藉由取樣該第三影像變換來判定第三運動向量；將該第三影像資料編碼至作為參考該第三輔助訊框(110c)之一框間訊框之一第三訊框(112c)，其中該第三訊框(112c)之運動向量對應於該等第三運動向量。
  4. 如請求項1或2之方法，進一步包括以下步驟：判定該第一影像資料(106a)之一區段ROI1(302)以一第三解析度被包 含於該編碼視訊串流(416)中，該第三解析度高於該第一解析度；將具有該第三解析度之該ROI1(302)粘貼(S506)至該第一輔助訊框(110a)之該影像資料中，使得該ROI1(302)不覆寫該第一按比例縮小影像資料(114)或變成由該第一按比例縮小影像資料(114)覆寫，以使該ROI1(302)不與該第一按比例縮小影像資料(114)重疊；判定用於將具有該預期解析度之該ROI1(302)插入該第一按比例放大影像資料中之一第四影像變換；藉由取樣該第四影像變換來判定第四運動向量(120)；其中將該第一影像資料(106a)編碼至作為一框間訊框之該第一訊框(112a)之步驟包括將該第一訊框(112a)之運動向量判定為對應於該等第一運動向量及該等第四運動向量。
  5. 如請求項4之方法，進一步包括以下步驟：接收由該視訊擷取裝置擷取之第二影像資料；按比例縮小該第二影像資料以獲得第二按比例縮小影像資料，其中該第二按比例縮小影像資料之一解析度係該第一解析度；準備一第二空白輔助訊框，其中該第二輔助訊框之該影像資料具有等於該預期解析度之一解析度；將該第二按比例縮小影像資料粘貼至該第二輔助訊框之該影像資料中；將該第二輔助訊框編碼為參考該第一輔助訊框之一框間訊框；判定用於將該第二輔助訊框之該影像資料中之該第二按比例縮小影像資料按比例放大為具有該預期解析度之第二按比例放大影像資料之一第 二影像變換；藉由取樣該第二影像變換來判定第二運動向量；將該第二影像資料編碼至作為參考該第二輔助訊框之一框間訊框之一第二訊框，其中該第二訊框之運動向量對應於該等第二運動向量；判定該第二影像資料(106b)之一區段ROI2以該第三解析度被包含於該編碼視訊串流(416)中；將具有該第三解析度之該ROI2粘貼至該第二輔助訊框(110b)之該影像資料中，使得該ROI2不覆寫該第二按比例縮小影像資料或變成由該第二按比例縮小影像資料覆寫；判定用於將具有該預期解析度之該ROI2插入該第二按比例放大影像資料中之一第五影像變換；藉由取樣該第五影像變換來判定第五運動向量；其中將該第二影像資料(106b)編碼至作為一框間訊框之該第二訊框(112b)之步驟包括將該第二訊框(112b)之運動向量判定為對應於該等第二運動向量及該等第五運動向量。
  6. 如請求項5之方法，其中將該ROI1(302)及ROI2分別粘貼於該第一輔助訊框及該第二輔助訊框(110a至110b)之該影像資料中的對應位置上。
  7. 如請求項4之方法，其中該第三解析度係來自以下列表之一者：等於該預期解析度之解析度，及大於該預期解析度之解析度。
  8. 如請求項1或2之方法，其中該預期解析度等於由該視訊擷取裝置 (104)擷取之影像資料(106)之該解析度。
  9. 如請求項1或2之方法，其中該視訊編碼格式係以下列表之一者：高效率視訊編碼、H.265、H.264、VP10、VP9、AV1、進階視訊編碼，及H.266。
  10. 如請求項1或2之方法，進一步包括以下步驟：基於與一視訊串流編碼器(108)連接之一數位網路(402)之一位元率來判定(S502)該第一解析度。
  11. 一種非暫態(non-transitory)電腦可讀儲存媒體，其包含在由具有處理能力之一裝置執行時，致使該裝置實施如請求項1至10之任一者之方法之指令。
  12. 一種視訊串流編碼器(108)，其經組態(configured to)以在一視訊編碼格式中編碼由一視訊擷取裝置(104)擷取之一視訊串流(106)，其中該視訊編碼格式支援將一輔助訊框(110)包含於該編碼視訊串流(416)中，該輔助訊框(110)係由該編碼視訊串流(416)中之另一訊框參考，且包括與該編碼視訊串流(416)中之另一訊框互補的影像資料，該輔助訊框包括一旗標值，該旗標值指示該輔助訊框(110)之該影像資料不意欲在解碼該編碼視訊串流(416)時被展示，而是與該另一訊框之資料一起用於達成待展示的影像資料，其中該視訊串流編碼器(108)經進一步組態以：接收由該視訊擷取裝置(104)擷取之第一影像資料(106a)； 判定(S502)該視訊串流在被解碼時之一預期解析度；按比例縮小(S504)該第一影像資料(106a)以獲得第一按比例縮小影像資料(114)，其中該第一按比例縮小影像資料(114)具有低於該預期解析度之一第一解析度；準備一第一空白輔助訊框(110a)，其中該第一輔助訊框(110a)之該影像資料具有等於該預期解析度之一解析度，且包括全部具有相同預界定值之位元；將該第一按比例縮小影像資料(114)粘貼(S506)至該第一輔助訊框(110a)之該影像資料中；將該第一輔助訊框(110a)編碼為一框內訊框；判定用於將該第一輔助訊框(110a)之該影像資料(106a)中之該第一按比例縮小影像資料(114)按比例放大為具有該預期解析度之第一按比例放大影像資料之一第一影像變換；藉由根據至少一預定巨集區塊大小取樣源自該第一影像變換之像素的移動來判定(S508)第一運動向量(120)；及將該第一影像資料(106a)編碼至作為參考該第一輔助訊框(110a)之一框間訊框之一第一訊框(112a)，其中該第一訊框(112a)之運動向量(120)對應於該等第一運動向量(120)。
  13. 一種用於視訊編碼之系統，該系統包括如請求項12之該視訊串流編碼器(108)，及一解碼器，其中該視訊串流編碼器(108)係經由一數位網路(402)連接至該解碼器(404)； 其中該視訊串流編碼器(108)進一步經組態以：接收由該視訊擷取裝置擷取之第一影像資料；判定該視訊串流在被解碼時之一預期解析度；按比例縮小(scale down)該第一影像資料以獲得第一按比例縮小影像資料，其中該第一按比例縮小影像資料具有低於該預期解析度之一第一解析度；準備一空白第一輔助訊框，其中該第一輔助訊框之該影像資料具有等於該預期解析度之一解析度，且包括全部具有相同預界定值之位元；將該第一按比例縮小影像資料粘貼(paste)至該第一輔助訊框之該影像資料中；將該第一輔助訊框編碼為一框內訊框；判定用於將第一輔助訊框之該影像資料中之該第一按比例縮小影像資料按比例放大(upscaling)為具有該預期解析度之第一按比例放大影像資料之一第一影像變換；藉由根據至少一預定巨集區塊大小取樣源自該第一影像變換之像素的移動來判定第一運動向量；及將該第一影像資料編碼至作為參考該第一輔助訊框之一框間訊框inter frame)之一第一訊框，其中該第一訊框之運動向量對應於該等第一運動向量，其中該解碼器(404)經組態以：解碼在該視訊串流編碼器(108)之該視訊編碼格式中編碼之一視訊串流，其中該視訊串流編碼器(108)經調適以：經由該數位網路(402)接收該預期解析度； 接收一第一解析度；根據該所接收之預期解析度及該所接收之第一解析度來編碼該視訊串流(106)；經由該數位網路(402)傳輸該編碼視訊串流(416)；經由該數位網路(402)接收該編碼視訊串流(416)；及解碼該編碼視訊串流(416)以達成一解碼視訊串流。
  14. 如請求項13之系統，進一步包括一顯示器(418)，其中該視訊串流編碼器(108)經進一步組態以：判定該第一影像資料之一區段ROI1(302)以一第三解析度被包含於該編碼視訊串流(416)中，該第三解析度高於該第一解析度；將具有該第三解析度之該ROI1(302)粘貼至該第一輔助訊框(110a)之該影像資料中，使得該ROI1(302)不覆寫該第一按比例縮小影像資料(114)或變成由該第一按比例縮小影像資料(114)覆寫，以使該ROI1不與該第一按比例縮小影像資料(114)重疊；判定用於將具有該預期解析度之該ROI1(302)插入該第一按比例放大影像資料中之一第四影像變換；藉由取樣該第四影像變換來判定第四運動向量；其中將該第一影像資料(106a)編碼至作為一框間訊框之該第一訊框(112a)的步驟包括將該第一訊框(112a)的運動向量判定為對應於該等第一運動向量(120)及該等第四運動向量；其中該解碼器(404)經進一步組態以：解碼該編碼視訊串流(416)以達成一解碼視訊串流，其中該解碼包 括自該第一輔助訊框(110a)之該影像資料(106)提取該ROI1(302)；及在該顯示器(418)上，獨立(412)於該解碼視訊串流而顯示該ROI1(302)。
  15. 如請求項14之系統，其中該第三解析度大於該預期解析度，其中在該顯示器(418)上獨立(412)於該解碼視訊串流而顯示該ROI1(302)之步驟包括在該顯示器(418)上以該第三解析度顯示該ROI1(302)。
TW107135901A 2017-10-18 2018-10-12 用於在支援輔助訊框的視訊編碼格式中編碼視訊串流的方法及編碼器 TWI763937B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17197037.9 2017-10-18
??17197037.9 2017-10-18
EP17197037.9A EP3474225B1 (en) 2017-10-18 2017-10-18 Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames

Publications (2)

Publication Number Publication Date
TW201929547A TW201929547A (zh) 2019-07-16
TWI763937B true TWI763937B (zh) 2022-05-11

Family

ID=60138279

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107135901A TWI763937B (zh) 2017-10-18 2018-10-12 用於在支援輔助訊框的視訊編碼格式中編碼視訊串流的方法及編碼器

Country Status (6)

Country Link
US (1) US10616592B2 (zh)
EP (1) EP3474225B1 (zh)
JP (1) JP6854795B2 (zh)
KR (1) KR102118265B1 (zh)
CN (1) CN109688410B (zh)
TW (1) TWI763937B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3713235B1 (en) * 2019-03-19 2023-08-02 Axis AB Methods and devices for encoding a video stream using a first and a second encoder
CN111836080B (zh) * 2019-04-19 2022-07-19 浙江宇视科技有限公司 视频参数优化方法及装置
CN110248192B (zh) * 2019-06-12 2021-10-15 腾讯科技（深圳）有限公司 编码器切换、解码器切换、屏幕分享方法和屏幕分享系统
JP7151654B2 (ja) 2019-07-26 2022-10-12 トヨタ自動車株式会社 検索装置、学習装置、検索システム、検索プログラム、及び学習プログラム
GB201914348D0 (en) * 2019-10-04 2019-11-20 Vaion Ltd Encoding and decoding a video
GB2590152A (en) * 2019-10-04 2021-06-23 Vaion Ltd Encoding and decoding a video
EP3902244B1 (en) * 2020-04-23 2022-03-23 Axis AB Controlling a pan-tilt-zoom camera
KR102313651B1 (ko) * 2020-05-12 2021-10-15 수니코리아 엘엘씨(한국뉴욕주립대학교) 서버와 클라이언트 장치 간 비디오 스트리밍 방법
JP2022038979A (ja) * 2020-08-27 2022-03-10 ソニーセミコンダクタソリューションズ株式会社 画像処理装置および方法
US20220394073A1 (en) * 2021-06-08 2022-12-08 Comcast Cable Communications, Llc Method and apparatus for determining bitrate switch points

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6226327B1 (en) * 1992-06-29 2001-05-01 Sony Corporation Video coding method and apparatus which select between frame-based and field-based predictive modes
EP1351502A1 (en) * 2002-04-03 2003-10-08 STMicroelectronics, Inc. Enhanced resolution video construction method and apparatus
US20040120398A1 (en) * 2002-12-19 2004-06-24 Ximin Zhang System and method for adaptive field and frame video encoding using rate-distortion characteristics
US20140112394A1 (en) * 2012-10-22 2014-04-24 Microsoft Corporation Band separation filtering / inverse filtering for frame packing / unpacking higher-resolution chroma sampling formats

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6310919B1 (en) 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder
KR100885443B1 (ko) 2005-04-06 2009-02-24 엘지전자 주식회사 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US8508659B2 (en) 2009-08-26 2013-08-13 Nxp B.V. System and method for frame rate conversion using multi-resolution temporal interpolation
GB2488815C (en) * 2011-03-09 2018-03-28 Canon Kk Video decoding
EP3038370A1 (en) 2014-12-22 2016-06-29 Alcatel Lucent Devices and method for video compression and reconstruction
US20160286226A1 (en) 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
CN104811722B (zh) * 2015-04-16 2019-05-07 华为技术有限公司 一种视频数据的编解码方法及装置
AU2015207825A1 (en) 2015-07-28 2017-02-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding video data for selected viewing conditions
CN106162180A (zh) * 2016-06-30 2016-11-23 北京奇艺世纪科技有限公司 一种图像编解码方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226327B1 (en) * 1992-06-29 2001-05-01 Sony Corporation Video coding method and apparatus which select between frame-based and field-based predictive modes
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
EP1351502A1 (en) * 2002-04-03 2003-10-08 STMicroelectronics, Inc. Enhanced resolution video construction method and apparatus
US20040120398A1 (en) * 2002-12-19 2004-06-24 Ximin Zhang System and method for adaptive field and frame video encoding using rate-distortion characteristics
US20140112394A1 (en) * 2012-10-22 2014-04-24 Microsoft Corporation Band separation filtering / inverse filtering for frame packing / unpacking higher-resolution chroma sampling formats

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 YINJI PIAO ET AL An adaptive divide-and-predict coding for intra-frame of H.264/AVC IMAGE PROCESSING (ICIP) 7 November 2009 https://ieeexplore.ieee.org/abstract/document/5413859 *

Also Published As

Publication number Publication date
CN109688410B (zh) 2021-01-29
US20190116371A1 (en) 2019-04-18
TW201929547A (zh) 2019-07-16
JP6854795B2 (ja) 2021-04-07
EP3474225A1 (en) 2019-04-24
JP2019075783A (ja) 2019-05-16
KR20190043469A (ko) 2019-04-26
US10616592B2 (en) 2020-04-07
EP3474225B1 (en) 2019-09-25
CN109688410A (zh) 2019-04-26
KR102118265B1 (ko) 2020-06-02

Similar Documents

Publication Publication Date Title
TWI763937B (zh) 用於在支援輔助訊框的視訊編碼格式中編碼視訊串流的方法及編碼器
TWI520504B (zh) An image processing apparatus, an image processing method, an image processing program, and a recording medium
KR20200044665A (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
JP2011505781A (ja) 高解像度デジタル静止画像をビデオと並行して符号化するためのａｖｃ規格の拡張
JP2011505780A (ja) 高解像度デジタル静止画像をビデオと連続して符号化するためのａｖｃ規格の拡張
TW201412130A (zh) 編碼器及編碼方法
US20090201991A1 (en) Method for intra prediction coding of image data
JP4761390B2 (ja) 内挿される画素値の計算方法の改良
CN109688413B (zh) 以支持辅助帧的视频编码格式编码视频流的方法和编码器
WO2020038378A1 (zh) 色度块预测方法及装置
US10659800B2 (en) Inter prediction method and device
US20060067403A1 (en) Information processing device and information processing method
US10820010B2 (en) Methods and devices for encoding a video stream using a first and a second encoder
JP2007134755A (ja) 動画像符号化装置及び画像記録再生装置
JP5178616B2 (ja) シーンチェンジ検出装置および映像記録装置
CN114125448A (zh) 视频编码方法、解码方法及相关装置
WO2023092256A1 (zh) 一种视频编码方法及其相关装置
JP2011015262A (ja) 画像復号化装置
JP4522951B2 (ja) 動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体
KR102459813B1 (ko) 영상스위칭 기반의 주기적 화질보정 영상처리 방법
WO2020200052A1 (zh) 视频编码方法、视频解码方法及相关设备
CN114422734B (zh) 一种录像机、视频数据处理方法、装置及电子设备
JP5868909B2 (ja) 復号化方法
WO2022167210A1 (en) Metadata for signaling information representative of an energy consumption of a decoding process
JP5380594B2 (ja) 画像の復号化方法