TWI613910B - 用於訊框序列之影像編碼的方法和編碼器 - Google Patents

用於訊框序列之影像編碼的方法和編碼器 Download PDF

Info

Publication number
TWI613910B
TWI613910B TW104135491A TW104135491A TWI613910B TW I613910 B TWI613910 B TW I613910B TW 104135491 A TW104135491 A TW 104135491A TW 104135491 A TW104135491 A TW 104135491A TW I613910 B TWI613910 B TW I613910B
Authority
TW
Taiwan
Prior art keywords
frame
time point
interest
frames
encoding
Prior art date
Application number
TW104135491A
Other languages
English (en)
Other versions
TW201631973A (zh
Inventor
陳建單
馬可斯 史坎斯
威利 貝卻特
米凱爾 潘迪司
亞歷山大 瑪汀斯
Original Assignee
安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 安訊士有限公司 filed Critical 安訊士有限公司
Publication of TW201631973A publication Critical patent/TW201631973A/zh
Application granted granted Critical
Publication of TWI613910B publication Critical patent/TWI613910B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種用於訊框序列之影像編碼的方法和編碼器。該方法包括：接收(S02)描繪一移動物件之訊框序列、預測(S04)該訊框序列中之該移動物件在一第一時間點與一第二時間點之間之一移動；在該移動物件之預測移動的基礎上，定義(S06)訊框中所關注之一區域，其在該移動物件於該第一時間點與該第二時間點之間的整個預測移動期間覆蓋該移動物件；且使用一共同編碼品質圖案在一所關注之該區域中編碼(S08)第一訊框，其對應於該第一時間點；及在該所關注之區域的至少一子集中編碼一或多個中間訊框，其對應於中介於該第一及該第二時間點的時間點。

Description

用於訊框序列之影像編碼的方法和編碼器
本發明係關於影像編碼之領域。特定言之，其係關於用於編碼訊框序列的一方法和一編碼器。
已知影像編碼方法(諸如在H.264或更一般而言在H.26x標準下之影像編碼)容許局部修改一影像訊框之區域中之壓縮位準。例如，影像品質可藉由調整表示一物件之所關注的一區域(ROI)之壓縮位準而改良。此亦可適用於其中存在移動物件之影像序列。
此係US8150173B2之主題，其(例如)教示對於具有移動物件之影像序列，一ROI可係按訊框定義。或者，可指定一ROI之一開始位置及大小且接著，該指定ROI可追蹤該影像序列中之物件之運動。
為減少所關注的物件上或周圍之壓縮假影之目的，一ROI通常不僅包含所關注的物件，而且包含背景之一部分。當該物件移動時，該背景之此部分在每個訊框中改變。因此，當一物件通過(如果該物件以一擺動方式移動，則有時該物件通過若干次)時，用以編碼該背景之一特定部分之壓縮位準改變。由於該背景之特定部分需要使用不同壓縮位準多次重新編碼，因此此將顯著增加編碼該影像序列所需之位元率。因此，存在改良之一需要。
由於上述，因此本發明之一目的係克服或至少緩解上文所討論之問題。特定言之，其係一目的以提供一編碼方法及一編碼器，其當一物件通過時減少重新編碼背景若干次之需要。
根據本發明之一第一態樣，上述目的藉由一用於影像編碼訊框序列之方法實現，其包括：接收描繪一移動物件之訊框序列，該訊框序列包括一對應於一第一時間點之第一訊框、一對應於一第二、隨後時間點之第二訊框及一或多個對應於中介於該第一及該第二時間點之一或多個時間點之中間訊框；預測該訊框序列中之移動物件在該第一時間點與該第二時間點之間的一移動；在該移動物件之預測移動的基礎上，定義訊框中所關注的一區域，其在該移動物件在該第一時間點與該第二時間點之間的整個預測移動期間覆蓋該移動物件；且使用一共同編碼品質圖案(其定義在所關注的該區域之哪個部分中使用哪個編碼品質)在所關注的該區域中編碼該第一訊框及在所關注的該區域之至少一子集中編碼一或多個中間訊框，其中對於一特定中間訊框，所關注的該區域之子集在該物件在對應於該特定中間影像訊框的時間點與該第二時間點之間的整個預測移動期間覆蓋該物件。
使用上述方法，預測該物件之一移動且用以定義當編碼該第一訊框及該一或多個中間訊框之各者時所使用之一單一ROI。因此，與先前技術相反，該ROI不會在訊框之間改變。
該ROI經定義以在該移動物件在該第一時間點與該第二時間點之間的整個預測移動期間覆蓋該移動物件。換言之，所定義之ROI預期覆蓋該第一訊框及該一或多個中間訊框中之物件。因此，該移動物件及該移動物件附近之背景像素預期在該第一訊框與該一或多個中間訊 框中之ROI內發現。
當編碼該第一訊框及該一或多個中間訊框時，一共同(即，相同)編碼品質圖案相對於該ROI或至少相對於其一子集而使用。此意謂對於落入該ROI內之背景之一特定部分，將一直使用相同編碼品質或至多當該物件通過時改變一次，藉此減少重新編碼之需要。
例如，在該共同編碼品質圖案針對該第一訊框與該一或多個中間訊框之各者而相對於整個ROI使用的情況下，不需要重新編碼該ROI之背景部分。根據其他實例，當編碼該一或多個中間訊框時，該共同編碼品質圖案適用於該ROI之一子集。對於一特定中間訊框，該子集可在此情況下在該物件之預測剩餘移動期間覆蓋該物件直至該第二時間點，即，該子集預期覆蓋該特定中間訊框及每個後續中間訊框中之物件直至該第二時間點。在此一情況下，該背景之一特定部分當該物件通過時至多需要重新編碼一次。
如本文所使用，訊框序列係指影像訊框序列。應注意訊框序列通常(例如，當其藉由一攝像機擷取時)循序接收。
如本文所使用，該移動物件之一移動之預測大體上係指在迄今已接收訊框的基礎上之一移動之預測。通常，此包含對應於先於該第一時間點之時間點的訊框。其亦可包含該第一訊框。然而，在進行該預測時，通常尚未接收該一或多個中間訊框。藉由在接收該一或多個中間訊框之前開始預測該移動，可減少編碼程序中之延時。
如本文所使用，藉由措詞「該第一時間點與該第二時間點之間」定義之時間間隔包含該第一時間點與對應於該一或多個中間訊框之時間點。然而，其不必要包含該第二時間點。因此，使用此定義，所定義之ROI(其在該移動物件在該第一時間點與該第時間點之間的整個預測移動期間覆蓋該移動物件)預期覆蓋該第一訊框及該一或多個中間訊框之各者但非必要該第二訊框中之物件。
類似地，所關注的該區域之子集(其在該物件在一對應於一特定中間影像訊框之時間點與該第二時間點之間的整個預測移動期間覆蓋該物件)係一子集，其預期覆蓋該特定訊框及每個後續中間訊框但非必要該第二訊框中之物件。
就所關注的一區域而言，大體上意謂判別為特別重要之若干像素(例如，由於其表示一物件)。在編碼應用中，一訊框可分成巨集區塊(例如，具有16x16像素之一固定大小)。所關注的一區域可由發現為特別重要之一組此等巨集區塊(例如，由於其表示一物件)構成。
如本文所使用，一編碼品質圖案通常係指編碼品質之一空間圖案或功能。特定言之，一編碼品質圖案定義在所關注的該區域之哪個部分中使用哪個編碼品質。
在一些實施例中，該編碼品質設定成在整個ROI中恆定。換言之，該編碼品質圖案可定義欲在所關注的整個區域中使用之一單一編碼品質。在編碼品質中具有較少改變優點在於，其能夠自其他編碼區塊預測更多編碼區塊，藉此增加編碼效率。
在其他實施例中，該編碼品質圖案可定義欲在所關注的該區域之不同部分中使用之不同編碼品質。此容許一更大靈活度。例如，該編碼品質可設定成在對應於大體上預期具有更低影像品質之訊框之部分(諸如訊框之周邊部分)之ROI之部分中係更低。
一編碼品質可大體上對應於壓縮之一位準。壓縮之一低位準通常給予一高編碼品質且反之亦然。在一些編解碼器(諸如H.264編解碼器)中，依一量化參數(QP值)而言，給定壓縮位準。該編碼品質亦可因此對應於一量化參數。
如在隨後部分中將進一步討論，一些影像壓縮標準(諸如H-264標準)指示就內訊框(例如，I-訊框)及居間訊框(例如，P-訊框或B-訊框)而言實施之時間影像壓縮。一內訊框基本上係僅使用欲編碼之影像訊 框中之資訊編碼之一影像訊框。再者，該內訊框自針對欲編碼之影像訊框而擷取之所有影像資料計算。該等居間訊框(亦稱為預測訊框或稱為差異訊框)係基於來自先前編碼之影像訊框之資訊與當前編碼之訊框之資訊，即，該居間訊框可描述為利用先前影像訊框中之時間冗餘資訊。
根據實施例，該第一訊框可編碼為一內訊框。此外，該一或多個中間訊框可編碼為居間訊框。通常，一背景像素不會在訊框之間顯著地改變。藉由將該等中間訊框編碼為居間訊框，因此，特定言之只要對於特定背景像素之該編碼品質圖案不隨時間而保持恆定，該等背景像素通常不需要針對每個訊框而重新編碼。
在一些實施例中，在所關注的整個區域(且不僅是其一子集)中使用該共同編碼品質圖案編碼該一或多個中間訊框之至少一些中間訊框。此包含其中在所關注的整個區域中使用該共同編碼品質圖案編碼該一或多個中間訊框之各者之情況。此優點在於可完全避免對落入所關注的該區域內之背景的重新編碼。
大體上，相較於該訊框之其餘部分(至少相較於該ROI周圍)，使用一更高編碼品質在該ROI內部編碼一訊框。然而，以一更高編碼品質編碼代價為一位元率增加。如果該ROI係一大區域，則此係尤其真實。自該觀點，因此對於欲編碼之每個訊框，將該ROI保持為儘可能小係有益的。然而，自藉由避免當一物件通過時重新編碼該背景而節省位元率之觀點，具有一ROI(其在該物件在該第一與該第二時間點之間的整個移動期間覆蓋該物件)且使用共同編碼品質圖案在整個ROI中編碼每個訊框(如上文所指定)係有益的。因此，存在一欲考慮之折衷。
在一些實施例中，藉由使用該共同編碼品質圖案在該ROI之一子集(非整個ROI)中編碼該一或多個中間訊框而考慮此折衷。此可藉由 一收縮程序(其中對於每個欲編碼之中間訊框，使用該共同編碼品質圖案編碼該ROI之一越來越小的子集)實現。該等子集可藉由移除該ROI之對應於該物件已通過之該ROI之該等部分之一部分而判定。特定言之，此可根據一迭代程序(其中，對於每個中間訊框，移除當編碼先前訊框時所使用之該ROI或其子集之一部分)進行。換言之，對於一第一中間訊框，所關注的該區域之子集可藉由將一部分自所關注的該區域移除而判定，且對於繼該第一中間訊框之後的每個中間訊框，所關注的該區域之子集藉由將一部分自當編碼先前中間訊框時使用之該子集移除而判定。
藉此程序，在該ROI之一越來越小的子集中使用該共同編碼品質圖案(其可能消耗相當大)來編碼該等中間訊框，藉此減少所消耗的位元率。同時，所得子集使得其覆蓋該物件的剩餘預測移動。此具有以下之一結果：該ROI中之背景需要至多重新編碼一次。該背景之一特定部分的重新編碼通常發生在該物件已通過時，且該背景之該特定部分形成自該ROI移除之一部分的部分。
自所關注之該區域移除的部分可對應於一區域，其覆蓋該第一訊框但不覆蓋該第一中間訊框中之物件的至少部分，且自編碼先前中間訊框時使用之該子集移除的部分可對應於一區域，其至少部分地覆蓋該先前中間訊框中但不覆蓋後續中間訊框中的物件。依此方式，吾人可實現對於一特定中間訊框，所關注之該區域的子集在該物件對應於該特定中間影像訊框之時間點與該第二時間點之間的整個預測移動期間覆蓋該物件。
對於該一或多個中間訊框中之各者，在移除之部分中，可編碼具有一編碼品質之中間訊框，該編碼品質係低於由用於該移除部分之編碼品質圖案所定義的編碼品質。依此方式，可減少所得之總位元率。
取決於該物件之預測移動，該ROI大體上可採用任何形狀。例如，其可包含一矩形，其中該矩形之一第一維度覆蓋該移動物件沿該等訊框中之一第一方向在該第一時間點與該第二時間點之間的預測移動，且該矩形之另一維度覆蓋該移動物件沿一垂直於該等訊框中之該第一方向之第二方向在該第一時間點與該第二時間點之間的預測移動。此優點在於其提供一簡單實施方案，同時考慮該物件在兩個維度中的移動。
就該矩形之「第一維度」而言，大體上意謂該矩形之一第一側，且就「另一維度」而言，大體上意謂該矩形之垂直於該第一側之另一側。
可以一迭代方式進行上文所揭示之方法，意謂一旦欲編碼該第二訊框，即可重複該方法。更詳細地，該方法可進一步包括：預測訊框序列中之該移動物件在該第二時間點與一遲於該第二時間點之第三時間點之間之一移動；在該移動物件之預測移動的基礎上，定義所關注之一進一步區域，以在該移動物件於該第二時間點與該第三時間點之間的整個預測移動期間覆蓋該移動物件；且當編碼該第二訊框時，使用所關注之該進一步區域。該第二訊框通常編碼為一內訊框。
可發生如在該等中間訊框中所觀察之物件(例如，歸因於預測物件移動中之一誤差)不是由該ROI覆蓋。為該目的，該方法可進一步包括：對於至少一中間訊框，檢查如在該至少一中間訊框中所描繪之移動物件是否由所關注的該區域覆蓋，且如果不是則預測訊框序列中之該移動物件在一對應於該至少一中間訊框之時間點與一第四、隨後時間點之間之一移動；在該移動物件之預測移動的基礎上，重新定義訊框序列中之所關注之該區域，以在該移動物件在對應於該一或多個中間訊框之該至 少一者之時間點與該第四時間點之間的整個預測移動期間覆蓋該移動物件；且當編碼該至少一中間訊框時，使用所關注之該重新定義的區域。
在此配置下，因此重新定義該ROI使得其再次自一特定中間訊框開始覆蓋該物件直至該第四時間點。依此方式，可補償該物件移動之預測中之一誤差。當編碼繼該特定中間訊框之後的訊框時，可使用重新定義的ROI。依此方式，可補償該物件移動之預測中的誤差。
根據本發明之一第二態樣，上述目的藉由一電腦程式產品實現，該電腦程式產品包括一具有電腦碼指令之電腦可讀媒體，該等電腦碼指令經調適以當藉由一具有處理能力之裝置執行時進行該第一態樣之方法。
根據一第三態樣，上述目的藉由一用於影像編碼訊框序列之編碼器實現，該編碼器包括：一接收器，其經組態以接收描繪一移動物件之訊框序列，該序列包括一對應於一第一時間點之第一訊框、一對應於一第二、隨後時間點之第二訊框及一或多個對應於中介於該第一及該第二時間點之一或多個時間點之中間訊框；一預測組件，其經組態以預測該訊框序列中之移動物件在該第一時間點與該第二時間點之間的一移動；一所關注的區域定義組件，其經組態以在該移動物件之預測移動的基礎上，定義訊框中所關注的一區域，其在該移動物件在該第一時間點與該第二時間點之間的整個預測移動期間覆蓋該移動物件；一編碼組件，其經組態以：使用一共同編碼品質圖案(其定義在所關注的該區域之哪個部分中使用哪個編碼品質)在所關注的該區域中編碼該第一訊框及在所關 注的該區域之至少一子集中編碼該一或多個中間訊框，其中對於一特定中間訊框，所關注的該區域之子集在該物件在對應於該特定中間訊框的時間點與該第二時間點之間的整個預測移動期間覆蓋該物件。
該第二及第三態樣可大體上具有與該第一態樣相同之特徵及優點。應進一步注意，除非另有明確規定，否則本發明係關於特徵之所有可能組合。
100‧‧‧編碼系統
102‧‧‧影像攝像機
104‧‧‧影像編碼器
106‧‧‧影像訊框序列
108‧‧‧編碼訊框序列/編碼影像訊框序列
110‧‧‧移動物件
202‧‧‧接收器
204‧‧‧預測組件
206‧‧‧所關注的區域定義組件/ROI定義組件
208‧‧‧編碼組件
210‧‧‧傳輸器
402‧‧‧第一訊框
404‧‧‧第一中間訊框
406‧‧‧第二中間訊框
408‧‧‧中間訊框
410‧‧‧中間訊框
412‧‧‧第二訊框
414‧‧‧移動物件
416‧‧‧ROI
418‧‧‧新ROI/所關注的進一步區域
420a‧‧‧子集
420b‧‧‧子集
422a‧‧‧移除部分
422b‧‧‧移除部分
S02‧‧‧步驟
S04‧‧‧步驟
S06‧‧‧步驟
S08‧‧‧步驟
S08a‧‧‧步驟
S08b‧‧‧步驟
S08c‧‧‧步驟
t1‧‧‧第一時間點
t2‧‧‧第二時間點
將參考附圖通過本發明之較佳實施例之以下繪示性且非限制性詳細描述更佳地理解本發明之上述與額外目的、特徵及優點，其中對於相似元件將使用相同元件符號，其中：圖1示意地繪示根據實施例之一編碼系統。
圖2更詳細地繪示圖1之編碼系統之一編碼器。
圖3係根據實施例之用於訊框序列之影像編碼之一方法之一流程圖。
圖4示意地繪示描繪一移動物件之訊框序列。
現在將在下文中參考附圖來更完全地描述本發明，其中展示本發明之實施例。將在操作期間描述本文中所揭示之系統及裝置。
圖1繪示一編碼系統100，其包括一可操作以被連接至一影像編碼器104之影像攝像機102。影像攝像機102可(例如)經配置以擷取一影像訊框序列106(其描繪一移動物件110，此處係藉由一人來繪示)。影像訊框序列106可發送至經配置以編碼訊框序列106之編碼器104。編碼器104可以一位元流之形式輸出一編碼訊框序列108。
應瞭解編碼器104可形成一單元，其實體上與影像攝像機102分離，或其可被包含於攝像機102中。
圖2更詳細繪示編碼器104。編碼器104包括一接收器202、一預 測組件204、一所關注之區域定義組件206、一編碼組件208及一傳輸器210。
接收器202經配置以自影像攝像機102接收一訊框序列106。接收器202可將訊框序列轉送至編碼組件208及預測組件204。預測組件204及編碼組件208可經組態以至少部分地平行處理所接收之訊框序列。
如在下文中將更詳細描述，預測組件204經配置以預測訊框序列106中之物件110之一移動。接著，在編碼所接收之訊框序列106時，當判定一欲由編碼組件208使用之ROI，則所預測之移動形成ROI定義組件206之基礎。傳輸器210經配置以(例如，經由一網路)將所得編碼影像訊框序列108傳輸至一外部實體。
應瞭解，就圖2描述之組件202、204、206、208、210來表示編碼器104的功能區塊。此等功能區塊可係由硬體或軟體或其一組合實施。例如，編碼器104可包含經組態以實施組件202、204、206、208、210之功能性的電路。替代地或另外，編碼器104可包含一處理器，其與一(非暫態)電腦可讀媒體或裝置相關聯，且經組態以實施組件202、204、206、208、210之功能性。為此目的，該電腦可讀媒體可經配置以儲存電腦碼指令，其當由該處理器執行時實施本文中所揭示之任何方法。
現在將參考圖1、圖2、圖4及圖3之流程圖來闡釋編碼器104之操作。
在步驟S02中，接收器202接收一由影像攝像機102擷取之欲編碼的訊框序列106。接收器202通常以一循序方式且即時接收訊框序列106。換言之，當訊框藉由攝像機102擷取時，接收器202接收該等訊框。
訊框序列106係假定為描繪一移動物件(諸如圖1中之移動物件110)。圖4中進一步繪示訊框序列106，或其之至少一子序列。
序列106中之每個訊框對應於一時間點。特定言之，訊框序列106包括一對應於一第一時間點t1之第一訊框402、一對應於一第二、隨後時間點t2之第二訊框412及一或多個中間訊框404、406、408、410，此處係由四個訊框繪示，其等對應於第一時間點t1與第二時間點t2之間的時間點。應瞭解中間訊框404、406、408、410之數量可改變。
在影像編碼中，已知將一些訊框編碼為內訊框(在一些影像編碼方案中稱為I-訊框)，意謂該訊框(至少基本上)被完全編碼，且將一些訊框編碼為居間訊框(在一些編碼方案中稱為P-或B-訊框)，意謂該訊框係相對於一先前訊框而編碼。通常，一內訊框後為複數個居間訊框。在圖4之實例中，該第一及該第二時間點通常對應於兩個後續內訊框，即，該第一及該第二訊框將被編碼為內訊框。再者，該等中間訊框通常將被編碼為居間訊框。
訊框402至412描繪一移動物件414。在該繪示實例中，儘管以一擺動方式，但物件414在一基本上向下之方向(如藉由箭頭所繪示)上移動，意謂物件414具有一來回移動之趨勢。
在步驟S04中，預測組件204預測該移動物件之一移動。更詳細地，預測組件204預測該訊框序列中之物件414自第一時間點t1直至該第二時間點之一移動。如上文所提及，通常以一循序方式接收該等訊框。因此，該預測基於迄今已接收之訊框。此通常可包含對應於先於或等於該第一時間點之時間點之訊框。例如，當進行步驟S04時，預測組件204可尚未接收中間訊框404至410，或甚至尚未接收第一訊框402。藉由預測物件414自該第一時間點直至該第二時間點之運動，而不是等待接收對應於自該第一時間點直至該第二時間點之時間點之訊框402至410，可減少編碼程序中之延時。
預測組件204可以任何已知方式(例如，藉由使用運動向量)預測 移動物件414之移動。此可包含預測移動物件414預期沿第一時間點t1與第二時間點t2之間移動的一路徑。在一些實施例中，預測組件204可藉由預測該移動物件之一速度v及一方向(其中移動物件414預期在第一時間點t1與第二時間點t2之間移動)而預測該移動。在其他實施例中，預測組件204可適用該路徑之一更複雜模型使得在第一時間點t1與第二時間點t2之間的物件414之預測路徑基本上可採用任何形式。預測組件204亦可預測物件414沿該訊框中之若干維度或方向之移動。例如，預測物件204可預測物件414在該等訊框中之一第一方向上及該等訊框中之一垂直於該第一方向之第二方向上之移動。該第一方向可(例如)對應於其中物件414移動之主要方向。在圖4中，此將對應於向下方向。然而，其可係物件414不會沿該第一、主要方向直線移動但可以一擺動方式(諸如沿圖4之左右方向)移動之情況。為考慮此，預測組件204亦可因此預測物件114沿一第二方向(其可垂直於該第一方向)之(擺動)移動。在圖4中，此將對應於所繪示之訊框之左右方向。
更一般而言，在預測組件204就物件414預期依循第一時間點t1與第二時間點t2之間的一路徑而言而預測物件414之移動的情況下，預測組件204亦可預測物件414之圍繞(例如，垂直於)該路徑之擺動運動以當物件414移動時考慮物件414之擺動行為。
在步驟S06中，在來自預測組件204之預測移動的基礎上，ROI定義組件206定義一ROI 416。ROI 416經定義使得其在移動物件414在第一時間點t1與第二時間點t2之間的整個預測移動期間覆蓋移動物件414。藉由在移動物件414在第一時間點t1與第二時間點t2之間的整個預測移動期間覆蓋移動物件414尤其意謂ROI 416經定義使得其預測覆蓋(即，包含)第一訊框402及中間訊框404至410之各者中(但非必要第二訊框412中。如下文中進一步討論，一新ROI 418通常將相對於第二訊框412而定義)之移動物件。顯著地，ROI 416係一相對於當編碼第 一訊框402及中間訊框404至410時稍後欲使用之第一訊框402及中間訊框404至410而定義之單一區域。此與先前技術(其教示針對每個訊框使用不同ROI)相反。
取決於物件414之預測移動，該ROI大體上可具有任何形狀。例如，在物件414之移動已就物件414預期依循之一路徑(具有一般形狀)而言而預測的情況下，由於該物件之擺動移動，該ROI可採用一依循該路徑之形狀之形式(雖然在每個點處在一垂直於該路徑之方向上延伸)以覆蓋該物件。
如圖4中所進一步繪示，在一些實施例中，ROI 416包含或具有一矩形形狀。特定言之，該矩形之一第一維度可經定義以在物件414沿該等訊框中之一第一方向(諸如圖4中向下方向)的預測移動期間覆蓋物件414，且該矩形之一第二維度可經定義以在物件414沿該等訊框中之一第二方向(諸如圖4中之左右方向)的預測移動期間覆蓋物件414。
在就一速度v(其可能取決於時間)而言預測沿該物件之主要移動方向之移動的情況下，該ROI之面積可計算為
Figure TWI613910BD00001
 其中w係物件414在一垂直於主要預測路徑之方向上在時間點t1與t2之間的預測移動之一範圍。然而，應瞭解ROI 416總是設定成至少具有一覆蓋該物件之大小之面積。例如，在預測該速度等於零(意謂預測該物件不移動)的情況下，ROI 416仍設定成一覆蓋第一訊框402(且因此亦在中間訊框404至410中)中之物件之區域。
在步驟S08中，編碼組件208編碼第一訊框402及該一或多個中間訊框404至410。為此目的，編碼組件208可包含允許針對所關注的一區域設定編碼品質(即，壓縮之位準)之一實施任何已知標準之編解碼 器。此包含H.26x家族中之標準，包含H.264標準。藉由H.264編解碼器定義之壓縮之位準經常稱為一量化參數(QP)。
此等影像壓縮標準指示就內訊框(例如，I-訊框)及居間訊框(例如，P-訊框或B-訊框)而言實施之時間影像壓縮。一內訊框基本上係僅使用欲編碼之影像訊框中之資訊編碼之一影像訊框。再者，該內訊框自針對欲編碼之影像訊框而擷取之所有影像資料計算。因此，該內訊框有時稱為一完全訊框。該等居間訊框(亦稱為預測訊框或稱為差異訊框)係基於來自先前編碼之影像訊框之資訊與當前編碼之訊框之資訊，即，該居間訊框可描述為利用先前影像訊框中之時間冗餘資訊。實施此類型之編解碼器之運動影像通常產生一內訊框，緊接著產生一預定數量之居間訊框且接著產生一新內訊框，緊接著產生相同數量之居間訊框。緊接著若干居間訊框之一內訊框之此序列之長度經常稱為圖像之群組長度(GOP長度)。
在當前情況中，第一訊框402、中間訊框404至410及第二訊框412可形成一編碼為一GOP之序列。因此，第一訊框402可編碼為一內訊框，中間訊框404至410可編碼為居間訊框且第二訊框412可編碼為一內訊框。
在編碼第一訊框402及中間訊框404至410之前，編碼組件208通常設定一編碼品質圖案以與編碼ROI 416或其子集一起使用。該編碼品質圖案定義在ROI 416之哪個部分中使用哪個編碼品質(即，壓縮位準)。通常，該編碼品質圖案經設定使得該ROI內部之該編碼品質相較於該ROI周圍之編碼品質係更高(即，適用一更低壓縮位準)。大體上，ROI 416外部之編碼品質可在訊框之間在空間上且亦在時間上改變。
在一些實施例中，該編碼品質圖案定義一欲在整個ROI 416中使用之單一編碼品質。換言之，在此等實施例中該編碼品質在整個ROI 416中恆定。然而，在其他實施例中，可允許在ROI 416內在空間上改變該編碼品質。因此，該編碼品質圖案可定義欲在該ROI之不同部分中使用之不同編碼品質。例如，該編碼品質圖案可定義該編碼品質係根據ROI 416內之一梯度而改變。
編碼組件208將相對於ROI 416定義之編碼品質圖案設定成在時間上在第一時間點t1與第二時間點t2之間恆定，即，當編碼第一訊框402及中間訊框404至410時，該編碼組件適用一共同編碼品質圖案。然而，通常，當編碼第二訊框412時，將重新設定該編碼品質圖案。當編碼第一訊框402及中間訊框404至410時，藉由在ROI 416中適用相同編碼品質圖案，可有利地減少背景之訊框之間的重新編碼。
步驟S08可包括複數個子步驟。在步驟S08a中，編碼組件208編碼第一訊框402。第一訊框402通常編碼為一內訊框。當編碼第一訊框402時，編碼組件208在(整個)ROI 416中適用選定的編碼品質圖案。
接著，編碼組件208繼續編碼中間訊框404至410。中間訊框404至410通常編碼為居間訊框。
根據一些實施例，當編碼中間訊框404至410時，編碼組件208在整個ROI 416中適用選定的編碼品質圖案。
在其他實施例中，當編碼中間訊框404至410之至少一些中間訊框時，編碼組件208在ROI 416之一子集中適用選定的編碼品質圖案。
更詳細地，該方法可包括一子步驟S08b，其中對於每個中間訊框404至410，編碼組件208判定欲根據選定的編碼品質圖案編碼之ROI 416之一子集。特定言之，編碼組件208可將針對一特定中間訊框之ROI之子集判定為在物件414在對應於該特定中間訊框的時間點與第二時間點t2之間的預測移動期間覆蓋物件414之ROI的一子集。此可視為收縮或移除對應於已由物件414通過之該等像素之ROI之一部分。
此在圖4之下部分中進一步繪示，其展示第一訊框402、第一中間訊框404及第二中間訊框406之一放大圖。相對於第一中間訊框404，編碼組件208已藉由移除一對應於在對應於該第一中間訊框之時間點已由物件414通過之像素之部分422a判定ROI 416之一子集420a。特定言之，移除部分422a對應於一區域，其至少部分地覆蓋第一訊框402但不覆蓋第一中間訊框404中之物件414。
相對於第二中間訊框406，編碼組件208已藉由移除一對應於在對應於第二中間訊框406之時間點已由物件414通過之像素之部分422b判定ROI 416之一子集420b。特定言之，移除部分422b對應於一區域，其至少部分地覆蓋第一訊框402及第一中間訊框404但不覆蓋第二中間訊框406中之物件414。
編碼組件208可適用一迭代程序以判定ROI 416之子集420a、420b。更具體而言，對於第一中間訊框404，ROI 416之子集420a藉由將部分422a自ROI 416移除而判定。對於第二中間訊框406，ROI 416之子集420b藉由將一部分自相對於第一中間訊框404判定之子集420a移除而判定。更一般而言，對於繼第一中間訊框404之後的每個中間訊框404至410，ROI 416之子集藉由將一部分自相對於先前中間訊框判定之子集移除而判定。
藉由t 1,0指代對應於該第一訊框之時間點、藉由t 1,i 指代對應於該等中間訊框之時間點、藉由A 0指代該ROI之面積且藉由A i 指代對應於第i中間訊框之該ROI之子集之面積，該等子集之面積可迭代地計算為
Figure TWI613910BD00002
然而，如上文所進一步提及，應瞭解ROI 416總是設定成至少具 有一覆蓋該物件之大小之面積。
根據一些實施例，在子步驟S08c中，編碼組件208使用該共同編碼品質圖案在判定的子集420a、420b中編碼中間訊框404至410之各者。在移除部分422a、422b中，編碼組件208可編碼具有一編碼品質之中間訊框402至410，該編碼品質係低於(即，具有一更高壓縮位準)藉由相對於該移除部分之編碼品質圖案定義之編碼品質。
在一些情況下，可發生(例如，由於物件移動之預測不與真實的物件移動重合)物件414移出ROI 416。當此發生時，ROI 416可重新定義(例如，放大)，或該方法可再次重新開始，將當該物件已移出ROI 416時之時間點採用為一新開始點。
為發現情況是否如此，編碼組件208可(對於每個欲編碼之訊框)進一步檢查如所關注的訊框中所描繪之移動物件414是否由所關注的該區域覆蓋。如果情況並非如此，則預測組件204可預測該物件在一對應於所關注的訊框之時間點與一隨後時間點(其可或可不與該第二時間點重合)之間的一移動。接著，在物件414之新預測的移動的基礎上，ROI定義組件206可重新定義該ROI使得其在對應於所關注的訊框的該時間點與該隨後時間點之間的預測移動期間覆蓋物件414。接著，當編碼所關注的訊框及對應於一在該隨後時間點之前的時間點之任何後續訊框時，編碼組件208可使用此重新定義的ROI。
應瞭解上文所揭示之方法可再三重複。特定言之，該方法在到達時間t2(即，時間t2視為一開始時間點)後重複。
應瞭解熟習技術者可以許多方式修改上文所描述之實施例且仍使用如上文之實施例中所示之本發明之優點。例如，在訊框序列中可存在若干移動物件。在該情況下，一ROI可按物件定義。不同編碼品質圖案可用於不同ROI。因此，本發明不應該限於所展示之實施例但應該僅藉由隨附之申請專利範圍定義。另外，如熟習技術者所理解， 所展示之實施例可組合。
S02‧‧‧步驟
S04‧‧‧步驟
S06‧‧‧步驟
S08‧‧‧步驟
S08a‧‧‧步驟
S08b‧‧‧步驟
S08c‧‧‧步驟

Claims (14)

  1. 一種用於影像編碼一訊框序列之方法，其包括：接收(S02)描繪一移動物件(414)之一訊框序列，該序列包括一對應於一第一時間點之第一訊框(402)、一對應於隨後一第二時間點之第二訊框(412)，及一或多個對應於中介於該第一及該第二時間點之一或多個時間點的中間訊框(404、406、408、410)；預測(S04)該訊框序列中之該移動物件(414)在該第一時間點與該第二時間點之間之一移動；在該移動物件(414)之該預測移動的基礎上，定義(S06)該等訊框中所關注之一區域(416)，其在該移動物件(414)於該第一時間點與該第二時間點之間的整個預測移動期間覆蓋該移動物件(414)，其中所關注之該區域不會在該等訊框之間改變；且使用定義在所關注之該區域(416)之哪個部分中使用哪個編碼品質之一共同恆定編碼品質圖案，在所關注之該區域(416)中，編碼(S08)該第一訊框(402)，及在所關注的該區域(416)之一子集中，編碼該一或多個中間訊框(404、406、408、410)，其中對於一特定中間訊框，所關注之該區域之該子集在對應於該特定中間影像訊框的該時間點與該第二時間點之間的整個預測移動期間覆蓋該物件，其中該方法進一步包括：對於一第一中間訊框(404)，所關注之該區域之該子集(420a)係藉由將一部分(422a)自所關注之該區域(416)移除來判定，且對於繼該第一中間訊框(404)之後的每個中間訊框(406、408、410)，所關注之該區域之該子集(420b)係藉由將一部分(422b-422a)自當編碼先前中間訊框時所使用之該子集(420a)移除來判 定。
  2. 如請求項1之方法，其中該編碼品質圖案定義欲在所關注之該整個區域(416)中使用之一單一編碼品質。
  3. 如請求項1之方法，其中該編碼品質圖案定義欲在所關注之該區域(416)的不同部分中使用的不同編碼品質。
  4. 如請求項1-3中任一項之方法，其中每個編碼品質對應於壓縮之一位準。
  5. 如請求項1-3中任一項之方法，其中該第一訊框(402)係編碼為一內訊框。
  6. 如請求項1-3中任一項之方法，其中該一或多個中間訊框(404、406、408、410)係編碼為居間訊框。
  7. 如請求項1-3中任一項之方法，其中在所關注之該整個區域(416)中使用該共同編碼品質圖案來編碼該一或多個中間訊框(404、406、408、410)的至少一些訊框。
  8. 如請求項1-3中任一項之方法，其中自所關注之該區域(416)移除之該部分(422a)對應於覆蓋該第一訊框(402)但不覆蓋該第一中間訊框(404)中之該物件之至少部分之一區域，且自當編碼該先前中間訊框時使用之該子集(420a)移除之該部分(422b)對應於至少部分地覆蓋該先前中間訊框但不覆蓋後續中間訊框中之該物件之一區域。
  9. 如請求項1-3中任一項之方法，對於該一或多個中間訊框(404、406、408、410)之各者，其進一步包括在具有一編碼品質之該移除部分(422a、422b)中編碼該中間訊框，該編碼品質係低於由用於該移除部分之該編碼品質圖案所定義之該編碼品質。
  10. 如請求項1-3中任一項之方法，其中所關注之該區域包含一矩 形，其中該矩形之一第一維度覆蓋該移動物件沿該等訊框中之一第一方向在該第一時間點與該第二時間點之間之該預測移動，且該矩形之另一維度覆蓋該移動物件沿一垂直於該等訊框中之該第一方向之第二方向在該第一時間點與該第二時間點之間之該預測移動。
  11. 如請求項1-3中任一項之方法，進一步包括：預測該訊框序列中之該移動物件(414)在該第二時間點與一遲於該第二時間點之第三時間點之間之一移動；在該移動物件之該預測移動的基礎上，定義所關注之一進一步區域(418)，以在該移動物件(414)於該第二時間點與該第三時間點之間的整個預測移動期間覆蓋該移動物件(414)；且當編碼該第二訊框(412)時，使用所關注之該進一步區域(418)。
  12. 如請求項1-3中任一項之方法，進一步包括：對於至少一中間訊框，檢查如在該至少一中間訊框中所描繪之該移動物件是否由所關注的該區域覆蓋，且如果不是則預測該訊框序列中之該移動物件在一對應於該至少一中間訊框之時間點與隨後一第四時間點之間之一移動；在該移動物件之該預測移動的基礎上，重新定義該訊框序列中之所關注之該區域，以在該移動物件於對應於該一或多個中間訊框中之該至少一者之該時間點與該第四時間點之間的整個預測移動期間覆蓋該移動物件；且當編碼該至少一中間訊框時，使用所關注之該重新定義的區域。
  13. 一種電腦程式產品，其包括一具有電腦碼指令之電腦可讀媒體，該電腦碼指令經調適以當藉由一具有處理能力之裝置來執 行時，進行如請求項1至12中之任意一者之方法。
  14. 一種用於影像編碼一訊框序列之編碼器(104)，其包括：一接收器(202)，其經組態以接收描繪一移動物件(414)之一訊框序列，該序列包括一對應於一第一時間點之第一訊框(402)、一對應於隨後一第二時間點之第二訊框，及一或多個對應於中介於該第一及該第二時間點之一或多個時間點之中間訊框(404、406、408、410)；一預測組件(204)，其經組態以預測該訊框序列中之該移動物件(414)在該第一時間點與該第二時間點之間之一移動；一所關注之區域定義組件(206)，其經組態以在該移動物件之該預測移動的基礎上，定義該等訊框中所關注之一區域(416)，其在該移動物件(414)於該第一時間點與該第二時間點之間的整個預測移動期間覆蓋該移動物件(414)，其中所關注之該區域不會在該等訊框之間改變；一編碼組件(208)，其經組態以：使用定義在所關注之該區域之哪個部分中使用哪個編碼品質之一共同恆定編碼品質圖案，在所關注的該區域(416)中，編碼該第一訊框(402)，及在所關注的該區域(416)之一子集中，編碼該一或多個中間訊框，其中對於一特定中間訊框，所關注之該區域之該子集在對應於該特定中間訊框之該時間點與該第二時間點之間的整個預測移動期間覆蓋該物件，其中該編碼組件經進一步組態以：對於一第一中間訊框(404)，所關注之該區域之該子集(420a)係藉由將一部分(422a)自所關注之該區域(416)移除來判定，且對於繼該第一中間訊框(404)之後的每個中間訊框(406、 408、410)，所關注之該區域之該子集(420b)係藉由將一部分(422b-422a)自編碼先前中間訊框時使用之該子集(420a)移除來判定。
TW104135491A 2014-12-03 2015-10-28 用於訊框序列之影像編碼的方法和編碼器 TWI613910B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14196126.8A EP3029937B1 (en) 2014-12-03 2014-12-03 Method and encoder for video encoding of a sequence of frames
??14196126.8 2014-12-03

Publications (2)

Publication Number Publication Date
TW201631973A TW201631973A (zh) 2016-09-01
TWI613910B true TWI613910B (zh) 2018-02-01

Family

ID=52006883

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104135491A TWI613910B (zh) 2014-12-03 2015-10-28 用於訊框序列之影像編碼的方法和編碼器

Country Status (6)

Country Link
US (1) US9936217B2 (zh)
EP (1) EP3029937B1 (zh)
JP (1) JP6119045B2 (zh)
KR (1) KR101715833B1 (zh)
CN (1) CN105681795B (zh)
TW (1) TWI613910B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170359596A1 (en) * 2016-06-09 2017-12-14 Apple Inc. Video coding techniques employing multiple resolution
EP3306528B1 (en) * 2016-10-04 2019-12-25 Axis AB Using image analysis algorithms for providing traning data to neural networks
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
FR3064145A1 (fr) * 2017-03-16 2018-09-21 Orange Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
JP6961443B2 (ja) * 2017-09-29 2021-11-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10869040B2 (en) * 2017-10-29 2020-12-15 Chun-Wei Chan Perceptual multimedia encoding system and method with pre-defined encoding quality patterns
EP3506633A1 (en) * 2017-12-19 2019-07-03 Axis AB Video encoding method and system
US10713517B2 (en) * 2018-09-30 2020-07-14 Himax Technologies Limited Region of interest recognition
CN113132721B (zh) * 2019-12-31 2022-07-19 浙江宇视科技有限公司 视频编码方法、装置、可读存储介质及电子设备
CN111277825A (zh) * 2020-01-19 2020-06-12 浙江工业大学 一种基于海思芯片的码流控制方法
US11936881B2 (en) * 2021-09-30 2024-03-19 Hewlett-Packard Development Company, L.P. Region of interest based image data enhancement in a teleconference

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007024351A2 (en) * 2005-08-26 2007-03-01 Idt Corporation Region of interest tracking and integration into a video codec
JP2010193441A (ja) * 2009-01-26 2010-09-02 Panasonic Corp 動画像処理装置、動画像処理方法および撮像装置
TW201044882A (en) * 2009-06-04 2010-12-16 Ind Tech Res Inst A method and system of region-of-interest coding using constraint variable bitrate control and the related storage media
US8150173B2 (en) * 2004-10-29 2012-04-03 Sanyo Electric Co., Ltd. Image coding method and apparatus, and image decoding method and apparatus
CN102682454A (zh) * 2012-04-28 2012-09-19 中国科学技术大学 一种视频中的感兴趣区域跟踪方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665342B1 (en) * 1999-07-02 2003-12-16 International Business Machines Corporation System and method for producing a still image representation of a motion video
DE10300048B4 (de) 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
JP4241562B2 (ja) * 2004-09-29 2009-03-18 三洋電機株式会社 画像圧縮装置
US8693537B2 (en) 2005-03-01 2014-04-08 Qualcomm Incorporated Region-of-interest coding with background skipping for video telephony
WO2008075779A1 (en) * 2006-12-18 2008-06-26 Fujifilm Corporation Monitoring system, monitoring method and program
US20090022403A1 (en) * 2007-07-20 2009-01-22 Fujifilm Corporation Image processing apparatus, image processing method, and computer readable medium
JP2009253581A (ja) * 2008-04-04 2009-10-29 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム
CN102831442A (zh) * 2011-06-13 2012-12-19 索尼公司 异常行为检测设备和方法及生成该检测设备的设备和方法
JP2013187769A (ja) * 2012-03-08 2013-09-19 Panasonic Corp 符号化装置
WO2014094216A1 (en) 2012-12-18 2014-06-26 Intel Corporation Multiple region video conference encoding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8150173B2 (en) * 2004-10-29 2012-04-03 Sanyo Electric Co., Ltd. Image coding method and apparatus, and image decoding method and apparatus
WO2007024351A2 (en) * 2005-08-26 2007-03-01 Idt Corporation Region of interest tracking and integration into a video codec
JP2010193441A (ja) * 2009-01-26 2010-09-02 Panasonic Corp 動画像処理装置、動画像処理方法および撮像装置
TW201044882A (en) * 2009-06-04 2010-12-16 Ind Tech Res Inst A method and system of region-of-interest coding using constraint variable bitrate control and the related storage media
CN102682454A (zh) * 2012-04-28 2012-09-19 中国科学技术大学 一种视频中的感兴趣区域跟踪方法及装置

Also Published As

Publication number Publication date
EP3029937A1 (en) 2016-06-08
JP2016111694A (ja) 2016-06-20
KR20160067032A (ko) 2016-06-13
CN105681795A (zh) 2016-06-15
EP3029937B1 (en) 2016-11-16
JP6119045B2 (ja) 2017-04-26
TW201631973A (zh) 2016-09-01
KR101715833B1 (ko) 2017-03-13
US9936217B2 (en) 2018-04-03
CN105681795B (zh) 2018-02-13
US20160165257A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
TWI613910B (zh) 用於訊框序列之影像編碼的方法和編碼器
WO2021114846A1 (zh) 一种视频降噪处理方法、装置及存储介质
CA2883133C (en) A video encoding method and a video encoding apparatus using the same
EP2536143B1 (en) Method and a digital video encoder system for encoding digital video data
WO2018161868A1 (zh) 帧内编码帧码率分配方法、计算机设备和存储介质
KR20170063895A (ko) 비디오 코딩을 위한 해시 기반 인코더 결정
KR20150009578A (ko) 비디오 인코딩을 위한 모션 센서 보조 레이트 제어
JP2019068248A (ja) 画像処理装置、画像処理方法、及びプログラム
KR102424258B1 (ko) 비디오를 인코딩하기 위한 방법 및 인코더 시스템
WO2015188585A1 (zh) 图像编码方法和装置以及图像解码方法和装置
JP2023521295A (ja) 映像符号化データをシグナリングするための方法
JP6707334B2 (ja) リアルタイム符号化のための方法及び装置
CN107018413A (zh) 视频编码方法和视频编码器系统
CN108713318A (zh) 一种视频帧的处理方法及设备
JP2015027022A (ja) 動画像符号化装置、動画像符号化方法、およびプログラム
CN109151476B (zh) 一种基于双向预测的b帧图像的参考帧生成方法及装置
JP5100572B2 (ja) 符号化装置
JP2023507911A (ja) ピクチャに対して漸進的復号化リフレッシュ処理を行うための方法及びシステム
Kim et al. A content-aware video encoding scheme based on single-pass consistent quality control
CN105357494B (zh) 视频编解码方法、装置
CN109788288B (zh) 码率控制中i帧量化步长的估算方法及装置
TWI493942B (zh) 動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式
JP2008099175A (ja) 動画符号化装置および動画符号化方法
US20220124339A1 (en) Image processing device and method of pre-processing images of a video stream before encoding
JP2014053831A (ja) 符号化装置