TWI764352B - 使用凸和凹分佈函數對複數個影像訊框進行框內更新編碼之方法 - Google Patents

使用凸和凹分佈函數對複數個影像訊框進行框內更新編碼之方法

Info

Publication number
TWI764352B
TWI764352B TW109138161A TW109138161A TWI764352B TW I764352 B TWI764352 B TW I764352B TW 109138161 A TW109138161 A TW 109138161A TW 109138161 A TW109138161 A TW 109138161A TW I764352 B TWI764352 B TW I764352B
Authority
TW
Taiwan
Prior art keywords
frame
pixel block
image
image frame
distribution function
Prior art date
Application number
TW109138161A
Other languages
English (en)
Other versions
TW202127888A (zh
Inventor
星 范
瑪雅 旭
馬堤亞斯 彼得森
亞當 史奇爾 科伯
費德立克 皮爾
瑪格納斯 索德達爾
彼得 威荷姆森
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202127888A publication Critical patent/TW202127888A/zh
Application granted granted Critical
Publication of TWI764352B publication Critical patent/TWI764352B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明係關於視訊編碼，且具體而言係關於可基於自一先前更新計算起之影像訊框之一計數調適影像訊框細分之框內更新之概率並透過凸或凹形分佈函數調變之一種方法及一種編碼器。亦提供經組態以採用該視訊編碼方法之一種電腦程式產品、一種編碼器及一種監視裝置。

Description

使用凸和凹分佈函數對複數個影像訊框進行框內更新編碼之方法
本發明係關於視訊編碼，且具體而言係關於可基於自一先前更新計算起之影像訊框之一計數調適影像訊框細分之框內更新之概率並透過凸或凹形分佈函數調變之一種方法及一種編碼器。
H.264編碼，及利用框間預測之其他壓縮標準之一常見問題係I訊框位元率尖波。此問題對於監控攝像機更嚴重，此乃因大量攝像機可存在於同一網絡上且此乃因一典型監控場景具有一極大(x10 - x100)I訊框對P訊框大小比率。理想地，網絡將更喜歡一恆定位元率。
減少一攝像機之位元率尖波之一個解決方案係在複數個影像訊框內擴展I訊框，且改為使每一影像訊框之一部分(框內更新區域)強制編碼為I區塊。框內更新區域跨越一組影像訊框內之影像訊框移動，藉此「更新」影像。此方法被稱為週期性框內更新或僅框內更新。
框內更新編碼可達成一相對平滑位元率並終止或減少由傳輸損失導致之誤差傳播。一高框內更新速率對於事件之偵測及保留一視訊串流中之精細細節係較佳的。然而，一較高更新速率亦伴隨著一較高位元率要求。利用框內更新編碼，以及全訊框更新編碼(例如，訊框內編碼)之另一顧慮係位元率通常均勻地分佈在整個影像訊框內，且並非根據所關注區域(ROI)。
因此，技術領域內存在改良空間。
本發明之一目標係提供框內更新編碼之經改良方式。特定而言，一目標係提供對在其位元率配置中依賴於ROI之框內更新編碼進行改良之方法、編碼器、軟體及監視系統。
根據本發明之一第一態樣，提供一種用於對一視訊串流之一影像訊框序列進行框內更新編碼之方法。該方法包括：判定複數個分佈函數。在該複數個分佈函數內，每一分佈函數界定該視訊串流中之一影像訊框之一處理單元相對於自該視訊串流中之一先前影像訊框之一空間上對應處理單元被框內更新計算起已經過之訊框之一數目之框內更新之一概率。該複數個分佈函數中之一第一分佈函數對應於具有一凸形狀之一累積分佈函數。該複數個分佈函數中之一第二分佈函數對應於具有一凹形狀之一累積分佈函數。
該方法進一步包括：接收包括於該視訊串流中之一影像訊框。
對於該經接收影像訊框中之每一處理單元，該方法進一步包括： •  判定界定自該視訊串流中之一先前影像之一空間上對應處理單元被框內更新計算起在該視訊串流中已經過多少個影像訊框之一訊框計數。 •  判定該處理單元對應於該影像訊框之一高相關性區域還是一低相關性區域。 •  在判定該處理單元對應於一高相關性區域之後，旋即關於該經判定訊框計數應用該第一分佈函數以判定是否應對該處理單元進行框內更新。 •  在判定該處理單元對應於一低相關性區域之後，旋即關於該經判定訊框計數應用該第二分佈函數以判定是否應對該處理單元進行框內更新。 •  若判定對該處理單元進行框內更新，則對該經接收影像訊框之該處理單元進行框內編碼。
框內編碼或訊框內編碼係指例如藉由與毗鄰或附近像素進行顏色比較來利用一數位影像訊框中之像素之空間冗餘。術語訊框內編碼係指以下事實：相對於僅包含在當前訊框中之資訊，而不相對於視訊序列中之任何其他訊框執行各種無損及有損壓縮技術。
為了編碼，或藉由一編碼器，影像訊框可被細分成複數個處理單元。一處理單元可通常包括複數個像素。處理單元之替代專門用語之實例包含例如像素巨集區塊(MB)、像素區塊(BOP)、編碼樹單元及超區塊之群組。影像訊框可被細分成若干個大小相等的處理單元。處理單元亦可在大小上跨越影像訊框變化。處理單元可在空間上對應於一視訊串流中之先前及後續訊框。藉由此，對於後續影像訊框，可理解處理單元可部分重疊、完全重疊、保持靜止或至少保持在影像訊框之相同空間區域中。處理單元可在後續影像訊框之間在大小及位置上改變例如以跟隨一視訊串流中之一移動物體或慮及擷取視訊串流之一源裝置之移動。
ROI偵測/判定係關於根據該等區域可對於一觀察者之相關程度對一影像訊框之不同空間區域或處理單元進行偵測及分類。如何判定相關性及用於此判定之準則可隨著應用變化。利用ROI偵測之一種編碼方法係由Axis Communications提供之Zipstream演算法。此演算法之部分舉例而言闡述於歐洲專利申請案第EP3021583號中，該申請案特此以引用方式併入。Zipstream演算法加權諸如像素冗餘之空間態樣與諸如訊框之間的經繪示物體之移動之時間態樣。
一影像訊框中之區域之相關性可藉由與一ROI臨限值之定量或定性比較來判定。可使用臨限值將影像訊框劃分成例如高、低及中等相關性區域。
訊框之一數目或訊框計數係指自影像訊框之空間區域(例如，處理單元)被最後框內更新(亦即強制為框內編碼)計算起在視訊串流中之訊框之一數目。
一累積分佈函數(CDF)輸出自0至1之一值，該值對應於一事件對於某些輸入值將發生之一0至100%概率。在本申請案中，事件係是否應對一影像訊框之一處理單元進行框內更新，且輸入值係自影像訊框之空間區域或對應處理單元被最後框內更新計算起之訊框之計數。
凸及凹形狀暗指，對於凸情形，CDF曲線具有一負二階導數，或對於凹情形，CDF曲線具有一正二階導數。若CDF分別係部分或完全凸或凹的，則其可被視為凸或凹的。一凸CDF之一實例係為完全凸的指數分佈CDF。一至少部分凹CDF之一實例係常態分佈CDF，該常態分佈CDF在其變凸之前最初(自起點開始)係凹的，且在達到100%概率之前變平。可理解，除了本文中所論述之CDF實例之外，還可使用導致凸或凹概率之其他數學函數來執行本發明。分佈函數亦可由查找表界定，該等查找表未必基於數學函數。由於曲線之x軸以預估步長(discreet step)對應於訊框，因此一表可不需要較最長可接受框內更新速率多的個別值。
將實質上凸的第一分佈函數應用於影像訊框之高相關性區域可甚至在低訊框計數處增加框內更新之概率。此保存其中係最相關的視訊串流品質，從而允許更好地保留訊框中之有趣細節。換言之，將相對更頻繁地對一高相關性區域中之處理單元進行框內更新。
將實質上凹的第二分佈函數應用於影像訊框之低相關性區域可降低框內更新之概率。此保存位元率使用，使得其可用於其他資料，諸如，例如高相關性區域。第二分佈函數將最終在已經過一特定數目之訊框之後亦達成較高框內更新概率，從而確保低相關性區域不凍結而是最終且可預測地更新。
有利地，本發明之實施例亦促進位元率之低複雜性調整以匹配一資料傳輸通道之位元率能力或以其他方式設定位元率要求。
而且，對於其中對應處理單元之一相關性在影像訊框之間改變之情形，本發明之實施例允許一處理單元之框內更新概率之間的一低複雜性轉移。
根據某些實施例，第一分佈函數界定在一第一臨限值數目之訊框之後的一處理單元之框內更新之一100%概率。第二分佈函數界定在一第二臨限值數目之訊框之後的一處理單元之框內更新之一100%概率。第一臨限值數目之訊框小於第二臨限值數目之訊框。
此等實施例藉由本質上組態分佈函數曲線以在一預設臨限值處達成框內更新之100%概率來提供框內更新程序之可靠性、靈活性及預測性。有利地，CDF係可調整的以滿足一位元率要求，同時亦以一充足速率提供高相關性區域之框內更新。因此，低相關性區域之平均更新速率可保持為高，而不犧牲高相關性區域。
根據某些實施例，第一分佈函數界定在一第一臨限值數目之訊框之後的一處理單元之框內更新之一100%概率。第二分佈函數界定在一第二臨限值數目之訊框之後的一處理單元之框內更新之一100%概率。第一臨限值數目之訊框等於第二臨限值數目之訊框。
此等實施例確保，低相關性與高相關性處理單元兩者可具有一共同訊框數目，此後其將始終最遲進行框內更新。此實施例之一個優點係視訊可以大致對應於一圖片群組(GOP)長度之最低更新速率進行更新。因此，當試圖載入一特定影像訊框時，使必須載入之先前影像訊框之數目保持為較低。當在一經記錄視訊串流中進行清除(資料清除、記憶體清除)時，此係尤為有用的。
根據某些實施例，該方法進一步包括以下步驟：接收該視訊串流中之一影像訊框之低相關性區域與高相關性區域之間的一比率。該等第一及第二分佈函數可鑒於該經接收比率來判定。
該比率可例如係當前影像訊框中之高相關性區域之數目與低相關性區域之數目之間的一比率。此等實施例允許位元率之高效分佈。藉由此實施例，可能達成不實質上改變而是使可用位元率源最佳地分佈在每一影像訊框內之一平衡或一致位元率。
根據某些實施例，第一及第二分佈函數經組態使得，平均而言，對於該視訊串流之每一影像訊框，將一實質上相等數目之處理單元判定為進行框內更新。
每影像訊框被框內更新之一相等數目之處理單元可實質上與達成不顯著波動之一穩定位元率相關。此可藉由例如變更用於界定第一及第二分佈函數之形狀/梯度之值，以及調諧訊框之任何臨限值數目來達成，其中CDF界定一處理單元之框內更新之一100%概率。
根據某些實施例，複數個分佈函數包括係具有一線性形狀之一累積分佈函數之一第三分佈函數。該方法接著進一步包括：對於該經接收影像訊框中之每一處理單元： •  判定該處理單元是否對應於該影像訊框之一中等相關性區域。 •  在判定該處理單元對應於一中等相關性區域之後，旋即關於該經判定訊框計數應用該第三分佈函數以判定是否應對該處理單元進行框內更新。
低相關性區域與高相關性區域之間的此一中間地帶可為編碼提供更多靈活性，此乃因可使用ROI分類之兩個以上相關性位準來最佳化或平衡位元率使用。
根據某些實施例，該方法進一步包括以下步驟：對於該視訊串流之每一影像訊框，接收指示該影像訊框中之每一處理單元之一相關性位準之資料。
此等實施例可本質上促進用於更新相關性位準之一分佈式實施方案架構。因此，相關性位準之計算可由一單獨裝置或單元來執行
根據某些實施例，對於該視訊串流之每一影像訊框，該方法進一步包括以下步驟： •  計算該處理單元中之像素值之一總和、一平均值或一中位數以形成用於該處理單元之一群組值。 •  計算該影像訊框中之空間上相鄰處理單元之群組值之間的差以使每一處理單元與一差值相關聯。 •  藉由比較該相關聯差值與一預設臨限值，判定該影像訊框中之每一處理單元之一相關性位準。若該差值等於或高於該臨限值，則將該處理單元識別為對應於一高相關性區域。另一選擇係，若該差值低於該臨限值，則將該處理單元識別為對應於一低相關性區域。
此等實施例提供可用於判定處理單元之相關性位準之一處理單元中之像素之特性，例如其顏色、亮度或反差比之平均值。
根據某些實施例，對於該視訊串流之每一影像訊框，該方法進一步包括以下步驟: •  計算該處理單元中之像素值之一總和、一平均值或一中位數以形成用於該處理單元之一群組值。 •  計算該影像訊框中之空間上相鄰處理單元之群組值之間的差以使每一處理單元與一差值相關聯。 •  藉由比較該相關聯差值與一第一及第二預設臨限值，判定該影像訊框中之每一處理單元之一相關性位準。若該差值等於或高於第一臨限值，則將該處理單元識別為對應於一高相關性區域。另一選擇係，若該差值在第一臨限值與第二臨限值之間，則將該處理單元識別為對應於一中等相關性區域。進一步，另一選擇係，若該差值低於第一臨限值及第二臨限值，則將該處理單元識別為對應於一低相關性區域。
此等實施例蘊含類似優點，此乃因一處理單元中之像素之特性，例如其顏色、亮度或反差比之平均值，可用於判定處理單元之相關性位準，然而現在可獲得一較大數目之相關性位準。因此，達成影像中之不同區域之一粒度更精細之框內更新速率。
根據某些實施例，一影像訊框之一處理單元由一或多個巨集區塊、編碼樹單元或超區塊組成。
此可係有利的，此乃因此等類型之處理單元可與諸多視訊串流格式及編碼方法相容。
根據某些實施例，視訊串流包括一第一及一第二緊接著的影像訊框。對於該第一影像訊框，將一第一處理單元判定為對應於一高相關性區域。對於該第一處理單元，應用該第一分佈函數以判定是否應對該第一處理單元進行框內更新。對於該第二影像訊框，將空間上對應於該第一處理單元之一第二處理單元判定為對應於一低相關性區域，其中對於該第二處理單元，應用該第二分佈函數以判定是否應對該第二處理單元進行框內更新。
此等實施例規定用於一視訊串流之後續影像訊框中之空間上對應處理單元之更新概率曲線之間的快速轉移。更具體而言，規定自一凸形曲線(第一分佈函數)至一凹形曲線(第二分佈函數)之轉移。有利地，本發明之實施例以一低複雜性及可靠方式處理影像訊框之空間上對應處理單元之相關性位準之突然改變。
此之一進一步優點係，即使在分佈函數之間改變時亦可保持自最後更新計算起之計數器。此確保可避免彼等改變期間之不必要頻繁更新，此係良好的，此乃因其使位元率保持下降。同時，兩個更新之間的時間將不變得較當前分佈函數所規定的長。
根據某些實施例，視訊串流包括一第一及一第二緊接著的影像訊框。對於該第一影像訊框，將一第一處理單元判定為對應於一低相關性區域。對於該第一處理單元，應用該該第二分佈函數以判定是否應對該第一處理單元進行框內更新。對於該第二影像訊框，將空間上對應於該第一處理單元之一第二處理單元判定為對應於一高相關性區域。對於該第二處理單元，應用該第一分佈函數以判定是否應對該第二處理單元進行框內更新。
此等實施例亦規定更新概率曲線之間的快速轉移，但現在轉移係自一凹形曲線(第二分佈函數)至一凸形曲線(第一分佈函數)。有利地，本發明之實施例以一低複雜性及可靠方式處理影像訊框之空間上對應處理單元之相關性位準之突然改變。
特定而言，此實施例對於當視訊串流之先前不感興趣之部分變得與一單個訊框更新相關時之情形將係有利的。例如，若處理單元且或許甚至毗鄰處理單元之所有像素顏色瞬間改變，或若影像訊框之一空間區域內之物體之移動突然增加，則情形可係如此。此等情況兩者皆可提示需要相關處理單元或空間區域中之一立即增加之框內更新概率。
根據本發明之一第二態樣，提供一種電腦程式產品，該電腦程式產品包括其上儲存有電腦程式碼指令之一非暫時性電腦可讀媒體，該等電腦程式碼指令經調適用於在由具有處理能力之一裝置執行時執行本發明之第一態樣之方法。
此一電腦程式產品達成由本發明之第一態樣先前提供之方法且因此蘊含類似優點。
根據本發明之一第三態樣，提供一種用於對一視訊串流之一影像訊框序列進行框內更新編碼之編碼器。該編碼器包括經組態以判定複數個分佈函數之電路，每一分佈函數界定視訊串流中之一影像訊框之一處理單元相對於自視訊串流中之一先前影像訊框之一空間上對應處理單元被框內更新計算起已經過之訊框之一數目之框內更新之一概率。該複數個分佈函數中之一第一分佈函數對應於具有一凸形狀之一累積分佈函數。該複數個分佈函數中之一第二分佈函數對應於具有一凹形狀之一累積分佈函數。該編碼器電路進一步經組態以接收包括於該視訊串流中之一影像訊框。對於該經接收影像訊框中之每一處理單元，該編碼器電路進一步經組態以： •  判定界定自該視訊串流中之一先前影像之一空間上對應處理單元被框內更新計算起在該視訊串流中已經過多少個影像訊框之一訊框計數。 •  判定該處理單元對應於該影像訊框之一高相關性區域還是一低相關性區域。 •  在判定該處理單元對應於一高相關性區域之後，旋即關於該經判定訊框計數應用該第一分佈函數以判定是否應對該處理單元進行框內更新。 •  在判定該處理單元對應於一低相關性區域之後，旋即關於該經判定訊框計數應用該第二分佈函數以判定是否應對該處理單元進行框內更新。 •  若判定進行框內更新，則對該經接收影像訊框之該處理單元進行框內編碼。
此一編碼器達成由本發明之第一態樣提供之方法且因此蘊含類似優點。
如熟習此項技術者所理解，編碼器之電路可由一或多個處理器、ASIC等或處理器、ASIC之一組合來體現。
根據本發明之一第四態樣，提供一種監視裝置，該監視裝置包括一影像感測器及根據本發明之第三態樣之一編碼器。該編碼器經組態以連續接收由影像感測器擷取之影像訊框。
此等監視裝置可利用由本發明之其他態樣提供之方法、電腦程式產品及編碼器且可如此蘊含類似優點。特定而言，位元率優點對於一遠端監視裝置、視情況具有複數個監視裝置之一監視系統之部分係較佳的，其中大量資料由影像感測器記錄，且接著有線或無線地傳輸至一中央控制站。在此一系統中，可限制傳輸帶寬且因此亦位元率。不可預測位元率波動亦可係有問題的，且隨時間之一恆定位元率使用係較佳的。對於具有複數個監視裝置之一系統，情形更係如此。
該等第二、第三及第四態樣通常可具有與該第一態樣相同之特徵及優點。應進一步注意，除非以其他方式明確陳述，否則本發明係關於特徵之所有可能組合。
下文將參照其中展示本發明之實施例之隨附圖式來更全面地闡述本發明。將在操作期間描述本文中所揭示之系統及裝置。
圖1展示用於對一視訊串流之一影像訊框序列進行框內更新編碼之一方法之一流程圖。圖11中圖解說明一例示性影像訊框200。視訊串流可包括一短影像訊框序列，例如幾秒長或一連續串流，理想地該等串流不中斷。視訊串流可源自具有諸如一攝像機之一影像感測器之一裝置。影像感測器可設置為連續或間歇地記錄一場景之一監視裝置之部分。如此，視訊串流可包括繪示該場景之影像訊框。
圖11展示一影像訊框200，其包括對應於影像訊框200之一空間區域之至少一個處理單元210。在該圖之實例中，影像訊框200被細分成大小相等的正方形處理單元。
該影像訊框序列中之一第二影像訊框(未展示)包括空間上對應於第一影像訊框100之處理單元210之一處理單元。藉由此，其可係相同的，亦即，在大小、形狀及位置上，或僅與第一影像訊框之一處理單元完全或部分地重疊。空間對應可基於影像訊框之像素坐標來判定。一像素坐標可以(x, y)之形式來闡述。第一像素坐標值x可例如判定相對於影像訊框之一垂直邊緣之水平位置，且第二像素坐標值y可例如判定相對於影像訊框之一水平邊緣之垂直位置。
例如，自像素(1, 1)至像素(30, 20)之一矩形可係第一影像訊框之處理單元。若第二影像訊框之處理單元對應於自像素(1, 1)至像素(30, 20)之一矩形，則處理單元係相同的。若第二影像訊框之處理單元將對應於自像素(10, 10)至像素(30, 30)之一矩形，此將意指處理單元彼此重疊。在此兩個情形以及其他情形中，第二影像訊框之處理單元空間上對應於第一影像訊框之處理單元。
具有改變的尺寸、大小及/或位置之一處理單元210可稱為一動態處理單元。處理單元可設置為隨時間改變尺寸、大小及/或位置。
在動態處理單元(例如可在大小上改變之處理單元210)之情形下，追蹤影像之任意小部分何時被最後更新可係相關的。在某些情景中，甚至個別像素可具有與該等像素相關聯之計數器。動態處理單元大小將意指可適應處理單元210之改變之動態計數器區域大小或如此小的計數器區域(諸如巨集區塊)。
動態處理單元大小之一進一步暗指係一處理單元210之不同子區域自更新計算起可具有不同數目之訊框。處置此之一種方式可係在處理單元210內使用最高計數器。一更先進解決方案可係使不同時期之間的比例影響曲線選擇及/或形狀。
一影像訊框200之一處理單元210可包括或由一或多個巨集區塊、編碼樹單元或超區塊組成。換言之，一處理單元210包括至少一個像素群組。
該方法包括以下步驟：判定S02複數個分佈函數，每一者界定視訊串流中之一影像訊框200之一處理單元210相對於自視訊串流中之一先前影像訊框之一空間上對應處理單元被框內更新計算起已經過之訊框之一數目fc (在圖6至圖10中稱為fc )之框內更新之一概率p (在圖6至圖10中稱為p )。自發生最後更新事件計算起之訊框之數目fc (亦稱為訊框計數)可記錄及儲存在一查找表中。因此，查找表可包括針對每一處理單元之一最近更新訊框之一指示。換言之，因此，查找表可包括針對每一處理單元之自處理單元之一最近框內更新計算起已經過多少個訊框之一指示。
可記錄及儲存每處理單元210之訊框計數fc。可記錄及儲存影像訊框200之每像素之訊框計數fc。每像素之訊框計數fc之一平均值或中位數可經計算且用作處理單元210或包括經估計像素之影像訊框200之空間區域之訊框計數值。每像素訊框計數fc之平均值或中位數可用於促進處理單元大小或尺寸之變更。
使用平均值/中位數訊框計數fc之替代方案可係讓最高訊框計數fc用於整個處理單元210。若大多數像素共用一訊框計數fc，則可用於整個處理單元210，而不慮及其他訊框計數fc。
訊框計數fc可理解為對應於一時間值。藉由將訊框計數fc除以例如一視訊串流之一每秒框數(FPS)值，可計算此時間值。
框內更新之概率p可係0或1之間的一值，其中p=0對應於框內更新之0%概率且p=1對應於框內更新之100%概率。概率p可透過隨機數產生(RNG)來調變，以輸出用於框內更新判定之一確定真或假狀態。
一處理單元之訊框計數fc可儲存在一查找表或一訊框計數圖中。如此，動態處理單元尺寸及位置變得更加可行。
複數個分佈函數包括分別在圖6及圖7中所例示之具有一凸形狀之一第一分佈函數110，以及具有一凹形狀之一第二分佈函數120。複數個分佈函數可另外包括一第三分佈函數130，該第三分佈函數係具有一線性形狀之一累積分佈函數，如由圖10中之實例所圖解說明。熟習此項技術者應理解複數個分佈函數可仍包括其他分佈函數。
第一分佈函數110對應於具有一凸形狀之一CDF。一凸形狀可闡述為第一分佈函數曲線相對於訊框計數具有一負值之二階導數。形狀可係完全或部分凸的。在某些實施例中，第一分佈函數110可對應於一指數分佈CDF之至少部分。圖6展示指數分佈CDF曲線之實例。
指數分佈CDF可以數學方式闡述為：
Figure 02_image001
其中p表示框內更新之概率，fc表示訊框計數，且λ表示界定曲線係凸的程度之一任意值。圖6之三個曲線展示具有不同λ值之三個CDF曲線。虛線具有最低λ值，點線具有最高λ值，且實線具有恰好在虛線值與點線值之間的一λ值。
圖7之第二分佈函數120對應於具有一大部分凹形狀之一CDF。一凹形狀可闡述為第二分佈函數曲線相對於訊框計數具有一正值之二階導數。形狀可係完全或部分凹的。在某些實施例中，第二分佈函數120可對應於一常態分佈CDF之至少部分。
圖7展示可被考慮之常態分佈CDF曲線之實例。第二分佈函數120可界定為一常態分佈CDF之部分，例如，朝向較低訊框計數fc值之凹部分，其中概率p接近0%。
常態分佈CDF可以數學方式闡述為：
Figure 02_image003
其中，p表示框內更新之概率，fc表示訊框計數，µ表示對應於常態分佈之平均值之一任意值，且σ表示對應於常態分佈之標準差之一任意值。µ之值可判定曲線居中處之訊框計數，且σ之值可判定曲線以凸方式及以凹方式兩者傾斜之等級。圖7之三個曲線展示具有相同µ值但具有不同σ值之三個CDF曲線。虛線具有最低σ值，點線具有最高σ值，且實線具有恰好在虛線值與點線值之間的一σ值。
本質上，可考慮將係部分地或全部凸、凹或線性之任何曲線或函數分別用於第一、第二及第三分佈函數110、120、130。
分佈函數110、120、130可在使用前藉由例如使其任意垂直地或水平地偏移，鏡射或翻轉曲線，引入與分佈相乘之一任意因子來調變。以上之任何組合亦係可用的。
第一分佈函數110可界定一處理單元210在一第一臨限值數目之訊框ft1之後的框內更新之一100%概率p。第二分佈函數界定一處理單元210在一第二臨限值數目之訊框ft2之後的框內更新之一100%概率。第一臨限值數目之訊框ft1可低於第二臨限值數目之訊框ft2。第一臨限值數目之訊框ft1可等於第二臨限值數目之訊框ft2。第一臨限值數目之訊框ft1亦可大於第二臨限值數目之訊框ft2。臨限值ft1、ft2可理解為對應於一時間值。藉由將臨限值ft1、ft2除以例如一視訊串流之一FPS值，可計算此時間值。
圖8中展示之第一臨限值數目之訊框ft1可經選擇以藉由本質上水平壓縮或拉伸曲線使得臨限值ft1對應於最低訊框計數fc來界定第一分佈函數110，該最低訊框計數fc至少實質上對應於框內更新之一100%概率。
圖9中展示之第二臨限值數目之訊框ft2可經選擇以藉由本質上水平壓縮或拉伸曲線使得臨限值ft2對應於最低訊框計數fc來界定第二分佈函數120，該最低訊框計數fc至少實質上對應於框內更新之一100%概率。
分佈函數110、120、130亦可包含臨限值，該等臨限值在達到例如一特定訊框計數fc或概率值p之後用相對於訊框計數fc之概率p之一固定值替換曲線。圖13展示在ft2處垂直截止之一常態分佈CDF，指示例如可如何判定超過一訊框計數臨限值之所有訊框計數fc對應於p=1，亦即，框內更新之100%概率。
選擇臨限值亦可藉由降低以上函數中之p=1位準來達成，如在圖14中所圖解說明，圖14展示在ft2或p=1處水平截止之一類似常態分佈CDF。此可導致曲線較早達到100%概率。此亦可將曲線限制為僅係凹的，直至達到p=1，而不是圖7之實例。可將此理解為使用CDF之形狀，而非按慣例界定之一CDF，如此，可不針對p＞1之值來界定一CDF。降低位準p=1可藉由簡單地對圖表中p軸上之值進行分級來達成。分級可包括針對曲線上之點乘以每一p值。針對p＞1之所得值可接著被替換為p=1，此乃因框內更新之概率可不超過100%。
此等實施例藉由替換在已達到一無限訊框計數之後實際上僅達到框內更新之100%概率之CDF曲線之尾部來為框內更新程式提供可靠性及預測性。
應注意，分佈函數之實際實施方案可變化。舉例而言，每一分佈函數可由概率值之一向量來界定，界定概率值(界定框內更新之一概率)之每一者將針對一處理單元來進行，此取決於： •  自視訊串流中之一先前影像訊框之一空間上對應處理單元被框內更新計算起已經過多少個訊框fc，及 •  處理單元之相關性。
舉例而言，第一分佈函數110可由以下概率向量來界定：[0, 40, 70, 85, 93, 96, 98, 99, 100] (8係用於第一分佈函數110之臨限值ft1)。
舉例而言，第二分佈函數120可由以下概率向量來界定：[0, 1, 2, 4, 8, 16, 32, 64, 100] (8係用於第二分佈函數120之臨限值ft2)。
此等向量亦可藉由將其內之所有值與一或多個分級因子相乘來分級。如此，可沿著訊框計數fc軸，壓縮或拉伸由向量界定之曲線，亦即圖6至圖10之水平軸。若分級因子小於1及/或找到分級曲線與p=1相交之一相交點，則此方法可需要外推p值。
熟習此項技術者應理解，修改向量之其他數學方法，且因此函數及曲線亦係可能的。本文中使用之數值僅為提供實例，且熟習此項技術者應理解其他值係完全可能的。
該方法可進一步包括以下步驟：接收S05視訊串流中之一影像訊框200之低相關性區域214與高相關性區域212之間的一比率，其中第一及第二分佈函數110、120係鑒於該經接收比率來判定。圖2之流程圖包含此額外步驟。例如，該比率可係一影像訊框中之高相關性區域112之數目與低相關性區域114之數目之間的一比率。另一選擇係，該比率可與藉由各別相關性區域進行之實際區域涵蓋範圍之一比率有關。第一及第二分佈函數110、120可經組態使得，平均而言，對於視訊串流之每一影像訊框200，將一實質上相等數目之處理單元210判定為進行框內更新。此可藉由修改分佈函數110、120 (藉由，例如與一分級因子相乘或使曲線偏移)來達成。
該方法可進一步包括以下步驟：針對視訊串流之每一影像訊框200，接收S07指示影像訊框200中之每一處理單元210之一相關性位準之資料。圖2之流程圖包含此額外步驟。相關性位準可係指處理單元210或影像訊框中之空間區域是否對應於例如一高相關性區域212、一低相關性區域214或中等相關性區域216。可考慮進一步或替代相關性位準。
圖1之方法進一步包括：接收S04包括於視訊串流中之一影像訊框200。對於經接收影像訊框200中之每一處理單元，該方法進一步包括：判定S06界定自視訊串流中之一先前影像之一空間上對應處理單元被框內更新計算起在視訊串流中已經過多少個影像訊框之一訊框計數fc。
對於經接收影像訊框200中之每一處理單元210，該方法進一步包括：判定S08處理單元210對應於影像訊框200之一高相關性區域212還是一低相關性區域214。在判定處理單元210對應於一高相關性區域212之後，該方法包括：關於經判定訊框計數fc應用S10a第一分佈函數110以判定是否應對處理單元210進行框內更新。在判定處理單元210對應於一低相關性區域之後，該方法包括：關於經判定訊框計數fc應用S10b第二分佈函數120以判定是否應對處理單元210進行框內更新。
對於經接收影像訊框200中之每一處理單元210，該方法可進一步包括：判定S09處理單元是否對應於影像訊框200之一中等相關性區域216。在判定處理單元210對應於一中等相關性區域216之後，該方法可包括：關於經判定訊框計數fc應用S10c第三分佈函數130以判定是否應對處理單元210進行框內更新。圖3之流程圖包含此等額外步驟。
藉由應用第一、第二或第三分佈函數110、120、130，框內更新之一概率p輸出為一輸入訊框計數fc之一結果。
關於一處理單元210或空間上對應區域是否被判定為一高相關性區域212或一低相關性區域214之資料可記錄及儲存於一查找表中。相關性之其他分級亦可存在且可類似地記錄及儲存。
圖4圖解說明該方法可如何進一步包括以下步驟：針對視訊串流之每一影像訊框200，計算S21處理單元210中與特定像素相關聯之像素值之一總和、一平均值或一中位數以形成處理單元210之一群組值。一像素值，亦即，一像素特定值，可例如與該像素之顏色或亮度有關。另一選擇係，像素值可與像素相對於毗鄰像素之一反差比有關。
圖4進一步圖解說明該方法可如何進一步包括以下步驟：計算S23影像訊框200中之空間上鄰近處理單元210之群組值之間的差以使每一處理單元210與一差值相關聯。該方法可進一步包括：藉由比較S27相關聯差值與一預設臨限值來判定S25影像訊框200中之每一處理單元210之一相關性位準。若該差值等於或高於該臨限值，則該方法可進一步包括：將處理單元210識別S29a為對應於一高相關性區域212。若該差值低於該臨限值，則該方法可進一步包括：將處理單元210識別S29b為對應於一低相關性區域214。
另一選擇係，且在圖5中所展示，判定S25影像訊框中之每一處理單元210之一相關性位準之方法可包括：比較S28相關聯差值與一第一及第二預設臨限值。若該差值等於或高於第一臨限值，則該方法可進一步包括：將處理單元210識別S29a為對應於一高相關性區域212。若該差值在第一臨限值與第二臨限值之間，則該方法可進一步包括：將處理單元210識別S29c為對應於一中等相關性區域216。若該差值低於第一臨限值及第二臨限值，則該方法可進一步包括：將處理單元210識別S29b為對應於一低相關性區域214。
應注意，可採用任何其他適合量測來判定一處理單元之一相關性位準。舉例而言，各別處理單元中之一運動位準可用作一量測，其中具有一高運動位準(亦即，與先前影像訊框中之空間上對應處理單元相比，處理單元之像素資料/值之差大)之一處理單元被視為較具有一較低運動位準之一處理單元更重要。另一實例包含每一處理單元內之邊緣偵測，其中包括較多邊緣之一處理單元可被視為較具有較少邊緣之一處理單元更具相關性。相關性位準可由一外部感測器，諸如一運動感測器、熱攝像機、次級攝像機、雷達或其他類型之感測器來觸發或判定。
圖1之方法進一步包括：對於經接收影像訊框200中之每一處理單元210，若判定對該處理單元進行框內更新，則對經接收影像訊框之處理單元進行框內編碼S12。框內更新自身可根據熟習此項技術者可用之習用框內更新方法來執行。
視訊串流可包括一第一及一第二緊接著的影像訊框200。對於第一影像訊框，可將一第一處理單元判定為對應於一高相關性區域212。對於第一處理單元，可應用第一分佈函數110以判定是否應對第一處理單元進行框內更新。對於第二影像訊框，可將空間上對應於第一處理單元之一第二處理單元判定為對應於一低相關性區域214。對於第二處理單元，應用第二分佈函數120以判定是否應對第二處理單元進行框內更新。
另一選擇係，對於第一影像訊框，可將一第一處理單元判定為對應於一低相關性區域214。對於第一處理單元，可應用第二分佈函數120以判定是否應對第一處理單元進行框內更新。對於第二影像訊框，可將空間上對應於第一處理單元之一第二處理單元判定為對應於一高相關性區域212。對於第二處理單元，可應用第一分佈函數110以判定是否應對第二處理單元進行框內更新。
舉例而言，將以上實例視為具有概率值之兩個向量。
對於第一訊框之第一處理單元，判定框內更新之一2%概率(自最後更新計算起已經過兩個訊框)。在此實例中，不對第一處理單進行框內更新。對於第二訊框之第二處理單元，將相關性位準增加至高相關性。因此，對於第二處理單元，判定85%框內更新機會(自最後更新計算起現已經過三個訊框)。
計算、判定、比較、應用、識別、編碼、接收等之步驟可由具有處理能力及有線或無線地接收資料或指令之一能力之一裝置執行。此一裝置可例如係一電腦或一編碼器。
包括一非暫時性電腦可讀媒體(其上儲存有電腦程式碼指令)之一電腦程式產品可經調適以在由具有處理能力之一裝置執行時執行本文中提供之方法。
可提供用於對一視訊串流之一影像訊框序列200進行框內更新編碼之一編碼器304。編碼器304可包括經組態以執行本文中提供之方法之電路。編碼器304可係將出於標準化速度或壓縮之目的而將資訊自一種格式或編碼轉移為另一種格式或編碼之一裝置、電路、傳感器、電腦程式產品或演算法。
編碼器304可係一監視裝置300之部分，如由圖12所圖解說明。監視裝置300可進一步包括一影像感測器302。影像感測器302可係一攝像機或視訊攝像機之部分。更具體而言，影像感測器302可係一平移、傾斜、變焦攝像機。影像感測器302可經設置以擷取包括繪示一場景或複數個場景之影像訊框之一視訊串流。
編碼器304可經組態以連續接收由影像感測器302擷取之影像訊框200。監視裝置300，或至少影像感測器302可經設置以連續或間歇地記錄一所關注場景，用於鑑識、保安、安全或研究目的，僅舉幾個非限制實例。
指示每一處理單元之一相關性位準之資料可自經組態以判定此等相關性位準之一影像分析單元(周邊的或與編碼器304整體形成)接收。影像分析單元亦可係周邊的或與監視裝置300整體形成。
監視裝置300、編碼器304或影像感測器302可經組態以執行本文中所闡述之方法。
影像感測器302及編碼器304可整體形成為一單個裝置。另一選擇係，影像感測器302與編碼器304可係單獨的且有線或無線地連接。
上文中所揭示之系統及方法可實施為軟體、韌體、硬體或其一組合。在一硬體實施方案中，以上說明中所提及之功能單元之間的任務之劃分不必對應於實體單元之劃分；相反，一個實體組件可具有多個功能性，且一個任務可由數個實體組件協作執行。某些組件或所有組件可實施為由一數位信號處理器或微處理器執行之軟體，或實施為硬體或實施為一專用積體電路。此軟體可分佈於電腦可讀媒體上，該電腦可讀媒體可包括電腦儲存媒體(或非暫時性媒體)及通信媒體(或暫時性媒體)。
在上述內容中，已參考一有限數目之實例主要闡述本發明之態樣。然而，如由熟習此項技術者易於瞭解，除上文所揭示之實例之外之其他實例在發明性概念之範疇內係同等可能的，如由隨附申請專利範圍所界定。
110:第一分佈函數/分佈函數 120:第二分佈函數/分佈函數 130:第三分佈函數/分佈函數 200:例示性影像訊框/影像訊框/經接收影像訊框 210:處理單元 212:高相關性區域 214:低相關性區域 216:中等相關性區域 300:監視裝置 302:影像感測器 304:編碼器 fc:訊框計數/訊框之數目/輸入訊框計數 ft1:第一臨限值數目之訊框 ft2:第二臨限值數目之訊框 P:概率 S02:判定 S04:接收 S05:接收 S06:判定 S07:接收 S08:判定 S09:判定 S10a:應用 S10b:應用 S10c:應用 S12:框內編碼 S21:計算 S23:計算 S25:判定 S27:比較 S28:比較 S29a:識別 S29b:識別 S29c:識別
透過參考附圖對本發明之較佳實施例之以下說明性及非限制性詳細說明將更好地理解本發明之以上以及額外目標、特徵及優點，其中相同元件符號將用於類似元件，在附圖中： 圖1展示用於對一視訊串流之影像訊框進行框內更新編碼之一方法之一流程圖，其需要將凸及凹分佈函數分別應用於高及低相關性區域以判定是否應執行框內更新。 圖2展示用於框內更新編碼之一方法之一流程圖，其包含某些實施例之選用步驟。 圖3展示根據某些實施例用於框內更新編碼之一方法之一流程圖，其包含一第三中等相關性位準。 圖4展示根據實施例判定一處理單元是否應具有一高或低相關性位準之一方法之一流程圖。 圖5展示根據實施例判定一處理單元是否應具有一高、中等或低相關性位準之一方法之一流程圖。 圖6展示具有一凸形狀之指數分佈CDF曲線之實例。 圖7展示具有一凹及凸形狀兩者之常態分佈CDF曲線之實例。 圖8展示具有一臨限值之一指數分佈CDF曲線。 圖9展示具有一臨限值之一常態分佈CDF曲線。 圖10展示線性CDF曲線之實例。 圖11展示細分成數個高、中等及低相關性處理單元之一影像訊框。 圖12示意性地展示包括一影像感測器及一編碼器之一監視裝置。 圖13展示具有一垂直截止之一常態分佈CDF。 圖14展示具有一水平截止之一常態分佈CDF。
S02:判定
S04:接收
S06:判定
S08:判定
S10a:應用
S10b:應用
S12:框內編碼

Claims (13)

  1. 一種用於對一視訊串流(video stream)之一影像訊框序列(a sequence of image frames)進行框內更新編碼(intra refresh encoding)之方法，該方法包括：判定複數個分佈函數，每一者界定該視訊串流中之一影像訊框之一像素區塊相對於自該視訊串流中之一先前影像訊框之一空間上對應像素區塊被框內更新計算起已經過之訊框之一數目之框內更新之一概率，其中該複數個分佈函數中之一第一分佈函數對應於具有一凸形狀(convex shape)之一累積分佈函數(cumulative distribution function)，其中該複數個分佈函數中之一第二分佈函數對應於具有一凹形狀(concave shape)之一累積分佈函數，接收包括於該視訊串流中之一影像訊框，對於該經接收影像訊框中之每一像素區塊：判定界定自該視訊串流中之一先前影像之一空間上對應像素區塊被框內更新計算起在該視訊串流中已經過多少個影像訊框之一訊框計數(frame count)，判定該像素區塊是否空間上對應於該影像訊框之一所關注區域ROI，在判定該像素區塊空間上對應於該ROI之後，旋即關於該經判定訊框計數應用該第一分佈函數以判定是否應對該像素區塊進行框內更新，在判定該像素區塊未空間上對應於該ROI之後，旋即關於該經判 定訊框計數應用該第二分佈函數以判定是否應對該像素區塊進行框內更新，若判定對該像素區塊進行框內更新，則對該經接收影像訊框之該像素區塊進行框內編碼。
  2. 如請求項1之方法，其中該第一分佈函數界定在一第一臨限值數目之訊框之後一像素區塊之框內更新之一100%概率，其中該第二分佈函數界定在一第二臨限值數目之訊框之後一像素區塊之框內更新之一100%概率，其中該第一臨限值數目之訊框低於該第二臨限值數目之訊框。
  3. 如請求項1之方法，其中該第一分佈函數界定在一第一臨限值數目之訊框之後一像素區塊之框內更新之一100%概率，其中該第二分佈函數界定在一第二臨限值數目之訊框之後一像素區塊之框內更新之一100%概率，其中該第一臨限值數目之訊框等於該第二臨限值數目之訊框。
  4. 如請求項1之方法，其進一步包括以下步驟：接收該視訊串流中之一影像訊框之未空間上對應於該ROI之像素區塊之數目與空間上對應於該ROI之像素區塊之數目之間的一比率，其中該等第一及第二分佈函數係鑒於該經接收比率來判定。
  5. 如請求項4之方法，其中該等第一及第二分佈函數經組態使得，平均而言，對於該視訊串流之每一影像訊框，將一相等數目之像素區塊判定為進行框內更新。
  6. 如請求項1之方法，其進一步包括以下步驟：對於該視訊串流之每一影像訊框，對於該影像訊框中之每一像素區塊，接收指示該像素區塊是否空間上對應於該影像訊框之該ROI之資料。
  7. 如請求項1之方法，其進一步包括以下步驟：對於該視訊串流之每一影像訊框，對於該影像訊框中之每一像素區塊，藉由計算該像素區塊中之像素值之一總和(sum)、一平均值(mean)或一中位數(median)來計算表示該像素區塊之一第一值，計算該影像訊框中之空間上相鄰(spatially neighboring)像素區塊之第一值之間的差以使每一像素區塊與一差值相關聯，對於該影像訊框中之每一像素區塊，藉由以下操作判定該像素區塊是否空間上對應於該影像訊框之ROI：比較該相關聯差值與一預設(predetermined)臨限值，若該差值等於或高於該臨限值，則將該像素區塊識別為空間上對應於該ROI，若該差值低於該臨限值，則將該像素區塊識別為未空間上對應於該ROI。
  8. 如請求項1之方法，其中一影像訊框之一像素區塊由一或多個巨集區塊(macroblocks)、編碼樹單元(coding tree units)或超區塊(superblocks)組成。
  9. 如請求項1之方法，其中該視訊串流包括一第一及一第二緊接著的(immediately subsequent)影像訊框，其中，對於該第一影像訊框，將一第一像素區塊判定為空間上對應於該第一影像訊框之該ROI，其中對於該第一像素區塊，應用該第一分佈函數以判定是否應對該第一像素區塊進行框內更新，且其中，對於該第二影像訊框，將空間上對應於該第一像素區塊之第二像素區塊判定為未空間上對應於該第二影像訊框之該ROI，其中對於該第二像素區塊，應用該第二分佈函數以判定是否應對該第二像素區塊進行框內更新。
  10. 如請求項1之方法，其中該視訊串流包括一第一及一第二緊接著的影像訊框，其中，對於該第一影像訊框，將一第一像素區塊判定為未空間上對應於該第一影像訊框之該ROI，其中對於該第一像素區塊，應用該第二分佈函數以判定是否應對該第一像素區塊進行框內更新，且其中，對於該第二影像訊框，將空間上對應於該第一像素區塊之第二像素區塊判定為空間上對應於該第二影像訊框之該ROI，其中對於該第二像素區塊，應用第一分佈函數以判定是否應對該第二像素區塊進行框內更新。
  11. 一種非暫時性電腦可讀媒體，其上儲存有經調適以執行用於對一視訊串流之一影像訊框序列進行框內更新編碼之方法之電腦程式碼指令，該方法包括：判定複數個分佈函數，每一者界定該視訊串流中之一影像訊框之一像素區塊相對於自該視訊串流中之一先前影像訊框之一空間上對應像素區 塊被框內更新計算起已經過之訊框之一數目之框內更新之一概率，其中該複數個分佈函數中之一第一分佈函數對應於具有一凸形狀之一累積分佈函數，其中該複數個分佈函數中之一第二分佈函數對應於具有一凹形狀之一累積分佈函數，接收包括於該視訊串流中之一影像訊框，對於該經接收影像訊框中之每一像素區塊：判定界定自該視訊串流中之一先前影像之一空間上對應像素區塊被框內更新計算起在該視訊串流中已經過多少個影像訊框之一訊框計數，判定該像素區塊是否空間上對應於該影像訊框之一所關注區域ROI，在判定該像素區塊空間上對應於該ROI之後，旋即關於該經判定訊框計數應用該第一分佈函數以判定是否應對該像素區塊進行框內更新，在判定該像素區塊未空間上對應於該ROI之後，旋即關於該經判定訊框計數應用該第二分佈函數以判定是否應對該像素區塊進行框內更新，若判定對該像素區塊進行框內更新，則對該經接收影像訊框之該像素區塊進行框內編碼。
  12. 一種用於對一視訊串流之一影像訊框序列進行框內更新編碼之編碼器，該編碼器包括電路，該電路經組態以：判定複數個分佈函數，每一者界定該視訊串流中之一影像訊框之一 像素區塊相對於自該視訊串流中之一先前影像訊框之一空間上對應像素區塊被框內更新計算起已經過之訊框之一數目之框內更新之一概率，其中該複數個分佈函數中之一第一分佈函數對應於具有一凸形狀之一累積分佈函數，其中該複數個分佈函數中之一第二分佈函數對應於具有一凹形狀之一累積分佈函數，接收包括於該視訊串流中之一影像訊框，對於該經接收影像訊框中之每一像素區塊：判定界定自該視訊串流中之一先前影像之一空間上對應像素區塊被框內更新計算起在該視訊串流中已經過多少個影像訊框之一訊框計數，判定該像素區塊是否空間上對應於該影像訊框之一所關注區域ROI，在判定該像素區塊空間上對應於該ROI之後，旋即關於該經判定訊框計數應用該第一分佈函數以判定是否應對該像素區塊進行框內更新，在判定該像素區塊未空間上對應於該ROI之後，旋即關於該經判定訊框計數應用該第二分佈函數以判定是否應對該像素區塊進行框內更新，若判定進行框內更新，則對該經接收影像訊框之該像素區塊進行框內編碼。
  13. 一種監視裝置，其包括一影像感測器及如請求項12之一編碼器，其中該編碼器經組態以連續接收由該影像感測器擷取之影像訊框。
TW109138161A 2019-11-29 2020-11-03 使用凸和凹分佈函數對複數個影像訊框進行框內更新編碼之方法 TWI764352B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19212375.0 2019-11-29
EP19212375.0A EP3829169B1 (en) 2019-11-29 2019-11-29 Method for intra refresh encoding of a plurality of image frames using convex and concave distribution functions

Publications (2)

Publication Number Publication Date
TW202127888A TW202127888A (zh) 2021-07-16
TWI764352B true TWI764352B (zh) 2022-05-11

Family

ID=68732813

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109138161A TWI764352B (zh) 2019-11-29 2020-11-03 使用凸和凹分佈函數對複數個影像訊框進行框內更新編碼之方法

Country Status (6)

Country Link
US (1) US11223834B2 (zh)
EP (1) EP3829169B1 (zh)
JP (1) JP7042318B2 (zh)
KR (1) KR102394371B1 (zh)
CN (1) CN112887718B (zh)
TW (1) TWI764352B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040076332A1 (en) * 2002-10-18 2004-04-22 Shunan Lin Adaptive error-resilient video encoding using multiple description motion compensation
US20050175109A1 (en) * 2004-02-11 2005-08-11 Anthony Vetro Optimal bit allocation for error resilient video transcoding
US20070047650A1 (en) * 2005-08-29 2007-03-01 Antonio Vilei Method for encoding signals, related systems and program product therefor
US20070074266A1 (en) * 2005-09-27 2007-03-29 Raveendran Vijayalakshmi R Methods and device for data alignment with time domain boundary
US20070177678A1 (en) * 2006-01-20 2007-08-02 Qualcomm Incorporated Method and apparatus for determining an encoding method based on a distortion value related to error concealment
US20070177667A1 (en) * 2006-01-20 2007-08-02 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0537924A (ja) * 1991-07-29 1993-02-12 Hitachi Ltd 画像信号符号化方法および装置
JP2830856B2 (ja) * 1996-09-04 1998-12-02 日本電気株式会社 画像符号化装置
US6304295B1 (en) 1998-09-18 2001-10-16 Sarnoff Corporation Region-based refresh strategy for video compression
US6842484B2 (en) * 2001-07-10 2005-01-11 Motorola, Inc. Method and apparatus for random forced intra-refresh in digital image and video coding
KR100565274B1 (ko) 2003-07-02 2006-03-30 엘지전자 주식회사 중앙 집중형 인트라 모드 리프레시 방법
US7349472B2 (en) 2004-02-11 2008-03-25 Mitsubishi Electric Research Laboratories, Inc. Rate-distortion models for error resilient video transcoding
US8948266B2 (en) * 2004-10-12 2015-02-03 Qualcomm Incorporated Adaptive intra-refresh for digital video encoding
US8437405B1 (en) 2004-12-08 2013-05-07 Nvidia Corporation System and method for intra refresh implementation
CN100574441C (zh) * 2007-12-14 2009-12-23 武汉大学 一种感兴趣区域的率失真优化帧内刷新与码率分配方法
US9113169B2 (en) 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
KR102116985B1 (ko) * 2013-08-16 2020-05-29 삼성전자 주식회사 비디오 인코딩을 위한 인트라 리프레쉬 방법
EP3021583B1 (en) 2014-11-14 2019-10-23 Axis AB Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system
CN106488229B (zh) * 2015-09-01 2022-01-21 恩智浦美国有限公司 具有可调整帧内刷新率的视频编码器
US10652572B2 (en) * 2016-04-29 2020-05-12 Ati Technologies Ulc Motion-adaptive intra-refresh for high-efficiency, low-delay video coding
EP3379830B1 (en) * 2017-03-24 2020-05-13 Axis AB A method, a video encoder, and a video camera for encoding a video stream
CN109348227A (zh) * 2018-11-22 2019-02-15 上海大学 适用于视频编码的运动自适应帧内刷新方法
EP3657799B1 (en) * 2018-11-22 2020-11-04 Axis AB Method for intra refresh encoding of a plurality of image frames
US10936055B2 (en) * 2019-01-24 2021-03-02 Dell Products, L.P. Encoding content for virtual, augmented, and mixed reality (xR) applications in connectivity-constrained environments

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040076332A1 (en) * 2002-10-18 2004-04-22 Shunan Lin Adaptive error-resilient video encoding using multiple description motion compensation
US20050175109A1 (en) * 2004-02-11 2005-08-11 Anthony Vetro Optimal bit allocation for error resilient video transcoding
US20070047650A1 (en) * 2005-08-29 2007-03-01 Antonio Vilei Method for encoding signals, related systems and program product therefor
US20070074266A1 (en) * 2005-09-27 2007-03-29 Raveendran Vijayalakshmi R Methods and device for data alignment with time domain boundary
US20070177678A1 (en) * 2006-01-20 2007-08-02 Qualcomm Incorporated Method and apparatus for determining an encoding method based on a distortion value related to error concealment
US20070177667A1 (en) * 2006-01-20 2007-08-02 Qualcomm Incorporated Method and apparatus for error resilience algorithms in wireless video communication

Also Published As

Publication number Publication date
US20210168379A1 (en) 2021-06-03
TW202127888A (zh) 2021-07-16
CN112887718A (zh) 2021-06-01
JP7042318B2 (ja) 2022-03-25
US11223834B2 (en) 2022-01-11
EP3829169A1 (en) 2021-06-02
KR102394371B1 (ko) 2022-05-03
JP2021101533A (ja) 2021-07-08
KR20210067870A (ko) 2021-06-08
CN112887718B (zh) 2022-05-17
EP3829169B1 (en) 2021-10-13

Similar Documents

Publication Publication Date Title
US11102508B2 (en) Method and image processing unit for forming a video stream
US9402034B2 (en) Adaptive auto exposure adjustment
KR102067199B1 (ko) 비디오를 인코딩하기 위한 방법 및 인코더 시스템
JP6016332B2 (ja) 画像処理装置、画像処理方法
JP5766877B2 (ja) 類似度、視覚的品質、および関心に基づくフレーム符号化選択
US11050924B2 (en) Method and system for auto-setting of cameras
KR20180108453A (ko) 비디오 스트림을 인코딩하기 위한 방법, 비디오 인코더, 및 비디오 카메라
US20120106632A1 (en) Method and apparatus for error resilient long term referencing block refresh
KR20180056382A (ko) 비디오를 인코딩하기 위한 방법 및 인코더 시스템
TWI764352B (zh) 使用凸和凹分佈函數對複數個影像訊框進行框內更新編碼之方法
CN110324636B (zh) 用于对视频流中的帧序列进行编码的方法、设备和系统
KR101582674B1 (ko) 영상 감시 시스템에서의 활성영상 저장방법 및 장치
CN114422798A (zh) 用于对视频图像序列编码的图像处理装置、照相机和方法
EP3503548B1 (en) Video encoding method and system
KR101585951B1 (ko) 영상 감시 시스템 및 영상 감시 시스템에서의 영상저장구간 결정방법
US11716475B2 (en) Image processing device and method of pre-processing images of a video stream before encoding
JPH09214975A (ja) シーンチェンジ適応動画像符号化方法および装置
JP2021101533A5 (zh)