TWI660626B - 用於編碼視訊串流的方法和系統 - Google Patents

用於編碼視訊串流的方法和系統 Download PDF

Info

Publication number
TWI660626B
TWI660626B TW106107880A TW106107880A TWI660626B TW I660626 B TWI660626 B TW I660626B TW 106107880 A TW106107880 A TW 106107880A TW 106107880 A TW106107880 A TW 106107880A TW I660626 B TWI660626 B TW I660626B
Authority
TW
Taiwan
Prior art keywords
block
image frame
pixel block
camera
encoding
Prior art date
Application number
TW106107880A
Other languages
English (en)
Other versions
TW201737712A (zh
Inventor
維克多 艾德帕姆
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201737712A publication Critical patent/TW201737712A/zh
Application granted granted Critical
Publication of TWI660626B publication Critical patent/TWI660626B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明一般而言係關於一種在一編碼器中執行以用於編碼由一攝影機擷取之一視訊串流之方法，且係關於一種實施該方法之電腦程式產品及編碼器。

Description

用於編碼視訊串流的方法和系統
本發明一般而言係關於一種在一編碼器中執行以用於編碼由一攝影機擷取之一視訊串流之方法，且係關於一種實施該方法之電腦程式產品及編碼器。
針對諸多視訊攝影機應用(例如，監測應用)，使用可轉動、傾斜(及視情況變焦及/或旋轉)之一攝影機來涵蓋一大區域係有利的。此一攝影機係以名稱PT (轉動-傾斜)攝影機、PTZ (轉動-傾斜-變焦)攝影機等為人所知。在例如攝影機之一轉動/傾斜運動期間，由攝影機擷取之一視訊串流之位元速率可達到高位準，此乃因在此運動期間一影像圖框內之大部分或所有像素區塊使用昂貴的I區塊編碼，從而導致一經增加位元速率。另一選擇係，在攝影機之此運動期間降低視訊串流之編碼品質以減小位元速率。然而，此可導致一通常模糊視訊串流。 在影像處理內，存在致力於降低位元速率或影像大小同時維持一影像之一感知品質之一持續努力。對上文之問題之一解決方案係根據轉動/傾斜調整之速度調適編碼視訊串流之編碼器之一運動向量搜尋範圍。此乃因搜尋兩個影像之間的匹配像素區塊通常需要大量算術運算及導致進行較多比較之一增加運動向量搜尋範圍，此解決方案之一問題係將增加編碼程序之運算複雜性，因此需要較多處理器功率及/或增加處理時間以用於完成編碼程序。 因此在此內容脈絡內存在改良之一需要。
鑒於上文，本發明之一目標係解決或至少降低上文所闡述之一個或數個缺陷。一般而言，上文之目標係藉由隨附獨立申請專利範圍而達成。 根據一第一態樣，本發明係由一種在一編碼器執行以用於編碼由一攝影機擷取之一視訊串流之方法予以實現，該視訊串流包括一第一影像圖框及一第二影像圖框，在該視訊串流中該第一影像圖框在該第二影像圖框之前。該方法包括以下步驟： - 接收關於該攝影機之一移動之資訊， - 基於關於該攝影機之一移動之該資訊來定義包括亦在第一影像圖框中呈現之影像資料的第二影像圖框之一第一區域及包括未在第一影像圖框中呈現之影像資料的第二影像圖框之一第二區域， - 針對該第二區域，使用I區塊編碼來編碼每一像素區塊， - 針對該第一區域之每一特定像素區塊，基於來自使用該特定像素區塊及該第一影像圖框之至少部分作為至該區塊匹配演算法之輸入之一區塊匹配演算法之一輸出而在將該特定像素區塊編碼為I區塊、P區塊及P跳過區塊中之一者之間進行選擇，且根據該選擇來編碼該特定像素區塊。 發明者已認識到，由於第一影像圖框及第二影像圖框至少部分地涵蓋周圍環境之不同部分，且由於此可使用攝影機之移動資訊來定義，因此可達成第二影像之經改良編碼。攝影機之運動可由編碼器存取，例如自攝影機發送至編碼器之關於至攝影機之一PT(Z)控制之輸入之資料、關於攝影機之一步進馬達移動之資訊、來自攝影機之運動感測器資料(來自一陀螺儀等)、依據視訊串流中之影像圖框之時域濾波之全域運動估計等。 使用此資訊，可定義第二影像圖框中之一第一區域及第二區域，其中第二區域已知係一新的區域，亦即與第一影像圖框中所擷取相比涵蓋周圍環境之一新的部分。因此，第二區域更有可能包括未在第一影像圖框中呈現之影像資料。另一方面，該第一區域涵蓋亦在第一影像中被涵蓋之周圍環境之一區域。因此，第一區域更有可能包括第一影像圖框中呈現之影像資料。在已於第二影像中判定此等區域之情況下，可使用I區塊編碼來編碼第二區域中之每一像素區塊。因此，不需要投入處理功率來執行用於第二區域中之像素區塊之一區塊匹配演算法。針對第一區域之像素區塊，使用一區塊匹配演算法可作出編碼每一像素區塊之間的選擇，其中輸出判定是否應使用一I區塊、P區塊及P跳過區塊編碼像素區塊。可使用此項技術中已知的任何適合區塊匹配演算法，諸如窮舉搜尋法、三步搜尋法、二維對數搜尋法、四步搜尋法等。由於在第二區域之編碼中已釋放計算資源，因此此等資源可用於編碼第一區域，例如藉由增加編碼器之一運動向量搜尋範圍。 在本說明書之內容脈絡中，術語「I區塊」或「I區塊編碼」應理解為係框內編碼之一像素區塊。 在本說明書之內容脈絡中，術語「P區塊」或「P區塊編碼」應理解為係預測編碼之一像素區塊，亦即僅保留一運動向量及該像素區塊與先前圖框中之一對應像素區塊之差(殘餘誤差)。 在本說明書之內容脈絡中，術語「B區塊」或「B區塊編碼」應理解為係Bi預測編碼之一像素區塊，亦即使用該像素區塊與一先前影像圖框及/或一以下影像圖框中之一對應像素區塊之間的差(殘餘誤差)以及一運動向量編碼。換言之，一B區塊可僅使用一先前影像圖框、僅使用一後續影像圖框或一先前影像圖框及一後續影像圖框兩者以用於編碼該區塊。 在本說明書之內容脈絡中，術語「跳過區塊」或「跳過編碼」應理解為在不需要發送殘餘誤差或運動向量之情況下編碼之一像素區塊(使用一先前圖框，視情況亦使用一以下影像圖框)。解碼器將依據已經解碼之其他區塊推斷此經編碼區塊之運動向量。跳過編碼亦可稱為直接編碼。 在本說明書之內容脈絡中，術語「像素區塊」應理解為在編碼數位影像時使用之數位影像之基本像素單元。 在某些視訊編碼標準中，像素區塊可被稱為一巨區塊。在視訊編碼標準H.264中，像素區塊之大小可係16*16像素。在視訊編碼標準H.265中，像素區塊之大小可在16 x 16與64 x 64像素之間變化，此乃因H.265採用所謂的編碼樹單元(CTU)代替巨區塊。可使用像素區塊之其他標準(編解碼器等)及大小。在具有此實施例之情況下，可達成一較高效率編碼程序，此乃因表示場景之數位影像中具有相同壓縮度之一部分之範圍可近似地或較佳地重疊一或多個像素區塊。應理解，所有適合的基於區塊之編解碼器(亦即，利用區塊之一編解碼器)可用於此實施例，例如，一H.264、H.265、MPEG-4 Part 2或VP9編解碼器。 根據某些實施例，編碼器具有一預定義第一臨限值以用於基於來自區塊匹配演算法之一輸出而選擇將一像素區塊編碼為一I區塊，其中該方法包括以下步驟：在該攝影機之一移動期間增加該第一臨限值。 針對第一區域中之一特定像素區塊，區塊匹配演算法輸出一差值或類似值以用於第一影像中之區塊當中之最佳匹配，區塊匹配演算法在該等區塊當中搜尋。舉例而言，區塊匹配演算法可針對像素區塊之間的每一比較計算一絕對差之和(SAD)。基於此差值，編碼器在使用一I區塊、P區塊與P跳過區塊來編碼特定像素區塊之間選擇。編碼器具有一預定義第一臨限值以用於例如對應於500之一SAD選擇將一像素區塊編碼為一I區塊。在此方法中，增加臨限值使得編碼器將針對原本將利用一I區塊編碼來編碼之像素區塊選擇P或P跳過編碼，例如藉由將用於將一像素區塊編碼為一I區塊之SAD臨限值增加至600。因此，在攝影機之移動期間(例如，一PT移動)，增加第一臨限值使得編碼器將針對通常將導致一I區塊編碼之某些差值選擇P區塊編碼。因此，可降低用於編碼第一區域之位元速率，此乃因較小像素區塊將編碼為一昂貴I區塊，此又將降低經編碼第二影像之總體位元速率。 根據某些實施例，編碼器具有一預定義第二臨限值以用於基於來自區塊匹配演算法之一輸出而在將一像素區塊編碼為一P跳過區塊與將一像素區塊編碼為一P區塊之間進行選擇，其中該方法包括以下步驟：在該攝影機之一移動期間增加該第二臨限值。 舉例而言，用於在將一像素區塊編碼為一P跳過區塊與將一像素區塊編碼為一P區塊之間進行選擇之預定義第二臨限值可對應於自區塊匹配演算法輸出以用於最佳匹配之50之一差值(例如SAD)。低於此值，則編碼器將把像素區塊編碼為一P跳過區塊編碼(亦即，將不編碼殘差及運動向量)，而高於50 (但低於I區塊編碼之臨限值，例如SAD = 600)則編碼器將把像素區塊編碼為一P區塊編碼 (將編碼殘差及運動向量)。藉由將第二臨限值增加至例如SAD =100，將使用P跳過區塊編碼第二影像圖框之第一區域中之較多像素區塊，此可降低第二影像圖框之經編碼第一區域之位元速率。 根據某些實施例，視訊串流進一步包括一第三影像圖框，第二影像圖框在第三影像圖框之前，其中第一區域及第二區域包括未在第三影像中呈現之影像資料。此意指，即使在編碼第二影像圖框(亦即可能係B區塊編碼)時由編碼器考量第二影像圖框之後的一後續影像圖框(第三影像圖框)，該方法仍係有效的且有利的。 根據某些實施例，該方法進一步包括以下步驟：基於關於該攝影機之一移動之該資訊來定義包括亦在第一影像圖框中及第三影像圖框中呈現之影像資料的第二影像圖框之一第三區域，及包括亦在第三影像圖框中呈現但未在第一影像圖框中呈現之影像資料的第二影像圖框之一第四區域。此係以與上文結合對第二區域及第一區域之定義所闡述類似之一方式完成。 針對該第三區域之每一特定像素區塊，該編碼器現在可基於來自使用該特定像素區塊以及該第一影像圖框及該第三影像圖框之至少部分作為輸入之該區塊匹配演算法之一輸出而在將該特定像素區塊編碼為I區塊、P區塊、P跳過區塊、B區塊及B跳過區塊中之一者之間進行選擇，且根據該選擇來編碼該特定像素區塊。此乃因編碼器知曉第三區域涵蓋亦在第一影像及第三影像中被涵蓋之周圍環境之一區域，此使所有上文之編碼方法對於選擇皆係可行的。 另一方面，針對第四區域，P區塊或P跳過區塊不係一良好選擇，此乃因此區域涵蓋未在第一影像中被涵蓋之周圍環境之一區域。因此，針對該第四區域之每一特定像素區塊，編碼器有利地基於來自使用特定像素區塊及該第三影像圖框之至少部分作為輸入之該區塊匹配演算法之一輸出而在將該特定像素區塊編碼為I區塊、B區塊及B跳過區塊中之一者之間進行選擇，且根據該選擇來編碼該特定像素區塊。 本實施例可增加編碼操作之效率，此乃因在編碼各別區域中之像素區塊之前針對第二影像之不同區域定義了可選擇編碼方法。舉例而言，針對第四區域，編碼器不需要在第一影像中搜尋匹配區塊，因此降低編碼程序之運算複雜性。 根據某些實施例，編碼器具有一預定義第三臨限值以用於基於來自區塊匹配演算法之一輸出而在將一像素區塊編碼為一B跳過區塊與將一像素區塊編碼為一B區塊之間進行選擇，其中該方法包括以下步驟：在攝影機之一移動期間增加第三臨限值。 使用與上文所闡述相同之論證以用於增加第二臨限值，本實施例可降低第二影像圖框之經編碼第三區域及第四區域之位元速率。 根據某些實施例，編碼該第一區域之像素區塊之該步驟包括使用一第一量化參數。此外，編碼該第二區域之像素區塊之該步驟包括使用一第二量化參數。此外，編碼該第三區域之像素區塊之該步驟包括使用一第三量化參數。此外，編碼該第四區域之像素區塊之該步驟包括使用一第四量化參數。根據此實施例，該第三量化參數及該第四量化參數低於該第一量化參數及該第二量化參數。應注意，第一量化參數與第二量化參數可相等或不同。亦應注意，第三量化參數與第四量化參數可相等或不同。 由於使用關於攝影機之一移動之資訊編碼器知曉第三區域及第四區域包括可能係第三影像圖框之部分之像素區塊，而第一區域及第二區域包括可能不係第三影像圖框之部分之像素區塊，在判定不同區域之像素區塊之一壓縮比率時可有利地使用此知識。相對品質或壓縮比率可受控於在一像素區塊位準上可調節之一量化參數(通常稱作QP值)。一較低量化參數導致一較少壓縮像素區塊，或換言之導致一較高編碼品質。在編碼將在下一圖框中消失之一像素區塊時花費大量位元不如將位元花費在將在視訊串流中保留較長時間之一像素區塊上。因此，此實施例可增加編碼品質及/或降低所需位元速率。 根據某些實施例，該第四量化參數低於該第三量化參數。由於第四區域包括可能不係第一先前影像之部分之像素區塊(而該等像素區塊可能係第三後續影像之一部分)，因此與係第三區域之部分之像素區塊相比，此等像素區塊將在較多影像圖框期間保留在視訊串流中。因此，藉由降低量化參數，並因此與第三區域中之像素區塊相比增加第四區域中之像素區塊之編碼品質，此實施例可增加編碼品質及/或降低所需位元速率。 根據某些實施例，該編碼器係一H.264編碼器。在此情形中，該方法進一步包括以下步驟：判定關於該攝影機之一移動之該資訊對應於該攝影機之一水平移動，及在編碼該第二影像之該像素區塊之前旋轉該第二影像。由於H.264編碼器中所定義之圖塊係定義為一影像中之像素列，因此一水平移動將導致不可能達成根據上文之將影像劃分為第一區域、第二區域、第三區域及第四區域。然而，若在編碼程序之前旋轉影像，則圖塊或圖塊群組可極好地對應於第一區域、第二區域、第三區域及第四區域。 根據實施例，該方法進一步包括以下步驟：提供關於該攝影機之一移動之該資訊作為至該區塊匹配演算法之一輸入。然後此資訊可有利地被區塊匹配演算法使用來定義用於在視訊串流中之影像圖框之間搜尋匹配區塊或在影像圖框之間選擇最佳匹配塊之一起始點。例如對於兩個影像圖框之間的其中最佳匹配恰好具有一小SAD值但彼區塊之運動向量將偏離鄰近區塊之一均勻(例如一個色彩的)區域中之匹配區塊，一「意外」最佳匹配可使對意外匹配之區塊之鄰近者當中之匹配區塊之搜尋惡化。使用關於攝影機之一移動之資訊作為一輸入可降低此等意外匹配，此又將使例如將上文所闡述之用於P跳過編碼、B跳過編碼或I區塊編碼之臨限值設定為一較高SAD值變為可能。 在一第二態樣中，本發明提供一種電腦程式產品，其包括具有經調適以在由具有處理能力之一裝置執行時實施根據第一態樣之方法之指令之一電腦可讀儲存媒體。 在一第三態樣中，本發明提供一編碼器，其經配置以用於編碼由一攝影機擷取之一視訊串流，該視訊串流包括一第一影像圖框及一第二影像圖框，在該視訊串流中該第一影像圖框在該第二影像圖框之前，該編碼器包括： - 一接收組件，其經配置接收關於該攝影機之一移動之資訊， - 一區域計算組件，其經配置以基於關於該攝影機之一移動之該資訊來定義包括亦在第一影像圖框中呈現之影像資料的第二影像圖框之一第一區域，及包括未在第一影像圖框中呈現之影像資料的第二影像圖框之一第二區域， - 一編碼組件，其經配置以： ○ 針對該第二區域，使用I區塊編碼來編碼每一像素區塊，及 ○ 針對該第一區域之每一特定像素區塊，基於來自使用該特定像素區塊及該第一影像圖框之至少部分作為輸入之一區塊匹配演算法之一輸出而在將該特定像素區塊編碼為I區塊、P區塊及P跳過區塊中之一者之間進行選擇，且根據該選擇來編碼該特定像素區塊。 在一第三態樣中，本發明提供經配置以擷取一視訊串流之攝影機，該攝影機包括用於估計該攝影機之移動之一運動估計裝置，該攝影機連接至如請求項9中所定義之一編碼器，其中該運動估計裝置經配置以用於將有關該攝影機之該等移動之資訊傳輸至該編碼器，其中該攝影機經配置以用於將該視訊串流傳輸至該編碼器。 根據某些實施例中，該運動估計裝置經配置以使用以下各項中之至少一者來估計該攝影機之移動：至該攝影機之一PT控制之輸入、關於該攝影機之一步進馬達移動之資訊、來自該攝影機中之一感測器之運動資料及依據該視訊串流中之影像圖框之時域濾波之全域運動估計。 該第二態樣、該第三態樣及該第四態樣可通常具有與該第一態樣相同之特徵及優點。
圖1展示來自一視訊串流之一第一影像圖框102及一第二影像圖框104，其中在視訊串流中第一影像圖框102在第二影像圖框104之前。兩個影像圖框102、104各自展示兩個物件，但由於攝影機在擷取第一影像圖框102與第二影像圖框104之間移動，因此與第一影像圖框102中之兩個物件相比第二影像圖框104中之兩個物件在影像內定位於較靠左邊處。因此，攝影機已在兩個影像圖框102、104之擷取期間向右轉動，但兩個影像圖框102、104之間具有重疊視域。 圖2展示圖1之兩個影像圖框102、104，但兩個影像圖框經重疊以展示由第一影像圖框102及第二影像圖框104兩者擷取一視域定義之一區域106及定義僅在第二影像圖框104中擷取之一視域之一區域108。換言之，圖2定義包括亦在第一影像圖框102中呈現之影像資料的第二影像圖框104之一第一區域106，及包括未在第一影像圖框102中呈現之影像資料的第二影像圖框104之一第二區域108。 在圖3中，出於圖解說明之目的在無影像內容之情況下展示第二影像圖框104之兩個經定義區域106、108。現將結合圖8闡述由用於編碼第二影像之一編碼器執行之一方法。 可使用自攝影機接收S802之關於攝影機之一移動之資訊在一編碼器中定義S804此等兩個區域，該編碼器經配置以編碼由一攝影機擷取之一視訊串流(例如，包括圖1至圖2之第一影像圖框102及第二影像圖框104)。換言之，在用於定義區域106、108之編碼器中不需要影像分析或類似處理。此資訊可係自攝影機接收且源自攝影機之一運動估計裝置。運動估計裝置可使用諸如至攝影機之一PT控制之輸入、關於攝影機一步進馬達移動之資訊或來自攝影機中之一感測器之運動資料之資訊來產生關於攝影機之一移動之資訊。運動估計裝置亦可使用用於提取攝影機之一移動之資訊(諸如視訊串流中之影像圖框之時域濾波)之影像分析來估計一影像圖框之一全域運動，亦即整個影像圖框之一運動向量。 使用關於攝影機之一移動之資訊，編碼器可因此定義S804包括亦在第一影像圖框102中呈現之影像資料的第二影像圖框104之一第一區域106及包括未在第一影像圖框102中呈現之影像資料的第二影像圖框104之一第二區域108。 由於第二區域108包括至少一大部分不可能在第一影像圖框中呈現(當然由於由攝影機擷取之場景中之物件之移動，資料中之某些可在第一影像圖框中呈現)之影像資料，因此編碼器可使用I區塊編碼來編碼S814每一像素區塊，而無需在第一影像圖框102與第二影像圖框104之間執行任何昂貴的區塊匹配操作。 針對第一區域，可採用規則編碼，亦即基於來自使用特定像素區塊及第一影像圖框之至少部分作為至該區塊匹配演算法之輸入之一區塊匹配演算法之一輸出而在將特定像素區塊編碼為I區塊、P區塊及P跳過區塊中之一者之間進行選擇，並根據選擇來編碼S816特定像素區塊。區塊匹配演算法輸出闡述第一影像102中的最佳地匹配第二影像圖框104中之特定區塊之區塊之一值，舉例而言藉由輸出闡述第一影像圖框102與第二影像圖框104之間的對應區塊之移動之一運動向量。在針對特定區塊未在第一影像102中發現適合匹配區塊之情形中，區塊匹配演算法可輸出闡述此之一值。區塊匹配演算法亦輸出闡述第一影像102中之最佳匹配之良好匹配程度之某種值，舉例而言可係一SAD值、平均絕對差(MAD)、平均平方差(MSE)或區塊匹配演算法之技術中已知的任何其他適合的值之一差值(亦稱為成本函數或成本值)。基於此值，編碼器在用於編碼特定像素區塊之可用編碼方法之間進行選擇。舉例而言，編碼器可具有用於在可用編碼方法之間進行選擇之預定義臨限值，使得滿足例如用於將像素區塊編碼為一P跳過區塊之臨限值之一差值將以彼方式編碼。 可視情況使用來自第二區域之編碼之經保存處理功率以用於增加區塊匹配演算法之運動向量搜尋範圍。此外，可提供關於攝影機之一移動之資訊作為至區塊匹配演算法之一輸入例如以用於定義針對第二影像圖框104之第一區域106中之特定像素區塊在第一影像圖框102中搜尋匹配像素區塊之一起始點。 視情況，在使用I區塊編碼、P區塊編碼或P跳過區塊編碼來編碼S816第一區域106中之像素區塊之前，可變更用於在可用編碼方法之間進行選擇之編碼器之臨限值。由於編碼器已定義一第一區域106及一第二區域108 (如上文所闡述)，且因此知曉第一區域106之內容可能在第一影像102中呈現，可有利地使用此知識以在攝影機之移動期間改良編碼品質及/或降低位元速率。舉例而言，編碼器可具有一預定義第一臨限值以用於基於來自區塊匹配演算法之一輸出而選擇將一像素區塊編碼為一I區塊。換言之，基於例如針對第二影像104之一特定像素區塊在第一影像102中之最佳匹配而由區塊匹配演算法輸出之差值，編碼器通常就使用哪種編碼方法而言作出一特定決策。舉例而言，若區塊匹配演算法輸出一SAD值，則預定義第一臨限值可係400以用於將特定像素區塊編碼為一I區塊。在此實施例中，可使用關於攝影機之移動之知識使得在攝影機之移動期間第一臨限值可增加S808至(例如) 550。 視情況，在攝影機之移動期間可變更其他臨限值。舉例而言，編碼器可具有一預定義第二臨限值以用於基於來自區塊匹配演算法之一輸出而在將一像素區塊編碼為一P跳過區塊與將一像素區塊編碼為一P區塊之間進行選擇。換言之，基於例如針對第二影像104之一特定像素區塊在第一影像102中之最佳匹配而由區塊匹配演算法輸出之差值，編碼器通常就使用哪種編碼方法而言作出一特定決策。舉例而言，若區塊匹配演算法輸出一SAD值，則預定義第二臨限值可係60以用於將特定像素區塊編碼為一P跳過區塊。低於此值，則將特定像素區塊編碼為一P跳過區塊，而高於此值(但低於第一臨限值)，則將特定像素區塊編碼為一P區塊。在此實施例中，可使用關於攝影機之移動之知識使得在攝影機之移動期間可將第二臨限值增加S810至(例如) 105。 存在用於編碼視訊之不同編碼器標準。兩個實例係H.264/AVC及H.265。H.265之影像塊(tile)之概念(影像塊將影像圖框劃分成可被獨立地解碼/編碼之矩形區之一網格)使得可能針對攝影機之各種移動(水平、垂直、對角等)將影像圖框劃分成所闡述之區。然而，針對H.264編碼器，用於將影像圖框劃分成可被獨立地編碼之區之圖塊之概念並不同等地撓性。一圖塊含有以一掃描次序處理之像素區塊，通常自左至右、在影像圖框之頂部處開始。此係在圖7中闡述，其中一水平移動已導致一第一區域106及第二區域108，如圖中所展示。使用圖塊之概念，無法將影像圖框104劃分成如圖7中所展示之區/區域。然而，藉由在將影像圖框104劃分成圖塊之前將影像圖框向左或向右旋轉90度以形成一經旋轉影像圖框104’，可有利地將影像圖框劃分成一第一區域106及一第二區域108。 根據某些實施例，編碼器之編碼方法亦包括B區塊編碼及B跳過區塊編碼。以此方式，出於編碼目的，亦可使用繼第二影像圖框之後之一影像圖框之內容。此係在圖4至圖6中展示。視訊串流因此包括一第三影像圖框202，第二影像圖框在第三影像圖框之前。在此實施例中，第一區域106及第二區域108包括未在第三影像中呈現之影像資料。然而，使用關於攝影機之移動之知識及因此擷取第三影像圖框202時之攝影機之FOV之知識，現可將第二影像圖框104劃分成兩個其他區域：一第三區域204及一第四區域206。 圖4展示一第一影像圖框102、一第二影像圖框104及一第三影像圖框202。在視訊串流中第一影像圖框102在第二影像圖框104之前，且在視訊串流中第二影像圖框104在第三影像圖框202之前。兩個影像圖框102、104各自展示兩個物件，但由於攝影機在擷取第一影像圖框102與第二影像圖框104之間移動，因此與第一影像圖框102中之兩個物件相比，第二影像圖框104中之兩個物件在影像圖框104內定位於較靠左上角處。第三影像圖框202中僅展示物件中之一者，此乃因在擷取第三影像圖框202時另一個物件已離開攝影機之FOV。因此，在三個影像圖框102、104、202之擷取期間，攝影機向右且向下轉動，但在三個影像圖框102、104、202之間仍具有重疊視域。 圖5展示圖4之三個影像圖框102、104、202，但三個影像圖框經重疊以展示定義在第一影像圖框102與第二影像圖框104兩者中擷取但未在第三影像圖框202中擷取之一視域之一區域106，以及定義僅在第二影像圖框104中擷取之一視域之一區域108。此外，第二影像圖框之一第三區域204繪示亦由第一影像圖框102及第三影像圖框202兩者擷取之一視域。第二影像圖框之一第四區域206繪示亦在第三影像圖框202中擷取但未在第一影像圖框102擷取之一視域。 換言之，圖5定義第二影像圖框104之一第一區域106，其包括亦在第一影像圖框102中呈現但未在第三影像圖框202中呈現之影像資料；第二影像圖框104之一第二區域108，其包括未在第一影像圖框102或第三影像圖框202中呈現之影像資料；第二影像圖框104之一第三區域204，其包括亦在第一影像圖框102及第三影像圖框202中展示之影像資料；及第二影像圖框104之一第四區域206，其包括亦在第三影像圖框202中呈現但未在第一影像圖框102中呈現之影像資料。 在圖6中，出於圖解說明目的在無影像內容之情況下展示第二影像圖框104之四個經定義區域106、108、204、206。 現將結合圖8闡述由一編碼器執行以用於編碼如圖6中所展示之第二影像之一方法。在一第三影像圖框202包含於第二影像圖框104之編碼程序中之情況下，圖8之方法可由如下文將闡述之其他步驟延展。未在此實例中闡述之圖8之方法之步驟(S804、S808、S810、S814及S816)應解譯為上文結合圖1至圖3所闡述。 使用由編碼器接收S802之移動之資訊可定義S806第二影像圖框104之一第三區域204及一第四區域206，如上文所闡述。 由於編碼器已定義第三區域204及一第四區域206 (如上文所闡述)，且因此知曉第三區域204之內容可能在第一影像圖框102及第三影像圖框202兩者中呈現，而第四區域206之內容可能在第三影像202中呈現但未在第一影像圖框102中呈現，此知識可有利地用於在攝影機之移動期間改良編碼品質、降低編碼之運算複雜性及/或降低位元速率。 舉例而言，使用上文關於第三區域204及第四區域206之內容之知識，編碼器可有利地在用於兩個區域中之每一者之不同組編碼方法當中選擇編碼方法。針對第三區域204之每一特定像素區塊，編碼器可基於來自使用特定像素區塊及第一影像圖框102及第三影像圖框202之至少部分(此乃因第三區域可能包括在第一影像圖框102及第三影像圖框202兩者中呈現之影像資料)作為輸入區塊匹配演算法之一輸出而在將特定像素區塊編碼為：I區塊、P區塊、P跳過區塊、B區塊及B跳過區塊中之一者之間進行選擇，且根據選擇來編碼S818特定像素區塊。另一方面，針對第四區域206之每一特定像素區塊，編碼器可基於來自使用特定像素區塊及第三影像圖框202之至少部分(此乃因可能第四區域206之影像內容在第三影像圖框202中呈現但未在第一影像圖框102中呈現)作為輸入之區塊匹配演算法之一輸出而在將特定像素區塊編碼為：I區塊、B區塊及B跳過區塊中之一者之間進行選擇，且根據選擇編碼S820特定像素區塊。由於事先知曉例如第一影像圖框102可能不包括待匹配至第四區域206中之一特定像素區塊之影像資料，因此可針對第四區域降低編碼方法之運算複雜性。 視情況，在編碼S818、S820第三區域及第四區域中之像素區塊之前，可變更用於在可用編碼方法之間進行選擇之編碼器之臨限值。 舉例而言，編碼器具有一預定義第三臨限值以用於基於來自區塊匹配演算法之一輸出而在將一像素區塊編碼為一B跳過區塊與將一像素區塊編碼為一B區塊之間進行選擇。舉例而言，若區塊匹配演算法輸出一SAD值，則預定義第三臨限值可係45 (針對第三影像圖框202及/或第一影像圖框102之最佳匹配區塊)以用於將特定像素區塊編碼為一B跳過區塊。低於此值，則將特定像素區塊編碼為一B跳過區塊，而高於此值(但低於第一臨限值)，則可將特定像素區塊編碼為一B區塊。在此實施例中，可使用關於攝影機之移動之知識使得在攝影機之移動期間第三臨限值可增加S810至(例如) 90。 如上文所闡述，將關於攝影機之一移動之資訊作為至區塊匹配演算法之一輸入使得區塊匹配演算法可使用此輸入作為在第一影像及/或第三影像中區塊匹配演算法應開始針對第二影像圖框104中之一特定像素區塊匹配區塊且計算第一影像圖框102及/或第三影像圖框202中之像素區塊之差值(成本函數等)之一起始值。 圖9展示實施圖8中所闡述之方法之一編碼器900。編碼器900因此經配置以用於編碼由一攝影機擷取之一視訊串流908。視訊串流908包括一第一影像圖框及一第二影像圖框，且在視訊串流908中第一影像圖框在第二影像圖框之前。由編碼器接收此視訊串流908。 編碼器900進一步包括經配置以接收關於攝影機之一移動之資訊910之一接收組件902。此接收組件亦可經配置以接收視訊串流908。 編碼器亦包括一區域計算組件904，該區域計算組件經配置以基於關於攝影機之一移動之資訊910來定義包括亦在第一影像圖框中呈現之影像資料的第二影像圖框之一第一區域，及包括未在第一影像圖框中呈現之影像資料的第二影像圖框之一第二區域。 編碼器進一步包括一編碼組件906，該編碼組件經配置以針對第二區域使用I區塊編碼來編碼每一像素區塊，且針對該第一區域之每一特定像素區塊，基於來自使用該特定像素區塊及該第一影像圖框之至少部分作為輸入之一區塊匹配演算法之一輸出而在將該特定像素區塊編碼為I區塊、P區塊及P跳過區塊中之一者之間進行選擇，且根據該選擇來編碼該特定像素區塊。 根據某些實施例，可直接在編碼組件906處接收視訊串流908。 本發明之編碼器可具有至擷取傳輸至編碼器900之視訊串流908之攝影機1000之一有線或無線連接。此一攝影機1000係在圖10中展示。在某些實施例中，攝影機包括編碼器900。攝影機包括用於估計攝影機之移動且傳輸關於編碼器之移動之資訊910之一運動估計裝置1002。運動估計裝置1002可經配置以使用以下各項中之至少一者來估計攝影機之移動：至攝影機之一PT控制之輸入、關於攝影機之一步進馬達移動之資訊、來自攝影機中之一感測器(例如一陀螺儀、紅外線感測器或此項技術中已知的類似運動感測器)之運動資料及經配置以依據視訊串流中之影像圖框之時域濾波來執行全域運動估計之視訊攝影機軟體。 如上文所闡述，關於攝影機之移動之知識可由編碼器使用以用於針對待編碼影像圖框之不同區域使用不同量化參數。由於編碼器在編碼例如第二影像圖框時可存取關於在編碼當前第二影像圖框時可用之資料以發現攝影機在下一圖框(例如第三影像圖框)期間如何移動，此可用於增加編碼品質及/或降低所需位元速率。除上文已闡述之實例之外，將給出一進一步實例。 針對具有8個像素區塊A、B、C、D、E、F、G及H (例如，16 x 16像素)之一視訊，定義為： 在16個像素向右PTZ運動之情況下： - 在下一圖框中區塊A及E將消失。 - 在第二下一個圖框中區塊B及F將消失。 - 在此圖框中區塊D及H係新的。 - 其餘區塊(C及G)將保持在視訊中至少再兩個圖框。 基於上文關於攝影機之轉動移動之資訊，可應用以下QP表 應注意一較低QP值降低壓縮且因此增加編碼品質。 上文中所揭示之系統(例如編碼器900)及方法可實施為軟體、韌體、硬體或其一組合。在一硬體實施方案中，上文之說明中所提及之功能單元或組件之間的任務之劃分(例如，一接收組件902、區域計算組件904等)未必對應於實體單元之劃分；相反地，一個實體組件可具有多個功能，且在協作中一個任務可由數個實體組件實施。可將特定組件或所有組件實施為由一數位信號處理器或微處理器執行之軟體，或實施為硬體或實施為一特殊應用積體電路。此軟體可分佈於可包括電腦儲存媒體(或非暫時性媒體)及通信媒體(或暫時性媒體)之電腦可讀媒體上。如熟習此項技術者眾所周知，術語電腦儲存媒體包含以任何方法或技術實施之用於儲存諸如電腦可讀指令、資料結構、程式模組或其他資料之資訊之揮發性及非揮發性兩者、可移除式及非可移除式兩者之媒體。電腦儲存媒體包含但不限於RAM、ROM、EEPROM、快閃記憶體或其他記憶體技術；CD-ROM、數位多功能光碟(DVD)或其他光碟記儲存器；磁盒、磁帶、磁碟儲存器或其他磁性儲存裝置；或可用於儲存所要資訊且可被一電腦存取之任何其他媒體。
102‧‧‧第一影像圖框/影像圖框/第一影像
104‧‧‧第二影像圖框/影像圖框/第二影像
104’‧‧‧經旋轉影像圖框
106‧‧‧區域/第一區域/經定義區域
108‧‧‧區域/第二區域/經定義區域
202‧‧‧第三影像圖框/影像圖框/第三影像
204‧‧‧第三區域/經定義區域
206‧‧‧第四區域/經定義區域
900‧‧‧編碼器
902‧‧‧接收組件
904‧‧‧區域計算組件
906‧‧‧編碼組件
908‧‧‧視訊串流
910‧‧‧資訊
1000‧‧‧攝影機
1002‧‧‧運動估計裝置
參考附圖，透過對本發明之實施例之以下說明性及非限制性詳細說明將較佳地理解本發明之上述以及額外目標、特徵及優點，在該等附圖中，相同元件符號將用於類似元件，其中： 圖1展示一視訊串流之一第一影像圖框及一第二影像圖框，其中擷取視訊串流之攝影機已在第一影像圖框與第二影像圖框之間移動， 圖2至圖3展示根據本發明之實施例之基於圖1之攝影機之移動而對圖1之第二影像中之一第一區域及一第二區域之一定義， 圖4展示一視訊串流之一第一影像圖框、一第二影像圖框及一第三影像圖框，其中擷取視訊串流之攝影機已在第一影像圖框與第二影像圖框之間以及第二影像圖框與第三影像圖框之間移動， 圖5至圖6展示根據本發明之實施例之基於圖4之攝影機移動對圖4之第二影像中之一第一區域、一第二區域、一第三區域及一第四區域之一定義， 圖7展示根據本發明之實施例之在編碼第二影像之像素區塊之前第二影像之一旋轉， 圖8展示根據本發明之實施例之在一編碼器中執行以用於編碼由一攝影機擷取之一視訊串流之一方法， 圖9展示根據本發明之實施例之一編碼器， 圖10展示根據本發明之實施例之一攝影機。

Claims (14)

  1. 一種在一編碼器中執行以用於編碼由一攝影機擷取之一視訊串流之方法，該視訊串流繪示(depicting)一場景，該視訊串流包括一第一影像圖框(102)及一第二影像圖框(104)，在該視訊串流中該第一影像圖框在該第二影像圖框之前，該第一影像圖框及該第二影像圖框涵蓋該場景之部分重疊部分，該方法包括以下步驟：接收(S802)關於該攝影機之一移動之資訊，基於關於該攝影機之一移動之該資訊來定義(S804)該第二影像圖框之一第一區域(106)及一第二區域(108)，其中該第一區域涵蓋亦被該第一影像圖框涵蓋的該場景之一部分，且其中該第二區域涵蓋未被該第一影像圖框涵蓋的該場景之一部分，針對該第二區域，使用I區塊編碼(I block encoding)來編碼(S814)每一像素區塊，針對該第一區域之每一特定像素區塊，基於來自使用該特定像素區塊及該第一影像圖框之至少部分作為至一區塊匹配演算法之輸入之該區塊匹配演算法之一輸出而在將該特定像素區塊編碼為I區塊(I block)、P區塊(P block)及P跳過區塊(P skip block)中之一者之間進行選擇，且根據該選擇來編碼(S816)該特定像素區塊。
  2. 如請求項1之方法，其中該編碼器具有一預定義第一臨限值，其中該編碼器經配置以用於在一差值超出該預定義第一臨限值時選擇將一像素區塊編碼為一I區塊，該差值係自該區塊匹配演算法輸出，且該差值描述該像素區塊及該第一影像圖框中之一最佳匹配像素區塊的匹配程度，其中該方法包括以下步驟：在該攝影機之一移動期間增加(S808)該第一臨限值。
  3. 如請求項2之方法，其中該編碼器具有一預定義第二臨限值，其中該編碼器經配置以用於在將一像素區塊編碼為一P跳過區塊與將一像素區塊編碼為一P區塊之間進行選擇，其中該編碼器經配置以在一差值不超出該預定義第二臨限值時將該像素區塊編碼為一P跳過區塊，該差值係自該區塊匹配演算法輸出，且該差值描述該像素區塊及該第一影像圖框中之一最佳匹配像素區塊的匹配程度，其中該預定義第二臨限值低於該預定義第一臨限值，其中該編碼器經配置以在該差值介於該預定義第二臨限值及該預定義第一臨限值之間時將該像素區塊編碼為一P區塊，其中該方法包括以下步驟：在該攝影機之一移動期間增加(S810)該第二臨限值。
  4. 如請求項1之方法，其中該視訊串流進一步包括一第三影像圖框(202)，在該視訊串流中該第二影像圖框在該第三影像圖框之前，其中該第三影像圖框涵蓋部分地重疊被該第一影像圖框及該第二影像圖框涵蓋的該場景之該等部分的該場景之一部分，其中該第一區域及該第二區域涵蓋未被該第三影像圖框涵蓋的該場景之一部分。
  5. 如請求項4之方法，其進一步包括以下步驟：基於關於該攝影機之一移動之該資訊來定義(S806)：該第二影像圖框之一第三區域(204)，其涵蓋亦被該第一影像圖框及該第三影像圖框涵蓋的該場景之一部分；及該第二影像圖框之一第四區域(206)，其涵蓋亦被該第三影像圖框涵蓋但未被該第一影像圖框涵蓋的該場景之一部分，其中該第二區域涵蓋未被該第三影像圖框涵蓋的該場景之一部分，其中該第一區域涵蓋未被該第三影像圖框涵蓋的該場景之一部分，針對該第三區域之每一特定像素區塊，基於來自使用該特定像素區塊以及該第一影像圖框及該第三影像圖框之至少部分作為輸入之該區塊匹配演算法之一輸出而在將該特定像素區塊編碼為I區塊、P區塊、P跳過區塊、B區塊(B block)及B跳過區塊(B skip block)中之一者之間進行選擇，且根據該選擇來編碼(S818)該特定像素區塊，針對該第四區域之每一特定像素區塊，基於來自使用特定像素區塊及該第三影像圖框之至少部分作為輸入之該區塊匹配演算法之一輸出而在將該特定像素區塊編碼為I區塊、B區塊及B跳過區塊中之一者之間進行選擇，且根據該選擇來編碼(S820)該特定像素區塊。
  6. 如請求項5之方法，其中該編碼器具有一預定義第三臨限值以用於在將一像素區塊編碼為一B跳過區塊與將一像素區塊編碼為一B區塊之間進行選擇，其中該編碼器經配置以在一差值未超出該第三預定義臨限值時將該像素區塊編碼為一B跳過區塊，該差值係自該區塊匹配演算法輸出，且該差值描述該像素區塊及該第一影像圖框中之一最佳匹配像素區塊的匹配程度，其中該預定義第三臨限值低於該預定義第一臨限值，其中該編碼器經配置以在該差值介於該預定義第三臨限值及該預定義第一臨限值之間時時將該像素區塊編碼為一B區塊，其中該方法包括以下步驟：在該攝影機之一移動期間增加(S812)該第三臨限值。
  7. 如請求項6之方法，其中編碼該第一區域之像素區塊之該步驟包括使用一第一量化參數，其中編碼該第二區域之像素區塊之該步驟包括使用一第二量化參數，其中編碼該第三區域之像素區塊之該步驟包括使用一第三量化參數，其中編碼該第四區域之像素區塊之該步驟包括使用一第四量化參數，其中該第三量化參數及該第四量化參數低於該第一量化參數及該第二量化參數。
  8. 如請求項7之方法，其中該第四量化參數低於該第三量化參數。
  9. 如請求項1之方法，其中該編碼器係一H.264編碼器，其中該方法進一步包括以下步驟：判定關於該攝影機之一移動之該資訊對應於該攝影機之一水平移動，在編碼該第二影像之該像素區塊之前旋轉該第二影像。
  10. 如請求項1之方法，其進一步包括以下步驟：提供關於該攝影機之一移動之該資訊作為至該區塊匹配演算法之一輸入。
  11. 一種電腦可讀儲存媒體，其具有經調適以在由具有處理能力之一裝置執行時實施如請求項1之方法之指令。
  12. 一種編碼器(900)，其經配置以用於編碼由一攝影機擷取之一視訊串流(908)，該視訊串流繪示一場景，該視訊串流包括一第一影像圖框及一第二影像圖框，在該視訊串流中該第一影像圖框在該第二影像圖框之前，該第一影像圖框及該第二影像圖框涵蓋該場景之部分重疊部分，該編碼器包括：一接收組件(902)，其經配置接收關於該攝影機之一移動之資訊(910)，一區域計算組件(904)，其經配置以基於關於該攝影機之一移動之該資訊來定義該第二影像圖框之一第一區域(106)及一第二區域(108)，其中該第一區域涵蓋亦被該第一影像圖框涵蓋的該場景之一部分，且其中該第二區域涵蓋至未被該第一影像圖框涵蓋的該場景之一部分，一編碼組件(906)，其經配置以：針對該第二區域，使用I區塊編碼來編碼每一像素區塊，及針對該第一區域之每一特定像素區塊，基於來自使用該特定像素區塊及該第一影像圖框之至少部分作為輸入之一區塊匹配演算法之一輸出而在將該特定像素區塊編碼為I區塊、P區塊及P跳過區塊中之一者之間進行選擇，且根據該選擇來編碼該特定像素區塊。
  13. 一種用於編碼一視訊串流之系統，其包括：一攝影機(1000)，其經配置以擷取繪示一場景之一視訊串流(908)，該攝影機包括用於估計該攝影機之移動之一運動估計裝置(1002)，及如請求項12之一編碼器，其連接至該攝影機，其中該運動估計裝置經配置以用於將有關該攝影機之該等移動之資訊傳輸至該編碼器，且其中該攝影機經配置以用於將該視訊串流傳輸至該編碼器。
  14. 如請求項13之系統，其中該運動估計裝置經配置以用於使用以下各項中之至少一者來估計該攝影機之移動：至該攝影機之一PT(Pan-Tilt；轉動-傾斜)控制之輸入、關於該攝影機之一步進馬達移動之資訊、來自該攝影機中之一感測器之運動資料及依據該視訊串流中之影像圖框之時域濾波之全域運動估計。
TW106107880A 2016-03-15 2017-03-10 用於編碼視訊串流的方法和系統 TWI660626B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??16160285.9 2016-03-15
EP16160285.9A EP3220642B1 (en) 2016-03-15 2016-03-15 Method, apparatus and system for encoding a video stream by defining areas within a second image frame with image data common to a first image frame

Publications (2)

Publication Number Publication Date
TW201737712A TW201737712A (zh) 2017-10-16
TWI660626B true TWI660626B (zh) 2019-05-21

Family

ID=55586167

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106107880A TWI660626B (zh) 2016-03-15 2017-03-10 用於編碼視訊串流的方法和系統

Country Status (6)

Country Link
US (1) US10075727B2 (zh)
EP (1) EP3220642B1 (zh)
JP (1) JP6463397B2 (zh)
KR (1) KR101908639B1 (zh)
CN (1) CN107197307B (zh)
TW (1) TWI660626B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7036416B2 (ja) 2017-10-18 2022-03-15 Ｎｅｃプラットフォームズ株式会社 装置
US10397518B1 (en) * 2018-01-16 2019-08-27 Amazon Technologies, Inc. Combining encoded video streams
EP3657799B1 (en) * 2018-11-22 2020-11-04 Axis AB Method for intra refresh encoding of a plurality of image frames
EP3668096A1 (en) * 2018-12-11 2020-06-17 Axis AB Method and device for encoding a sequence of image frames using a first and a second encoder
EP3713235B1 (en) * 2019-03-19 2023-08-02 Axis AB Methods and devices for encoding a video stream using a first and a second encoder
EP3868101B1 (en) * 2019-08-23 2024-04-10 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for performing chroma deblocking for blocks which use joint chroma coding
EP3829170A1 (en) * 2019-11-29 2021-06-02 Axis AB Encoding and transmitting image frames of a video stream
EP3833028B1 (en) * 2019-12-03 2022-02-09 Axis AB Method and system for calculating a cost of encoding a motion vector
EP3985976B1 (en) * 2020-10-16 2022-09-28 Axis AB Method of encoding an image including a privacy mask
US11425412B1 (en) * 2020-11-10 2022-08-23 Amazon Technologies, Inc. Motion cues for video encoding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995030310A1 (en) * 1994-04-29 1995-11-09 Motorola, Inc. A method for estimating motion in a video sequence
WO2009156965A1 (en) * 2008-06-27 2009-12-30 Nokia Corporation Video encoding using motion data
CN1926868B (zh) * 2003-10-17 2011-04-13 伦斯莱尔工艺研究院 在运动补偿时间滤波可伸缩视频编码器的环境中用于可变尺寸块的重叠块运动补偿

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05336514A (ja) * 1992-05-29 1993-12-17 Sony Corp 画像符号化装置
US5619281A (en) * 1994-12-30 1997-04-08 Daewoo Electronics Co., Ltd Method and apparatus for detecting motion vectors in a frame decimating video encoder
JP3317327B2 (ja) * 1996-02-07 2002-08-26 日本電信電話株式会社 動画像符号化方法および装置
KR100905880B1 (ko) 2001-09-12 2009-07-03 엔엑스피 비 브이 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더
US8102915B2 (en) 2003-10-28 2012-01-24 Trident Microsystems (Far East) Ltd. Motion vector fields refinement to track small fast moving objects
JP4507896B2 (ja) * 2005-01-27 2010-07-21 パナソニック株式会社 動画像圧縮装置と動画像圧縮処理方法
US8774272B1 (en) 2005-07-15 2014-07-08 Geo Semiconductor Inc. Video quality by controlling inter frame encoding according to frame position in GOP
JP2007228101A (ja) * 2006-02-21 2007-09-06 Victor Co Of Japan Ltd 動画像符号化装置
JP4303745B2 (ja) * 2006-11-07 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
US20100079605A1 (en) 2008-09-29 2010-04-01 William Marsh Rice University Sensor-Assisted Motion Estimation for Efficient Video Encoding
US20110292997A1 (en) 2009-11-06 2011-12-01 Qualcomm Incorporated Control of video encoding based on image capture parameters
JP5598199B2 (ja) * 2010-09-16 2014-10-01 富士通株式会社 動画像符号化装置
US9769473B2 (en) 2012-06-08 2017-09-19 Apple Inc. Predictive video coder with low power reference picture transformation
CN103673990B (zh) * 2012-09-13 2016-04-06 北京同步科技有限公司 获取摄像机姿态数据的装置及其方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995030310A1 (en) * 1994-04-29 1995-11-09 Motorola, Inc. A method for estimating motion in a video sequence
CN1926868B (zh) * 2003-10-17 2011-04-13 伦斯莱尔工艺研究院 在运动补偿时间滤波可伸缩视频编码器的环境中用于可变尺寸块的重叠块运动补偿
WO2009156965A1 (en) * 2008-06-27 2009-12-30 Nokia Corporation Video encoding using motion data

Also Published As

Publication number Publication date
EP3220642A1 (en) 2017-09-20
TW201737712A (zh) 2017-10-16
JP2017201777A (ja) 2017-11-09
CN107197307B (zh) 2018-10-16
JP6463397B2 (ja) 2019-01-30
CN107197307A (zh) 2017-09-22
KR101908639B1 (ko) 2018-10-16
KR20170107377A (ko) 2017-09-25
EP3220642B1 (en) 2018-03-07
US20170272771A1 (en) 2017-09-21
US10075727B2 (en) 2018-09-11

Similar Documents

Publication Publication Date Title
TWI660626B (zh) 用於編碼視訊串流的方法和系統
US9544616B2 (en) Video transmission apparatus
EP2002649B1 (en) Electronic video image stabilization
US8983217B2 (en) Stereo image encoding apparatus, its method, and image pickup apparatus having stereo image encoding apparatus
JPWO2009037828A1 (ja) 画像符号化装置および画像復号化装置
KR20190126295A (ko) 인 루프 필터를 선택적으로 적용하여 직사각형 프로젝션에 360도 이미지 컨텐츠를 제작하는 방법 및 장치
JP2017201777A5 (zh)
US9979882B2 (en) Method and device for controlling a camera capable of pan and tilt control
US20150350641A1 (en) Dynamic range adaptive video coding system
JP6707334B2 (ja) リアルタイム符号化のための方法及び装置
EP3989530A1 (en) Generating substitute image frames based on camera motion
JP2015050661A (ja) 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
EP3131295A1 (en) Video encoding method and system
JP7299690B2 (ja) 画像処理装置およびその制御方法
JP6694902B2 (ja) 映像符号化装置及び映像符号化方法
JP6758977B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP7336185B2 (ja) 画像処理装置および画像処理方法