TWI821723B - 包含隱私遮罩之影像編碼的方法 - Google Patents

包含隱私遮罩之影像編碼的方法 Download PDF

Info

Publication number
TWI821723B
TWI821723B TW110129577A TW110129577A TWI821723B TW I821723 B TWI821723 B TW I821723B TW 110129577 A TW110129577 A TW 110129577A TW 110129577 A TW110129577 A TW 110129577A TW I821723 B TWI821723 B TW I821723B
Authority
TW
Taiwan
Prior art keywords
image
privacy mask
movement
pixel
encoding
Prior art date
Application number
TW110129577A
Other languages
English (en)
Other versions
TW202218406A (zh
Inventor
強納 尼斯羅
約翰 佛博格
嵩 袁
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202218406A publication Critical patent/TW202218406A/zh
Application granted granted Critical
Publication of TWI821723B publication Critical patent/TWI821723B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本發明揭示調適一像素化隱私遮罩區域內之影像編碼以減少一攝影機之移動期間的閃變。將運動向量設定為等於該攝影機之該移動且將殘差設定為零以藉此將該隱私遮罩區域內的像素區塊編碼為一參考影像中之對應像素區塊的複本。

Description

包含隱私遮罩之影像編碼的方法
本發明係關於包含隱私遮罩之數位影像之編碼。
監測攝影機用於室內及室外兩者之諸多不同應用中以監測各種環境。描繪一擷取場景之影像可由(例如)一操作者或一警衛監測。在諸多攝影機監測應用中，有利地使用具有可經改變或移動以能夠覆蓋一較大區域之一視域之一攝影機。此一攝影機通常表示為一PT或PTZ攝影機，其中一PT攝影機能夠水平移動及傾斜且一PTZ攝影機另外能夠變焦。
在特定情境中，(諸如)當為了個人完整性而需要遮擋或遮罩一影像之部分時，需要不同於一擷取影像之一部分處理另一部分。例如，此可發生於一攝影機放置於一建築物內或一公共汽車或一火車內且自由攝影機完成之監測排除外部環境時。另一實例係當監測具有窗之一建築物且需要避免透過窗來監測建築物之內部時。
一隱私遮罩可為靜態或動態的。一靜態隱私遮罩通常藉由一操作者在一圖形使用者介面中標記影像上之待遮罩之區域來產生。靜態隱私遮罩接著保持於適當位置中直至操作者決定移動或移除其。一動態隱私遮罩可隨時間改變。類似於一靜態隱私遮罩，操作者可在期望遮罩時標記影像中之一區域或動態遮罩可應用於整個攝影機視域。操作者亦輸入設定以判定應何時應用隱私遮罩。例如，操作者可添加設定，使得若偵測到一臉，則將遮罩該臉。
針對PTZ攝影機，鑑於其在長距離上放大細節之能力及其廣區域覆蓋範圍，隱藏攝影機監測之特定區域之視域可為尤其重要的。在具有一可移動視域之一攝影機中，靜態隱私遮罩固定至攝影機之座標系統以確保遮罩維持於場景之相同區域中，即使當攝影機之視域透過水平移動、傾斜及變焦來改變時。
隱私遮罩可作為一覆疊層應用於影像。一些隱私遮罩採取一黑色或否則彩色、不透明區域之形式。其他隱私遮罩採取模糊之形式，其中在隱私遮罩區域上「塗抹」影像資料。遮罩之又一變體係馬賽克或像素化遮罩，其中將隱私遮罩內之影像分成像素化區塊且給予一像素化區塊之所有像素相同值(通常為像素化區塊內之若干或所有像素之一平均值)，使得影像在隱私遮罩區域內顯現為塊狀。一適當組態像素化遮罩具有(例如)藉由允許操作者看見一個人在遮罩區域中移動同時仍藉由隱藏個人之識別特性(諸如其臉、步態等等)使得無法識別個人來允許稍微瞭解遮罩區域中發生之事物之有吸引力性質。
在應用像素化隱私遮罩時發生(尤其在此等遮罩用於具有可移動視域之攝影機中時普遍)之一問題係遮罩會振盪或閃變以產生一不愉快使用者體驗。已提出時間平滑化來緩解此問題，例如O. Sarwar、A. Cavallaro及B. Rinner之「Temporally Smooth Privacy-Protected Airborne Videos」(2018 IEEE/RSJ智慧型機器人及系統之國際會議(IROS)，馬德里，2018，pp. 6728-6733)中所描述。然而，關注本發明中之進一步改良。
本發明之一目標係提供一種對包括一隱私遮罩之影像編碼之方法，其減少攝影機移動期間之像素化隱私遮罩中呈閃變之形式之惱人視覺假影。
根據一第一態樣，此及其他目標由一種對由一影像感測器擷取且包括一隱私遮罩之一影像串流編碼之方法完全或至少部分達成， 其中參考係該影像串流中之一先前解碼影像之一參考影像來編碼該影像串流中之一當前影像， 其中該方法包括以下步驟： 自該影像感測器接收表示該當前影像之像素之資訊； 將該等像素分組成相鄰像素之群組之像素區塊； 接收表示其中該隱私遮罩將應用於該當前影像上之一隱私遮罩區域之資訊； 執行該隱私遮罩區域之像素化； 接收表示該影像感測器在擷取該參考影像與擷取該當前影像之間的一移動之資訊； 若該影像感測器之該移動高於一臨限值，則將該隱私遮罩區域內之各像素區塊編碼為具有指向該參考影像中之一參考像素區塊之一運動向量及指示該參考像素區塊與該隱私遮罩區域內之該像素區塊之間的一像素值差之一殘差之一圖框間編碼區塊，其中將該運動向量設定為等於該影像感測器之該移動且將該殘差設定為零。
將該運動向量設定為等於該攝影機之該移動且將該殘差設定為零具有將該隱私遮罩區域內之所有該等像素區塊編碼為其等各自參考區塊之複本之效應。此繼而意謂可避免編碼原本會作為該像素區塊之一亮度或色彩改變出現之任何雜訊。依此方式，依一簡單及高效方式防止該攝影機之移動期間之惱人視覺假影，諸如該隱私遮罩之閃動或閃變。
術語「設定為等於該影像感測器之移動」可解譯為將該運動向量設定為對應於該影像感測器在擷取該當前影像與擷取該參考影像之間的該移動之像素或與該影像相關之其他單元中所量測之移動之量及方向。應注意，該影像感測器之該移動引起該影像感測器之視域之一改變，亦即，描繪於該等影像中之一場景之部分之一改變。因此，將具有相同含義之用語係(例如)「設定為等於該視域之移動」或「根據(或基於)該影像感測器(或該影像感測器之視域)之該移動來設定」。表述此之又一方式係將該運動向量設定為等於(或根據或基於)與一描繪場景相關之該影像感測器之該移動。
根據本發明方法之一變體，無關於該影像感測器之該移動來執行該當前影像中之像素區塊之第一編碼以產生第一編碼像素區塊，且 若該影像感測器之該移動高於該臨限值，則與該第一編碼平行地， 執行該隱私遮罩區域內之像素區塊之第二圖框間編碼以產生具有設定為等於該影像感測器之該移動之一運動向量且具有設定為零之一殘差之該圖框間編碼區塊，且其中 由具有設定為等於該影像感測器之該移動之一運動向量且具有設定為零之一殘差之該圖框間編碼區塊替換對應於該隱私遮罩區域內之該等像素區塊之該等第一編碼像素區塊。
依此方式，需要執行該編碼之編碼器之最小修改，因為平行於包含該隱私遮罩區域之整個影像之一「標準」非調適編碼來執行移動時所執行之該編碼之調適。執行該隱私遮罩區域內之該等區塊之一替換以產生最終編碼影像。例如，當執行該編碼之該編碼器實施於硬體中且該編碼器之該調適原本需要該硬體改變時，此可為有利的。藉由添加一平行編碼步驟且接著替換該隱私遮罩區域內之該等編碼區塊，可以該編碼器之最小改變進行該編碼之該調適。應注意，該隱私遮罩區域內之該等像素區塊之該第一編碼可產生圖框間編碼區塊(P區塊或B區塊)及圖框內編碼區塊(I區塊)兩者，其取決於執行該編碼之該編碼器中所採取之決策。不管由該隱私遮罩區域內之該第一編碼產生之區塊之類型如何，此等區塊將由該第二圖框間編碼產生之該等圖框間編碼區塊替換。
藉由「無關於該影像感測器之該移動」應瞭解，在不考量該影像感測器之該移動之情況下計算運動向量。換言之，藉由執行搜尋類似於該當前影像中之一各自像素區塊之該參考影像中之一像素區塊來判定運動向量。該運動向量搜尋通常開始於對應於該當前影像中之該各自像素區塊之位置之該參考影像中之一位置處。集中圍繞該位置之一搜尋圖案通常接著用於搜尋該搜尋圖案之極限內可到達之一類似或通常最類似像素區塊。在此，類似意謂像素值之差(即，殘差)較低。若未找到類似區塊(例如，若未找到具有具有低於一特定殘差臨限值之一絕對值之一殘差之區塊)，則可代以將該區塊編碼為一圖框內區塊。
根據另一變體，作為一圖框間編碼區塊之該隱私遮罩區域內之各像素區塊之該編碼包含： 執行該隱私遮罩區域內之各像素區塊之第一圖框間編碼以產生具有一非零殘差之一圖框間編碼區塊；及 將該非零殘差設定為零。
結合在該第一圖框間編碼之後將該殘差設定為零，作為此變體之一第一選項，該第一圖框間編碼可包含將該隱私遮罩區域內之各像素區塊之一運動向量設定為等於該影像感測器之該移動。作為一第二選項，該第一圖框間編碼可代以包含無關於該影像感測器之該移動來判定該隱私遮罩區域內之各像素區塊之一第一運動向量，且該隱私遮罩內之各像素區塊之該編碼可進一步包括：與該第一圖框間編碼平行地將該隱私遮罩區域內之各像素區塊之一運動向量設定為等於該影像感測器之該移動且由設定為等於該影像感測器之該移動之該運動向量替換該第一運動向量。
因此，根據第二變體，不產生該隱私遮罩區域內之兩組編碼區塊，第一變體之情況亦如此。此具有需要較少處理功率及較少記憶體使用之明顯優點。然而，其需要修改該編碼器以允許控制移動期間之該隱私遮罩區域中之編碼方式。該等非零殘差可基於已設定為等於該影像感測器之該移動之一運動向量(如第一選項)或基於由該編碼器判定且接著由設定為等於該影像感測器之該移動之該運動向量替換之一運動向量(如第二選項)來判定。
執行該隱私遮罩區域之像素化之步驟可包括將該隱私遮罩區域內之像素分組成相鄰像素之像素化群組且將一各自像素化群組之各像素之一像素值設定為表示該各自像素化群組之一共同像素值。該共同值可為該像素區塊中之像素值之一平均值，且更具體言之，該共同值可為該各自像素化群組中之像素之一子集之像素值之一平均數。在計算該共同值時僅使用像素之一選擇或子集節省計算時間且降低處理功率之消耗。
表示該影像感測器之移動之該資訊可自控制該影像感測器之移動之一水平移動、傾斜或變焦控制器接收。該資訊可(例如)基於用於控制移動該影像感測器之一馬達之控制信號或指令。
另外或作為一替代，可自一運動感測器接收表示該影像感測器之移動的資訊。該運動感測器可經配置以感測該影像感測器之該移動且可係呈一陀螺儀或一加速度計之形式。該運動感測器亦可經配置以偵測及量測移動該影像感測器之一馬達的動作。該馬達可呈一步進馬達之形式，其係具有一可移動視域之攝影機(諸如一PT或PTZ攝影機)之一般選擇，且在該情況中，由該馬達移動之步進的數目可用作該影像感測器之該移動之一指示。
該先前解碼影像可為該影像串流中之一先前擷取影像，使用P圖框間編碼時之情況亦係如此。
該先前解碼影像可為該影像串流中之一稍後擷取影像，其先前已經編碼及解碼以用作該參考影像。此將係使用B圖框間編碼時之情況。
表示該影像中之該等像素之該資訊係來自由關於明度、光強度及色彩值之資料組成之群組中之至少一者。所有這些表示常用於表示一影像中之像素值的方式。
根據一第二態樣，上文所討論及其他目標係由一種用於對由一影像感測器擷取且包括一隱私遮罩之一影像串流編碼的影像編碼系統完全或至少部分達成，
其中參考係該影像串流中之一先前解碼影像之一參考影像來編碼該影像串流中之一當前影像， 該系統包括： 一接收模組，其經配置以自該影像感測器接收表示該當前影像之像素的資訊，且將該等像素分組成相鄰像素之群組的像素區塊； 一隱私遮罩模組，其經配置以接收表示其中該隱私遮罩將被應用於該當前影像之一隱私遮罩區域的資訊且執行該隱私遮罩區域的像素化； 一移動輸入模組，其經配置以接收表示該影像感測器在擷取該參考影像與擷取該當前影像之間之一移動的資訊； 一編碼器模組，其經配置以在該移動高於一臨限值時將該隱私遮罩區域內之各像素區塊編碼為具有指向該參考影像中之一參考像素區塊之一運動向量及指示該參考像素區塊與該隱私遮罩區域內之該像素區塊之間之一像素值差之一殘差之一圖框間編碼區塊，其中將該運動向量設定為等於該影像感測器之該移動且將該殘差設定為零。
根據一第三態樣，此及其他目標由包括根據第二態樣之一編碼系統之一攝影機完全或至少部分達成。
將自下文將給出之詳細描述明白本發明之適用性之一進一步範疇。然而，應瞭解，儘管指示本發明之較佳實施例，但詳細描述及特定實例僅依說明方式給出，因為熟習技術者將自此詳細描述明白本發明之範疇內之各種改變及修改。
因此，應理解，本發明不受限於所描述之裝置之特定組件部分或所描述之方法之步驟，因為此裝置及方法可變動。亦應理解，本文中所使用之術語僅用於描述特定實施例且不意欲限制。必須注意，除非內文另有明確指示規定，否則本說明書及隨附申請專利範圍中所使用之冠詞「一」及「該」意欲意謂存在一或多個元件。因此，例如，參考「一單元」或「該單元」可包含若干單元及其類似者。此外，用語「包括」不排除其他元件或步驟。
圖1展示描繪一場景104之兩個影像100及102。影像由具有一可移動視域之一攝影機300擷取。圖3中更詳細繪示攝影機300。攝影機300已在擷取影像102與擷取影像100之間略微改變其視域，因此，影像100展示場景104之一略微不同部分。
在場景104中，存在具有窗108之一建築物106。一個人110亦存在於影像中。個人110已在擷取影像102與擷取影像100之間移動以繪示攝影機300可藉由改變其視域來跟隨個人110在場景104中之移動。
在影像100、102中，建築物106之窗108由隱私遮罩112覆蓋以隱藏存在於建築物106內及否則可透過窗108看見之任何敏感內容，諸如個人或其他物體。隱私遮罩112依像素化隱私遮罩之形式提供。如所提及，一像素化隱私遮罩係一有吸引力選擇，因為其可經組態以允許稍微瞭解遮罩後面之場景之內容，同時維持場景之遮罩部分之隱私。
圖2A至圖2C繪示一影像及一像素化隱私遮罩。在圖2A中，展示一人臉之一影像200。在圖2B中，一像素化已應用於影像200，其中已將影像中之像素分組成像素化群組202。針對各像素化群組202，將像素化群組中之所有像素設定為一共同值以表示該像素化群組之像素值。例如，可使用群組中之所有像素值之一平均數。然而，群組中之像素值之一子集之一平均數較常用作共同值。因為一像素化群組可含有數百個像素，所以計算遮罩區域中之所有像素化群組之平均值之運算量很快變得巨大。當(例如)像素化群組中之前8個像素之一平均數代以用作一共同值時，顯著減小運算量，因此，此係提供像素化群組之共同值之一常用策略。
返回至圖2B，應注意，仍可偵測到像素化後面存在一臉。甚至可辨識該個人之身分。圖2C展示其中已使用一較大大小之像素化群組204之一實例。依相同於圖2B之方式，設定一像素化群組204內之所有像素之一共同值，但因為像素化群組204較大，所以較少資訊留在遮罩區域中以藉此使更難以偵測到臉。可根據諸如影像之大小、至需要遮罩之物體之距離及使遮罩物體不可識別之程度之因數來選擇像素化群組之大小。
圖3繪示攝影機300。攝影機300包括光學器件302及一影像感測器304，如本身一般已知。攝影機300亦包含一影像編碼系統400 (如圖4中所更詳細繪示)及一影像處理模組306 (其亦可指稱一影像處理管線(IPP))。IPP可(例如)執行解馬賽克、雜訊濾波、銳化及色調映射。攝影機300安裝於一PT單元308上，PT單元308能夠依一水平移動或傾斜運動移動攝影機300，其中攝影機300能夠擷取場景104之不同部分之影像。熟習技術者應意識到，攝影機可具有額外組件，但因為其非理解本發明所必需，所以其未展示於圖中且將不進一步討論。
圖4繪示編碼系統400。編碼系統400接收表示影像100之像素之資訊402。在一接收模組404中經由IPP 306來自影像感測器304接收資訊402。
圖5A至圖5B展示影像100之主要結構。影像102及由攝影機300擷取之其他影像具有相同於影像100之主要結構。影像100由對應於攝影機300之影像感測器304之像素之諸多像素500組成。例如，影像可由1280×720個像素、1920×1080個像素或3840×2160個像素組成。
接收模組404將像素500組織成包括相鄰像素500之群組之像素區塊502。圖5B中展示像素區塊502。像素區塊502亦可表示為巨集區塊、編碼樹單元或編碼單元，其取決於用於編碼影像之編碼標準。像素區塊502在大部分情況中可呈矩形，包括(例如) 8×8個、16×16個或32×32個像素。亦可將像素502分組成其他大小及形狀之像素區塊。
返回至圖4，除接收表示影像像素之資訊402之外，編碼系統400接收表示其中一隱私遮罩(諸如隱私遮罩108)將應用於影像100之一隱私遮罩區域之資訊406。資訊406由一隱私遮罩模組408接收，隱私遮罩模組408接著藉由執行隱私遮罩區域之像素化來將隱私遮罩應用於隱私遮罩區域。
編碼系統400進一步包括一移動輸入模組410，其接收關於影像感測器在擷取一當前影像(在此情況中係影像100)與擷取在當前影像之編碼中用作一參考影像之影像之間的移動之資訊412。資訊412通常自PT單元308接收且可基於至用於移動攝影機300之一馬達之控制指令或來自經配置以感測移動攝影機之馬達之移動之一感測器之一輸出。作為一替代，移動資訊412可自偵測及量測攝影機之移動之一運動感測器(諸如一陀螺儀或一加速度計)接收。
應注意，影像感測器之移動通常相同於攝影機之移動，因為影像感測器固定於攝影機中。因此，術語「攝影機之移動」及「影像感測器之移動」在本文中可互換使用。在影像感測器將可相對於攝影機移動之不同情況中，本發明將需要關於影像感測器本身之移動之資訊及關於攝影機之移動之資訊。結合移動將表示關注移動，亦即，視域已在擷取兩個影像之間移動多少。
最後，在一編碼器模組414中使用圖框間壓縮編碼來編碼影像。可使用具有將視訊串流組織於圖片群組(GOP)中之一編碼結構之基於區塊之混合編解碼器，諸如一H.264、H.265 (HEVC)、MPEG-4 Part 2、AV1或VP9編解碼器。各GOP通常由一圖框內編碼影像(I圖框)開始，後接若干圖框間編碼影像(P或B圖框)。在圖框內編碼影像中，不參考影像串流中之其他影像來編碼影像資訊，且在圖框間編碼影像中，參考影像串流中之其他影像來編碼影像資訊。本文中所描述之編碼方法主要與編碼圖框間編碼影像相關。因此，應注意，當編碼一新I圖框時，通常將在一新GOP之各開始處更新隱私遮罩區域中之編碼像素區塊。因為圖框內編碼將不受本文中所描述之經調適編碼影響，所以其將不進一步討論。
因此，針對圖框間編碼影像，編碼器模組414經配置以參考呈一先前解碼影像之形式之一參考影像來編碼影像。在圖1所展示之實例之背景中，影像100之參考影像可為影像102，亦即，已經編碼且接著由編碼器模組解碼以充當一參考影像之一先前擷取影像。一即時應用(諸如在監視情境中)之情況通常係一先前擷取影像用作一參考影像(即，P圖框編碼)，但若可接受一延遲，則亦可使用一稍後擷取影像作為參考影像，亦即，B圖框編碼。如所熟知，延遲由等待使待擷取、編碼及接著解碼之稍後影像可用於用作參考影像引起。
一般而言，編碼器模組414針對類似於當前影像(即，影像100)中之一各自像素區塊之一參考像素區塊執行參考影像(即，影像102)中之一運動向量搜尋。若在參考影像中找到一類似區塊，則將當前影像中之像素區塊圖框間編碼為具有表示與參考區塊之位置差之一運動向量及表示與參考區塊之像素值差之一殘差。若未找到類似參考區塊，則代以將像素區塊編碼為一圖框內區塊。可補充，額外成本分析可用於改進像素區塊之圖框間編碼與圖框內編碼之間的決策，諸如申請人之先前申請案EP3370419中所描述。
然而，本發明之編碼器模組414經修改以較佳地應付與來自具有一可移動視域之攝影機之影像中之像素化遮罩相關之一問題，亦即，像素化遮罩在攝影機移動其視域時閃變或閃動以藉此產生一不愉快觀看體驗。發明者已意識到，此問題通常歸因於雜訊引起一像素化群組中之共同值在影像之間變動(即使當待編碼之影像與參考影像之間不存在場景內容差異時)之事實。
效應在採用將各像素化群組中之僅少數像素之一子集之一平均數用作像素化群組之共同值之方法時尤其明顯。此係因為有助於拉平雜訊之空間濾波效應在僅平均化少量像素值時較低。如上文所解釋，將整個像素化群組之一平均數用作共同值往往由於處理功耗原因而不是一有吸引力選項。
根據本發明，藉由調適攝影機移動期間之隱私遮罩區域內之像素區塊之編碼來緩解閃變，使得將隱私遮罩區域內之任何像素區塊編碼為參考影像中之對應區塊之一複本。此藉由使用關於攝影機之移動之資訊找到指向參考影像中之正確參考區塊之運動向量且接著將隱私遮罩區域內之像素區塊編碼為具有一零殘差及根據攝影機之移動之一運動向量之圖框間編碼區塊來達成。為判定此編碼調適應何時發揮作用，將比較攝影機之移動量與一臨限值(其可為零或大於零之一值)，已在該值處判定像素化區域中將發生大量閃變，其將由一觀看者感知為一惱人視覺假影。
因此，當編碼隱私遮罩區域內之像素區塊時，編碼器模組414將使用經由移動輸入模組410所接收之關於攝影機移動之資訊412來判定攝影機是否在移動，且若攝影機在移動，則將調適編碼以避免移動期間之閃變像素化遮罩之問題。此調適編碼可依(至少)兩種略不同方式達成，如現將參考圖6A及圖6B來解釋。
圖6A中繪示一第一變體600，其中編碼器模組在步驟602中在攝影機之移動高於臨限值時執行隱私遮罩區域內之所有區塊之圖框間編碼。在此圖框間編碼中，在判定殘差之前或之後將遮罩區域中之所有像素區塊之運動向量設定為等於攝影機之移動。換言之，編碼器模組可將運動向量設定為等於移動且基於其來計算殘差，或編碼器模組可首先根據一運動向量搜尋來計算運動向量且作為一第二步驟由設定為等於影像感測器之移動之運動向量替換該等運動向量。
歸因於(例如)雜訊，所計算之殘差可為非零，因此，在下一步驟604中，將隱私遮罩區域中之圖框間編碼區塊之殘差全部設定為零以將各區塊編碼為參考區塊之一複本。另外，可平行地在步驟606中根據一標準圖框間壓縮編碼程序來編碼剩餘影像(即，隱私遮罩區域外之部分)以導致影像中之像素區塊編碼為參考參考影像之圖框間區塊(P區塊或可能B區塊(若允許此))或不參考參考影像所編碼之圖框內區塊(I區塊)。
圖6B中繪示一第二變體608，其中編碼器模組將在攝影機移動時編碼隱私遮罩區域內之區塊兩次。在步驟610中根據一標準圖框間壓縮編碼程序來對影像中之所有像素區塊(其包含像素遮罩區域中之像素區塊)執行一第一編碼。此第一編碼導致影像中之像素區塊編碼為具有根據編碼器中之非調適程序所計算之運動向量及殘差之參考參考影像之圖框間區塊(P區塊或可能B區塊(若允許此))或不參考參考影像所編碼之圖框內區塊(I區塊)。
除此第一編碼之外(例如平行於此第一編碼)，在步驟612中執行隱私遮罩區域內之區塊之圖框間編碼。在此步驟中，在計算殘差之前或之後將運動向量設定為等於攝影機移動。此產生圖框間編碼區塊，其中殘差可再次為非零，且因此在步驟614中再次將此等殘差設定為零，正如圖6A中所繪示之變體。
接著，在步驟616中，將由步驟612及614中之圖框間編碼產生之編碼像素區塊(即，具有設定為等於攝影機之移動之運動向量及且具有設定為零之殘差之編碼像素區塊)替換由步驟610中所執行之編碼產生之隱私遮罩區域內之編碼像素區塊。
在圖7中，在一流程圖中給出編碼方法700之一概觀。在步驟702中，(經由IPP，如上文所提及)自影像感測器接收像素資訊。在步驟704中，將像素分組成像素區塊以準備用於編碼。在步驟706中，接收指定待由一像素化隱私遮罩覆蓋之一隱私遮罩區域之位置及延伸範圍之資訊且在步驟708中執行此區域之像素化。在步驟710中，接收關於攝影機之移動之資訊，且在步驟712中比較此移動與一臨限值。若移動低於臨限值，則方法進行至步驟714，且不執行基於攝影機移動之根據本發明之編碼之調適。編碼依一正常方式進行，且在步驟718中輸出一編碼影像。
換言之，當移動低於臨限值時，如上文所描述般藉由在參考影像中執行一運動向量搜尋來執行編碼以找到類似於當前影像中之一各自像素區塊之一參考像素區塊。搜尋可旨在找到具有最小像素值差(即，最小殘差)之像素區塊且根據參考影像中之一預定搜尋圖案(通常集中圍繞對應於當前影像中之各自像素區塊之位置之位置)來實施。
若在參考影像中找到一類似像素區塊，則將當前影像中之像素區塊圖框間編碼為具有表示與參考區塊之位置差之一運動向量及表示與參考區塊之像素值差之一殘差。若未找到類似參考區塊，則代以將像素區塊編碼為一圖框內區塊。
如先前所提及，亦可執行額外編碼成本分析以(諸如)藉由亦考量編碼運動向量之成本且基於殘差及運動向量兩者選擇具有最低編碼成本之參考區塊來改進像素區塊之圖框間編碼與圖框內編碼之間的決策。
另一方面，若移動高於臨限值，則根據圖6A至圖6B中所繪示之變體之一者來調適隱私遮罩區域內之像素區塊之編碼以產生具有根據攝影機之移動所設定(換言之，等於攝影機之移動)之一運動向量且具有一零殘差之隱私遮罩區域中之像素區塊。亦編碼剩餘影像，但不受此特定調適影響。顯然，可採取其他步驟及量測以改良攝影機之移動期間之編碼，但此不在本發明之範疇內且本文中將不進一步討論。最後，在步驟718中輸出一編碼影像。
概括言之，調適一像素化隱私遮罩區域內之影像編碼以減少一攝影機之移動期間之閃變。將運動向量設定為等於攝影機之移動且將殘差設定為零以藉此將隱私遮罩區域內之像素區塊編碼為一參考影像中之對應像素區塊之複本。
可藉由執行儲存於一電腦可讀儲存媒體上之指令來實施方法。指令可由任何種類之處理器(例如一中央處理單元(CPU)、一圖形處理單元(GPU)、實施於一積體電路、一ASIC、一FPGA或包含離散組件之邏輯電路系統中之一客製處理裝置)執行。
編碼系統可體現為軟體、韌體、硬體或其等之任何組合。
因此，本發明不應受限於所展示之實施例，而是應僅由隨附申請專利範圍界定。
100:影像 102:影像 104:場景 106:建築物 108:窗 110:個人 112:隱私遮罩 200:影像 202:像素化群組 204:像素化群組 300:攝影機 302:光學器件 304:影像感測器 306:影像處理模組(IPP) 308:PT單元 400:影像編碼系統 402:資訊 404:接收模組 406:資訊 408:隱私遮罩模組 410:移動輸入模組 412:資訊 414:編碼器模組 500:像素 502:像素區塊 600:第一變體 602:步驟 604:步驟 606:步驟 608:第二變體 610:步驟 612:步驟 614:步驟 616:步驟 700:編碼方法 702:步驟 704:步驟 706:步驟 708:步驟 710:步驟 712:步驟 714:步驟 718:步驟
現將依舉例方式及參考隨附示意圖來更詳細描述本發明，其中： 圖1繪示一監測場景之兩個影像。 圖2A至圖2C展示一影像及不同像素化位準。 圖3係一攝影機之一方塊圖。 圖4係一編碼系統之一方塊圖。 圖5A至圖5B繪示具有像素及具有像素區塊之一影像。 圖6A至圖6B係繪示編碼方法之兩個變體的流程圖。 圖7係繪示編碼方法之一流程圖。
700:編碼方法
702:步驟
704:步驟
706:步驟
708:步驟
710:步驟
712:步驟
714:步驟
718:步驟

Claims (11)

  1. 一種對由一影像感測器擷取且包括一隱私遮罩之一影像串流編碼之方法，其中參考該影像串流中之一先前編碼影像之一參考影像來編碼該影像串流中之一當前影像，該方法包括： 自該影像感測器接收表示該當前影像之像素的資訊； 將該等像素分組成相鄰像素之群組的像素區塊； 接收指定其中該隱私遮罩將被應用於該當前影像上之一隱私遮罩區域之位置及延伸範圍的資訊； 執行該隱私遮罩區域之像素化，其中執行該隱私遮罩區域之像素化之該步驟包括： 將該隱私遮罩區域內之像素分組成相鄰像素之像素化群組；及 將一各自像素化群組之各像素之一像素值設定為表示該各自像素化群組之一共同像素值； 接收表示該影像感測器在擷取該參考影像與擷取該當前影像之間之一移動的資訊，其中表示該影像感測器之移動之該資訊係接收自控制該影像感測器之移動之一水平移動、傾斜或變焦控制器或一運動感測器； 若該影像感測器之該移動高於一臨限值，則將該像素化隱私遮罩區域內之各像素區塊編碼為具有指向該參考影像中之一參考像素區塊之一運動向量及指示該參考像素區塊與該像素化隱私遮罩區域內之該像素區塊之間之一像素值差之一殘差之一圖框間編碼區塊，其中將該運動向量設定為等於該影像感測器之該移動且將該殘差設定為零。
  2. 如請求項1之方法，進一步包括無關於該影像感測器之該移動而執行該當前影像中之像素區塊之第一編碼以產生第一編碼像素區塊，且 若該影像感測器之該移動高於該臨限值，則與該第一編碼平行地執行該隱私遮罩區域內之像素區塊之第二圖框間編碼，以產生具有經設定為等於該影像感測器之該移動之一運動向量且具有設定為零之一殘差之該圖框間編碼區塊，且 由具有基於該影像感測器之該移動所判定之一運動向量且具有經設定為零之一殘差之該圖框間編碼區塊來替換對應於該隱私遮罩區域內之該等像素區塊之該等第一編碼像素區塊。
  3. 如請求項1之方法，其中將該隱私遮罩區域內之各像素區塊編碼為一圖框間編碼區塊包含： 執行該隱私遮罩區域內之各像素區塊之第一圖框間編碼，以產生具有一非零殘差之一圖框間編碼區塊；及 將該非零殘差設定為零。
  4. 如請求項3之方法，其中該第一圖框間編碼包含將該隱私遮罩區域內之各像素區塊之一運動向量設定為等於該影像感測器之該移動。
  5. 如請求項3之方法，其中該第一圖框間編碼包含無關於該影像感測器之該移動而判定該隱私遮罩區域內之各像素區塊之一第一運動向量，且其中該隱私遮罩內之各像素區塊之該編碼進一步包括： 與該第一圖框間編碼平行地將該隱私遮罩區域內之各像素區塊之一運動向量設定為等於該影像感測器之該移動，且由經設定為等於該影像感測器之該移動之該運動向量來替換該第一運動向量。
  6. 如請求項1之方法，其中該共同像素值係該各自像素化群組中之像素之一子集之像素值之一平均數。
  7. 如請求項1之方法，其中該先前解碼影像係該影像串流中之一先前擷取影像。
  8. 如請求項1之方法，其中該先前解碼影像係已經先前編碼及解碼以用作該參考影像之該影像串流中之一稍後擷取影像。
  9. 如請求項1之方法，其中表示該影像中之該等像素之該資訊係來自由關於明度、光強度及色彩值之資料組成之群組中之至少一者。
  10. 一種用於對由一影像感測器擷取且包括一隱私遮罩之一影像串流編碼之影像編碼系統，其中參考該影像串流中之一先前解碼影像之一參考影像來編碼該影像串流中之一當前影像，該系統包括： 一接收模組，其經配置以自該影像感測器接收表示該當前影像之像素的資訊，且將該等像素分組成相鄰像素之群組的像素區塊； 一隱私遮罩模組，其經配置以接收指定其中該隱私遮罩將被應用於該當前影像之一隱私遮罩區域之位置及延伸範圍的資訊，且執行該隱私遮罩區域之像素化，其中該隱私遮罩區域之像素化包括將該隱私遮罩區域內之像素分組成相鄰像素之像素化群組，及將一各自像素化群組之各像素之一像素值設定為表示該各自像素化群組之一共同像素值； 一移動輸入模組，其經配置以接收表示該影像感測器在擷取該參考影像與擷取該當前影像之間之一移動的資訊，其中該移動輸入模組經配置以自控制該影像感測器之移動之一水平移動、傾斜或變焦控制器或一運動感測器接收表示該影像感測器之移動的該資訊； 一編碼器模組，其經配置以在該移動高於一臨限值時將該像素化隱私遮罩區域內之各像素區塊編碼為具有指向該參考影像中之一參考像素區塊之一運動向量及指示該參考像素區塊與該像素化隱私遮罩區域內之該像素區塊之間之一像素值差之一殘差之一圖框間編碼區塊，其中將該運動向量設定為等於該影像感測器之該移動且將該殘差設定為零。
  11. 一種攝影機，其包括如請求項10之影像編碼系統。
TW110129577A 2020-10-16 2021-08-11 包含隱私遮罩之影像編碼的方法 TWI821723B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20202309.9 2020-10-16
EP20202309.9A EP3985976B1 (en) 2020-10-16 2020-10-16 Method of encoding an image including a privacy mask

Publications (2)

Publication Number Publication Date
TW202218406A TW202218406A (zh) 2022-05-01
TWI821723B true TWI821723B (zh) 2023-11-11

Family

ID=72943893

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110129577A TWI821723B (zh) 2020-10-16 2021-08-11 包含隱私遮罩之影像編碼的方法

Country Status (6)

Country Link
US (1) US11544878B2 (zh)
EP (1) EP3985976B1 (zh)
JP (1) JP7282849B2 (zh)
KR (1) KR102525246B1 (zh)
CN (1) CN114374842B (zh)
TW (1) TWI821723B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3985976B1 (en) * 2020-10-16 2022-09-28 Axis AB Method of encoding an image including a privacy mask
EP4372560A1 (en) * 2022-11-18 2024-05-22 Axis AB Camera system and method of controlling a computing hardware accelerator

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201137767A (en) * 2009-09-28 2011-11-01 Toshiba Kk Image processing apparatus and image processing method
JP2013066016A (ja) * 2011-09-16 2013-04-11 Univ Of Electro-Communications 輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラム
TW201724841A (zh) * 2015-08-27 2017-07-01 安訊士有限公司 預處理數位影像之方法及數位影像預處理系統
US20180176597A1 (en) * 2016-12-20 2018-06-21 Axis Ab Encoding a privacy masked image

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5341489A (en) * 1992-04-14 1994-08-23 Eastman Kodak Company Memory card with programmable interleaving
US6727938B1 (en) * 1997-04-14 2004-04-27 Robert Bosch Gmbh Security system with maskable motion detection and camera with an adjustable field of view
JP3722653B2 (ja) * 1999-08-31 2005-11-30 松下電器産業株式会社 監視カメラ装置及び監視カメラの表示方法
EP1730672A4 (en) * 2004-04-02 2009-07-22 Silverbrook Res Pty Ltd SURFACE WITH IT OR DATA CODED THEREIN
KR100664350B1 (ko) 2004-12-03 2007-01-02 엘지전자 주식회사 프라이버시 마스크 표시 제어방법
US8009200B2 (en) * 2007-06-15 2011-08-30 Microsoft Corporation Multiple sensor input data synthesis
JP4238939B2 (ja) * 2008-10-24 2009-03-18 株式会社日立製作所 監視カメラ装置及び監視カメラシステム装置
US9282333B2 (en) * 2011-03-18 2016-03-08 Texas Instruments Incorporated Methods and systems for masking multimedia data
US9319635B2 (en) 2012-11-30 2016-04-19 Pelco, Inc. Window blanking for pan/tilt/zoom camera
FR2999373B1 (fr) * 2012-12-12 2018-04-06 Harmonic Inc. Procede d'adaptation dynamique du codage d'un flux audio et/ou video transmis a un dispositif
US10104331B2 (en) * 2012-12-31 2018-10-16 Karl Storz Imaging, Inc. Camera control unit with stereoscopic video recording and archive
KR101875137B1 (ko) 2013-03-26 2018-07-06 한화에어로스페이스 주식회사 프라이버시 마스크 처리 방법 및 장치
CN103763567B (zh) * 2013-12-31 2017-01-18 华中科技大学 一种应用于监控视频隐私保护的压缩域失真漂移补偿方法
EP3131295A1 (en) 2015-08-14 2017-02-15 Axis AB Video encoding method and system
US10122928B2 (en) * 2015-09-09 2018-11-06 Red.Com, Llc Motion video output for multiple displays
EP3378227A4 (en) * 2015-11-18 2019-07-03 Jorg Tilkin PRIVACY PROTECTION IN VIDEO SURVEILLANCE SYSTEMS
JP2017143355A (ja) * 2016-02-08 2017-08-17 キヤノン株式会社 画像符号化装置及び方法及び撮像装置
EP3220642B1 (en) * 2016-03-15 2018-03-07 Axis AB Method, apparatus and system for encoding a video stream by defining areas within a second image frame with image data common to a first image frame
KR102474697B1 (ko) 2016-08-09 2022-12-05 한화테크윈 주식회사 촬상 장치 및 영상 처리 방법
EP3370419B1 (en) 2017-03-02 2019-02-13 Axis AB A video encoder and a method in a video encoder
US10277901B2 (en) 2017-05-08 2019-04-30 Axis Ab Encoding a video stream having a privacy mask
US11212536B2 (en) 2017-07-14 2021-12-28 Sony Interactive Entertainment Inc. Negative region-of-interest video coding
KR102412007B1 (ko) * 2017-07-20 2022-06-22 삼성전자주식회사 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
WO2019040668A1 (en) * 2017-08-22 2019-02-28 Alarm.Com Incorporated PRESERVING CONFIDENTIALITY IN MONITORING
EP3618442B1 (en) * 2018-08-27 2020-09-30 Axis AB An image capturing device, a method and computer program product for forming an encoded image
US11876987B2 (en) * 2018-11-19 2024-01-16 Dolby Laboratories Licensing Corporation Video encoder and encoding method
JP7204449B2 (ja) 2018-11-29 2023-01-16 キヤノン株式会社 制御装置、撮像装置、制御方法およびプログラム
EP3668096A1 (en) * 2018-12-11 2020-06-17 Axis AB Method and device for encoding a sequence of image frames using a first and a second encoder
EP3985974B1 (en) * 2020-10-13 2023-05-10 Axis AB An image processing device, a camera and a method for encoding a sequence of video images
EP3985976B1 (en) * 2020-10-16 2022-09-28 Axis AB Method of encoding an image including a privacy mask

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201137767A (en) * 2009-09-28 2011-11-01 Toshiba Kk Image processing apparatus and image processing method
JP2013066016A (ja) * 2011-09-16 2013-04-11 Univ Of Electro-Communications 輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラム
TW201724841A (zh) * 2015-08-27 2017-07-01 安訊士有限公司 預處理數位影像之方法及數位影像預處理系統
US20180176597A1 (en) * 2016-12-20 2018-06-21 Axis Ab Encoding a privacy masked image
JP2018137730A (ja) * 2016-12-20 2018-08-30 アクシス アーベー プライバシーマスクされた画像を符号化すること

Also Published As

Publication number Publication date
KR20220050754A (ko) 2022-04-25
KR102525246B1 (ko) 2023-04-21
JP2022066158A (ja) 2022-04-28
EP3985976B1 (en) 2022-09-28
EP3985976A1 (en) 2022-04-20
CN114374842A (zh) 2022-04-19
US11544878B2 (en) 2023-01-03
JP7282849B2 (ja) 2023-05-29
TW202218406A (zh) 2022-05-01
CN114374842B (zh) 2023-06-23
US20220122294A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
TWI821723B (zh) 包含隱私遮罩之影像編碼的方法
US8633978B2 (en) Human face detection and tracking device
KR102505462B1 (ko) 시선 감지에 기초한 블럭 레벨 업데이트 속도 제어
JP3870124B2 (ja) 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US10277901B2 (en) Encoding a video stream having a privacy mask
KR102067199B1 (ko) 비디오를 인코딩하기 위한 방법 및 인코더 시스템
JP2018201189A5 (zh)
US20060078162A1 (en) System and method for stabilized single moving camera object tracking
JPH04157889A (ja) 人物撮像位置の自動調整方法
TW201724841A (zh) 預處理數位影像之方法及數位影像預處理系統
US11825241B2 (en) Camera and a method therein for facilitating installation of the camera
US20210090413A1 (en) Using a skip block mask to reduce bitrate from a monitoring camera
TW202231068A (zh) 用於產生影像圖框之串流的方法及系統
KR20220054198A (ko) 비디오 피드에서의 이벤트 감지를 기반으로 한 경고 생성
JP2005175970A (ja) 撮像システム
JP2009027493A (ja) 画像符号化装置および画像符号化方法
JP3665212B2 (ja) 遠隔監視装置および遠隔監視方法
CN114449281A (zh) 一种基于场景变动的智能码率控制优化方法
JP2020205582A5 (zh)
CN101577826B (zh) 视频编码中的运动搜索控制方法和控制装置
US20230262238A1 (en) Encoding of a video stream including an overlay
JP4891938B2 (ja) 圧縮符号化前置処理装置及び圧縮符号化前置処理プログラム
Laddha et al. Bitrate and complexity optimizations for video conferencing systems
JP2008544666A5 (zh)