TW201828699A - 編碼隱私遮罩影像 - Google Patents

編碼隱私遮罩影像 Download PDF

Info

Publication number
TW201828699A
TW201828699A TW106141513A TW106141513A TW201828699A TW 201828699 A TW201828699 A TW 201828699A TW 106141513 A TW106141513 A TW 106141513A TW 106141513 A TW106141513 A TW 106141513A TW 201828699 A TW201828699 A TW 201828699A
Authority
TW
Taiwan
Prior art keywords
privacy mask
image
privacy
mask
pixels
Prior art date
Application number
TW106141513A
Other languages
English (en)
Other versions
TWI766906B (zh
Inventor
維克多 艾德帕姆
嵩 袁
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201828699A publication Critical patent/TW201828699A/zh
Application granted granted Critical
Publication of TWI766906B publication Critical patent/TWI766906B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本發明係關於一種用於將包括複數個像素之一影像編碼成一視訊流之一編碼影像圖框的方法，該方法包括：接收該影像之像素分割影像資料，其中該像素分割影像資料表示該影像之像素；將該影像之像素分組為編碼單元，其中各編碼單元包括複數個相鄰像素；接收定義一隱私遮罩及該隱私遮罩之圖形特性的資料；識別具有位於該隱私遮罩內之一或多個像素的所有編碼單元；擴展待與經識別之編碼單元對準之該隱私遮罩，藉此形成覆蓋經識別之編碼單元之一重定義隱私遮罩；藉由將該重定義隱私遮罩及所接收之圖形特性應用於該影像來產生一隱私遮罩影像；及將該隱私遮罩影像編碼成該視訊流之該編碼影像圖框。

Description

編碼隱私遮罩影像
本發明係關於影像之隱私遮罩，尤其地，本發明係關於隱私遮罩影像之編碼。
監視攝影機用於許多不同應用中(室內及室外兩者)以監視多種環境。描繪一捕獲場景之影像可由(例如)一操作者或一保全人員監視。在某些情況中，可能需要將一捕獲影像之一部分以不同於另一部分之方式來處理(諸如當需要為了保護個人之人格權而遮蔽一影像之部分時)。此可(例如)在一攝影機放置於一建築內部或一公共汽車或一列車內部且外部環境待自由該攝影機完成之監視排除時發生。另一實例係當監視具有窗戶之一建築且需要避免透過窗戶監視該建築之內部時。 在此等情況中，一隱私遮罩可在監視設備之裝備期間由一操作者定義。一隱私遮罩可係靜態或動態。一靜態隱私遮罩通常藉由一操作者在一圖形使用者介面中之影像上標記待遮蔽之區域而產生。接著，靜態隱私遮罩留在原地直至操作者決定將其移動或移除。一動態隱私遮罩可隨時間改變。類似於一靜態隱私遮罩，操作者可在影像中標記期望遮蔽之一區域。操作者亦可輸入判定應何時應用隱私遮罩時之設定。例如，操作者可在影像中之一視窗周圍繪製一矩形，且進行設定使得若在標記區域內偵測到一臉，則該臉將被遮蔽掉。此等動態隱私遮罩可係有益的，因為只要針對未滿足隱私遮罩設定之條件，則不存在阻擋視野之遮罩，但只要(例如)一臉偵測演算法、一物件偵測演算法或一運動偵測演算法偵測到已滿足條件，則應用隱私遮罩。隱私遮罩可作為一重疊應用於影像。一些隱私遮罩呈一黑色或否則其他色彩、不透明區域之形式。其他隱私遮罩呈模糊之形式，其中影像資料在隱私遮罩區域上被「塗抹」掉或像素化，其中隱私遮罩內部之影像分成像素化區塊且一像素化區塊之所有像素被指定相同值，使得影像在隱私遮罩區域內部展示為塊狀。在許多情況中，隱私遮罩係一矩形，或其可為另一多邊形，或具有更緊密依循待阻隔之區域之形狀之任何其他形狀。 當一攝影機捕獲影像時，影像通常傳輸至一使用網址(諸如一控制中心)，其中可查看及/或儲存影像。影像亦可儲存於所謂之「邊緣儲存器」中(即攝影機處之儲存器，攝影機機上(諸如一SD卡上)或連同攝影機(諸如一NAS (網路附接儲存器)上)。在傳輸或邊緣儲存之前，影像可經編碼以節省帶寬及儲存。可以許多不同方式(例如根據H.264標準或其他編碼標準)執行編碼。大多數(若非全部)視訊編碼係有損的，意謂呈現於原始影像中之資訊在編碼期間丟失且無法在解碼時回收。在表示原始影像所需之位元數之減少與所得影像品質之間存在一折衷。已努力開發儘可能有效使用可用位元之編碼方案。 然而，在編碼期間，一編碼器自由使用當前及先前影像圖框兩者中之所有可用資訊(所謂之預測編碼)。因此，編碼器可(例如)藉由參考當前編碼影像圖框之另一部分或一參考影像圖框而選擇編碼隱私遮罩區域，導致該原始隱私遮罩區域在解碼時將具有不同於該原始隱私遮罩區域之一外觀。具體而言，使用太聰明編碼器演算法或太重壓縮，可能干擾原始隱私遮罩。 下文將討論編碼隱私遮罩影像之一些問題。 根據一第一方案：一場景由一視訊攝影機監視，該視訊攝影機捕獲該場景之一視訊序列。在該場景中，當該場景之一上半部中之所有臉由該攝影機捕獲時，描繪該等臉。然而，該場景之一下半部已定義為一隱私區域，其中偵測到的臉應隱私遮蔽。一個人自該場景之上半部行走至該場景之下半部。在該場景之一第一圖框中(其中該個人位於該場景之上半部中)，該臉清晰可見。在該場景之一第二圖框中(其中該個人位於該場景之下半部中(即在所定義之隱私區域中))，一隱私遮罩應用於遮蔽該個人之臉之該第二圖框。即，該個人之臉隱藏或使之不可識別。當編碼包括該第一圖框及該第二圖框之該視訊時，該個人將最有可能識別為該視訊中之一移動物件且可因此經P區塊編碼。在此情況中，參考描繪該臉之先前圖框1之使用P區塊之編碼將使得該臉亦在圖框2中清晰可見，即使該隱私遮罩將在編碼之前應用於該第二影像。 根據一第二方案：一場景由一視訊攝影機監視，該視訊攝影機捕獲該場景之一視訊序列。在該場景中，當該場景之一左半部中之所有臉由該攝影機捕獲時，描繪該等臉。然而，該場景之一右半部已定義為一隱私區域，其中偵測臉應係隱私遮罩。一第一個人站在該場景之左半部中而一第二個人站在該場景之右半部中。因此，在該場景之一圖框中，該第二個人之臉在編碼該圖框之前隱私遮蔽。然而，在編碼之後，該第一個人之未遮蔽的臉可能由該編碼器感知為足夠類似於僅複製至該第二個人之臉之位置。此將在該無臉隱私區域中產生一可見臉，且在此情況中，其甚至可能不是「正確的」臉。 因此，需要一視訊之隱私遮罩影像之改良編碼。
鑑於上文，本發明之一目的係提供將一視訊序列之隱私遮罩影像編碼成一視訊流之編碼影像圖框之一改良。 根據一第一態樣，提供一種用於將包括複數個像素之一影像編碼成一視訊流之一編碼影像圖框之方法。該方法包括：接收該影像之像素分割影像資料，其中該像素分割影像資料表示該影像之像素；將該影像之像素分組為編碼單元，其中各編碼單元包括複數個相鄰像素；接收定義一隱私遮罩及該隱私遮罩之圖形特性之資料；識別具有位於該隱私遮罩內之一或多個像素之所有編碼單元；擴展待與經識別之編碼單元對準之該隱私遮罩，藉此形成覆蓋經識別之編碼單元之一重定義隱私遮罩；藉由將該重定義隱私遮罩及所接收之圖形特性應用於該影像而產生一隱私遮罩影像；及根據以下將該隱私遮罩影像編碼成該視訊流之該編碼影像圖框：基於與該重定義隱私遮罩外部之像素有關之影像資料而停用該影像之該重定義隱私遮罩內之像素之空間預測編碼；基於與該視訊流中之任何參考影像圖框之任何隱私遮罩外部之像素有關之影像資料而停用該影像之該重定義遮罩內之像素之時間預測編碼；及基於與該視訊流中之一參考影像圖框之一隱私遮罩內部之像素有關之影像資料而允許該影像之該重定義隱私遮罩內之像素之時間預測編碼。 因此，本發明方法基於重定義該隱私遮罩，使得該隱私遮罩編碼被定義為包括至少部分地與待插入該影像中之該隱私遮罩重疊的所有編碼單元。此外，亦將根據上文來指示該編碼器。因此，該編碼器將受限於不允許來自當前圖框或參考圖框中之隱私遮罩外部的任何預測編碼(即非圖框內亦非圖框間)。然而，允許不同圖框之隱私遮罩區域之間的內部編碼。 因此，與編碼有關之污染隱私遮罩影像之(若干)隱私遮罩區域的風險可被最小化(若未完全移除的話)。 實施該預測編碼限制之一方式將係當此等邊界上方不允許預測時，將該隱私遮罩影像之(若干)隱私遮罩區域編碼成一單獨圖片(及/或圖塊)。實施方案之另一替代方案將係設定該編碼器以僅使用框內編碼單元來編碼該隱私遮罩影像之(若干)隱私遮罩區域。 該影像之該隱私遮罩及該參考影像圖框之該隱私遮罩可進一步與該各自隱私遮罩之一分類相關聯，其中允許時間預測編碼之該行為可進一步基於該各自隱私遮罩之該分類。例如，可設定進一步限制以不使用來自具有不同類型或程度之遮蔽之隱私遮罩區域的預測編碼。對隱私遮罩區域進行分類允許增加編碼預測(區域內及區域間)及因此增加編碼效率。再者，將不混合來自不同分類區域之資訊。 該各自隱私遮罩之該分類可包括由該各自隱私遮罩所遮蔽之類型的物件，其中該方法可進一步包括：當該類型之物件係由該影像之該隱私遮罩及係由相同之該參考影像圖框之一隱私遮罩遮蔽時，基於與該參考影像圖框之該隱私遮罩內部之像素有關的影像資料來促進該影像之該重定義隱私遮罩內之像素的時間預測編碼。此將允許(若干)遮罩區域之更有效編碼。例如，可在另一圖框中再使用與一經遮蔽之臉有關的影像資料。此將使編碼更有效，以節省記憶體及帶寬兩者。 該各自隱私遮罩之該分類可包括該各自隱私遮罩之一隱私層級，其中該方法可進一步包括：當該影像之該隱私遮罩之該隱私層級高於該參考影像圖框之該隱私遮罩之該隱私層級時，基於與該參考影像圖框之該隱私遮罩內部之像素有關的影像資料而停用該影像之該重定義隱私遮罩內之像素的時間預測編碼。 再使用來自具有高於當前區域之一隱私層級之一區域之資訊將確保維持(若未改良)該隱私遮罩層級，且同時提供編碼增益。因此，避免該編碼器在編碼期間降低一遮罩區域之隱私層級之問題且因此避免揭示比假設多之外觀特徵之問題。此可根據以下來闡釋：假定一隱私區域(A)所定義使得該隱私區域中之所有臉應變模糊且一隱私區域(B)所定義使得該隱私區域中之所有文字應變模糊。允許隱私區域(A)及(B)中之遮罩物件之間的時間預測將開放基於(B)中之一不模糊臉而預測(A)中之一臉之可能性。根據另一實例：兩個隱私遮罩具有不同隱私層級(例如一隱私遮罩定義為一兩像素平均隱私遮罩而另一隱私遮罩定義為一16像素平均隱私遮罩。因此，一隱私區域(C)定義為由該兩像素平均隱私遮罩遮蔽而另一隱私區域(D)定義為由該16像素平均隱私遮罩遮蔽。允許隱私區域(C)及(D)中之遮罩物件之間的時間預測將開放將僅使用一兩像素平均使(D)中之像素變得模糊之可能性。 編碼該隱私遮罩影像之行為可進一步包括：基於與該影像之該重定義隱私遮罩內部之像素有關之影像圖框資料而允許該影像之該重定義隱私遮罩內之像素之空間預測編碼。更有效的編碼之結果將係節省記憶體使用及帶寬兩者。 該隱私遮罩可包括複數個單獨子隱私遮罩區域，其中形成一重定義隱私遮罩之行為可包括形成該複數個單獨子隱私遮罩區域之各者之一子重定義隱私遮罩，其中該方法可進一步包括基於與該影像之不同子重定義隱私遮罩之像素有關之影像資料而停用空間預測編碼。 根據一第二態樣，提供一種編碼系統。該編碼系統包括：一編碼器，其經組態以將一影像編碼成一視訊流之一編碼影像圖框；一資料儲存器，其經組態以儲存表示該影像之像素之像素分割影像資料；一像素分組模組，其經組態以將該影像之像素分組為編碼單元，其中各編碼單元包括複數個相鄰像素；一編碼單元模組，其經組態以接收定義一隱私遮罩之資料且識別具有位於該隱私遮罩內之一或多個像素之所有編碼單元；一隱私遮罩重定義模組，其經組態以擴展待與經識別之編碼單元對準之該隱私遮罩且藉此形成覆蓋經識別之編碼單元之一重定義隱私遮罩；一隱私遮罩模組，其經組態以接收該隱私遮罩之圖形特性且藉由將該重定義隱私遮罩及所接收之圖形特性應用於該影像而產生一隱私遮罩影像；及一編碼器指示器，其經組態以產生該編碼器之編碼指令且將該等編碼指令發送至該編碼器。其中該等編碼指令包括：基於與該重定義隱私遮罩外部之像素有關之影像資料而停用該影像之該重定義隱私遮罩內之像素之空間預測編碼；基於與該視訊流中之任何參考影像圖框之任何隱私遮罩外部之像素有關之影像資料而停用該影像之該重定義遮罩內之像素之時間預測編碼；及基於與該視訊流中之一參考影像圖框之一隱私遮罩內部之像素有關之影像資料而允許該影像之該重定義隱私遮罩內之像素之時間預測編碼；其中該編碼器經組態以接收該等編碼指令且編碼該隱私遮罩影像。 該編碼系統可進一步包括一隱私遮罩控制器，其經組態以輸出定義待由該影像內之該隱私遮罩覆蓋之該影像之像素的資料且輸出該隱私遮罩之圖形特性。 該隱私遮罩控制器可經組態以基於由一視訊分析模組提供之視訊分析而產生定義待由該隱私遮罩覆蓋之該影像之像素之該資料。 該隱私遮罩控制器可進一步經組態以使一分類與該隱私遮罩相關聯，其中該編碼器指示器可進一步經組態以使時間預測編碼之該允許係基於該隱私遮罩之該分類及該參考影像圖框之該隱私遮罩之一分類。 當適用時，該方法之上文所提及的特徵亦適用於此第二態樣。為避免不當重複，請參考上文。 該編碼系統可係配置於一視訊攝影機中。 根據一第三態樣，提供一種非暫時性電腦可讀記錄媒體。該非暫時性電腦可讀記錄媒體具有經記錄於其上之一程式，當在具有處理能力之一裝置上被執行時，該程式用於根據依據該第一態樣之一方法來實施該方法。 當適用時，該方法及該編碼系統之上文所提及之特徵亦適用於此第三態樣。為避免不當重複，請參考上文。 將自下文給出之詳細描述，明白本發明之適用性之一進一步範疇。然而，應瞭解儘管指示本發明之較佳實施例，但詳細描述及具體實例僅係以繪示的方式給出，此係由於熟習技術者將自此詳細描述變得明白本發明之範疇內的各種改變及修改。 因此，應理解由於此系統及方法可改變，因此本發明不受限於所描述之系統的特定組件部分或所描述之方法的步驟。亦應理解本文所使用之術語僅為了描述特定實施例，且不意欲具限制性。必須注意：如說明書及隨附申請專利範圍中所使用，除非內文另有明確規定，否則冠詞「一」及「該」意欲意謂存在元件之一或多者。因此，例如，參考「一單元」或「該單元」可包含若干裝置及其類似者。此外，字語「包括」、「包含」、「含有」及類似字語不排除其他元件或步驟。
現將在下文中參考附圖更完全描述本發明，其中展示本發明之當前較佳實施例。然而，本發明可以許多不同形式體現且不應被理解為受限於本文所闡述之實施例；確切而言，為了徹底性及完整性而提供此等實施例，且將本發明之範疇完全傳達給熟習技術者。 圖1繪示一編碼系統200。編碼系統200經組態以將一視訊序列之影像編碼成一視訊流之編碼影像圖框。該視訊序列之影像及該視訊序列自身表示為數位資料。在編碼該視訊序列之一影像之前，編碼系統200經組態以將一隱私遮罩應用於該影像。因此，編碼系統200經組態以將一視訊序列之隱私遮罩影像編碼成一視訊流之編碼影像圖框。該視訊流通常包括圖框內及圖框間。圖框內通常指稱I圖框。圖框間通常指稱P圖框或B圖框。編碼系統可(例如)配置於一視訊攝影機中。該視訊攝影機可為(例如)一網路啟用之監視視訊攝影機。替代地，編碼系統200可配置於連接至一類比視訊攝影機之一裝置(圖中未展示)中。該裝置可進一步包括經組態以將一類比視訊信號轉換為該視訊序列之影像之電路。編碼系統200包括一資料儲存器10、一像素分組模組12、一編碼單元模組14、一隱私遮罩重定義模組16、一隱私遮罩模組18、一編碼器指示器20及一編碼器100。 資料儲存器10經組態以儲存數位資料。資料儲存器10可為任何種類之揮發性或非揮發性資料儲存器。此外，資料儲存器10可包括複數個資料儲存單元。該複數個資料儲存單元之至少一者可用作為用於當處理數位資料時緩衝資料之一緩衝記憶體。資料儲存器10可(例如)儲存表示由一攝影機之一影像感測器捕獲之一影像之數位資料。數位資料可自一影像處理模組(其可(例如)已執行程序(諸如由該影像感測器捕獲之該影像上之去馬賽克、雜訊過濾、銳化及色調映射))接收。因此，資料儲存器10經組態以儲存表示該影像之數位資料。該影像包括複數個像素。相應地，表示該影像之數位資料分成像素分割影像資料。因此，該像素分割影像資料表示該影像之像素。 資料儲存器10、像素分組模組12、編碼單元模組14、隱私遮罩重定義模組16、隱私遮罩模組18、編碼器指示器20及編碼器可經由一資料匯流排21彼此通信。 資料儲存器10、像素分組模組12、編碼單元模組14、隱私遮罩重定義模組16、隱私遮罩模組18、編碼器指示器20、資料匯流排21及編碼器100可包括於編碼系統200之電路2中。 像素分組模組12、編碼單元模組14、隱私遮罩重定義模組16、隱私遮罩模組18、編碼器指示器20及編碼器100之一或多者可實施為一專用硬體電路及/或軟體模組。在係所實施之軟體之情況中，軟體可在一中央處理單元CPU 22或一專用處理單元上運行。CPU 22可為用於執行數位資料處理之任何適合CPU。一專用處理單元可為用於執行數位資料處理之任何適合處理單元。亦應注意任何專用硬體電路可部分地包括在一專用處理單元上或在CPU 22上運行之軟體部分。在處理期間，像素分組模組12、編碼單元模組14、隱私遮罩重定義模組16、隱私遮罩模組18、編碼器指示器20及編碼器100之一或多者可經組態以儲存或緩衝資料儲存器10中之資料。 像素分組模組12經組態以存取表示資料儲存器10中之影像之像素之像素分割影像資料。像素分組模組12經組態以將影像之像素分組為編碼單元。各編碼單元包括複數個相鄰像素。編碼單元可取決於所使用之編碼方法而以複數種方式描述。例如，使用H.264編碼，一編碼單元係一巨集塊；使用H.265編碼，一編碼單元係一編碼樹單元。因此，應意識到編碼單元可取決於所使用之編碼方法而被稱為不同事物。將一影像之像素分組為編碼單元亦可取決於所使用之編碼方法而以不同方式進行。許多此等方式為熟習技術者所已知且將不在本文中更詳細討論。像素分組模組12經組態以將關於影像之編碼單元之資料發送至編碼單元模組14。替代地或組合，像素分組模組12經組態以將關於影像之編碼單元之資料儲存於資料儲存器10中。 編碼單元模組14經組態以接收定義一隱私遮罩之資料。編碼單元模組14經組態以接收關於來自像素分組模組12之影像之編碼單元之資料。替代地或組合，編碼單元模組14經組態以擷取關於來自資料儲存器10之影像之編碼單元之資料。編碼單元模組14經進一步組態以識別具有位於隱私遮罩內之一或多個像素之所有編碼單元。因此，編碼單元模組14經組態以識別至少部分地與待插入影像中之隱私遮罩重疊之所有編碼單元。 編碼單元模組14經組態以將關於具有位於隱私遮罩內之一或多個像素之編碼單元之資料發送至隱私遮罩重定義模組16。關於具有位於隱私遮罩內之一或多個像素之編碼單元之資料可為(例如)此等編碼單元之影像坐標或定義封圍此等編碼單元之影像之一區域之影像坐標。替代地或組合，編碼單元模組14經組態以將關於具有位於隱私遮罩內之一或多個像素之編碼單元之資料儲存於資料儲存器10中。 定義隱私遮罩之資料可自一隱私遮罩控制器30接收。因此，編碼系統200可進一步包括隱私遮罩控制器30。隱私遮罩控制器30經組態以控制影像之哪些像素由隱私遮罩遮蔽。因此，定義隱私遮罩之資料包括待由隱私遮罩遮蔽之影像之像素。根據一非限制性實例，定義隱私遮罩之資料包括識別應隱私遮蔽之影像內之一區域之影像坐標。 隱私遮罩控制器30可自偵測待隱私遮蔽之物件之一視訊分析模組32接收輸入。一視訊分析模組32之非限制性實例係一移動物件偵測器、一臉偵測器及車牌偵測器。根據一非限制性實例，定義隱私遮罩之資料可包括經偵測之物件之一剪影之影像坐標。替代地，定義隱私遮罩之資料可包括具有經偵測之物件之一定界框之影像坐標。 隱私遮罩控制器30可自一操作者接收輸入。來自該操作者之輸入可定義一攝影機視野中之一隱私區域，其中偵測待隱私遮蔽之物件之分析模組應偵測到該等物件。替代地，可關注整個視野。 隱私遮罩控制器30可實施為一專用硬體電路及/或軟體模組。在係所實施之軟體之情況中，軟體可在中央處理單元CPU 22上或在一專用處理單元上運行。該專用處理單元可為用於執行數位資料處理之任何適合處理單元。亦應注意任何專用硬體電路可部分地包括在一專用處理單元上或在CPU 22上運行之軟體部分。在處理期間，隱私遮罩控制器30可經組態以儲存或緩衝資料儲存器10中之資料。 視訊分析模組32可實施為一專用硬體電路及/或軟體模組。在所實施的係軟體之情況中，軟體可在中央處理單元CPU 22上或在一專用處理單元上運行。該專用處理單元可為用於執行數位資料處理之任何適合處理單元。亦應注意任何專用硬體電路可部分地包括在一專用處理單元上或在CPU 22上運行之軟體部分。在處理期間，視訊分析模組32可經組態以儲存或緩衝資料儲存器10中之資料。 隱私遮罩控制器30及視訊分析模組32之一或兩者可包括於電路2中。 待由隱私遮罩覆蓋之影像之像素可分組為一單一隱私遮罩區域。因此，隱私遮罩包括一單一隱私遮罩區域。替代地，待由隱私遮罩覆蓋之影像之像素可分組為複數個單獨子隱私遮罩區域。子隱私遮罩區域可為用於不同物件之隱私遮罩區域。替代地或組合，子隱私遮罩區域可為用於一物件之不同部分之隱私遮罩區域。因此，隱私遮罩包括複數個子隱私遮罩區域。隱私遮罩區域可為矩形或其他形狀。子隱私遮罩區域可為矩形或其他形狀。 隱私遮罩控制器30可進一步經組態以判定隱私遮罩之圖形特性。因此，定義隱私遮罩之資料可進一步包括隱私遮罩之圖形特性。圖形特性之非限制性實例係恆定著色(例如由一黑方塊著色)、塗抹或像素化。因此，隱私遮罩可呈不同形式。就恆定著色而言，其意謂影像之隱私遮罩區域被塗成黑色或以其他方式塗色。就塗抹而言，其意謂將各像素之像素值替代為所述像素之一相鄰者中之像素值之一平均值(即應用一稍拙劣雜訊過濾器)。就像素化而言，其意謂隱私遮罩區域內之像素分組為相鄰像素之像素化群組。相鄰像素之一像素化群組可為(例如)一巨集塊。一各自像素化群組之各像素之一像素值設定為表示該各自像素化群組之一普通像素值。像素化及塗抹兩者有時指稱模糊。 隱私遮罩控制器30可進一步經組態以使一分類與隱私遮罩相關聯。 隱私遮罩之分類可包括待由隱私遮罩遮蔽之一類型之物件。不同類型之物件可為臉、車牌、移動物件、個人、窗戶等等。可使用該一或多個視訊分析模組來識別一物件之類型。再者，一隱私遮罩之分類亦可連接至由一操作者定義之一隱私區域。一所定義之隱私區域中之隱私遮罩可與一第一特定種類相關聯且所定義之另一隱私區域可與另一特定種類相關聯。 替代地或組合，隱私遮罩之分類可包括隱私遮罩之一隱私層級。根據一非限制性實例，臉可總是具有一高隱私層級。隱私層級係可在隱私遮罩影像之隱私遮罩區域中揭示之特徵之數目之一量測。 根據一非限制性實例，最高隱私層級係一恆定著色遮罩(因此移除隱私遮罩影像之隱私遮罩區域中之所有資訊)。接著，下一隱私層級或若干隱私層級可為一像素化遮罩。相鄰像素之像素化群組之大小判定遮罩之隱私層級。相鄰像素之像素化群組越小，隱私層級變得越低。當使用像素化時，隱私層級亦可與待在影像中隱私遮蔽之物件之大小與像素化群組之大小之間的關係相關聯。 因此，一隱私層級可與待應用於待隱私遮蔽之影像之隱私遮罩區域之隱私遮罩的一特定圖形特性相關聯。例如，具有一恆定著色作為圖形特性之一隱私遮罩可具有比具有模糊作為圖形特性之隱私遮罩高之隱私層級。替代地或組合，一矩形形狀隱私遮罩可具有比依循待隱私遮蔽之物件之輪廓之一隱私遮罩高之隱私層級。 隱私遮罩重定義模組16經組態以自編碼單元模組14接收關於具有位於隱私遮罩內之一或多個像素之編碼單元之資料。替代地或組合，隱私遮罩重定義模組16經組態以自資料儲存器10擷取關於位於隱私遮罩內之一或多個像素之編碼單元之資料。隱私遮罩重定義模組16經組態以擴展待與具有位於隱私遮罩內之一或多個像素之編碼單元對準之隱私遮罩。因此，隱私遮罩重定義模組16經組態以擴展待與由編碼單元模組14識別之編碼單元對準之隱私遮罩。藉此，隱私遮罩重定義模組16經組態以形成覆蓋經識別之編碼單元之一重定義隱私遮罩。因此，隱私遮罩重定義模組16經組態以重新設定隱私遮罩之大小使得重定義隱私遮罩覆蓋所有編碼單元。此外，當隱私遮罩包括複數個子隱私遮罩區域時，隱私遮罩重定義模組16經組態以形成該複數個子隱私遮罩區域之各者之一子重定義隱私遮罩。 隱私遮罩重定義模組16經組態以將定義重定義隱私遮罩之資料發送至隱私遮罩模組18。描述影像中之重定義遮罩之頂點之影像坐標可用於定義重定義遮罩。替代地或組合，隱私遮罩重定義模組16經組態以將定義重定義隱私遮罩之資料儲存於資料儲存器10中。 圖2A及圖2B中示意性地繪示隱私遮罩之重定義。在圖2A及圖2B中，繪示分成像素302之一影像300之一部分。影像300之像素302進一步分組為編碼單元304。圖2A中繪示由隱私遮罩控制器30輸出之隱私遮罩306。根據此實例，隱私遮罩306覆蓋屬於編碼單元304a至304f之像素。換言之，隱私遮罩306至少部分地與編碼單元304a至304f重疊。重定義隱私遮罩308繪示為完全覆蓋圖2B中之編碼單元304a至304f之區域。如圖2B之所見，重定義隱私遮罩308覆蓋全部編碼單元304。 隱私遮罩模組18經組態以自隱私遮罩控制器30接收隱私遮罩之圖形特性。隱私遮罩模組18進一步經組態以自隱私遮罩重定義模組16接收定義重定義隱私遮罩之資料。替代地或組合，隱私遮罩模組18經組態以自資料儲存器10擷取定義重定義隱私遮罩之資料。隱私遮罩模組18進一步經組態以藉由將重定義隱私遮罩及所接收之圖形特性應用於影像而產生一隱私遮罩影像。 隱私遮罩模組18經組態以將關於隱私遮罩影像之資料發送至編碼器100。關於隱私遮罩影像之資料係較佳數位資料。隱私遮罩影像包括複數個像素。相應地，表示隱私遮罩影像之數位資料分成像素分割影像資料。因此，像素分割影像資料表示隱私遮罩影像之像素。替代地或組合，隱私遮罩模組18經組態以將關於隱私遮罩影像之資料儲存於資料儲存器10中。 編碼器指示器20經組態以自儲存器10擷取關於隱私遮罩影像之資料、定義重定義隱私遮罩之資料、關於具有位於隱私遮罩資料內之一或多個像素之編碼單元之資料。替代地或組合，編碼器指示器20經組態以自經組態以產生各自資料之各自模組14、16、18接收此等資料之一或多者。 編碼器指示器20經組態以產生用於編碼器100之編碼指令以將影像編碼成視訊流之一編碼影像圖框。編碼指令包括基於與當前影像圖框或任何參考影像圖框之任何隱私遮罩外部之像素有關之影像資料而停用影像之重定義隱私遮罩內之像素之空間及時間預測編碼。因此，編碼指令包括：基於與重定義隱私遮罩外部之像素有關之影像資料而停用影像之重定義隱私遮罩內之像素之空間預測編碼；及基於與視訊流中之任何參考影像圖框之任何隱私遮罩外部之像素有關之影像資料而停用影像之重定義遮罩內之像素之時間預測編碼。編碼指令可進一步包括基於與視訊流中之一參考影像圖框之一隱私遮罩內部之像素有關之影像資料而允許影像之重定義隱私遮罩內之像素之時間預測編碼。 編碼器指示器20可進一步經組態以使時間預測編碼之允許基於隱私遮罩之分類及參考影像圖框之隱私遮罩之一分類。 存在關於編碼器指示器20可進一步經組態以使時間預測編碼之允許基於分類之方式之許多方案。 根據一實例，分類包括待由隱私遮罩遮蔽之類型之物件。在此實例中，當由影像之隱私遮罩遮蔽之類型之物件且由參考影像圖框之一隱私遮罩遮蔽之類型之物件相同時，編碼器指示器20經組態以產生用於基於與參考影像圖框之隱私遮罩內部之像素有關之影像資料而促進影像之重定義隱私遮罩內之像素之時間預測編碼的編碼指令。因此，就基於物件之類型之分類而言，促進遮蔽相同類型之物件之兩個隱私遮罩之間的時間預測編碼。此為了使編碼更有效且同時仍確保遮罩區域之隱私。 根據另一實例，分類包括隱私遮罩之隱私層級。在此實例中，當影像之隱私遮罩之隱私層級高於參考影像圖框之隱私遮罩之隱私層級時，編碼器指示器20經組態以產生用於基於與參考影像圖框之隱私遮罩內部之像素有關之影像資料而停用影像之重定義隱私遮罩內之像素時間預測編碼的編碼指令。因此，當影像之隱私遮罩之隱私層級等於或低於參考影像圖框之隱私遮罩之隱私層級時，編碼器指示器20經組態以產生用於基於與參考影像圖框之隱私遮罩內部之像素有關之影像資料而促進影像之重定義隱私遮罩內之像素之時間預測編碼的編碼指令。 編碼器指示器20進一步經組態以將編碼指令發送至編碼器100。 編碼器100經組態以自編碼器指示器20接收編碼指令。編碼器100進一步經組態以自隱私遮罩模組18接收關於隱私遮罩影像之資料。替代地或組合，編碼器100進一步經組態以自資料儲存器10擷取關於隱私遮罩影像之資料。編碼器100進一步經組態以根據編碼指令編碼隱私遮罩影像。 參考圖3，圖中將討論一種用於將包括複數個像素之一影像編碼成一視訊流之一編碼影像圖框之方法。該方法包括： 接收S400该影像之像素分割影像資料，其中該像素分割影像資料表示該影像之像素； 將該影像之像素分組S402為編碼單元，其中各編碼單元包括複數個相鄰像素； 接收S404定義一隱私遮罩之資料及該隱私遮罩之圖形特性； 識別S406具有位於該隱私遮罩內之一或多個像素之所有編碼單元； 擴展S408待與經識別之編碼單元對準之該隱私遮罩，藉此形成覆蓋經識別之編碼單元之一重定義隱私遮罩； 藉由將該重定義隱私遮罩及所接收之圖形特性應用於該影像而產生S410一隱私遮罩影像；及 將該隱私遮罩影像編碼S412成該視訊流之該編碼影像圖框。其中根據以下編碼指令執行編碼S412之行為： 基於與該重定義隱私遮罩外部之像素有關之影像資料而停用該影像之該重定義隱私遮罩內之像素之空間預測編碼； 基於與該視訊流中之任何參考影像圖框之任何隱私遮罩外部之像素有關之影像資料而停用該影像之該重定義遮罩內之像素之時間預測編碼；及 基於與該視訊流中之一參考影像圖框之一隱私遮罩內部之像素有關之影像資料而允許該影像之該重定義隱私遮罩內之像素之時間預測編碼。 該方法可進一步包括：當該影像之該隱私遮罩及該參考影像圖框之該隱私遮罩進一步與該各自隱私遮罩之一分類相關聯時，允許時間預測編碼之行為係進一步基於該各自隱私遮罩之該分類。 該方法可進一步包括：當該各自隱私遮罩之该分類包括由該各自隱私遮罩遮蔽之一類型之物件，且當該類型之物件由該影像之該隱私遮罩及由係相同之該參考影像圖框之該隱私遮罩遮蔽時，基於與該參考影像圖框之該隱私遮罩內部之像素有關之影像資料而促進該影像之該重定義隱私遮罩內之像素之時間預測編碼。 該方法可進一步包括：當該各自隱私遮罩之该分類包括該各自隱私遮罩之一隱私層級，且當該影像之該隱私遮罩之該隱私層級高於該參考影像圖框之該隱私遮罩之該隱私層級時，基於與該參考影像圖框之該隱私遮罩內部之像素有關之影像資料而停用該影像之該重定義隱私遮罩內之像素之時間預測編碼。 熟習技術者意識到本發明絕不受限於上述較佳實施例。相反，許多修改及變化形式在隨附申請專利範圍之範疇內係可行的。 例如，編碼器指示器20可進一步經組態以產生編碼指令，編碼指令基於與該影像之該重定義隱私遮罩內部之像素有關之影像圖框資料而允許該影像之該重定義隱私遮罩內之像素之空間預測編碼。 當該隱私遮罩包括複數個子隱私遮罩區域時，編碼器指示器20可進一步經組態以產生基於與該影像之不同子重定義隱私遮罩之像素有關之影像資料而停用空間預測編碼之編碼指令。然而，在此情況中，編碼器指示器20繼而進一步經組態以產生基於與該影像之一子重定義隱私遮罩內部之像素有關之影像圖框資料而允許該影像之該子重定義隱私遮罩內之像素之空間預測編碼的編碼指令。 再者，編碼器指示器20可進一步經組態以產生編碼指令以當產生一新隱私遮罩時產生一新I圖框以迫使該隱私遮罩之編碼之一重新開始。 此外，編碼器指示器20可進一步經組態以產生編碼指令以不允許在隱私遮罩之邊界上解區塊。 另外，所揭示之實施例之變化形式可由熟習技術者在實踐所主張之發明時自圖式、揭示內容及隨附申請專利範圍之一研究理解及起作用。
2‧‧‧電路
10‧‧‧資料儲存器
12‧‧‧像素分組模組
14‧‧‧編碼單元模組
16‧‧‧隱私遮罩重定義模組
18‧‧‧隱私遮罩模組
20‧‧‧編碼器指示器
21‧‧‧資料匯流排
22‧‧‧中央處理單元(CPU)
30‧‧‧隱私遮罩控制器
32‧‧‧視訊分析模組
100‧‧‧編碼器
200‧‧‧編碼系統
300‧‧‧影像
302‧‧‧像素
304‧‧‧編碼單元
304a至304f‧‧‧編碼單元
306‧‧‧隱私遮罩
308‧‧‧重定義隱私遮罩
S400至S412‧‧‧行為
現將參考展示本發明之實施例之附圖更詳細描述本發明之上述及其他態樣。圖式不應視為使本發明受限於特定實施例；相反，圖式用於闡釋及理解本發明。 如圖中所繪示，層及區域之大小為了繪示而放大且因此，經提供以繪示本發明之實施例之通用結構。相同元件符號指稱所有相同元件。 圖1係一編碼系統之一示意性方塊圖。 圖2A及圖2B係一影像及用於覆蓋該影像之一隱私遮罩之示意圖。在圖2A中，繪示一原始隱私遮罩且在圖2B中，繪示一重定義隱私遮罩。 圖3係一種用於將包括複數個像素之一影像編碼成一視訊流之一編碼影像圖框之方法之一方框圖。

Claims (12)

  1. 一種用於將包括複數個像素(302)之一影像(300)編碼成一視訊流之一編碼影像圖框之方法，該方法包括： 接收(S400)該影像之像素分割影像資料，其中該像素分割影像資料表示該影像之像素； 將該影像之像素分組(S402)為編碼單元(304)，其中各編碼單元包括複數個相鄰像素； 接收(S404)定義一隱私遮罩(306)及該隱私遮罩之圖形特性的資料； 識別(S406)具有位於該隱私遮罩內之一或多個像素的所有編碼單元； 擴展(S408)待與經識別之編碼單元對準之該隱私遮罩，藉此形成覆蓋經識別之編碼單元之一重定義隱私遮罩(308)； 藉由將該重定義隱私遮罩及所接收之圖形特性應用於該影像來產生(S410)一隱私遮罩影像；及 根據以下將該隱私遮罩影像編碼(S412)成該視訊流之該編碼影像圖框： 基於與該重定義隱私遮罩外部之像素有關的影像資料來停用該影像之該重定義隱私遮罩內之像素的空間預測編碼； 基於與該視訊流中之任何參考影像圖框之任何隱私遮罩外部之像素有關的影像資料來停用該影像之該重定義遮罩內之像素的時間預測編碼；及 基於與該視訊流中之一參考影像圖框之一隱私遮罩內部之像素有關的影像資料而允許該影像之該重定義隱私遮罩內之像素的時間預測編碼。
  2. 如請求項1之方法，其中該影像之該隱私遮罩及該參考影像圖框之該隱私遮罩係進一步與該各自隱私遮罩之一分類相關聯，其中允許時間預測編碼之該行為係進一步基於該各自隱私遮罩之該分類。
  3. 如請求項2之方法，其中該各自隱私遮罩之該分類包括由該各自隱私遮罩所遮蔽之該類型的物件，其中該方法進一步包括：當該類型之物件係由該影像之該隱私遮罩及係由相同之該參考影像圖框之一隱私遮罩遮蔽時，基於與該參考影像圖框之該隱私遮罩內部之像素有關的影像資料而促進該影像之該重定義隱私遮罩內之像素的時間預測編碼。
  4. 如請求項2或3之方法，其中該各自隱私遮罩之該分類包括該各自隱私遮罩之一隱私層級，其中該方法進一步包括：當該影像之該隱私遮罩之該隱私層級高於該參考影像圖框之該隱私遮罩之該隱私層級時，基於與該參考影像圖框之該隱私遮罩內部之像素有關的影像資料而停用該影像之該重定義隱私遮罩內之像素的時間預測編碼。
  5. 如請求項1之方法，其中編碼該隱私遮罩影像之行為進一步包括：基於與該影像之該重定義隱私遮罩內部之像素有關的影像圖框資料而允許該影像之該重定義隱私遮罩內之像素的空間預測編碼。
  6. 如請求項5之方法，其中該隱私遮罩包括複數個單獨子隱私遮罩區域，其中形成一重定義隱私遮罩之行為包括形成該複數個單獨子隱私遮罩區域之各者之一子重定義隱私遮罩，其中該方法進一步包括基於與該影像之不同子重定義隱私遮罩之像素有關的影像資料來停用空間預測編碼。
  7. 一種編碼系統，其包括： 一編碼器(100)，其經組態以將一影像編碼成一視訊流之一編碼影像圖框； 一資料儲存器(10)，其經組態以儲存表示該影像之像素的像素分割影像資料； 一像素分組模組(12)，其經組態以將該影像之像素分組為編碼單元，其中各編碼單元包括複數個相鄰像素； 一編碼單元模組(14)，其經組態以接收定義一隱私遮罩的資料，且識別具有位於該隱私遮罩內之一或多個像素的所有編碼單元； 一隱私遮罩重定義模組(16)，其經組態以擴展待與經識別之編碼單元對準之該隱私遮罩，且藉此形成覆蓋經識別之編碼單元之一重定義隱私遮罩； 一隱私遮罩模組(18)，其經組態以接收該隱私遮罩的圖形特性，且藉由將該重定義隱私遮罩及所接收的圖形特性應用於該影像來產生一隱私遮罩影像；及 一編碼器指示器(20)，其經組態以產生該編碼器(100)之編碼指令，且將該等編碼指令發送至該編碼器(100)，其中該等編碼指令包括： 基於與該重定義隱私遮罩外部之像素有關的影像資料而停用該影像之該重定義隱私遮罩內之像素的空間預測編碼； 基於與該視訊流中之任何參考影像圖框之任何隱私遮罩外部之像素有關的影像資料而停用該影像之該重定義遮罩內之像素的時間預測編碼；及 基於與該視訊流中之一參考影像圖框之一隱私遮罩內部之像素有關的影像資料而允許該影像之該重定義隱私遮罩內之像素的時間預測編碼； 其中該編碼器(100)經組態以接收該等編碼指令，且編碼該隱私遮罩影像。
  8. 如請求項7之編碼系統，進一步包括一隱私遮罩控制器(30)，其經組態以輸出定義待由該影像內之該隱私遮罩覆蓋之該影像之像素的資料，且輸出該隱私遮罩的圖形特性。
  9. 如請求項8之編碼系統，其中該隱私遮罩控制器(30)經組態以基於由一視訊分析模組(32)提供的視訊分析來產生定義待由該隱私遮罩覆蓋之該影像之像素的該資料。
  10. 如請求項8或9之編碼系統，其中該隱私遮罩控制器(30)進一步經組態以使一分類與該隱私遮罩相關聯，其中該編碼器指示器(20)進一步經組態以使時間預測編碼之該允許基於該隱私遮罩之該分類及該參考影像圖框之該隱私遮罩之一分類。
  11. 如請求項7之編碼系統，其中該編碼系統係配置於一視訊攝影機中。
  12. 一種非暫時性電腦可讀記錄媒體，其具有經記錄於其上之一程式，當在具有處理能力之一裝置上被執行時，該程式用於實施如請求項1之方法。
TW106141513A 2016-12-20 2017-11-29 編碼隱私遮罩影像 TWI766906B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??16205466.2 2016-12-20
EP16205466.2 2016-12-20
EP16205466.2A EP3340624B1 (en) 2016-12-20 2016-12-20 Encoding a privacy masked image

Publications (2)

Publication Number Publication Date
TW201828699A true TW201828699A (zh) 2018-08-01
TWI766906B TWI766906B (zh) 2022-06-11

Family

ID=57755002

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106141513A TWI766906B (zh) 2016-12-20 2017-11-29 編碼隱私遮罩影像

Country Status (6)

Country Link
US (2) US10924761B2 (zh)
EP (1) EP3340624B1 (zh)
JP (1) JP7057651B2 (zh)
KR (1) KR102386295B1 (zh)
CN (1) CN108206953B (zh)
TW (1) TWI766906B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI709087B (zh) * 2019-08-30 2020-11-01 華南商業銀行股份有限公司 影像辨識系統
TWI723946B (zh) * 2019-08-30 2021-04-01 華南商業銀行股份有限公司 能產生具有色塊之存摺影像的影像辨識系統
TWI726816B (zh) * 2019-08-30 2021-05-01 華南商業銀行股份有限公司 具有顯示存摺影像功能的影像辨識系統
TWI736427B (zh) * 2019-08-30 2021-08-11 華南商業銀行股份有限公司 以色塊取代入金欄位的影像辨識系統
US11361178B2 (en) 2020-11-10 2022-06-14 Industrial Technology Research Institute Communication system and method thereof

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3340624B1 (en) * 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
CN108848382B (zh) * 2018-06-12 2020-04-03 浙江大华技术股份有限公司 一种编解码方法及装置
JP7070194B2 (ja) 2018-07-23 2022-05-18 住友ゴム工業株式会社 空気入りタイヤ
CN109872282B (zh) * 2019-01-16 2021-08-06 众安信息技术服务有限公司 一种基于计算机视觉的图像脱敏方法与系统
EP3751851A1 (en) * 2019-06-14 2020-12-16 Axis AB Method of highlighting an object of interest in an image or video
EP3796655B1 (en) * 2019-09-20 2021-11-03 Axis AB Video privacy mask in forward predicted video frame
EP3796654A1 (en) 2019-09-20 2021-03-24 Axis AB Privacy masks where intra coefficients are set to zero
JP7455545B2 (ja) * 2019-09-30 2024-03-26 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
CN111476273B (zh) * 2020-03-11 2024-06-07 西安万像电子科技有限公司 图像处理方法及装置
US11463240B2 (en) * 2020-05-21 2022-10-04 Novatek Microelectronics Corp. Methods and image processing devices for encoding and decoding private data
EP3985976B1 (en) * 2020-10-16 2022-09-28 Axis AB Method of encoding an image including a privacy mask
TWI757940B (zh) * 2020-10-29 2022-03-11 宏碁股份有限公司 視訊會議系統及其排除打擾的方法
CN112468823A (zh) * 2020-11-10 2021-03-09 浙江大华技术股份有限公司 一种基于模拟录像装置的隐私遮挡方法、装置和存储介质
CN112637635B (zh) * 2020-12-15 2023-07-04 西安万像电子科技有限公司 文件保密方法及系统、计算机可读存储介质及处理器
US11907402B1 (en) 2021-04-28 2024-02-20 Wells Fargo Bank, N.A. Computer-implemented methods, apparatuses, and computer program products for frequency based operations
CN113923476B (zh) * 2021-09-30 2024-03-26 支付宝(杭州)信息技术有限公司 一种基于隐私保护的视频压缩方法及装置
CN115187819B (zh) * 2022-08-23 2023-05-16 北京医准智能科技有限公司 图像分类模型的训练方法、装置、电子设备及存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100417507B1 (ko) * 1996-01-29 2004-02-05 마쯔시다덴기산교 가부시키가이샤 화소치 보전(補塡) 방법, 화상 부호화 장치 및 화상복호화 장치
US6373530B1 (en) 1998-07-31 2002-04-16 Sarnoff Corporation Logo insertion based on constrained encoding
EP1571850A3 (en) * 2004-03-05 2006-12-13 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding image containing grayscale alpha channel image
US7940302B2 (en) * 2004-09-15 2011-05-10 The Regents Of The University Of California Apparatus and method for privacy protection of data collection in pervasive environments
GB2435140B (en) * 2006-02-13 2011-04-06 Snell & Wilcox Ltd Sport action coding
JP5088161B2 (ja) * 2008-02-15 2012-12-05 ソニー株式会社 画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム
JP2009239718A (ja) 2008-03-27 2009-10-15 Toshiba Corp 動画像分離装置、動画像結合装置および動画像分離・結合システム
US8326061B2 (en) * 2008-05-12 2012-12-04 Google Inc. Fast visual degrading of images
FR2932045B1 (fr) * 2008-06-03 2010-08-20 Thales Sa Procede et systeme permettant de proteger des la compression la confidentialite des donnees d'un flux video lors de sa transmission
JP5108666B2 (ja) * 2008-07-23 2012-12-26 株式会社東海理化電機製作所 ウェビング巻取装置
KR101271461B1 (ko) * 2009-10-09 2013-06-05 한국전자통신연구원 감시영상의 프라이버시 정보 보호 장치 및 방법
US8472725B2 (en) * 2010-06-02 2013-06-25 Cisco Technology, Inc. Scene change detection and handling for preprocessing video with overlapped 3D transforms
JP5791256B2 (ja) 2010-10-21 2015-10-07 キヤノン株式会社 表示制御装置、表示制御方法
US8965140B1 (en) * 2011-01-31 2015-02-24 Teradici Corporation Method and apparatus for encoding mixed content image sequences
US9282333B2 (en) * 2011-03-18 2016-03-08 Texas Instruments Incorporated Methods and systems for masking multimedia data
EP2536143B1 (en) * 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data
EP2920962A4 (en) * 2012-11-13 2016-07-20 Intel Corp ADAPTIVE TRANSFORMATION ENCODING OF CONTENT FOR NEXT GENERATION VIDEO
US9124762B2 (en) * 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
EP2801958B1 (en) * 2013-05-08 2016-09-14 Axis AB Monitoring method and camera
JP6179183B2 (ja) * 2013-05-15 2017-08-16 富士通株式会社 情報処理装置、プログラム、及び画像処理方法
US20150264357A1 (en) * 2014-03-11 2015-09-17 Stmicroelectronics S.R.L. Method and system for encoding digital images, corresponding apparatus and computer program product
WO2015142075A1 (ko) * 2014-03-19 2015-09-24 삼성전자 주식회사 3d 영상에 관련된 블록의 파티션 경계에서 필터링 수행 방법
US20170195677A1 (en) * 2014-05-22 2017-07-06 Mediatek Inc. Method of Intra Block Copy with Flipping for Image and Video Coding
JP5707562B1 (ja) 2014-05-23 2015-04-30 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
US9876964B2 (en) * 2014-05-29 2018-01-23 Apple Inc. Video coding with composition and quality adaptation based on depth derivations
EP3021579B1 (en) * 2014-11-14 2016-10-12 Axis AB Method and encoder system for encoding video
EP3021583B1 (en) * 2014-11-14 2019-10-23 Axis AB Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system
EP3340624B1 (en) * 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
EP3340623B1 (en) * 2016-12-20 2023-04-12 Axis AB Method of encoding an image including a privacy mask
US10277901B2 (en) * 2017-05-08 2019-04-30 Axis Ab Encoding a video stream having a privacy mask
US11778195B2 (en) * 2017-07-07 2023-10-03 Kakadu R & D Pty Ltd. Fast, high quality optical flow estimation from coded video
CN107563978A (zh) * 2017-08-31 2018-01-09 苏州科达科技股份有限公司 人脸去模糊方法及装置
DE112018006630T5 (de) * 2017-12-28 2020-09-24 Intel Corporation Visual fog
EP3796655B1 (en) * 2019-09-20 2021-11-03 Axis AB Video privacy mask in forward predicted video frame

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI709087B (zh) * 2019-08-30 2020-11-01 華南商業銀行股份有限公司 影像辨識系統
TWI723946B (zh) * 2019-08-30 2021-04-01 華南商業銀行股份有限公司 能產生具有色塊之存摺影像的影像辨識系統
TWI726816B (zh) * 2019-08-30 2021-05-01 華南商業銀行股份有限公司 具有顯示存摺影像功能的影像辨識系統
TWI736427B (zh) * 2019-08-30 2021-08-11 華南商業銀行股份有限公司 以色塊取代入金欄位的影像辨識系統
US11361178B2 (en) 2020-11-10 2022-06-14 Industrial Technology Research Institute Communication system and method thereof

Also Published As

Publication number Publication date
CN108206953A (zh) 2018-06-26
US20210185355A1 (en) 2021-06-17
KR102386295B1 (ko) 2022-04-13
TWI766906B (zh) 2022-06-11
EP3340624A1 (en) 2018-06-27
JP2018137730A (ja) 2018-08-30
US11601674B2 (en) 2023-03-07
KR20180071957A (ko) 2018-06-28
EP3340624B1 (en) 2019-07-03
CN108206953B (zh) 2023-06-16
US10924761B2 (en) 2021-02-16
US20180176597A1 (en) 2018-06-21
JP7057651B2 (ja) 2022-04-20

Similar Documents

Publication Publication Date Title
TWI766906B (zh) 編碼隱私遮罩影像
TWI804478B (zh) 編碼包括隱私遮罩之影像之方法
US10277901B2 (en) Encoding a video stream having a privacy mask
CN106341664B (zh) 一种数据处理方法及装置
TWI619376B (zh) 識別數位影像中相關區域之方法、編碼數位影像之方法及編碼器系統
US9875530B2 (en) Gradient privacy masks
KR101271461B1 (ko) 감시영상의 프라이버시 정보 보호 장치 및 방법
CN112543327B (zh) 对视频流提供隐私屏蔽的方法、编码器系统和存储介质
KR20190120663A (ko) 영상수신장치, 영상수신장치의 영상 복원 방법, 및 영상 시스템의 영상 마스킹 및 복원 방법
CN112543330A (zh) 模糊隐私遮蔽
JP2022099276A (ja) カメラ、およびそのカメラの設置を容易にするための方法
EP3985976B1 (en) Method of encoding an image including a privacy mask
CN115147318A (zh) 隐私遮挡方法及装置
CN117061581B (zh) 远程控制方法、装置、电子设备、存储介质及程序产品
US20230177661A1 (en) Method for controlling a bitrate of a video stream captured with an image aquisition device
KR20150137891A (ko) 사생활 보호를 위한 마스크 처리 방법 및 장치
TW202415082A (zh) 用於確定指示在影像框的串流中捕獲的物件屬於物件類型的機率值之方法及影像處理裝置