TW202032981A - 用於對保護物件隱私之影像圖框序列進行編碼與解碼之方法及裝置 - Google Patents

用於對保護物件隱私之影像圖框序列進行編碼與解碼之方法及裝置 Download PDF

Info

Publication number
TW202032981A
TW202032981A TW108146849A TW108146849A TW202032981A TW 202032981 A TW202032981 A TW 202032981A TW 108146849 A TW108146849 A TW 108146849A TW 108146849 A TW108146849 A TW 108146849A TW 202032981 A TW202032981 A TW 202032981A
Authority
TW
Taiwan
Prior art keywords
sequence
frame
image frames
coded
frames
Prior art date
Application number
TW108146849A
Other languages
English (en)
Other versions
TWI712311B (zh
Inventor
嵩 袁
維克多 艾德帕姆
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202032981A publication Critical patent/TW202032981A/zh
Application granted granted Critical
Publication of TWI712311B publication Critical patent/TWI712311B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

本發明提供一種用於對描繪其隱私將受保護之一物件之一影像圖框序列進行編碼之方法。產生該影像圖框序列之一第一版本及一第二版本。該序列之該第一版本而非該第二版本之影像圖框具有一隱私遮罩以保護其內所描繪之該物件之隱私。將該序列之該第一版本編碼為圖框內編碼影像圖框及圖框間編碼影像圖框之一第一編碼序列。將該序列之一第二版本編碼為圖框間編碼影像圖框之一第二編碼序列。藉由使用該第一編碼序列之該等圖框內編碼影像圖框來對該第二編碼序列之該等圖框間編碼影像圖框進行編碼。對該第二編碼序列之該等圖框間編碼影像圖框進行加密，其後，將該第一編碼序列及該第二編碼序列合併成一單一輸出序列。

Description

用於對保護物件隱私之影像圖框序列進行編碼與解碼之方法及裝置
本發明係關於視訊編碼及解碼之領域。特定言之，本發明係關於對描繪其隱私將受保護之一物件之一影像圖框序列進行編碼與解碼。
視訊攝影機常用於監視諸如商店、停車場、火車站等等之公共區域。所擷取之視訊可有利地用於保護普通人之安全。然而，所擷取之視訊之一缺點係其可能侵犯其內所描繪之人之完整性。近年來，致力於經由限制可收集及儲存之個人資料之條例來保護人們之完整性。此個人資料包含可自其識別一人之視訊。
視訊攝影機製造商已提出允許在一擷取視訊中保護人們或其他物件之隱私的各種解決方案。一常見方法係分析視訊以找到應保護之物件。物件可為面部、人、螢幕、汽車等等。接著，由使自視訊識別物件無法實現之所謂的隱私遮罩覆蓋此等物件。然而，當發生一事故時，仍期望授權使用者(諸如警察或專職安保人員)能夠觀看無隱私遮罩之視訊以能夠識別作惡者、受害者及目擊者。因此，一般使用者僅應被允許觀看隱私遮罩視訊，而授權使用者應能夠觀看無遮罩視訊。一般使用者可為安保人員，而授權使用者可為調查一報告事故之一警官、一專職高級安保人員或已通過處置特定事故之安全訓練之一安保人員。
為履行該要求，視訊攝影機可自所擷取之視訊產生兩個單獨串流。在一第一串流中，物件可具有隱私遮罩，而在一第二串流中，不提供隱私遮罩。為防止未授權使用者觀看第二串流，其可經加密使得其僅可由擁有加密密鑰之使用者觀看。
使用兩個單獨串流之方法具有若干缺點。例如，具有兩個串流而非一個對位元率具有一負面影響且需要在接收端有更多儲存空間。此外，兩個單獨串流一起屬於一對，且必須致力於在接收端處置期間保持兩個單獨串流之間的相關聯性。例如，需要在儲存兩個串流期間作出此等努力。此外，接收端處之視訊管理系統將必須經特別設計以接收兩個單獨串流而非如通常情況般接收一個。通常，一視訊管理系統用於處置來自可具有大量各種不同設置之攝影機之視訊。要存在支援接收單獨串流之若干視訊管理系統，但大多數可用視訊管理系統僅被設計用於處置一單一串流。因此，存在改良空間。
因此，鑑於上文，本發明之一目的係減輕上述缺點且仍提供允許授權使用者觀看原始視訊之一視訊，而一般使用者僅被允許觀看一隱私遮罩視訊。
根據一第一態樣，由一種用於對描繪其隱私將受保護之一物件之一影像圖框序列進行編碼之方法達成上述目的，該方法包括： 接收待編碼之一影像圖框序列，其中該影像圖框序列描繪其隱私將受保護之一物件； 產生該影像圖框序列之一第一版本及一第二版本，其中該序列之該第一版本而非該第二版本之影像圖框具有一隱私遮罩以保護該影像圖框序列中所描繪之該物件之隱私； 將該影像圖框序列之該第一版本編碼為圖框內編碼影像圖框及圖框間編碼影像圖框之一第一編碼序列； 將該影像圖框序列之該第二版本編碼為圖框間編碼影像圖框之一第二編碼序列，其中藉由使用該第一編碼序列之該等圖框內編碼影像圖框來對該第二編碼序列之該等圖框間編碼影像圖框進行編碼； 對該第二編碼序列之該等圖框間編碼影像圖框進行加密；及 藉由使該第一編碼序列及該第二編碼序列之影像圖框交錯來將該第一編碼序列及該第二編碼序列合併成一單一輸出序列。
所描繪之物件可為一或多個靜止或移動物件。保護物件之隱私之原因可歸因於條例，諸如歐盟一般資料保護條例。
如本文所使用，一「隱私遮罩」係限制一特定區域被觀看之一電子施加遮罩。依此方式，限制區域保持私密。
如本文所使用，一「圖框內編碼圖框」係指藉由僅參考本身來編碼之一影像圖框。因此，圖框內編碼圖框係自含式。圖框內編碼圖框亦稱為I圖框。
如本文所使用，一「圖框間編碼圖框」係指藉由參考一或多個其他影像圖框來編碼之一影像圖框。一或多個其他影像圖框通常為先前編碼圖框(諸如先前圖框內編碼圖框或先前圖框間編碼圖框)之解碼版本。圖框間編碼圖框之實例係P圖框及B圖框。
在編碼之前，可對所接收之影像圖框序列實施不同類型之處理。由於處理而產生影像圖框序列之一第一版本及一第二版本。因此，如本文所使用，一所接收之影像圖框序列之一版本係指自所接收之影像圖框序列導出或基於所接收之影像圖框序列來產生之一影像圖框序列。一影像圖框序列之一版本可相同於影像圖框序列。然而，其亦可不同於影像圖框序列。例如，所接收之影像圖框序列之第一版本不同於所接收之影像圖框序列，因為物件由第一版本中之隱私遮罩屏蔽。在一些實施例中，所接收之影像圖框序列之第二版本相同於所接收之影像圖框序列。在其他實施例中，第二版本可為所接收之影像圖框序列之一修改版本。
使用此配置來處理影像序列之兩個版本。在序列之一第一版本中，受保護之描繪物件具有一隱私遮罩。接著，對第一版本及第二版本進行編碼。然而，兩個版本不彼此獨立編碼。更詳細而言，不針對第二版本(無隱私遮罩之版本)編碼單獨圖框內編碼圖框。相反地，第二版本共用編碼第一版本之圖框內圖框。具體而言，僅使用圖框間編碼圖框來對第二版本進行編碼。以編碼第一版本之圖框內編碼圖框作為一起點對此等圖框間編碼圖框進行編碼。依此方式，不針對第二版本對圖框內編碼圖框進行編碼。由於就位元率而言，圖框內編碼圖框明顯貴於圖框間編碼圖框，所以影像序列之編碼第一版本及編碼第二版本之總位元率顯著低於彼此獨立地對兩個版本進行編碼。測試表明，此可導致總位元率降低30%。為進一步降低位元率，可在對影像圖框序列之第一版本(具有一隱私遮罩之版本)進行編碼時使用比對影像圖框序列之第二版本(無隱私遮罩之版本)進行編碼時高之一壓縮。藉由設計，具有隱私遮罩之版本具有監視關注之較少細節且因此可被更多壓縮。
在編碼之後，對影像序列之編碼第二版本進行加密。依此方式，僅授權使用者將能夠觀看編碼第二版本中之受保護物件。
此外，提供一單一串流(單一輸出序列)而非兩個單獨串流作為輸出。在單一串流中，藉由交錯來組合包含隱私遮罩之編碼圖框及不包含隱私遮罩之加密編碼圖框。因此，接收端既不必經特別調適以接收兩個單獨串流，亦不必將兩個單獨串流處置為一對。
可在輸出序列中隱藏第二編碼序列之影像圖框。此可藉由向第二編碼序列之圖框間編碼影像圖框提供防止其由一標準化影像解碼器解碼之一指示來達成。依此方式，一標準化解碼器可忽視第二編碼序列之影像圖框且因此將僅對第一編碼序列之圖框內編碼圖框及圖框間編碼圖框進行解碼。因此，一標準化解碼器將對其中物件由一隱私遮罩保護之影像序列之版本進行解碼。然而，需要一客製化解碼器來對隱藏影像圖框進行解碼。
一標準化解碼器意謂經組態以對具有一標準化視訊編碼格式之視訊進行解碼之一解碼器。H.264/AVC/MPEG-4 Part 10及H.265/HEVC/MPEG-H Part 2係此等標準之實例。
指示提供於第二編碼序列之圖框間編碼影像圖框之標頭中。依此方式，一解碼器可在不必對圖框進行解碼之情況下容易地存取資訊。
指示可依不同方式(例如藉由設定一標頭中之一旗標)實施。指示隱藏影像圖框之一方便方式係利用未在根據當前標準指定之標頭中之位元或位元組合。例如，在H.264及H.265標準中，網路抽象層(NAL)單元具有包含NAL單元之類型之標頭資訊。可藉由設定NAL之一值(與第二編碼序列之圖框間編碼影像圖框相關聯之NAL單元之單元類型)來提供指示。值可經設定以指示NAL單元不應由一標準化解碼器解碼。因此，藉由依此方式提供指示，一標準化解碼器將自動忽視與NAL單元相關聯之圖框間編碼影像圖框。然而，一客製化解碼器可經特別設計以基於指示來識別此等圖框間編碼圖框。
如上文所闡釋，一標準化解碼器可忽視第二編碼序列之圖框間編碼圖框，而一客製化解碼器可代以識別及解碼第二編碼序列之圖框間編碼圖框。由於第二編碼序列與第一編碼序列共用圖框內編碼圖框，所以一客製化解碼器需要對第一編碼序列之圖框內編碼圖框進行解碼以解碼第二編碼序列之圖框間編碼圖框。然而，第一編碼序列之解碼圖框內編碼圖框不應顯示於客製化解碼器處，因為其包含隱私遮罩(客製化解碼器之作用係對無隱私遮罩之一序列進行解碼)。
存在若干方式來避免第一編碼序列之圖框內編碼圖框顯示於客製化解碼器處。
在一第一方法中，客製化解碼器經特別設計以不在意欲用於顯示之最終解碼序列中包含圖框內編碼圖框。
在一第二方法中，在編碼期間，向第一編碼序列之圖框內編碼圖框提供其不應被顯示之一指示。依此方式，客製化解碼器不會展示圖框內編碼圖框。然而，該方法之一缺點係標準化解碼器亦不會展示圖框內編碼圖框。為應對該缺點，方法可進一步包括在圖框內編碼圖框之各者之後將一空圖框間編碼影像圖框添加至第一編碼序列。當被解碼及顯示時，空圖框間編碼影像圖框將展示為圖框內編碼影像圖框之一複本。
影像圖框序列可描繪其隱私將受保護之不同類型之物件。例如，一類型之物件可為人，另一類型可為牌照，且又一類型可為特定建築。在另一實例中，一類型之物件係一第一類人(諸如一商店中之顧客)且另一類型之物件係一第二類人(諸如一商店中之工作人員)。在此一情形中，序列之第一版本之影像圖框可具有隱私遮罩以保護其隱私將受保護之所有類型之物件之隱私，且序列之第二版本之影像圖框可具有隱私遮罩以保護其隱私將受保護之除一第一類型之物件之外的所有物件之隱私。此允許給予一使用者授權以查看一第一類型之物件而非其他類型之物件。
上述方法可經擴展以允許給予不同使用者對不同物件類型之授權。更具體而言，方法可進一步包括： 產生影像圖框序列之一第三版本，其中序列之第三版本之影像圖框具有隱私遮罩以保護其隱私將受保護之除一第二類型之物件之外的所有物件之隱私； 將影像圖框序列之第三版本編碼為圖框間編碼影像圖框之一第三編碼序列，其中第三編碼序列之圖框間編碼影像圖框藉由使用第一編碼序列之圖框內編碼影像圖框來對第三編碼序列之圖框間編碼影像圖框進行編碼； 對第三編碼序列之圖框間編碼影像圖框進行加密；及 藉由使第一編碼序列、第二編碼序列及第三編碼序列之影像圖框交錯來將第三編碼序列與第一編碼序列及第二編碼序列合併成單一輸出序列。
使用此方法來產生影像圖框序列之一第三版本。在第三版本中，提供隱私遮罩來保護除一第二類型之物件之外的所有物件之隱私。接著，藉由使用第一編碼序列之圖框內編碼圖框來依類似於序列之第二版本之一方式對序列之第三版本進行編碼。一授權使用者可自第二編碼序列之影像圖框解密、解碼及顯示第二類型之物件。一授權使用者可自第三編碼序列之影像圖框解密、解碼及顯示第三類型之物件。
第二編碼序列通常僅包含圖框間編碼影像圖框。此等圖框間編碼影像圖框可配置成連續圖框間編碼影像圖框之子序列。可藉由使用第一編碼序列之一圖框內編碼影像圖框作為編碼之一起點來對一子序列進行編碼。例如，可參考圖框內編碼影像圖框之一解碼版本來對一子序列之一第一圖框間編碼圖框進行編碼。可參考第一圖框間編碼影像圖框之一解碼版本來對子序列之下一圖框間編碼圖框進行編碼，依此類推。
根據一第二態樣，提供一種用於對描繪其隱私將受保護之一物件之一影像圖框序列進行編碼之裝置，其包括： 一接收器，其經組態以接收待編碼之一影像圖框序列，其中該影像圖框序列描繪其隱私將受保護之一物件； 一隱私遮罩器，其經組態以產生該影像圖框序列之一第一版本，其中該序列之該第一版本之影像圖框具有一隱私遮罩以保護該影像圖框序列中所描繪之該物件之隱私； 一編碼器，其經組態以將該影像圖框序列之該第一版本編碼為圖框內編碼影像圖框及圖框間編碼影像圖框之一第一編碼序列且將該影像圖框序列之一第二版本編碼為圖框間編碼影像圖框之一第二編碼序列，其中該影像圖框序列之該第二版本之影像圖框不具有一隱私遮罩來保護該影像圖框序列中所描繪之該物件之隱私，且其中藉由使用該第一編碼序列之該等圖框內編碼影像圖框來對該第二編碼序列之該等圖框間編碼影像圖框進行編碼； 一加密器，其經組態以對該第二編碼序列之該等圖框間編碼圖框進行加密；及 一交錯器，其經組態以藉由使該第一編碼序列及該第二編碼序列之影像圖框交錯來將該第一編碼序列及該第二編碼序列合併成一單一輸出序列。
根據一第三態樣，提供一種攝影機，其包括： 一影像感測器，其經組態以擷取描繪其隱私將受保護之一物件之一影像圖框序列；及 根據第二態樣之一裝置，其經配置以接收由該影像感測器擷取之該影像圖框序列且將該所接收之影像圖框序列編碼成一單一輸出序列。
根據一第四態樣，提供一種(非暫時性)電腦可讀媒體，其上儲存有電腦碼指令，該等電腦碼指令在由一處理器執行時經調適以實施第一態樣之方法。
第二態樣、第三態樣及第四態樣可大體上具有相同於第一態樣之特徵及優點。
根據一第五態樣，提供一種用於對其中將保護一物件之隱私之一編碼影像圖框序列進行解碼之方法，其包括： 接收一編碼影像圖框序列， 其中該編碼影像圖框序列包括一第一編碼影像圖框序列及一第二編碼影像圖框序列之交錯影像圖框， 其中該第二編碼影像圖框序列包含藉由使用該第一編碼序列之圖框內編碼影像圖框來編碼之圖框間編碼影像圖框， 其中該物件之隱私由該第一編碼序列之該等影像圖框中之隱私遮罩及該第二編碼序列中之加密保護； 自該編碼影像圖框序列提取該第一編碼序列之該等圖框內編碼影像圖框及該第二編碼序列之該等圖框間編碼影像圖框； 對該第二編碼序列之該等圖框間編碼影像圖框進行解密； 對該第一編碼序列之該等圖框內編碼圖框及該第二編碼序列之該等解密圖框間編碼影像圖框進行解碼，其中藉由使用該第一編碼序列之該等解碼圖框內編碼圖框來對該等解密圖框間編碼影像圖框進行解碼；及 由該第二編碼序列之該等解碼、解密圖框間編碼影像圖框形成一解碼顯示序列。
可在一客製化解碼器中執行上述解碼方法。因此，客製化解碼器可對第一編碼序列之圖框內編碼圖框及第二編碼序列之圖框間編碼圖框進行解碼。然而，客製化解碼器僅包含所得顯示序列中之解碼圖框間編碼圖框。
如上文所闡釋，第二編碼序列之圖框間編碼影像圖框可具有防止其由一標準化解碼器解碼之一指示。在提取步驟中，指示可用於識別編碼影像圖框序列中之圖框間編碼影像圖框。因此，指示將自所接收之編碼序列提取哪些圖框以信號傳送至解碼器。
所接收之編碼序列中之圖框與指示其顯示之時間點之時戳相關聯。具體而言，第一編碼序列之圖框內編碼圖框及第二編碼序列之圖框間編碼影像圖框具有指示用於其顯示之時間點之時戳。然而，由於解碼器不包含顯示序列中之圖框內編碼圖框，所以其中應具有圖框內編碼圖框之顯示序列中之時戳之間將存在一間隙。為應對該問題，方法可進一步包括調整第二編碼序列之圖框間編碼影像圖框之時戳以補償未包含於解碼顯示序列中之第一編碼序列之圖框內編碼圖框。
根據一第六態樣，提供一種用於對其中保護一物件之隱私之一編碼影像圖框序列進行解碼之裝置，其包括： 一接收器，其經組態以接收一編碼影像圖框序列， 其中該編碼影像圖框序列包括一第一編碼影像圖框序列及一第二編碼影像圖框序列之交錯影像圖框， 其中該第二編碼影像圖框序列包含藉由使用該第一編碼序列之圖框內編碼影像圖框來編碼之圖框間編碼影像圖框， 其中該物件之隱私由該第一編碼序列之該等影像圖框中之隱私遮罩及該第二編碼序列中之加密保護； 一圖框提取器，其經組態以自該編碼影像圖框序列提取該第一編碼序列之該等圖框內編碼影像圖框及該第二編碼序列之該等圖框間編碼影像圖框； 一解密器，其經組態以對該第二編碼序列之該等圖框間編碼影像圖框進行解密； 一解碼器，其經組態以：對該第一編碼序列之該等圖框內編碼圖框及該第二編碼序列之該等解密圖框間編碼影像圖框進行解碼，其中藉由使用該第一編碼序列之該等解碼圖框內編碼圖框來對該等解密圖框間編碼影像圖框進行解碼；及由該第二編碼序列之該等解碼、解密圖框間編碼影像圖框形成一解碼顯示序列。
第六態樣可大體上具有相同於第一態樣之特徵及優點。應進一步注意，除非另有明確說明，否則本發明係關於特徵之所有可能組合。
圖1繪示包括一視訊攝影機11及一用戶端裝置12之一系統1。視訊攝影機11經配置以(例如)經由一有線或無線網路與用戶端裝置12通信。視訊攝影機11可為一監視攝影機。
攝影機11包括一影像感測器111及一編碼裝置113。攝影機11亦可包括一處理裝置112。處理裝置112及編碼裝置113可為攝影機11之一影像處理管線114之部分。
影像感測器111經配置以擷取一影像圖框序列115，即，一視訊。影像圖框序列115可描繪其隱私將受保護之一或多個物件。例如，所描繪之一或多個物件可為一人、一汽車之一牌照、一建築、一標牌等等。
影像感測器111可將影像圖框序列115轉送至影像處理管線114之處理裝置112，其中影像圖框序列115經受本技術中已知之影像處理之。由於處理，處理裝置112提供一經處理影像圖框序列116至編碼裝置113。
編碼裝置113 (如下文將更詳細描述)接收影像圖框序列116且將其編碼成編碼影像圖框之一單一輸出序列117。簡言之，輸出序列117包含其中一或多個物件由隱私遮罩保護之編碼影像圖框及其中一或多個物件由加密保護之編碼影像圖框兩者。
用戶端裝置12可包括一標準化解碼裝置121、一客製化解碼裝置122或兩者。標準化解碼裝置121符合諸如H.264或H.265之一標準且依循當前標準之規範對視訊進行解碼。相比而言，客製化解碼器122經特別設計以對編碼影像圖框序列117進行解碼，編碼影像圖框序列117包含其中一或多個物件由隱私遮罩保護之編碼影像圖框及其中一或多個物件由加密保護之編碼影像圖框兩者。
用戶端裝置12亦可包括用於顯示解碼視訊之一顯示器123。替代地，用戶端裝置12可將解碼視訊發送至一外部顯示器。
標準化解碼裝置121及/或客製化解碼裝置122接收編碼影像圖框序列117。如下文將更詳細闡釋，標準化解碼裝置121忽視其中一或多個物件由加密保護之編碼影像圖框。相反地，其將對其中一或多個物件由隱私遮罩保護之影像圖框進行解碼。因此，標準化解碼裝置121僅對其中一或多個物件由隱私遮罩保護之影像圖框進行解碼。因此，標準化解碼裝置121產生其中一或多個物件由隱私遮罩保護之一解碼影像圖框序列124。相比而言，客製化解碼裝置122產生其中一或多個物件可見之一解碼影像圖框序列125。
圖2中更詳細繪示編碼裝置113。其包括一接收器201、一隱私遮罩器202、一編碼器203、一加密器204及一交錯器205。
因此，編碼裝置113包括經組態以實施裝置113之功能之各種組件201、202、203、204、205。特定言之，各繪示組件對應於裝置113之一功能。一般而言，裝置113可包括經組態以實施組件201、202、203、204、205且更具體而言，組件201、202、203、204、205之功能，之電路。
在一硬體實施方案中，組件201、202、203、204、205之各者可對應於專用於且經特別設計以提供組件之功能之電路。電路可呈一或多個積體電路(諸如一或多個專用積體電路或一或多個場可程式化閘陣列)之形式。因此，舉例而言，編碼器203可包括在使用時對影像圖框序列之第一版本及第二版本進行編碼之電路。
在一軟體實施方案中，電路可代以呈一處理器(諸如一微處理器)之形式，其結合儲存於一(非暫時性)電腦可讀媒體(諸如一非揮發性記憶體)上之電腦碼指令來引起裝置113實施本文所揭示之任何方法。非揮發性記憶體之實例包含唯讀記憶體、快閃記憶體、鐵電RAM、磁性電腦儲存裝置、光碟及其類似者。因此，在一軟體情況中，組件201、202、203、204、205可各對應於儲存於電腦可讀媒體上之電腦碼指令之一部分，其在由處理器執行時引起裝置113實施組件之功能。
應瞭解，亦可能具有一硬體實施方案及一軟體實施方案之一組合，其意謂一些組件201、202、203、204、205之功能以硬體實施且其他以軟體實施。
現將參考圖2及圖3之流程圖來描述對描繪其隱私將受保護之一物件之一影像圖框序列進行編碼時之編碼裝置113之操作。
在步驟E02中，接收器201接收影像圖框序列116。依序接收影像圖框序列116之影像圖框，且在接收影像圖框時，編碼裝置113一個接一個處理影像圖框。影像圖框序列接收器區塊201中繪示為一白框序列。
接收器201將影像圖框序列116轉送至隱私遮罩器202。在步驟E04中，隱私遮罩器202產生影像圖框序列116之一第一版本216a。在序列之第一版本216a中，影像圖框具有一或多個隱私遮罩以保護所接收之序列116之影像圖框中所描繪之一或多個物件。為此，隱私遮罩器202可首先在所接收之序列116之影像圖框中偵測其隱私將受保護之一或多個物件。為此，隱私遮罩器202可使用任何已知物件偵測方法。例如，若一或多個物件係人類，則可使用偵測一影像中之人類之任何已知方法。若一或多個物件係移動物件，則隱私遮罩器202可使用允許藉由研究所接收之影像圖框序列116中之影像圖框之間的運動來偵測物件之運動偵測或追蹤方法。
舉例而言，隱私遮罩器202可儲存或存取一背景影像。背景影像描繪無任何前景物件之場景中之背景。隱私遮罩器202可藉由比較影像圖框與背景影像來偵測序列116之一影像圖框中之一或多個物件。依此方式，隱私遮罩器202可識別對應於一或多個物件之影像圖框中之像素。隱私遮罩器202可基於序列116之影像圖框來進一步更新背景影像。例如，隱私遮罩器202可形成背景影像中之像素及不對應於一或多個物件之影像圖框中之像素之一加權平均值。接著，可在偵測序列116中之後續影像圖框中之一或多個物件時使用更新背景影像。
一旦偵測到一或多個物件，則隱私遮罩器202可藉由使用一或多個隱私遮罩遮住序列116之影像圖框中之一或多個物件來產生影像序列之第一版本216a。替代地，隱私遮罩器202可藉由將一或多個隱私遮罩添加至用於偵測一或多個物件之背景影像來產生影像序列之第一版本216a。可添加隱私遮罩來覆蓋對應於偵測到之一或多個物件之像素位置。
一隱私遮罩一般可為防止一物件被觀看之任何事物。其可用於替換或覆蓋對應於一物件之影像資料。一隱私遮罩可(例如)將一均勻色彩添加至區域，使得看不見所覆蓋之物件之細節。替代地，遮罩可使影像之區域變模糊或打上馬賽克以防止看見任何細節。隱私遮罩可較嚴實，使得場景無法透過遮罩看見。隱私遮罩可具有一矩形形狀。然而，隱私遮罩較佳地依循物件之一輪廓以允許看見物件之移動(諸如手勢或姿勢)。例如，其允許一使用者看見一特定區域內有多少人，不論人係在奔跑、打架或表現得很有攻擊性。若將隱私遮罩添加至背景影像，則隱私遮罩可透明以使物件背後之背景透過遮罩露出。
隱私遮罩器202將影像圖框序列之第一版本216a轉送至編碼器203。影像圖框序列之第一版本216a在隱私遮罩區塊202中繪示為具有點圖案之一框序列。
接收器201進一步使所接收之影像圖框序列116作為影像圖框序列之一第二版本216b轉送至編碼器203。因此，在圖2之實施例中，影像圖框序列之第二版本216b相同於所接收之影像圖框序列116。因此，在步驟E04中，編碼裝置113產生相同於所接收之影像圖框序列116之所接收之影像圖框序列116之一第二版本216b。
接著，在步驟E06中，編碼器203對影像圖框序列之第一版本216a進行編碼以產生一第一編碼序列207。例如，根據H.265標準之H.264，編碼器203使用圖框內編碼圖框(I圖框)及圖框間編碼圖框(P圖框及/或B圖框)來對序列之第一版本216a中之影像圖框進行編碼。影像圖框可經編碼為連續圖像群組(GOP)，其指定哪些圖框應為圖框內編碼及哪些圖框應為圖框間編碼。通常，各GOP以一圖框內編碼圖框開始，接著為一或多個圖框間編碼圖框之一序列。舉例而言，第一編碼序列207之一GOP之一部分經繪示於編碼器區塊203之頂部處。GOP中之第一圖框係圖框內編碼的(由一I標示)，第二圖框係參考圖框內編碼圖框來圖框間編碼(由一P標示)，第三圖框係參考第二圖框來圖框間編碼，依此類推。
在步驟E08中，編碼器203進一步將影像圖框序列之第二版本216b編碼為一第二編碼序列208。第二編碼序列208僅包含圖框間編碼影像圖框。當對序列之第二版本216b進行編碼時，編碼器203利用序列之第一隱私遮罩版本216a之圖框內編碼圖框。第二編碼序列208包含連續圖框間編碼影像圖框之子序列。此等子序列之各者與第一編碼序列207中之一圖框內編碼圖框相關聯。第一編碼序列207中之圖框內編碼圖框用作為用於對第二編碼序列208之相關聯圖框子序列進行編碼之一起點，即，作為一起始參考圖框。第一編碼序列207中之圖框內編碼圖框用作為第二編碼序列208之相關聯子序列中之第一圖框間編碼圖框之一參考圖框，但亦可用作為第二編碼序列208之相關聯子序列中之後續圖框間編碼圖框之一參考圖框。第二編碼序列208之圖框間編碼圖框之一子序列經繪示於編碼器區塊203之底部處。所繪示之子序列與編碼器區塊203之頂部處所展示之GOP之圖框內編碼圖框相關聯。參考圖框內編碼圖框來對子序列之一第一圖框間編碼圖框進行編碼，同時參考子序列中之先前圖框來對子序列之後續圖框間編碼圖框進行編碼。
應注意，第一編碼序列207之一圖框內編碼圖框及與圖框內編碼圖框相關聯之一子序列之第一圖框間編碼圖框對應於所擷取之視訊中之相同圖框。兩者之間的差異係物件在第一編碼序列中被遮罩，而在另一編碼序列中未被遮罩。因此，藉由返回參考圖框內編碼圖框，由第二編碼序列之圖框間編碼圖框攜載之唯一資訊係在第一編碼序列中被隱私遮罩之一或多個物件。
編碼器203將第一編碼序列207轉送至交錯器205且將第二編碼序列208轉送至加密器204。
在步驟E10中，加密器204對第二編碼序列208之圖框間編碼影像圖框進行加密以產生轉送至交錯器205之一加密及編碼第二序列209。具體而言，加密器204對圖框間編碼影像圖框之有效負載(即，由此等圖框攜載之編碼資料)進行編碼。為此，可使用任何已知加密方案。例如，可使用一對稱加密演算法，諸如AES256或其類似者。由於第二編碼序列208之圖框間編碼圖框僅包含關於在第一編碼序列207中被隱私遮罩之一或多個物件之資訊，所以加密隱含僅對一或多個物件進行加密。加密第二編碼序列209由加密區塊204之底部處具有虛線圖案之一框序列繪示。如圖2中所展示，在編碼之後有利地進行加密。否則，存在編碼破壞加密之一風險。
在步驟E12中，交錯器205合併第一編碼序列207及第二編碼序列209以產生編碼圖框之單一輸出序列117。為此，交錯器205使第一編碼序列207及第二編碼序列209之圖框交錯。例如且如交錯器區塊205中所繪示，交錯器205可代以包含來自輸出序列117中之第一編碼序列207及第二編碼序列209之圖框。應瞭解，步驟E10及E12可以相反順序實施。換言之，源自第二編碼序列之圖框間編碼圖框可在其已與第一編碼序列之圖框交錯之後被加密。
第二編碼序列209之圖框間編碼圖框可隱藏於輸出序列117中，使得標準化解碼裝置121忽視此等圖框。為隱藏圖框，編碼器203可向第二編碼序列208之影像圖框提供防止其由標準化解碼裝置121解碼之一指示。指示可為引起一標準化解碼裝置121忽視相關圖框之任何類型之指示。指示可提供於第二編碼序列之圖框間編碼影像圖框之標頭中。更詳細而言，編碼視訊資料(即，圖框內編碼及圖框間編碼影像圖框)可組織於輸出序列117中之NAL單元中。在H.264及H.265標準中，NAL單元具有包含NAL單元中之資料之類型的標頭資訊。標頭資訊後接由標頭指定之類型之有效負載資料。例如，若NAL單元攜載一圖框內編碼圖框之資料，則標頭資訊可指定資料係一圖框內編碼圖框。可藉由設定NAL之一值(與第二編碼序列之圖框間編碼影像圖框相關聯之NAL單元之單元類型)來提供指示。值可經設定以指示NAL單元不應由一標準化解碼器解碼。更具體而言，可根據H.264來設定給出32個可能值之5個位元以指示NAL單元之類型。一些此等值(值0或範圍24至31內之值)未在標準中被指定且不影響解碼程序。因此，藉由將NAL單元類型設定為此等值之一者，標準化解碼器121將自動忽視與此等NAL單元相關聯之圖框間編碼影像圖框。然而，一客製化解碼器可經特別設計以基於指示來識別此等圖框間編碼圖框，如下文將更詳細闡釋。
在一些實施例中，編碼器203可將第一編碼序列207之圖框內編碼圖框設定為由H.265標準支援之非顯示圖框。此隱含標準化解碼器121及客製化解碼裝置122兩者均不會包含發送至顯示器123之解碼輸出序列124、125中之圖框內編碼圖框之解碼版本。然而，由於可期望標準化解碼器121仍顯示圖框內編碼圖框之內容，所以編碼器203可在第一編碼序列207中之各圖框內編碼影像圖框之後添加一空圖框間編碼圖框。此一空圖框可實施為P跳過圖框。空圖框可具有相同於先前圖框內編碼圖框之時戳。
圖4繪示可用於場景中存在其隱私將被偵測之不同類型之物件時之一替代實施例。圖4中展示之編碼裝置413與圖2之編碼裝置的不同點在於：編碼裝置413包含產生影像圖框序列之一第二版本416b之一隱私遮罩器402。隱私遮罩器402類似於隱私遮罩器202操作且提供具有隱私遮罩之影像圖框序列之第二版本416b之影像圖框。然而，儘管隱私遮罩器202保護具有隱私遮罩之第一版本216a之影像圖框中之所有不同類型之物件，但隱私遮罩器402禁止提供具有隱私遮罩之一第一類型之物件。因此，在序列之第二版本416b (其係隱私遮罩器402之輸出)之影像圖框中遮住除第一類型之物件之外的所有物件。此由部分填充有一點圖案之隱私遮罩區塊402中之框序列繪示。
圖5繪示關於相同主題之又一替代實施例。圖5之編碼裝置513與圖4之編碼裝置413之不同點在於隱私遮罩器402進一步產生影像圖框序列之一第三版本516b。隱私遮罩器402提供具有隱私遮罩之序列之第三版本516b之影像圖框。更詳細而言，隱私遮罩器使用隱私遮罩來遮住除一第二類型之物件之外的所有物件。因此，不同類型之物件可見於為隱私遮罩器402之輸出之第二版本416b及第三版本513b中。否則，編碼裝置513依相同於第二版本416b之方式處置第三版本516b。因此，在所得輸出串流117中，使第一編碼序列207、一第二編碼序列209及一第三編碼序列509之編碼圖框交替。
應瞭解，圖5實施例普遍適用於其中產生影像序列之三個以上版本之情況，其中在第二版本、第三版本、第四版本等等之不同者中遮罩不同類型之物件。亦應瞭解，存在其中在影像序列之不同版本中遮罩不同數目個物件類型之實施例。在第一版本中，遮罩所有物件類型；在第二版本中，遮罩除一個物件類型之外的所有物件；在第三版本中，遮罩除兩個物件類型之外的所有物件，依此類推。
現將參考圖6之流程圖及圖7 (其更詳細展示客製化解碼裝置122)來描述客製化解碼裝置122之操作。類似於編碼裝置113，解碼裝置122之不同組件701、702、703、704可以軟體及/或硬體實施，如上文結合圖2所闡釋。
在步驟D02中，解碼裝置122之接收器701接收由編碼裝置113產生之編碼影像圖框序列117。將編碼影像圖框序列117轉送至一圖框提取器702。
在步驟D04中，圖框提取器702提取第一編碼序列207之圖框內編碼圖框及第二編碼序列209之圖框間編碼圖框。換言之，圖框提取器702提取重建所接收之影像圖框序列之第二版本216b (或圖4及圖5之實施例中之第二版本416b及第三版本516b)所需之圖框。在圖5所繪示之情形(其中編碼影像圖框序列117亦包含進一步編碼序列509之圖框間編碼影像圖框)中，圖框提取器702亦提取該等圖框間編碼圖框。
當自編碼影像圖框序列117提取圖框時，圖框提取器702可利用指定圖框之類型之標頭資訊。標頭資訊可指定一圖框係一圖框內編碼圖框或一圖框間編碼圖框。例如，圖框之類型可經由NAL單元類型傳訊。因此，圖框提取器702可提取指定為圖框內編碼圖框之所有圖框。為區分第二編碼序列209之圖框間編碼圖框與第一編碼序列207之圖框間編碼圖框，圖框提取器702可使用指示一圖框不應由一標準化解碼器121解碼之上述指示。具體而言，圖框提取器702可識別包含此一指示之圖框間編碼圖框且將其自序列117提取。
將所提取之圖框706轉送至解密器703。在步驟D06中，解密器703對所提取之圖框間編碼圖框之有效負載進行解密。顯然，此要求解密器703具有與由編碼裝置113之加密器204使用之加密密鑰匹配之一解密密鑰。因此，僅擁有該解密密鑰之使用者可對圖框間編碼圖框進行解密。
接著，在步驟D08中，解碼器704對圖框內編碼圖框及解密圖框間編碼圖框之序列707進行解碼。在此方面，解碼器704可操作為一標準H.264或H.265解碼器。因此，解碼器704產生一解碼圖框序列708。在對應於圖框內編碼圖框之一些解碼圖框708中，存在保護物件之隱私之隱私遮罩，而在對應於圖框間編碼圖框之其他解碼圖框中，至少一類型之物件不具有隱私遮罩。由於應僅顯示後者圖框(即，無隱私遮罩之圖框)，所以在步驟D10中，解碼器704形成僅包含對應於解碼、解密圖框間編碼圖框之圖框之一顯示序列125。因此，可在最終顯示序列125中看見一或多個物件。
通常，圖框內編碼圖框及圖框間編碼圖框之序列707之圖框與時戳相關聯。時戳指示將顯示圖框之時間點。此等時戳較佳地經調整以補償未包含對應於顯示序列125中之圖框內編碼圖框之圖框。若無此一調整，則將在回放顯示序列125時大約在圖框內編碼圖框之時間點存在一跳躍。此可藉由在時間上移位及伸展圖框間編碼圖框之時戳來達成。具體而言，圖框間編碼圖框之時戳可經時間內插使得其隨時間均勻分佈。舉例而言，可認為序列707包含具有根據以下之時戳的圖框：  圖框：I  P  P  P  I  P  P  P   時戳：0  1  2  3  4  5  6  7 (接著8)  當移除圖框內編碼圖框時，時戳可根據以下來移位及伸展：  圖框：P    P    P   P   P    P   調整時戳：0  1.3  2.7  4  5.3  6.7 (接著8)  因此，一GOP之第一圖框間編碼圖框之時戳可經時間移位使得其被給予使GOP開始之圖框內編碼圖框之時戳。GOP之其他圖框間編碼圖框之時戳可經內插使得其在由使GOP開始之圖框內編碼圖框及下一GOP之圖框內編碼圖框之時戳跨越之時間間隔內均勻分佈。
圖8繪示標準化解碼器121將如何處置編碼影像序列117。標準化解碼器121接收編碼影像序列117。當讀取所接收之序列117時，標準化解碼器121忽視對應於第二編碼序列之圖框間編碼圖框(圖8中之虛線圖框)。具體而言，標準化解碼器121歸因於此等圖框不應由一標準化解碼器解碼之指示而忽視此等圖框。因此，標準化解碼器121對對應於第一編碼序列207之圖框進行解碼且因此將產生對應於原始影像序列之隱私遮罩第一版本216b之一顯示序列124。因此，在顯示序列124中，一或多個物件由隱私遮罩保護。
應瞭解，熟習技術者可依諸多方式修改上述實施例且仍使用上述實施例中所展示之本發明之優點。因此，本發明不應受限於所展示之實施例，而是僅應由隨附申請專利範圍界定。另外，熟習技術者應瞭解，可組合所展示之實施例。
1:系統 11:視訊攝影機 12:用戶端裝置 111:影像感測器 112:處理裝置 113:編碼裝置 114:影像處理管線 115:影像圖框序列 116:影像圖框序列 117:輸出序列/編碼影像圖框序列/輸出串流 121:標準化解碼裝置/標準化解碼器 122:客製化解碼裝置/客製化解碼器 123:顯示器 124:解碼影像圖框序列/解碼輸出序列 125:解碼影像圖框序列/顯示序列/解碼輸出序列 201:接收器/組件/接收器區塊 202:隱私遮罩/組件/隱私遮罩區塊 203:編碼器/組件/編碼器區塊 204:加密器/組件/加密區塊 205:交錯器/組件/交錯器區塊 207:第一編碼序列 208:第二編碼序列 209:加密第二編碼序列 216a:第一版本 216b:第二版本 402:隱私遮罩器/隱私遮罩區塊 413:編碼裝置 416b:第二版本 508:第三編碼序列 509:第三編碼序列 513:編碼裝置 516b:第三版本 701:接收器/組件 702:圖框提取器/組件 703:解密器/組件 704:解碼器/組件 706:所提取之圖框 707:序列 708:解碼圖框序列 D02:步驟 D04:步驟 D06:步驟 D08:步驟 D10:步驟 E02:步驟 E04:步驟 E06:步驟 E08:步驟 E10:步驟 E12:步驟
參考附圖，將透過本發明之實施例之以下繪示性及非限制性詳細描述來較佳理解本發明之上述及額外目的、特徵及優點，其中相同元件符號將用於類似元件，其中：
圖1示意性繪示其中可實施本發明之實施例之一系統。
圖2示意性繪示根據實施例之一編碼裝置。
圖3係根據實施例之一編碼方法之一流程圖。
圖4示意性繪示根據進一步實施例之一編碼裝置。
圖5示意性繪示根據進一步實施例之一編碼裝置。
圖6係根據實施例之一解碼方法之一流程圖。
圖7示意性繪示根據實施例之一客製化解碼裝置。
圖8示意性繪示一標準化解碼裝置之操作。
113:編碼裝置
116:影像圖框序列
117:輸出序列/編碼影像圖框序列/輸出串流
201:接收器/組件/接收器區塊
202:隱私遮罩器/組件/隱私遮罩區塊
203:編碼器/組件/編碼器區塊
204:加密器/組件/加密區塊
205:交錯器/組件/交錯器區塊
207:第一編碼序列
208:第二編碼序列
209:加密第二編碼序列
216a:第一版本
216b:第二版本

Claims (14)

  1. 一種用於對描繪其隱私將受保護之一物件之一影像圖框序列(116)進行編碼之方法，其包括： 接收(E02)待編碼之一影像圖框序列(116)，其中該影像圖框序列(116)描繪其隱私將受保護之不同類型之物件； 產生(E04)該影像圖框序列(116)之一第一版本(216a)及一第二版本(416b)， 其中當產生該影像圖框序列之該第一版本(216a)時，該第一版本(216a)之影像圖框具有隱私遮罩以保護其隱私將受保護之所有類型之物件之隱私，且 其中當產生該影像圖框序列之該第二版本(416b)時，該序列之該第二版本(216b)之影像圖框具有隱私遮罩以保護其隱私將受保護之除一第一類型之物件之外的所有物件之隱私； 將該影像圖框序列之該第一版本(216a)編碼(E06)為圖框內編碼影像圖框及圖框間編碼影像圖框之一第一編碼序列(207)； 將該影像圖框序列之該第二版本(416b)編碼(E08)為圖框間編碼影像圖框之一第二編碼序列(208)，其中藉由使用該第一編碼序列(207)之該等圖框內編碼影像圖框來對該第二編碼序列(208)之該等圖框間編碼影像圖框進行編碼； 對該第二編碼序列(208)之該等圖框間編碼影像圖框進行加密(E10)；及 藉由使該第一編碼序列(207)及該第二編碼序列(209)之影像圖框交錯來將該第一編碼序列(207)及該第二編碼序列(209)合併(E12)成一單一輸出序列(117)。
  2. 如請求項1之方法，其進一步包括： 向該第二編碼序列(208)之該等圖框間編碼影像圖框提供防止其由一標準化影像解碼器(121)解碼之一指示。
  3. 如請求項2之方法，其中該指示提供於該第二編碼序列(208)之該等圖框間編碼影像圖框之標頭中。
  4. 如請求項2或3之方法，其中藉由設定一網路抽象層(NAL)之一值，與該第二編碼序列(208)之該等圖框間編碼影像圖框相關聯之NAL單元之單元類型，來提供該指示，其中該值指示該等NAL單元不應由一標準化解碼器(121)解碼。
  5. 2或3之方法，其進一步包括： 向該第一編碼序列(207)之該等圖框內編碼影像圖框提供其不應被顯示之一指示；及 在該等圖框內編碼影像圖框之各者之後，將一P跳過圖框添加至該第一編碼序列(207)。
  6. 如請求項5之方法，其進一步包括： 產生該影像圖框序列(116)之一第三版本(516b)，其中該序列之該第三版本(516b)之影像圖框具有隱私遮罩以保護其隱私將受保護之除一第二類型之物件之外的所有物件之隱私； 將該影像圖框序列之該第三版本(516b)編碼為圖框間編碼影像圖框之一第三編碼序列(508)，其中藉由使用該第一編碼序列(207)之該等圖框內編碼影像圖框來對該第三編碼序列(508)之該等圖框間編碼影像圖框進行編碼，對該第三編碼序列(508)之該等圖框間編碼影像圖框進行加密；及 藉由使該第一編碼序列、該第二編碼序列及該第三編碼序列之影像圖框交錯來使該第三編碼序列(509)與該第一編碼序列(207)及該第二編碼序列(209)合併成該單一輸出序列(117)。
  7. 2或3之方法，其中該第二編碼序列(208)包括藉由使用該第一編碼序列(207)之一圖框內編碼影像圖框來編碼之連續圖框間編碼影像圖框之一子序列作為編碼之一起點。
  8. 一種用於對描繪其隱私將受保護之一物件之一影像圖框序列(116)進行編碼之裝置(113、413、513)，其包括： 一接收器(201)，其經組態以接收待編碼之一影像圖框序列(116)，其中該影像圖框序列描繪其隱私將受保護之不同類型之物件； 一第一隱私遮罩器(202)，其經組態以產生該影像圖框序列之一第一版本(216a)，其中當產生該第一版本(216a)之影像圖框時，該第一隱私遮罩器(202)經組態以向該序列之該第一版本(216a)之該等影像圖框提供隱私遮罩以保護其隱私將受保護之所有不同類型之物件之隱私； 一第二隱私遮罩器(402)，其經組態以產生該影像圖框序列之一第二版本(416b)，其中當產生該第二版本(416b)之影像圖框時，該第二隱私遮罩器(402)經組態以向該第二版本(416b)之該等影像圖框提供隱私遮罩以保護其隱私將受保護之除一第一類型之物件之外的所有物件之隱私； 一編碼器(203)，其經組態以將該影像圖框序列之該第一版本(216a)編碼為圖框內編碼影像圖框及圖框間編碼影像圖框之一第一編碼序列(207)及將該影像圖框序列之該第二版本(216b、416b)編碼為圖框間編碼影像圖框之一第二編碼序列(208)，其中藉由使用該第一編碼序列(207)之該等圖框內編碼影像圖框來對該第二編碼序列(208)之該等圖框間編碼影像圖框進行編碼； 一加密器(204)，其經組態以對該第二編碼序列(208)之該等圖框間編碼圖框進行加密；及 一交錯器(205)，其經組態以藉由使該第一編碼序列及該第二編碼序列之影像圖框交錯來將該第一編碼序列(207)及該第二編碼序列(209)合併成一單一輸出序列(117)。
  9. 一種攝影機(11)，其包括： 一影像感測器(111)，其經組態以擷取描繪其隱私將受保護之一物件之一影像圖框序列；及 如請求項8之裝置(113、413、513)，其經配置以接收由該影像感測器(111)擷取之該影像圖框序列且將該所接收之影像圖框序列編碼成一單一輸出序列。
  10. 一種非暫時性電腦可讀媒體，其上儲存有電腦碼指令，該等電腦碼指令在由一處理器執行時經調適以實施如請求項1至7中任一項之方法。
  11. 一種用於對其中一物件之隱私受保護之一編碼影像圖框序列(117)進行解碼之方法，其包括：接收(D02)描繪其隱私將受保護之不同類型之物件之一編碼影像圖框序列(117)， 其中該編碼影像圖框序列包括一第一編碼影像圖框序列(207)及一第二編碼影像圖框序列(209)之交錯影像圖框， 其中該第二編碼影像圖框序列(209)包含藉由使用該第一編碼序列(207)之圖框內編碼影像圖框來編碼之圖框間編碼影像圖框， 其中在該第一編碼序列(207)之該等影像圖框中，所有該等類型之物件之隱私由隱私遮罩保護， 其中在該第二編碼序列(209)之該等影像圖框中，除一第一類型之物件之外的所有該等類型之物件之隱私由隱私遮罩保護，且 其中對該第二編碼序列(209)進行加密； 自該編碼影像圖框序列(117)提取(D04)該第一編碼序列(207)之該等圖框內編碼影像圖框及該第二編碼序列(209)之該等圖框間編碼影像圖框； 對該第二編碼序列(209)之該等圖框間編碼影像圖框進行解密(D06)； 對該第一編碼序列(207)之該等圖框內編碼圖框及該第二編碼序列(208)之該等解密圖框間編碼影像圖框進行解碼(D08)，其中藉由使用該第一編碼序列(207)之該等解碼圖框內編碼圖框來對該等解密圖框間編碼影像圖框進行解碼；及 由該第二編碼序列之該等解碼、解密、圖框間編碼影像圖框形成(D10)一解碼顯示序列(125)。
  12. 如請求項11之方法，其中該第二編碼序列(209)之該等圖框間編碼影像圖框具有防止其由一標準化解碼器(121)解碼之一指示，且其中在該提取步驟中，該指示用於識別該編碼影像圖框序列(117)中之該等圖框間編碼影像圖框。
  13. 如請求項11或12之方法，其中該第一編碼序列(207)之該等圖框內編碼圖框及該第二編碼序列(209)之該等圖框間編碼影像圖框具有指示其顯示時間點之時戳，該方法進一步包括： 調整該第二編碼序列(209)之該等圖框間編碼影像圖框之該等時戳以補償未包含於該解碼顯示序列(125)中之該第一編碼序列(207)之該等圖框內編碼圖框。
  14. 一種用於對其中一物件之隱私受保護之一編碼影像圖框序列進行解碼之裝置(122)，其包括： 一接收器(701)，其經組態以接收描繪其隱私將受保護之不同類型之物件之一編碼影像圖框序列(117)， 其中該編碼影像圖框序列(117)包括一第一編碼影像圖框序列(207)及一第二編碼影像圖框序列(209)之交錯影像圖框， 其中該第二編碼影像圖框序列(209)包含藉由使用該第一編碼序列(207)之圖框內編碼影像圖框來編碼之圖框間編碼影像圖框， 其中在該第一編碼序列(207)之該等影像圖框中，所有該等類型之物件之隱私由隱私遮罩保護， 其中在該第二編碼序列(209)之該等影像圖框中，除一第一類型之物件之外的所有該等類型之物件之隱私由隱私遮罩保護，且 其中對該第二編碼序列(209)進行加密； 一圖框提取器(702)，其經組態以自該編碼影像圖框序列(117)提取該第一編碼序列(207)之該等圖框內編碼影像圖框及該第二編碼序列(209)之該等圖框間編碼影像圖框； 一解密器(703)，其經組態以對該第二編碼序列(209)之該等圖框間編碼影像圖框進行解密； 一解碼器(704)，其經組態以：對該第一編碼序列(207)之該等圖框內編碼圖框及該第二編碼序列(208)之該等解密圖框間編碼影像圖框進行解碼，其中藉由使用該第一編碼序列(207)之該等解碼圖框內編碼圖框來對該等解密圖框間編碼影像圖框進行解碼；及由該第二編碼序列之該等解碼、解密、圖框間編碼影像圖框形成一解碼顯示序列(125)。
TW108146849A 2018-12-20 2019-12-20 用於對保護物件隱私之影像圖框序列進行編碼與解碼之方法及裝置 TWI712311B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18214316.4A EP3672244B1 (en) 2018-12-20 2018-12-20 Methods and devices for encoding and decoding a sequence of image frames in which the privacy of an object is protected
EP18214316.4 2018-12-20

Publications (2)

Publication Number Publication Date
TW202032981A true TW202032981A (zh) 2020-09-01
TWI712311B TWI712311B (zh) 2020-12-01

Family

ID=64746300

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108146849A TWI712311B (zh) 2018-12-20 2019-12-20 用於對保護物件隱私之影像圖框序列進行編碼與解碼之方法及裝置

Country Status (6)

Country Link
US (1) US10964182B2 (zh)
EP (1) EP3672244B1 (zh)
JP (1) JP6964647B2 (zh)
KR (1) KR102219661B1 (zh)
CN (1) CN111355964B (zh)
TW (1) TWI712311B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3996367B1 (en) * 2020-11-05 2023-07-26 Axis AB Method and image-processing device for video processing
EP4020998A1 (en) * 2020-12-23 2022-06-29 Axis AB Encoding of modified video
US20220279244A1 (en) * 2021-03-01 2022-09-01 Charter Communications Operating, Llc Blurred viewer monitoring and advertisement system
CN113489991B (zh) * 2021-06-30 2023-04-07 杭州海康威视数字技术股份有限公司 视频编码方法、装置、视频编码设备及存储介质
CN113489990B (zh) * 2021-06-30 2023-05-02 杭州海康威视数字技术股份有限公司 视频编码方法、装置、电子设备及存储介质
DE102022202943A1 (de) 2022-03-25 2023-09-28 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsanordnung mit Zugriffsberechtigung, Verfahren, Computerprogramm und Speichermedium
DE102022202941A1 (de) 2022-03-25 2023-09-28 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsanordnung, Verfahren zur Überwachung, Computerprogramm und Datenträger
CN115426507B (zh) * 2022-07-29 2023-12-05 宁波星巡智能科技有限公司 基于目标检测的隐私视频传输、播放方法、装置及设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040179712A1 (en) 2001-07-24 2004-09-16 Gerrit Roelofsen Method and sysem and data source for processing of image data
JP4402998B2 (ja) * 2004-03-29 2010-01-20 三菱電機株式会社 マスキング機能付き監視システムおよびカメラ、並びに該カメラとともに用いられるマスク解除装置
EP1831849A1 (en) 2004-12-27 2007-09-12 Emitall Surveillance S.A. Efficient scrambling of regions of interest in an image or video to preserve privacy
FR2972886B1 (fr) * 2011-03-17 2013-03-15 Thales Sa Procede de compression/decompression de flux video partiellement masques, codeur et decodeur mettant en oeuvre le procede
US8867853B2 (en) 2011-06-28 2014-10-21 Stoplift, Inc. Image processing to prevent access to private information
RU2016115055A (ru) * 2013-09-20 2017-10-25 Вид Скейл, Инк. Системы и способы обеспечения кодирования 3d справочной таблицы для масштабируемости цветовой гаммы
EP2874396A1 (en) 2013-11-15 2015-05-20 Everseen Ltd. Method and system for securing a stream of data
DE102013226802A1 (de) 2013-12-20 2015-06-25 Siemens Aktiengesellschaft Schutz von Privatsphäre in einem Videostrom mittels einer redundanten Slice
US10297126B2 (en) * 2015-09-16 2019-05-21 Sensormatic Electronics, LLC Privacy masking video content of alarm exceptions and mask verification
EP3340623B1 (en) * 2016-12-20 2023-04-12 Axis AB Method of encoding an image including a privacy mask
CN108289202A (zh) * 2018-01-29 2018-07-17 北京大椽科技有限公司 一种智能网络监控方法及系统

Also Published As

Publication number Publication date
EP3672244A1 (en) 2020-06-24
US10964182B2 (en) 2021-03-30
JP6964647B2 (ja) 2021-11-10
US20200202689A1 (en) 2020-06-25
KR20200077394A (ko) 2020-06-30
JP2020120370A (ja) 2020-08-06
CN111355964A (zh) 2020-06-30
KR102219661B1 (ko) 2021-02-23
CN111355964B (zh) 2021-08-13
EP3672244B1 (en) 2020-10-28
TWI712311B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
TWI712311B (zh) 用於對保護物件隱私之影像圖框序列進行編碼與解碼之方法及裝置
Zhang et al. Hiding privacy information in video surveillance system
US20080267403A1 (en) System and method for privacy enhancement via adaptive cryptographic embedding
JP4812117B2 (ja) コンテンツ暗号化装置及びそのプログラム、並びに、コンテンツ復号装置及びそのプログラム
JP4825449B2 (ja) 映像配信システム
KR101460552B1 (ko) 프라이버시 영역의 마스킹 및 복원 방법
Guo et al. An efficient motion detection and tracking scheme for encrypted surveillance videos
KR101381343B1 (ko) 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법
Carrillo et al. Compression independent object encryption for ensuring privacy in video surveillance
KR101951605B1 (ko) 영상의 유출을 방지하기 위한 cctv 영상 보안 시스템
Ma et al. Lossless ROI privacy protection of H. 264/AVC compressed surveillance videos
JP2005229188A (ja) 映像通信装置および映像通信方法
US20230269422A1 (en) Selective video modification
JP2014060512A (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法、動画像復号化プログラム、及び動画像処理装置
JP4654330B2 (ja) 映像変更装置、映像変更方法および映像変更プログラム
Ruchaud et al. ASePPI: Robust Privacy Protection Against De-Anonymization Attacks.
US20160337673A1 (en) Protection of privacy in a video stream by means of a redundant slice
US11463240B2 (en) Methods and image processing devices for encoding and decoding private data
WO2020223858A1 (zh) 发送端和接收端的隐私保护方法、电子设备、以及计算机可读存储介质
Xu et al. A ROI encryption scheme for H. 264 video based on moving object detection
KR20090101332A (ko) 감시 카메라 시스템에서의 위변조 방지와 내용 유포 방지, 화질 개선을 위한 워터마킹과 암호화 기법
Gerhardt et al. Selective face encryption in H. 264 encoded videos
Yabuta et al. Privacy protection by masking moving objects for security cameras
Jean-Luc Dugelay ASePPI: Robust Privacy Protection Against De-Anonymization Attacks
Kim et al. Privacy Preservation in SAT (Single Authentication Through)