TW202145758A - 用於編碼及解碼私密資料的方法及圖像處理裝置 - Google Patents

用於編碼及解碼私密資料的方法及圖像處理裝置 Download PDF

Info

Publication number
TW202145758A
TW202145758A TW110116844A TW110116844A TW202145758A TW 202145758 A TW202145758 A TW 202145758A TW 110116844 A TW110116844 A TW 110116844A TW 110116844 A TW110116844 A TW 110116844A TW 202145758 A TW202145758 A TW 202145758A
Authority
TW
Taiwan
Prior art keywords
frame
encoded
bitstream
output
generate
Prior art date
Application number
TW110116844A
Other languages
English (en)
Other versions
TWI772018B (zh
Inventor
王裕閔
Original Assignee
聯詠科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯詠科技股份有限公司 filed Critical 聯詠科技股份有限公司
Publication of TW202145758A publication Critical patent/TW202145758A/zh
Application granted granted Critical
Publication of TWI772018B publication Critical patent/TWI772018B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/065—Encryption by serially and continuously modifying data stream elements, e.g. stream cipher systems, RC4, SEAL or A5/3
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0618—Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation
    • H04L9/0631—Substitution permutation network [SPN], i.e. cipher composed of a number of stages or rounds each involving linear and nonlinear transformations, e.g. AES algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/04—Masking or blinding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/34—Encoding or coding, e.g. Huffman coding or error correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本發明提出用於編碼及解碼私密資料的方法及圖像處理裝置。用於編碼私密資料的方法包含：接收原始視頻幀；遮蔽原始視頻幀中的至少一個私密區域以產生受保護視頻幀；通過編碼受保護視頻幀來產生第一經編碼幀；以及根據第一經編碼幀產生用於流式傳輸或存儲的至少一個輸出位元流。用於解碼私密資料的方法包含：接收至少一個輸入視頻位元流以獲得第一經編碼位元流及第二經編碼位元流；解碼第一經編碼位元流以產生包含與至少一個私密區域相關聯的圖像資料的受保護視頻幀；以及將受保護視頻幀輸出到顯示器隊列，使得顯示至少一個私密區域。

Description

用於編碼及解碼私密資料的方法及圖像處理裝置
本公開涉及用於編碼及解碼私密資料的技術。
谷歌公司（Google）已在其街景特徵（Street View feature）中使用模糊面部的技術以試圖保護個體的隱私，如圖1中的街景圖像100的示意圖中所示出，其中個體H的面部F經匿名化。就監控網路視頻記錄器（network video recorders；NVR）中的臉部模糊來說，如下呈現兩種常規方法。
在第一常規方法中，如圖2A中所示出，將複製由監控攝像頭210A捕獲的原始視頻，且將檢測且模糊經複製視頻中的所有面部區域以產生受保護視頻。舉例來說，將會將原始視頻和受保護視頻兩者的圖像資料傳輸到主控室220A。保安人員將對受保護視頻執行安全性監控任務。原始視頻將為加密的，且警務人員或任何其它授權人將通過使用解密金鑰對原始視頻進行偵查以尋找受保護視頻中是否存在犯罪行為。在第一常規方法中，需要雙倍存儲空間用於存儲且需要雙倍網路頻寬來進行資料流。
在第二常規方法中，如圖2B中所示出，應將由監控攝像頭220A捕獲的原始視頻和私密區域資料（例如根據原始視頻確定的面部區域的座標）傳輸到主控室220B。將根據主控室中的私密區域資料，通過電腦系統來模糊原始視頻中的面部區域以產生遮蔽視頻。操作員將對遮蔽視頻執行安全性監控任務。原始視頻也將為加密的，且警務人員或任何其它授權人將通過使用解密金鑰對原始視頻進行偵查以尋找遮蔽視頻中是否存在犯罪行為。
然而，由於私密資料受系統層級的NVR保護，因此尚未充分解決兩種前述方法中的安全性問題。如果解密金鑰已經洩漏或視頻檔已經轉移到其它系統，那麼操作員可訪問原始未受保護的視頻。
本發明提出用於編碼及解碼私密資料的方法及圖像處理裝置。
根據示例性實施例中的一個，用於編碼私密資料的方法包含以下步驟。接收原始視頻幀。遮蔽原始視頻幀中的至少一個私密區域以產生受保護視頻幀。通過編碼受保護視頻幀來產生第一經編碼幀。根據第一經編碼幀產生用於資料流或存儲的至少一個輸出位元流。
根據示例性實施例中的一個，圖像處理裝置包含接收電路、遮蔽電路、編碼電路以及輸出電路。接收電路配置成接收原始視頻幀。遮蔽電路配置成遮蔽原始視頻幀中的至少一個私密區域以產生受保護視頻幀。編碼電路配置成通過編碼受保護視頻幀來產生第一經編碼幀。輸出電路配置成根據第一經編碼幀產生用於資料流或存儲的至少一個輸出位元流。
根據示例性實施例中的一個，圖像處理裝置包含處理器。處理器配置成：接收原始視頻幀；遮蔽原始視頻幀中的至少一個私密區域以產生受保護視頻幀；通過編碼受保護視頻幀產生第一經編碼幀；以及根據第一經編碼幀產生用於資料流或存儲的至少一個輸出位元流。
根據示例性實施例中的一個，用於解碼私密資料的方法包含以下步驟。接收至少一個輸入視頻位元流以獲得第一經編碼位元流和第二經編碼位元流。解碼第一經編碼位元流以產生受保護視頻幀，所述受保護視頻幀包含與至少一個私密區域相關聯的圖像資料。將受保護視頻幀輸出到顯示器佇列，使得顯示至少一個私密區域。
根據示例性實施例中的一個，圖像處理裝置包含接收電路、解碼電路以及輸出電路。接收電路配置成接收至少一個輸入視頻位元流以獲得第一經編碼位元流及第二經編碼位元流。解碼電路配置成解碼第一經編碼位元流以產生受保護視頻幀，所述受保護視頻幀包含至少一個私密區域的圖像資料。輸出電路配置成將受保護視頻幀輸出到顯示器佇列，使得顯示所述至少一個私密區域。
根據示例性實施例中的一個，圖像處理裝置包含處理器。處理器配置成：接收至少一個輸入視頻位元流以獲得第一經編碼位元流及第二經編碼位元流；解碼第一經編碼位元流以產生受保護視頻幀，所述受保護視頻幀包含至少一個私密區域的圖像資料；以及將受保護視頻幀輸出到顯示器佇列，使得顯示至少一個私密區域。
為了使得本公開的前述特徵及優點便於理解，下文將詳細描述附有圖式的優選實施例。應理解，前文總體描述以及以下詳細描述都是示例性的，並且意圖提供對所要求保護的本公開的進一步說明。
然而，應理解，本發明內容可不含有本公開的所有方面和實施例，且因此不希望以任何方式加以限制或約束。此外，本公開將包含對本領域的技術人員顯而易見的改進和修改。
現將在下文參考隨附圖式更充分地描述本公開的一些實施例，在所述隨附圖式中繪示本申請中的一些而非全部實施例。實際上，本公開的各種實施例可以許多不同形式體現且不應被解釋為限於本文中闡述的實施例；相反地，提供這些實施例使得本公開將滿足適用的法律要求。相同的附圖標記始終指代相同的元件。
圖3A和圖3B示出根據本公開的示例性實施例中的一個的所提出圖像處理裝置的示意圖。應注意，圖3A和圖3B中的所提出的兩個圖像處理裝置將用於編碼私密資料。圖3A和圖3B中首先介紹圖像處理裝置的所有元件和其配置。結合圖4更詳細地公開元件的功能。
參看圖3A，圖像處理裝置300A將實施為積體電路（integrated circuit；IC），所述積體電路包含接收電路310、遮蔽電路320、編碼電路330以及輸出電路340，其中遮蔽電路320耦接到接收電路310，編碼電路330耦接到遮蔽電路320，且輸出電路340耦接到編碼電路330。應注意，在示例性實施例中的一個中，耦接於編碼電路330與輸出電路340之間的加密電路335可任選地包含於圖像處理裝置300A中。
參看圖3B，圖像處理裝置300B將為包含處理器350的電子系統或電腦系統。處理器350可以是北橋（North Bridge）、南橋（South Bridge）、場可程式設計陣列（field programmable array，FPGA）、可程式設計邏輯裝置（programmable logic device，PLD）、專用積體電路（application specific integrated circuit，ASIC）、其它類似裝置或其組合中的一個或大於一個。處理器還可以是中央處理單元（central processing unit，CPU）、可程式設計通用或專用微處理器、數位訊號處理器（digital signal processor，DSP）、圖形處理單元（graphics processing unit，GPU）、其它類似裝置或其組合。
圖4示出根據本公開的示例性實施例中的一個的用於編碼私密資料的所提出方法的流程圖。可通過分別如圖3A和圖3B中所示出的所提出圖像處理裝置300A和圖像處理裝置300B來實施圖4的步驟。
結合圖3A來參看圖4，接收電路310將接收原始視頻幀（步驟S402），且遮蔽電路320將遮蔽原始視頻幀中的至少一個私密區域以產生受保護視頻幀（步驟S404）。本文中，此類私密區域可以是人的面部區域且可以通過如本身已知的任何臉部模糊技術來進行遮蔽。換句話說，受保護視頻幀中出現的人的身份可受保護且匿名化。接著，編碼電路330將通過編碼受保護視頻幀來產生第一經編碼幀（步驟S406），且輸出電路408將根據第一經編碼幀產生用於資料流或存儲的至少一個輸出位元流（步驟S408）。稍後將提供更多細節。應注意，還可通過圖3B中的圖像處理裝置300B的處理器350來執行步驟S402到步驟S406。為簡潔起見，將省略所述描述。
為更好地理解，圖5示出根據本公開的示例性實施例中的一個的用於編碼私密資料的所提出方法的功能圖。可通過分別如圖3A和圖3B中所示出的所提出圖像處理裝置300A和圖像處理裝置300B來實施圖5的步驟。在以下描述中，出於說明的目的，將僅呈現一個幀。
結合圖3A來參看圖5，接收電路310將接收原始視頻幀Fn且複製（S510）原始幀Fn以產生經複製原始視頻幀Cn。接著，遮蔽電路320將遮蔽（S520）經複製原始視頻幀Cn以產生受保護視頻幀Cn'。
編碼電路330將編碼（S530）受保護視頻幀Cn'以產生參考幀Rn和第一經編碼幀Xn。應注意，如果寫碼成p-幀，那麼受保護視頻幀Cn'將編碼有參考幀R(n-1)。編碼電路330還將通過使用參考幀Rn來編碼（S530）原始視頻幀Cn以產生第二經編碼幀Yn。接著，加密電路335將使用例如AES加密演算法對第二經編碼幀Yn進行加密以產生加密的第二經編碼幀Zn。
輸出電路340將根據第一經編碼幀Xn （視為正常位元流）和加密的第二經編碼幀Zn（視為加密的位元流）產生用於資料流或存儲的至少一個輸出位元流。本文中，輸出電路340將會將第一經編碼幀Xn和加密的第二經編碼幀Zn封裝（S540）成用於存儲或資料流的一個位元流或單獨的位元流。在一個示例性實施例中，輸出電路340可將第一經編碼幀Xn封裝成第一輸出位元流且將加密的第二經編碼幀封裝成第二輸出位元流。在另一示例性實施例中，輸出電路340可將第一經編碼幀Xn和加密的第二經編碼幀Zn封裝成組合的輸出位元流。
應注意，還可通過圖3B中的圖像處理裝置300B的處理器350來執行圖5中的流程。為簡潔起見，將省略所述描述。
就視頻編碼來說，應注意，第二經編碼幀Yn僅保持原始幀Fn與參考幀Rn之間的差異。位元流Zn將僅含有私密資料（私密區域）且將考慮作為“私密層”。私密層將封裝於網路抽象層（network abstraction layer，NAL）單元中的輔助增強資訊（supplemental enhancement information，SEI）中。就視頻解碼和重播來說，SEI將與正常位元流一起封裝且將在重播和直播時被NVR忽略，且NVR將僅通過授權金鑰（即，解密金鑰）播放私密層。
詳細地說，圖6A和圖6B示出根據本公開的示例性實施例中的一個的所提出圖像處理裝置的示意圖。應注意，圖6A和圖6B中的所提出的兩個圖像處理裝置將用於解碼私密資料。圖6A和圖6B中首先介紹圖像處理裝置的所有元件和其配置。結合圖7更詳細地公開元件的功能。
參看圖6A，圖像處理裝置600A將實施為積體電路（IC），所述積體電路包含接收電路610、解碼電路620以及輸出電路630，其中解碼電路620耦接到接收電路610且輸出電路630耦接到解碼電路620。應注意，在示例性實施例中的一個中，耦接於解碼電路620與輸出電路630之間的解密電路625可任選地包含於圖像處理裝置600A中。
參看圖6B，圖像處理裝置600B將為包含處理器650的電子系統或電腦系統。處理器650可以是北橋、南橋、FPGA、PLD、ASIC、其它類似裝置或其組合中的一個或大於一個。處理器還可以是CPU、可程式設計通用或專用微處理器、DSP、GPU、其它類似裝置或其組合。
圖7示出根據本公開的示例性實施例中的一個的用於解碼私密資料的所提出方法的流程圖。可通過分別如圖6A和圖6B中所示出的所提出圖像處理裝置600A和圖像處理裝置600B來實施圖7的步驟。
結合圖6A來參看圖7，接收電路610將接收至少一個輸入視頻位元流以獲得第一經編碼位元流和第二經編碼位元流（步驟S702）。接著，解碼電路620將解碼第一經編碼位元流以產生受保護視頻幀，所述受保護視頻幀包含至少一個私密區域的圖像資料（步驟S704），且輸出電路630將會將受保護視頻幀輸出到顯示器佇列，使得顯示至少一個私密區域（步驟S706）。稍後將提供更多細節。應注意，還可通過圖6B中的圖像處理裝置600B的處理器650來執行步驟S702到步驟S706。為簡潔起見，將省略所述描述。
為更好地理解，圖8A示出根據本公開的示例性實施例中的一個的用於解碼私密資料的所提出方法的功能圖。可通過分別如圖6A和圖6B中所示出的所提出圖像處理裝置600A和圖像處理裝置600B來實施圖8A的步驟。在以下描述中，出於說明的目的，將僅呈現一個幀。
結合圖6A來參看圖8A，接收電路610將接收輸入位元流（Xn、Zn）（S810）作為在圖5中封裝（S540），其中此後Xn和Zn將稱為“第一經編碼位元流”和“第二經編碼位元流”。接著，解碼電路620將解碼第一經編碼位元流Xn以重建不具有至少一個私密區域的圖像資料的參考幀Rn（S820）。應注意，如果寫碼為p-幀，那麼第一位元流Xn將通過參考幀R(n-1)解碼。接著，解密電路625將確定是否授權解碼第二經編碼位元流Zn（即，是否可獲得授權金鑰）（S830）。
如果未授權解碼第二經編碼位元流Zn，那麼輸出電路630將會將參考幀Rn發送到顯示器佇列（S840）。本文中，僅解碼第一經編碼位元流Xn且僅將參考幀Rn輸出到顯示器佇列。不解碼第二經編碼位元流Zn，且不將受保護視頻幀Cn'輸出到顯示器佇列。這是因為僅顯示模糊私密區域的參考幀Rn。
另一方面，如果授權解碼第二經編碼位元流Zn，那麼解密電路625將對第二經編碼位元流Zn進行解密為第二經編碼幀Yn（S850）且通過參考幀Rn解碼第二經編碼幀Yn以重建受保護視頻幀Cn'（S860），且輸出電路630將會將受保護視頻幀發送到顯示器佇列（S870）。本文中，解碼第一經編碼位元流Xn和第二經編碼位元流Zn兩者以產生輸出到顯示器佇列的參考幀Rn和受保護視頻幀Cn'。因此，將顯示私密區域未模糊的完整圖像（即，原始幀）。一旦已處理輸入位元流（Xn、Zn），那麼流程移至S810以處理後續位元流（X(n+1)、Z(n+1)）。
應注意，還可通過圖6B中的圖像處理裝置600B的處理器650來執行圖8A中的流程。為簡潔起見，將省略所述描述。
圖8B示出根據本公開的示例性實施例中的一個的用於重播的私密資料和受保護資料的示意圖。在視頻重播期間，如果不存在授權金鑰，那麼將僅顯示受保護資料81、受保護資料83、受保護資料85、受保護資料87。如果存在授權金鑰，那麼受保護資料81、受保護資料83、受保護資料85、受保護資料87將與受保護資料82、受保護資料84、受保護資料86、受保護資料88交替地組合且將顯示受保護資料和私密資料81到88的組合。
應注意，在圖6和圖8A中的流程中，私密資料能夠通過使用具有受保護私密層的單個視頻流而在資料級處受到保護。經在無認證的情況下在NVR中解碼非私密視頻，且私密層需要用於解碼的授權金鑰以及即刻授權和有效期。舉例來說，用於各攝像機、各區域、各時間間隔等的授權金鑰可以是不同的。另外，需要減小的空間（大致僅至多存儲空間的1.2倍）以存儲和資料流以進行傳輸。
鑒於上述描述，所提出的方法和圖像處理裝置將能夠以安全且高效的方式提供視頻傳輸。
本申請的所公開實施例的詳細描述中使用的元件、動作或指令不應解釋為對本公開來說絕對關鍵或必要的，除非明確地如此描述。此外，如本文中所使用，不定冠詞“一（a/an）”中的每一個可包含大於一個項目。如果想表示只有一個專案，那麼將使用術語“單個”或類似語言。此外，如本文中所使用，在多個物項和/或多個物項種類的列表之前的術語“中的任一個”希望包含所述物項和/或物項種類個別地或結合其它物項和/或其它物項種類“中的任一個”、“中的任何組合”、“中的任何多個”和/或“中的多個的任何組合”。此外，如本文中所使用，術語“集合”意圖包含任何數目個物項，包含零。此外，如本文中所用，術語“數目”意圖包含任何數目，包含零。
將對本領域的技術人員顯而易見的是，在不脫離本公開的範圍或精神的情況下，可對所公開實施例的結構作出各種修改和變化。鑒於前述內容，希望本公開涵蓋屬於所附發明申請專利範圍和其等效物的範圍內的本公開的修改和變化。
100:街景圖像 210A:監控攝像頭 220A、220B:主控室 300A、300B、600A、600B:圖像處理裝置 310、610:接收電路 320:遮蔽電路 330:編碼電路 335:加密電路 340、630:輸出電路 350、650:處理電路 620:解碼電路 625:解密電路 Cn:經複製原始視頻幀 Cn':受保護視頻幀 H:個體 F:面部 Fn:原始幀 Rn:參考幀 S402、S404、S406、S408、S510、S520、S530、S540、S702、S704、S706、S810、S820、S830、S840、S850、S860、S870:步驟 Xn:第一經編碼幀 Yn:第二經編碼幀 Zn:加密的第二經編碼幀
包含附圖以提供對本公開的進一步理解，且附圖併入本說明書中並構成本說明書的一部分。圖式示出本公開的實施例，且與描述一起用於解釋本公開的原理。 圖1示出根據現有技術的具有臉部模糊的街景圖像的示意圖。 圖2A示出用於NVR中的臉部模糊的第一常規方法的示意圖。 圖2B示出用於NVR中的臉部模糊的第二常規方法的示意圖。 圖3A和圖3B示出根據本公開的示例性實施例中的一個的所提出圖像處理裝置的示意圖。 圖4示出根據本公開的示例性實施例中的一個的用於編碼私密資料的所提出方法的流程圖。 圖5示出根據本公開的示例性實施例中的一個的用於編碼私密資料的所提出方法的功能圖。 圖6A和圖6B示出根據本公開的示例性實施例中的一個的所提出圖像處理裝置的示意圖。 圖7示出根據本公開的示例性實施例中的一個的用於解碼私密資料的所提出方法的流程圖。 圖8A示出根據本公開的示例性實施例中的一個的用於解碼私密資料的所提出方法的功能圖。 圖8B示出根據本公開的示例性實施例中的一個的用於重播的私密資料和受保護資料的示意圖。 為了使本申請的以上特徵及優勢更好理解，如下詳細地描述附有圖式的若干實施例。
S402、S404、S406、S408:步驟

Claims (30)

  1. 一種用於編碼私密資料的方法，包括： 接收原始視頻幀； 遮蔽所述原始視頻幀中的至少一個私密區域以產生受保護視頻幀； 通過編碼所述受保護視頻幀來產生第一經編碼幀；以及 根據所述第一經編碼幀產生用於資料流或存儲的至少一個輸出位元流。
  2. 如請求項1所述的用於編碼私密資料的方法，更包括： 通過編碼所述原始視頻幀來產生第二經編碼幀，且其中根據所述第一經編碼幀產生用於資料流或存儲的所述至少一個輸出位元流的步驟包括： 根據所述第一經編碼幀及所述第二經編碼幀產生用於資料流或存儲的所述至少一個輸出位元流。
  3. 如請求項2所述的用於編碼私密資料的方法，更包括： 對所述第二經編碼幀進行加密以產生加密的第二經編碼幀，其中根據所述第一經編碼幀產生用於資料流或存儲的所述至少一個輸出位元流的所述步驟包括： 根據所述第一經編碼幀及所述加密的第二經編碼幀產生用於資料流或存儲的所述至少一個輸出位元流。
  4. 如請求項3所述的用於編碼私密資料的方法，其中所述至少一個輸出位元流包括第一輸出位元流及第二輸出位元流，且其中根據所述第一經編碼幀及所述第二經編碼幀產生用於資料流或存儲的所述至少一個輸出位元流的步驟包括： 將所述第一經編碼幀封裝成所述第一輸出位元流；以及 將所述加密的第二經編碼幀封裝成所述第二輸出位元流。
  5. 如請求項3所述的用於編碼私密資料的方法，其中所述至少一個輸出位元流包括組合的輸出位元流，且其中根據所述第一經編碼幀及所述第二經編碼幀產生用於資料流或存儲的所述至少一個輸出位元流的所述步驟包括： 將所述第一經編碼幀及所述加密的第二經編碼幀封裝成所述組合的輸出位元流。
  6. 如請求項2所述的用於編碼私密資料的方法，其中在編碼所述受保護視頻幀時產生參考幀，且通過使用所述參考幀來編碼所述原始視頻幀。
  7. 如請求項1所述的用於編碼私密資料的方法，更包括： 複製所述原始視頻幀以產生經複製原始視頻幀；以及 對所述經複製原始視頻幀執行遮蔽。
  8. 一種圖像處理裝置，包括： 接收電路，配置成接收原始視頻幀； 遮蔽電路，配置成遮蔽所述原始視頻幀中的至少一個私密區域以產生受保護視頻幀； 編碼電路，配置成通過編碼所述受保護視頻幀來產生第一經編碼幀；以及 輸出電路，配置成根據所述第一經編碼幀產生用於資料流或存儲的至少一個輸出位元流。
  9. 如請求項8所述的圖像處理裝置， 其中所述編碼電路進一步配置成通過編碼所述原始視頻幀來產生第二經編碼幀，以及 其中所述輸出電路配置成根據所述第一經編碼幀及所述第二經編碼幀產生用於資料流或存儲的所述至少一個輸出位元流。
  10. 如請求項9所述的圖像處理裝置，更包括： 加密電路，配置成對所述第二經編碼幀進行加密以產生加密的第二經編碼幀，其中所述輸出電路進一步配置成根據所述第一經編碼幀及所述加密的第二經編碼幀產生用於資料流或存儲的所述至少一個輸出位元流。
  11. 如請求項10所述的圖像處理裝置， 其中所述至少一個輸出位元流包括第一輸出位元流及第二輸出位元流，以及 其中所述輸出電路配置成根據所述第一經編碼幀及所述第二經編碼幀通過將所述第一經編碼幀封裝成所述第一輸出位元流且將所述加密的第二經編碼幀封裝成所述第二輸出位元流來產生用於資料流或存儲的所述至少一個輸出位元流。
  12. 如請求項10所述的圖像處理裝置， 其中所述至少一個輸出位元流包括組合的輸出位元流，以及 其中所述輸出電路配置成根據所述第一經編碼幀及所述第二經編碼幀通過將所述第一經編碼幀及所述加密的第二經編碼幀封裝成所述組合的輸出位元流來產生用於資料流或存儲的所述至少一個輸出位元流。
  13. 如請求項9所述的圖像處理裝置， 其中所述編碼電路配置成在編碼所述受保護視頻幀時產生參考幀，以及 其中所述編碼電路配置成通過使用所述參考幀來編碼所述原始視頻幀。
  14. 如請求項8所述的圖像處理裝置， 其中所述接收電路進一步配置成複製所述原始視頻幀以產生經複製原始視頻幀，以及 其中所述遮蔽電路配置成對所述經複製原始視頻幀執行遮蔽。
  15. 一種圖像處理裝置，包括： 處理器，配置成： 接收原始視頻幀； 遮蔽所述原始視頻幀中的至少一個私密區域以產生受保護視頻幀； 通過編碼所述受保護視頻幀來產生第一經編碼幀；以及 根據所述第一經編碼幀產生用於資料流或存儲的至少一個輸出位元流。
  16. 一種用於解碼私密資料的方法，包括： 接收至少一個輸入視頻位元流以獲得第一經編碼位元流及第二經編碼位元流； 解碼所述第一經編碼位元流以產生受保護視頻幀，所述受保護視頻幀包括與至少一個私密區域相關聯的圖像資料；以及 將所述受保護視頻幀輸出到顯示器佇列，使得顯示所述至少一個私密區域。
  17. 如請求項16所述的用於解碼私密資料的方法，更包括： 解碼所述第一經編碼位元流以產生不具有至少一個私密區域的所述圖像資料的參考幀；以及 將所述參考幀輸出到所述顯示器佇列。
  18. 如請求項17所述的用於解碼私密資料的方法，其中通過使用所述參考幀來解碼所述第二經編碼位元流。
  19. 如請求項17所述的用於解碼私密資料的方法，更包括： 在解碼所述第二經編碼位元流之前，在授權金鑰時對所述第二經編碼位元流進行解密。
  20. 如請求項19所述的用於解碼私密資料的方法，其中解碼所述第一經編碼位元流及所述第二位元流兩者以產生所述參考幀及所述受保護視頻幀兩者，在授權所述金鑰時，將所述參考幀及所述受保護視頻幀輸出到所述顯示器佇列，使得顯示所述至少一個私密區域未模糊的完整圖像。
  21. 如請求項19所述的用於解碼私密資料的方法，更包括： 在未授權所述金鑰時，不對所述第二經編碼位元流進行解密。
  22. 如請求項21所述的用於解碼私密資料的方法，其中在未授權所述金鑰時，僅解碼所述第一經編碼位元流且僅將所述參考幀輸出到所述顯示器佇列，且不解碼所述第二經編碼位元流且不將所述受保護視頻幀輸出到所述顯示器佇列，使得在僅顯示所述參考幀時，所述至少一個私密區域是模糊的。
  23. 一種圖像處理裝置，包括： 接收電路，配置成接收至少一個輸入視頻位元流以獲得第一經編碼位元流及第二經編碼位元流； 解碼電路，配置成解碼所述第一經編碼位元流以產生受保護視頻幀，所述受保護視頻幀包括至少一個私密區域的圖像資料；以及 輸出電路，配置成將所述受保護視頻幀輸出到顯示器佇列，使得顯示所述至少一個私密區域。
  24. 如請求項23所述的圖像處理裝置， 其中所述解碼電路進一步配置成解碼所述第一經編碼位元流以產生不具有至少一個私密區域的所述圖像資料的參考幀，以及 其中所述輸出電路進一步配置成將所述參考幀輸出到所述顯示器佇列。
  25. 如請求項24所述的圖像處理裝置，其中所述解碼電路進一步配置成通過使用所述參考幀來解碼所述第二經編碼位元流。
  26. 如請求項24所述的圖像處理裝置，更包括： 解密電路，配置成在解碼所述第二經編碼位元流之前，在授權金鑰時對所述第二經編碼位元流進行解密。
  27. 如請求項25所述的圖像處理裝置， 其中所述解碼電路配置成解碼所述第一經編碼位元流及所述第二位元流兩者以產生所述參考幀及所述受保護視頻幀兩者，以及 其中所述輸出電路配置成在授權所述金鑰時將所述參考幀及所述受保護視頻幀兩者輸出到所述顯示器佇列，使得顯示所述至少一個私密區域未模糊的完整圖像。
  28. 如請求項26所述的圖像處理裝置，其中所述解密電路配置成在未授權所述金鑰時不對所述第二經編碼位元流進行解密。
  29. 如請求項28所述的圖像處理裝置， 其中所述解碼電路配置成僅解碼所述第一經編碼位元流，以及 其中所述輸出電路配置成在未授權所述金鑰時僅將所述參考幀輸出到所述顯示器佇列，使得在僅顯示所述參考幀時，所述至少一個私密區域是模糊的。
  30. 一種圖像處理裝置，包括： 處理器，配置成： 接收至少一個輸入視頻位元流以獲得第一經編碼位元流及第二經編碼位元流； 解碼所述第一經編碼位元流以產生受保護視頻幀，所述受保護視頻幀包括至少一個私密區域的圖像資料；以及 將所述受保護視頻幀輸出到顯示器佇列，使得顯示所述至少一個私密區域。
TW110116844A 2020-05-21 2021-05-11 用於編碼及解碼私密資料的方法及圖像處理裝置 TWI772018B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063027962P 2020-05-21 2020-05-21
US63/027,962 2020-05-21
US17/144,109 US11463240B2 (en) 2020-05-21 2021-01-07 Methods and image processing devices for encoding and decoding private data
US17/144,109 2021-01-07

Publications (2)

Publication Number Publication Date
TW202145758A true TW202145758A (zh) 2021-12-01
TWI772018B TWI772018B (zh) 2022-07-21

Family

ID=78608029

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110116844A TWI772018B (zh) 2020-05-21 2021-05-11 用於編碼及解碼私密資料的方法及圖像處理裝置

Country Status (3)

Country Link
US (1) US11463240B2 (zh)
CN (1) CN113709523B (zh)
TW (1) TWI772018B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205587A (zh) * 2021-12-29 2022-03-18 杭州海康威视数字技术股份有限公司 一种图像显示方法、装置、系统及设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1649412A (zh) * 2005-02-03 2005-08-03 北京北大青鸟集成电路有限公司 视频图像的拆分及重现的方法
CN101610408A (zh) 2008-06-16 2009-12-23 北京智安邦科技有限公司 视频保护置乱方法和结构
US8971532B1 (en) * 2011-01-17 2015-03-03 Exaimage Corporation System and methods for protecting video content
FR2972886B1 (fr) * 2011-03-17 2013-03-15 Thales Sa Procede de compression/decompression de flux video partiellement masques, codeur et decodeur mettant en oeuvre le procede
CN102932650B (zh) * 2011-08-11 2018-01-19 索尼公司 视频数据完整性保护和验证方法、设备和系统
KR20130047223A (ko) * 2011-10-31 2013-05-08 한국전자통신연구원 모니터링 영상 기반의 프라이버시 영역 보호 방법 및 장치
US20130162765A1 (en) 2011-12-22 2013-06-27 2Dinto3D LLC Modifying luminance of images in a source video stream in a first output type format to affect generation of supplemental video stream used to produce an output video stream in a second output type format
CN103747258B (zh) * 2014-01-27 2015-02-04 中国科学技术大学 一种高性能视频编码标准的加密处理方法
CN105491443A (zh) * 2014-09-19 2016-04-13 中兴通讯股份有限公司 图像处理、访问方法及装置
US10297126B2 (en) * 2015-09-16 2019-05-21 Sensormatic Electronics, LLC Privacy masking video content of alarm exceptions and mask verification
CN106850515A (zh) * 2015-12-07 2017-06-13 中国移动通信集团公司 一种数据处理方法及视频采集装置、解码装置
GB2551199B (en) * 2016-06-10 2019-12-18 Advanced Risc Mach Ltd Video data processing system
EP3340624B1 (en) * 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
US10721284B2 (en) * 2017-03-22 2020-07-21 Cisco Technology, Inc. Encoding and decoding of live-streamed video using common video data shared between a transmitter and a receiver
US10277901B2 (en) * 2017-05-08 2019-04-30 Axis Ab Encoding a video stream having a privacy mask
KR101856546B1 (ko) 2017-06-29 2018-05-11 링크플로우 주식회사 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치
CN107547560A (zh) * 2017-09-25 2018-01-05 深圳市斑点猫信息技术有限公司 视频传输方法、装置及系统
CN108965882B (zh) * 2018-06-12 2020-08-14 浙江大华技术股份有限公司 一种编解码方法及装置
CN109063506B (zh) * 2018-07-09 2021-07-06 江苏达实久信数字医疗科技有限公司 用于医疗手术示教系统的隐私处理方法
CN110944227B (zh) * 2018-09-25 2021-12-17 杭州海康威视数字技术股份有限公司 目标隐私保护方法、装置、硬盘录像机及存储介质
CN109543432A (zh) * 2018-11-23 2019-03-29 济南中维世纪科技有限公司 一种视频中人脸图像加密防篡改和检索的方法
CN110188603B (zh) * 2019-04-17 2020-05-12 特斯联（北京）科技有限公司 一种用于智慧社区的隐私防泄密方法及其系统

Also Published As

Publication number Publication date
CN113709523B (zh) 2024-02-13
TWI772018B (zh) 2022-07-21
CN113709523A (zh) 2021-11-26
US11463240B2 (en) 2022-10-04
US20210367759A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
US6236727B1 (en) Apparatus, method and computer program product for protecting copyright data within a computer system
EP1343321B1 (en) Methods and systems for cryptographically protecting secure content in video memory
US7418599B2 (en) Deterring theft of media recording devices by encrypting recorded media files
US20080267403A1 (en) System and method for privacy enhancement via adaptive cryptographic embedding
JP6964647B2 (ja) オブジェクトのプライバシが保護されるイメージフレームのシーケンスをエンコーディング及びデコーディングする方法及びデバイス
JP2001359070A (ja) データ処理装置、データ処理方法及びコンピュータ可読記憶媒体
JP2003134482A (ja) デジタル画像シーケンスの安全透かし入れシステム
US20020062445A1 (en) System, method and apparatus for distributing digital contents, information processing apparatus and digital content recording medium
Cheung et al. Protecting and managing privacy information in video surveillance systems
JP2003333024A (ja) 暗号化／復号化システム及びその暗号解読防止／改竄防止方法
RU2457624C2 (ru) Проверка кода мас без его раскрытия
WO2023093501A1 (zh) 一种视频中隐私内容的处理方法、系统、电子设备及介质
WO2023125291A1 (zh) 一种图像显示方法、装置、系统及设备
TWI772018B (zh) 用於編碼及解碼私密資料的方法及圖像處理裝置
CN115550691A (zh) 一种视频处理方法、视频传输方法、视频查看方法和装置
US20230269422A1 (en) Selective video modification
JP2000252974A (ja) ディジタル情報暗号化装置，及びディジタル情報再生装置
KR101746168B1 (ko) 차량용 블랙박스의 영상 처리를 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
JP2007150559A (ja) 防犯装置
JP4837345B2 (ja) コンテンツ暗号化装置およびコンテンツ復号化装置
CN108833921B (zh) 一种编解码方法及装置
JP4101073B2 (ja) 画像符号化装置、符号復号化装置、プログラム及び記憶媒体
JP2001203683A (ja) データ処理装置及びその方法並びに記憶媒体
KR20230076366A (ko) 객체 실루엣 기반 영상 처리 방법 및 장치
Wu et al. A secure image transmission scheme based on digital watermark and cryptography