KR20230070879A - Apparatus for non-identification and restoration of privacy region, method for non-identification and restoration of privacy region - Google Patents
Apparatus for non-identification and restoration of privacy region, method for non-identification and restoration of privacy region Download PDFInfo
- Publication number
- KR20230070879A KR20230070879A KR1020210156904A KR20210156904A KR20230070879A KR 20230070879 A KR20230070879 A KR 20230070879A KR 1020210156904 A KR1020210156904 A KR 1020210156904A KR 20210156904 A KR20210156904 A KR 20210156904A KR 20230070879 A KR20230070879 A KR 20230070879A
- Authority
- KR
- South Korea
- Prior art keywords
- area
- privacy
- block
- encryption
- pixel value
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
- G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving video stream encryption
- H04N21/23476—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/26613—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for generating or managing keys in general
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
- H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Processing (AREA)
Abstract
본 발명의 일 실시 예에 따른 프라이버시 영역 비식별화 장치는 동영상으로부터 이미지를 추출하는 획득부, 이미지 내의 프라이버시 영역을 탐지하는 인식부, 프라이버시 영역 중 암호화 영역을 키를 통해 암호화하여 암호 블록을 생성하고, 암호화 영역 이외의 블록을 암호화 영역의 값을 참조하여 변환하는 비식별화부를 포함한다.An apparatus for de-identifying a privacy area according to an embodiment of the present invention includes an acquisition unit that extracts an image from a video, a recognition unit that detects a privacy area in an image, and an encryption area of the privacy area that is encrypted using a key to generate an encryption block. , includes a de-identification unit for converting blocks other than the encryption area by referring to values in the encryption area.
Description
본 발명은 영상의 프라이버시 영역의 처리에 관한 것으로, 보다 상세하게는 프라이버시 영역 비활성화 및 복원에 관한 것이다. The present invention relates to processing of a privacy region of an image, and more particularly to privacy region deactivation and restoration.
최근 영상 내에 개인 정보, 얼굴 등의 프라이버시 영역이 불특정 다수에게 공개되어 프라이버시 침해가 발생하는 경우가 증가하고 있다. 영상 내 프라이버시 영역을 인식하기 위해서는 프라이버시 영역이 촬영된 동영상으로부터 획득된 이미지 프레임에 딥 러닝 모델 또는 영상처리 등을 통해 프라이버시 영역이 존재하면 프라이버시 영역의 위치와 크기 정보를 얻어내고 얻어진 정보를 이용해 프라이버시 영역을 비식별화 처리를 수행하여야 한다.Recently, privacy areas such as personal information and faces are disclosed to an unspecified number of people in an image, and privacy infringement is increasing. In order to recognize a privacy area in an image, if a privacy area exists in an image frame obtained from a video in which a privacy area is captured through a deep learning model or image processing, information on the position and size of the privacy area is obtained, and the obtained information is used to obtain the privacy area. must perform de-identification processing.
비식별화 처리를 위해 제3자가 비식별화된 영상을 복원할 수 없게 AES 등과 같은 인증된 암호화 알고리즘을 이용해 특정한 Key 값을 가지고 있지 않다면 복원할 수 없어야 한다.For de-identification processing, it should not be able to be restored unless it has a specific key value by using an authenticated encryption algorithm such as AES so that a third party cannot restore the de-identified image.
본 발명의 배경기술은 대한민국 등록특허 제10-2299564호에 개시되어 있다.The background art of the present invention is disclosed in Korean Patent Registration No. 10-2299564.
본 발명의 해결하고자 하는 과제는 프라이버시 영역 비식별화 및 복원 장치, 프라이버시 영역 비식별화 및 복원 방법을 제공하는 것이다.An object to be solved by the present invention is to provide a privacy zone de-identification and restoration apparatus and a privacy zone de-identification and restoration method.
본 발명의 일 측면에 따르면, 동영상으로부터 이미지를 추출하는 획득부; 상기 이미지 내의 프라이버시 영역을 탐지하는 인식부; 상기 프라이버시 영역 중 암호화 영역을 키를 통해 암호화하여 암호 블록을 생성하고, 상기 암호화 영역 이외의 블록을 상기 암호화 영역의 값을 참조하여 변환하는 비식별화부; 를 포함하는 프라이버시 영역 비식별화 장치가 제공된다.According to an aspect of the present invention, an acquisition unit for extracting an image from a video; a recognizing unit detecting a privacy area in the image; a de-identification unit generating an encryption block by encrypting an encryption area of the privacy area using a key, and converting a block other than the encryption area by referring to a value of the encryption area; There is provided a privacy zone de-identification device comprising a.
상기 프라이버시 영역 비식별화 장치는 상기 프라이버시 영역을 나타내는 프라이버시 영역 정보 및 상기 이미지를 포함하는 비식별화 동영상을 생성하는 인코더를 더 포함할 수 있다.The privacy zone de-identification device may further include an encoder that generates a non-identification video including privacy zone information representing the privacy zone and the image.
상기 비식별화부는, 상기 암호화 영역의 i(상기 i는 2 이상의 자연수)번째 픽셀 값과 i-1번째 픽셀 값을 합산한 값을 암호화 영역의 i번째 픽셀 값으로 대체한 이후, 암호화 영역의 각 픽셀 값을 암호화 영역의 모든 평문 픽셀 값을 합산한 값으로 나눈 후 지정된 상수를 곱하여 정규화한 값을 i번째 픽셀의 값으로 하는 변환 블록을 생성하고, 상기 변환 블록을 참조하여 상기 암호화 영역 이외의 블록을 변환할 수 있다.The de-identification unit replaces the sum of the i-th pixel value and the i−1-th pixel value of the encryption area with the i-th pixel value of the encryption area, and then replaces each value of the encryption area with the i-th pixel value After dividing the pixel value by the sum of all plaintext pixel values in the encryption area, multiplying the value by a designated constant, a conversion block is generated in which the i-th pixel value is the normalized value, and with reference to the conversion block, a block other than the encryption area is generated. can be converted.
상기 비식별화부는, 상기 암호화 영역 이외 블록의 i번째 픽셀 값과 변환 블록의 i번째 픽셀 값의 합을 생성하고, 상기 합이 지정된 상수 이하인 경우, 상기 합을 해당 블록의 i번째 픽셀 값으로 설정하고, 상기 합이 지정된 상수를 초과하는 경우, 상기 합에서 지정된 상수를 차감한 값을 상기 암호화 영역 이외 블록의 i번째 픽셀 값으로 설정할 수 있다.The de-identification unit generates a sum of the i-th pixel value of a block other than the encryption area and the i-th pixel value of a transformation block, and sets the sum to the i-th pixel value of the block when the sum is equal to or less than a specified constant. and, when the sum exceeds the designated constant, a value obtained by subtracting the designated constant from the sum may be set as the i-th pixel value of a block other than the encryption area.
본 발명의 다른 측면에 따르면, 비식별화 동영상으로부터 이미지를 추출하는 획득부; 및 비식별화 영역 정보에 상응하는 상기 이미지 내의 프라이버시 영역 중 암호화 영역을 키를 통해 복호화하여 평문을 생성하고, 상기 평문을 참조하여 상기 암호화 영역 이외의 블록을 복원하는 복원부;를 포함하는 프라이버시 영역 복원 장치가 제공된다.According to another aspect of the present invention, an acquisition unit for extracting an image from a non-identified video; and a restoration unit that decrypts an encryption area among the privacy areas in the image corresponding to the non-identification area information using a key to generate plaintext, and restores blocks other than the encryption area by referring to the plaintext. A restoration device is provided.
상기 프라이버시 영역 복원 장치는 상기 프라이버시 영역이 복원된 프레임을 포함하는 복원 동영상을 생성하는 인코더를 더 포함할 수 있다.The apparatus for restoring the privacy region may further include an encoder generating a restored video including a frame in which the privacy region is restored.
상기 복원부는, 상기 암호화 영역의 평문 중 i(상기 i는 2 이상의 자연수)번째 픽셀 값과 i-1번째 픽셀 값을 합산한 값을 암호화 영역의 i번째 픽셀 값으로 대체한 이후, 암호화 영역의 각 픽셀 값을 암호화 영역의 모든 평문 픽셀 값을 합산한 값으로 나눈 후 지정된 상수를 곱하여 정규화한 값을 i번째 픽셀의 값으로 하는 변환 블록을 생성하고, 상기 변환 블록을 참조하여 상기 암호화 영역 이외의 블록을 복원할 수 있다.The restoring unit replaces the sum of the i-th pixel value (i is a natural number greater than or equal to 2) and the i-1-th pixel value in the plaintext of the encryption area with the value of the i-th pixel of the encryption area, After dividing the pixel value by the sum of all plaintext pixel values in the encryption area, multiplying the value by a designated constant, a conversion block is generated in which the i-th pixel value is the normalized value, and with reference to the conversion block, a block other than the encryption area is generated. can be restored.
상기 복원부는, 상기 암호화 영역 이외의 블록의 i번째 픽셀 값과 상기 변환 블록의 i번째 픽셀 값의 차를 산출하고, 상기 차가 음수인 경우, 상기 차에 미리 지정된 상수를 합산한 값을 상기 블록의 i 번째 픽셀 값으로 설정하고, 상기 차가 0 또는 양수인 경우, 상기 차를 상기 블록의 i번째 픽셀 값으로 설정할 수 있다.The restoring unit calculates a difference between the i-th pixel value of a block other than the encryption area and the i-th pixel value of the conversion block, and when the difference is a negative number, a value obtained by adding a predetermined constant to the difference is calculated for the block. It is set as the i-th pixel value, and when the difference is 0 or a positive number, the difference may be set as the i-th pixel value of the block.
본 발명의 다른 측면에 따르면, 프라이버시 영역 비식별화 장치가 프라이버시 영역을 비식별화하는 방법에 있어서, 동영상으로부터 이미지를 추출하는 단계; 상기 이미지 내의 프라이버시 영역을 탐지하는 단계; 상기 프라이버시 영역 중 암호화 영역을 키를 통해 암호화하여 암호 블록을 생성하고, 상기 암호화 영역 이외의 블록을 상기 암호화 영역의 값을 참조하여 변환하는 단계;를 포함하는 프라이버시 영역 비식별화 방법이 제공된다.According to another aspect of the present invention, a method for de-identifying a privacy area by a device for de-identifying a privacy area includes extracting an image from a video; detecting a privacy area in the image; There is provided a privacy region de-identification method including generating an encryption block by encrypting an encryption region of the privacy region using a key, and converting a block other than the encryption region by referring to a value of the encryption region.
상기 프라이버시 영역 비식별화 방법은 상기 프라이버시 영역을 나타내는 프라이버시 영역 정보 및 상기 이미지를 포함하는 비식별화 동영상을 생성하는 단계를 더 포함할 수 있다.The privacy zone de-identification method may further include generating a non-identification video including privacy zone information representing the privacy zone and the image.
상기 프라이버시 영역 중 암호화 영역을 키를 통해 암호화하여 암호 블록을 생성하고, 상기 암호화 영역 이외의 블록을 상기 암호화 영역의 값을 참조하여 변환하는 단계는, 상기 암호화 영역의 i(상기 i는 2 이상의 자연수)번째 픽셀 값과 i-1번째 픽셀 값을 합산한 값을 암호화 영역의 i번째 픽셀 값으로 대체한 이후, 암호화 영역의 각 픽셀 값을 암호화 영역의 모든 평문 픽셀 값을 합산한 값으로 나눈 후 지정된 상수를 곱하여 정규화한 값을 i번째 픽셀의 값으로 하는 변환 블록을 생성하는 단계; 및 상기 변환 블록을 참조하여 상기 암호화 영역 이외의 블록을 변환하는 단계를 포함할 수 있다.The step of generating an encryption block by encrypting an encryption area of the privacy area using a key and converting a block other than the encryption area by referring to a value of the encryption area includes i of the encryption area (where i is a natural number greater than or equal to 2). )th pixel value and the value of the i-1th pixel value are replaced with the i-th pixel value of the encryption area, and after dividing each pixel value of the encryption area by the sum of all plaintext pixel values in the encryption area, generating a transform block having a normalized value obtained by multiplying by a constant as a value of the i-th pixel; and converting a block other than the encryption area by referring to the transformation block.
상기 프라이버시 영역 중 암호화 영역을 키를 통해 암호화하여 암호 블록을 생성하고, 상기 암호화 영역 이외의 블록을 상기 암호화 영역의 값을 참조하여 변환하는 단계는, 상기 암호화 영역 이외 블록의 i번째 픽셀 값과 변환 블록의 i번째 픽셀 값의 합을 생성하는 단계; 상기 합이 지정된 상수 이하인 경우, 상기 합을 해당 블록의 i번째 픽셀 값으로 설정하는 단계; 및 상기 합이 지정된 상수를 초과하는 경우, 상기 합에서 지정된 상수를 차감한 값을 상기 암호화 영역 이외 블록의 i번째 픽셀 값으로 설정하는 단계를 포함할 수 있다.The step of generating an encryption block by encrypting an encryption area of the privacy area using a key, and converting a block other than the encryption area by referring to a value of the encryption area, the i-th pixel value of the block other than the encryption area and the conversion generating a sum of i-th pixel values of the block; setting the sum as an i-th pixel value of a corresponding block when the sum is equal to or less than a specified constant; and setting a value obtained by subtracting the specified constant from the sum as a value of the i-th pixel of a block other than the encryption area, when the sum exceeds the specified constant.
본 발명의 또 다른 측면에 따르면, 프라이버시 영역 복원 장치가 프라이버시 영역을 복원하는 방법에 있어서, 비식별화 동영상으로부터 이미지를 추출하는 단계; 및 비식별화 영역 정보에 상응하는 상기 이미지 내의 프라이버시 영역 중 암호화 영역을 키를 통해 복호화하여 평문을 생성하고, 상기 평문을 참조하여 상기 암호화 영역 이외의 블록을 복원하는 단계;를 포함하는 프라이버시 영역 복원 방법이 제공된다.According to another aspect of the present invention, a method for restoring a privacy area by an apparatus for restoring a privacy area, comprising: extracting an image from a non-identified video; and decrypting an encryption area of the privacy area in the image corresponding to the non-identification area information using a key to generate plaintext, and restoring blocks other than the encryption area by referring to the plaintext. A method is provided.
상기 프라이버시 영역 복원 방법은 상기 프라이버시 영역이 복원된 프레임을 포함하는 복원 동영상을 생성하는 단계를 더 포함할 수 있다.The method of restoring the privacy region may further include generating a reconstruction video including a frame in which the privacy region is restored.
상기 비식별화 영역 정보에 상응하는 상기 이미지 내의 프라이버시 영역 중 암호화 영역을 키를 통해 복호화하여 평문을 생성하고, 상기 평문을 참조하여 상기 암호화 영역 이외의 블록을 복원하는 단계는, 상기 암호화 영역의 평문 중 i(상기 i는 2 이상의 자연수)번째 픽셀 값과 i-1번째 픽셀 값을 합산한 값을 암호화 영역의 i번째 픽셀 값으로 대체한 이후, 암호화 영역의 각 픽셀 값을 암호화 영역의 모든 평문 픽셀 값을 합산한 값으로 나눈 후 지정된 상수를 곱하여 정규화한 값을 i번째 픽셀의 값으로 하는 변환 블록을 생성하는 단계; 및 상기 변환 블록을 참조하여 상기 암호화 영역 이외의 블록을 복원하는 단계를 포함할 수 있다.The step of decrypting an encryption area of the privacy area in the image corresponding to the non-identification area information using a key to generate plaintext and restoring blocks other than the encryption area by referring to the plaintext includes: After substituting the sum of the i-th pixel value (i is a natural number greater than or equal to 2) and the i-1-th pixel value of the encryption area with the i-th pixel value of the encryption area, each pixel value in the encryption area is converted to all plaintext pixels in the encryption area. Generating a transform block having a normalized value as a value of the i-th pixel by dividing the value by the summed value and then multiplying the value by a designated constant; and restoring a block other than the encryption area by referring to the conversion block.
상기 비식별화 영역 정보에 상응하는 상기 이미지 내의 프라이버시 영역 중 암호화 영역을 키를 통해 복호화하여 평문을 생성하고, 상기 평문을 참조하여 상기 암호화 영역 이외의 블록을 복원하는 단계는, 상기 암호화 영역 이외의 블록의 i번째 픽셀 값과 상기 변환 블록의 i번째 픽셀 값의 차를 산출하는 단계; 상기 차가 음수인 경우, 상기 차에 미리 지정된 상수를 합산한 값을 상기 블록의 i 번째 픽셀 값으로 설정하는 단계; 상기 차가 0 또는 양수인 경우, 상기 차를 상기 블록의 i번째 픽셀 값으로 설정하는 단계를 포함할 수 있다.The step of decrypting an encryption area of the privacy area in the image corresponding to the non-identification area information using a key to generate plaintext, and restoring a block other than the encryption area by referring to the plaintext, Calculating a difference between the i-th pixel value of the block and the i-th pixel value of the transform block; if the difference is a negative number, setting a value obtained by adding a predetermined constant to the difference as a value of the i-th pixel of the block; and setting the difference to an i-th pixel value of the block when the difference is 0 or a positive number.
본 발명의 일 실시 예에 따르면, 프라이버시 영역을 비식별화한 이후 복원을 위해 필요한 추가 데이터의 용량을 크게 줄일 수 있다.According to an embodiment of the present invention, the capacity of additional data required for restoration after de-identifying the privacy area can be greatly reduced.
본 발명의 일 실시 예에 따르면, 복원에 필요한 추가 데이터의 용량을 줄여 네트워크 부하를 줄이고 영상의 데이터 저장 공간을 효율적으로 사용하도록 할 수 있다.According to an embodiment of the present invention, it is possible to reduce network load and efficiently use image data storage space by reducing the capacity of additional data required for restoration.
도 1은 본 발명의 일 실시 예에 따른 프라이버시 영역 비식별화 장치를 예시한 블록도.
도 2는 본 발명의 일 실시 예에 따른 프라이버시 영역 비식별화 장치가 인식한 프라이버시 영역 중 암호화 영역과 암호화 영역을 암호화한 결과를 예시한 도면.
도 3 및 도 4는 본 발명의 일 실시 예에 따른 프라이버시 영역 비식별화 장치가 변환 블록을 생성하는 과정을 예시한 도면들.
도 5 및 도 6은 본 발명의 일 실시 예에 따른 프라이버시 영역 비식별화 장치가 프라이버시 영역 중 암호화 영역 이외의 블록을 값을 변환하는 과정을 예시한 도면들.
도 7는 본 발명의 일 실시 예에 따른 프라이버시 영역 비식별화 장치가 프라이버시 영역을 변환하여 비식별화한 결과물을 예시한 도면.
도 8은 본 발명의 일 실시 예에 따른 프라이버시 영역 복원 장치를 예시한 블록도.
도 9은 본 발명의 일 실시 예에 따른 프라이버시 영역 복원 장치가 암호화 영역을 복호화하는 과정을 예시한 도면.
도 10 및 도 11은 본 발명의 일 실시 예에 따른 프라이버시 영역 복원 장치가 암호화 영역 이외의 블록을 복원하는 과정을 예시한 도면들.
도 12는 본 발명의 일 실시 예에 따른 프라이버시 영역 비식별화 장치가 프라이버시 영역을 비식별화하는 방법을 예시한 순서도.
도 13은 본 발명의 일 실시 예에 따른 프라이버시 영역 복원 장치가 프라이버시 영역을 복원하는 방법을 예시한 순서도.1 is a block diagram illustrating a privacy zone de-identification device according to an embodiment of the present invention.
2 is a diagram illustrating a result of encrypting an encryption area and an encryption area among privacy areas recognized by a privacy area de-identification apparatus according to an embodiment of the present invention;
3 and 4 are diagrams illustrating a process of generating a transform block by an apparatus for de-identifying a privacy zone according to an embodiment of the present invention.
5 and 6 are diagrams illustrating a process of converting values of blocks other than an encryption area in a privacy area by a privacy area de-identification device according to an embodiment of the present invention.
7 is a diagram illustrating a result obtained by converting and de-identifying a privacy area by an apparatus for de-identifying a privacy area according to an embodiment of the present invention.
8 is a block diagram illustrating an apparatus for restoring a privacy area according to an embodiment of the present invention.
9 is a diagram illustrating a process of decrypting an encryption area by an apparatus for restoring a privacy area according to an embodiment of the present invention;
10 and 11 are diagrams illustrating a process of restoring a block other than an encryption area by an apparatus for restoring a privacy area according to an embodiment of the present invention.
12 is a flowchart illustrating a method of de-identifying a privacy area by an apparatus for de-identifying a privacy area according to an embodiment of the present invention.
13 is a flowchart illustrating a method of restoring a privacy area by an apparatus for restoring a privacy area according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail through detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. Also, as used in this specification and claims, the terms "a" and "an" are generally to be construed to mean "one or more" unless stated otherwise.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. do it with
도 1내지 도 7는 본 발명의 일 실시 예에 따른 프라이버시 영역 비식별화 장치를 설명하기 위한 도면들이다. 1 to 7 are diagrams for explaining a privacy zone de-identification apparatus according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 프라이버시 영역 비식별화 장치(100)는 획득부(110), 인식부(120), 비식별화부(130) 및 인코더(140)를 포함한다.Referring to FIG. 1 , an
획득부(110)는 촬영 기기 등의 외부 장치나 네트워크로부터 동영상을 입력 받고, 동영상의 각 프레임에 해당하는 이미지를 추출한다. 획득부(110)는 이미지를 인식부(120)로 전송한다.The
인식부(120)는 획득부(110)로부터 수신한 이미지 내에 프라이버시 영역을 탐지한다. 인식부(120)는 이미지 내 프라이버시 영역이 존재하는 경우, 프라이버시 영역을 나타내는 정보(예를 들어, 프라이버시 영역이 포함된 프레임의 식별 정보, 프라이버시 영역의 인덱스 위치(x, y) 및 크기(w, h)를 포함하는 정보)인 프라이버시 영역 정보를 생성한다. 이 때, 각 이미지 내에 포함된 프라이버시 영역은 1개 이상의 영역일 수 있다. 이 때, 인식부(120)는 프라이버시 영역을 탐지하기 위해 학습이 진행된 신경망(neural network), 딥 러닝 모델 등의 인공지능 시스템이나 미리 설정된 영상 처리 방식을 통해 각 이미지 내의 프라이버시 영역을 탐지할 수 있다. 인식부(120)는 프라이버시 정보를 비식별화부(130)로 전송한다.The
비식별화부(130)는 인식부(120)로부터 프라이버시 영역 정보를 수신하는 경우, 해당 프라이버시 영역에 대응하는 이미지를 비식별화한다. 예를 들어, 비식별화부(130)는 각 이미지의 프라이버시 영역을 미리 지정된 크기(예를 들어, 가로 4 픽셀, 세로 4 픽셀의 크기)의 블록으로 분할하고, 전체 블록 중 하나를 암호화 영역으로 설정할 수 있고 프라이버시 영역이 미리 지정된 크기로 나눠지지 않는 크기인 경우 패딩이나 나머지를 활용할 수 있다. 이 때, 전체 블록 중 가장 좌측 상단에 위치한 블록이 암호화 영역으로 설정 될 수 있다. 비식별화부(130)는 암호화 영역을 암호화 하기 위한 키(key)를 생성하고, 도 2의 암호화 영역(A)을 키를 통해 암호화하여 암호화 결과인 암호 블록(EA)을 생성할 수 있다. When receiving privacy area information from the
비식별화부(130)는 도 4에 표현된 알고리즘에 따라 변환 블록을 생성할 수 있다. 비식별화부(130)는 단계 410 내지 440에서 암호화 영역의 픽셀 값을 암호화 영역의 첫번째 픽셀 값부터 암호화 영역의 마지막 픽셀 값까지 반복하여 누적합(450)한 결과로 대체(도 3의 310과 같이 대체) 한다. 또한 암호화 영역의 첫번째 픽셀 값은 자기 자신의 값을 그대로 사용할 수 있다(단계 420). 이 때, A[i]는 암호화 영역의 i번째 픽셀 값을 의미한다.The
비식별화부(130)는 단계 450 내지 490에서 암호화 영역의 각 픽셀 값을 암호화 영역의 누적합 결과(도 3의 310)를 원 암호화 영역의 모든 픽셀 값을 합산한 값(암호화 영역의 누적합 결과의 16번째 픽셀 값)으로 나눈 후 지정된 상수(예를 들어, 255)를 곱하여 정규화한 값으로 대체하여 도 3의 320과 같은 변환 블록을 생성한다. 여기서, A' [i]는 변환 블록의 i번째 픽셀 값을 의미한다.In
도 5 및 도 6을 참조하면, 비식별화부(130)는 단계 610 및 620에서 암호화 영역 이외의 나머지 각 블록의 픽셀 값을 같은 위치를 가진 변환 블록의 픽셀 값과의 합으로 대체한다. 여기서, 합은 암호화 영역 다음 블록의 첫번째 픽셀 부터 시작하며 블록의 마지막 픽셀 까지 반복하고, 이 과정을 블록 크기 단위로 이미지의 전체 영역을 변경한다. Referring to FIGS. 5 and 6 , in
비식별화부(130)는 도 6의 단계 630 내지 660에서 합이 지정된 제1 상수(예를 들어, 255) 이하인 경우, 해당 합을 해당 블록의 i번째 픽셀 값으로 설정하고, 합이 지정된 제1 상수를 초과하는 경우, 해당 합에서 지정된 제2 상수(예를 들어, 256)를 차감한 값을 해당 블록의 i번째 픽셀 값으로 설정할 수 있다.In
따라서, 비식별화부(130)는 도 7과 같이 프라이버시 영역 중 암호화 영역을 암호 블록의 값으로 하고, 나머지 각 블록은 변환 블록을 통해 변환된 값을 포함하는 블록을 포함하도록 프라이버시 영역을 비식별화한 이미지를 사용자가 육안으로 보았을 때 해당 영역 내 객체를 식별하지 못하도록 할 수 있다.Therefore, as shown in FIG. 7, the
인코더(140)는 비식별화부(130)가 비식별화한 각 프레임 및 프라이버시 영역을 포함하지 않는 프레임의 이미지를 포함하는 비식별화 동영상을 생성한다. 따라서, 비식별화 동영상 중 비식별화한 프레임이 일반적인 재생 장치로 재생되는 경우, 해당 프레임의 프라이버시 영역이 비식별화된 상태에서 화면에 표시될 수 있다. 이 때, 인코더(140)는 비식별화 동영상의 파일 내에 프라이버시 영역 정보를 포함시킬 수 있다. 또한, 다른 실시 예로 프라이버시 영역 정보는 따로 데이터베이스에 저장될 수 있으며, 복원과정에서 비식별화된 영상이 입력되면, 상응하는 데이터베이스에서 불러져 이용될 수 있다.The
또한, 비식별화 동영상은 프라이버시 영역 복원 장치(700)를 통해 프라이버시 영역이 다시 정상적으로 재생될 수 있도록 복원될 수 있다. 비식별화 동영상은 프라이버시 영역 복원 장치(700)에 대해서는 이하 도 8을 참조하여 상세히 설명하도록 한다.In addition, the non-identified video can be restored so that the privacy area can be normally reproduced through the privacy area restoration device 700 . The non-identified video will be described in detail with reference to FIG. 8 for the privacy area restoration device 700 .
도 8내지 도 11은 본 발명의 일 실시 예에 따른 프라이버시 영역 복원 장치를 설명하기 위한 도면들이다.8 to 11 are diagrams for explaining an apparatus for restoring a privacy area according to an embodiment of the present invention.
도 8을 참조하면, 본 발명의 일 실시 예에 따른 프라이버시 영역 복원 장치(800)는 획득부(810), 인식부(820), 복원 부(830) 및 인코더(840)를 포함한다.Referring to FIG. 8 , an
획득부(810)는 외부 장치 또는 네트워크를 통해 비식별화 동영상을 수신한다. 획득부(810)는 동영상의 각 프레임에 해당하는 이미지 및 프라이버시 영역 정보를 추출한다. 획득부(810)는 이미지 및 프라이버시 영역 정보를 복원부(820)로 전송한다.
복원부(820)는 프라이버시 영역 정보를 참조하여 각 프레임의 이미지 중 프라이버시 영역을 복원한다. 예를 들어, 복원부(820)는 도 9와 같이 프라이버시 영역 중 암호화 영역을 미리 획득한 키를 통해 복호화하여 평문을 생성한다. 즉, 복원부(820)는 암호화 영역의 값을 복호화하여 암호화되기 이전의 암호화 영역의 값인 평문을 생성할 수 있다. 이 때, 복원부(820)는 프라이버시 영역 비활성화 장치(100)에 의해 생성된 키를 미리 수신하여 저장할 수 있다.The
이후, 복원부(820)는 암호화 영역의 평문을 도 3을 참조하여 상술한 바와 같이 암호화 영역의 픽셀 값을 암호화 영역의 첫번째 픽셀 값부터 암호화 영역의 마지막 픽셀 값까지 반복하여 누적합(450)한 결과로 대체(도 3의 310과 같이 대체) 한다. 또한 암호화 영역의 첫번째 픽셀 값은 자기 자신의 값을 그대로 사용할 수 있다(단계 420). Thereafter, the
복원부(620)는 이후, 암호화 영역의 각 픽셀 값을 암호화 영역의 누적합 결과(도 3의 310)를 원 암호화 영역의 모든 픽셀 값을 합산한 값(암호화 영역의 누적합 결과의 16번째 픽셀 값)으로 나눈 후 지정된 상수(예를 들어, 255)를 곱하여 정규화한 값으로 대체하여 도 3의 320과 같은 변환 블록을 생성한다.The
도 11을 참조하면, 복원부(620)는 단계 1110 내지 1160에서 프라이버시 영역 중 암호화 영역 이외의 나머지 각 블록의 픽셀 값을 같은 위치를 가지는 변환 블록의 픽셀 값과 차감하는 차로 대체한다. 여기서, 차는 암호화 영역 다음 블록의 첫번째 픽셀부터 시작하며 블록의 마지막 픽셀까지 반복하고 이 과정을 변환 블록 크기 단위로 이미지의 전체 영역을 변경한다. 복원부(620)는 차가 음수인 경우, 해당 차에 미리 지정된 상수(예를 들어, 256)를 합산한 값을 해당 블록의 i 번째 픽셀 값으로 설정하고, 차가 0 또는 양수인 경우, 해당 차에 해당하는 값을 해당 블록의 i번째 픽셀 값으로 설정할 수 있다.Referring to FIG. 11 , in
인코더(830)는 복원부(820)에 의해 복원된 각 프레임 및 프라이버시 영역을 포함하지 않는 프레임에 해당하는 이미지를 포함하는 동영상인 복원 동영상을 생성한다. 따라서, 사용자는 복원 동영상을 재생하는 경우, 프라이버시 영역이 정상적으로 표시된 이미지를 볼 수 있다.The
도12는 본 발명의 일 실시 예에 따른 프라이버시 영역 비식별화 장치가 프라이버시 영역을 비식별화하는 방법을 예시한 순서도이다. 12 is a flowchart illustrating a method of de-identifying a privacy area by an apparatus for de-identifying a privacy area according to an embodiment of the present invention.
이하 설명하는 각 단계는 도 1을 참조하여 상술한 프라이버시 영역 비식별화 장치의 각 기능부를 통해 수행되는 과정이나, 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 프라이버시 영역 비식별화 장치(100)로 통칭하도록 한다.Each step described below is a process performed through each functional unit of the privacy zone de-identification device described above with reference to FIG. ) to be referred to as
도 12를 참조하면, 단계 1210에서 프라이버시 영역 비식별화 장치(100)는 외부 장치 또는 네트워크로부터 동영상을 입력 받는다.Referring to FIG. 12 , in
단계 1220에서 프라이버시 영역 비식별화 장치(100)는 프라이버시 영역을 암호화하는데 사용할 키를 생성한다.In
단계 1230에서 프라이버시 영역 비식별화 장치(100)는 동영상으로부터 단일 프레임에 해당하는 이미지를 추출한다.In
단계 1240에서 프라이버시 영역 비식별화 장치(100)는 단계 1230에서 추출한 이미지 내에 프라이버시 영역이 존재하는지 판단한다.In
단계 1240에서 이미지 내에 프라이버시 영역이 존재하지 않는 경우, 프라이버시 영역 비식별화 장치(100)는 단계 1230을 통해 동영상으로부터 다음 프레임에 해당하는 이미지를 추출한다.In
단계 1240에서 이미지 내에 프라이버시 영역이 존재하는 경우, 단계 1250에서 프라이버시 영역 비식별화 장치(100)는 프라이버시 영역 중 암호화 영역을 키를 통해 암호화하여 암호 블록을 생성한다.In
단계 1260에서 프라이버시 영역 비식별화 장치(100)는 암호화 영역의 값을 참조하여 나머지 블록의 값을 변환한다. In
단계 1270에서 프라이버시 영역 비식별화 장치(100)는 마지막 프레임의 프라이버시 영역 탐지를 수행하였는지 판단한다.In
단계 1270에서 마지막 프레임의 프라이버시 영역 탐지를 수행하지 않은 경우, 프라이버시 영역 비식별화 장치(100)는 단계 1230를 통해 다음 프레임의 이미지를 추출하는 과정을 수행한다.If the privacy area detection of the last frame is not performed in
단계 1270에서 마지막 프레임의 프라이버시 영역 탐지를 수행한 경우, 단계 1280에서 프라이버시 영역 비식별화 장치(100)는 비식별화한 각 프레임 및 프라이버시 영역을 포함하지 않는 프레임의 이미지를 포함하는 비식별화 동영상을 생성한다. 이 때, 비식별화 동영상은 프라이버시 영역 정보를 포함할 수 있다.When the privacy zone detection of the last frame is performed in
도 13은 본 발명의 일 실시 예에 따른 프라이버시 영역 복원 장치가 프라이버시 영역을 복원하는 방법을 예시한 순서도이다. 이하 설명하는 각 단계는 도 8을 참조하여 상술한 프라이버시 영역 복원 장치의 각 기능부를 통해 수행되는 과정이나, 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 프라이버시 영역 복원 장치(800)로 통칭하도록 한다.13 is a flowchart illustrating a method of restoring a privacy area by an apparatus for restoring a privacy area according to an embodiment of the present invention. Each step to be described below is a process performed through each functional unit of the privacy region restoration device described above with reference to FIG. do.
도 13을 참조하면, 단계 1310에서 프라이버시 영역 복원 장치(800)는 비식별화 동영상을 입력 받는다.Referring to FIG. 13 , in
단계 1320에서 프라이버시 영역 복원 장치(800)는 비식별화 동영상으로부터 단일 프레임에 해당하는 이미지를 추출한다. In
단계 1330에서 프라이버시 영역 복원 장치(800)는 프라이버시 영역 정보를 참조하여 현재 추출한 이미지에 프라이버시 영역이 존재하는지 판단한다.In
단계 1330에서 현재 추출된 이미지에 프라이버시 영역이 존재하지 않는 경우, 프라이버시 영역 복원 장치(800)는 단계 1320를 통해 다음 프레임에 해당하는 이미지를 추출한다.When the privacy area does not exist in the currently extracted image in
단계 1330에서 현재 이미지에 프라이버시 영역이 존재하는 경우, 단계 1340에서 프라이버시 영역 복원 장치(800)는 프라이버시 영역 중 암호화 영역의 값을 미리 획득한 키를 통해 복호화하여 평문을 생성한다.In
단계 1350에서 프라이버시 영역 복원 장치(800)는 프라이버시 영역 중 암호화 영역 이외의 블록의 값에서 암호화 영역에 따른 변환 블록의 값을 차감하여 암호화 영역 이외의 블록의 값을 복원한다. In
단계 1360에서 프라이버시 영역 복원 장치(800)는 마지막 프레임의 프라이버시 영역 탐지를 수행하였는지 판단한다.In
단계 1360에서 마지막 프레임의 프라이버시 영역 탐지를 수행하지 않은 경우, 프라이버시 영역 복원 장치(800)는 단계 1320을 통해 다음 프레임의 이미지를 추출한다.If the privacy area detection of the last frame is not performed in
단계 1360에서 마지막 프레임의 프라이버시 영역 탐지를 수행한 경우, 단계 1370에서 프라이버시 영역 복원 장치(800)는 프라이버시 영역을 복원한 프레임 및 프라이버시 영역이 존재하지 않는 프레임의 이미지를 포함하는 복원 동영상을 인코딩한다.When the privacy area detection of the last frame is performed in
따라서, 본 발명의 일 실시 예에 따른 프라이버시 영역 비식별화 장치(100)는 부가적으로 비식별화 동영상에 저용량의 프라이버시 영역 정보를 추가하는 것으로 프라이버시 영역의 비식별화를 수행할 수 있다. 즉, 프라이버시 영역 복원 장치(800)는 비식별화를 수행한 키를 미리 획득하는 경우, 저용량의 프라이버시 영역 정보가 추가된 비식별화 동영상을 부가적인 정보의 입력 없이 비식별화된 프라이버시 영역을 복원할 수 있다. 또한, 다른 실시 예로 프라이버시 영역 정보는 따로 데이터베이스에 저장될 수 있으며, 복원과정에서 비식별화된 영상이 입력되면, 상응하는 데이터베이스에서 불러져 이용될 수 있다.Accordingly, the privacy
본 발명의 실시 예에 따른 프라이버시 영역 복원 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The privacy area restoration method according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable medium. Computer readable media may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on a computer readable medium may be specially designed and configured for the present invention or may be known and usable to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - Includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media and ROM, RAM, flash memory, etc. In addition, the above-described medium may be a transmission medium such as light including a carrier wave for transmitting a signal designating a program command, data structure, or the like, or a metal wire or a waveguide. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at mainly by its embodiments. Those skilled in the art to which the present invention pertains will be able to understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from a descriptive point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent scope will be construed as being included in the present invention.
Claims (16)
상기 이미지 내의 프라이버시 영역을 탐지하는 인식부;
상기 프라이버시 영역 중 암호화 영역을 키를 통해 암호화하여 암호 블록을 생성하고, 상기 암호화 영역 이외의 블록을 상기 암호화 영역의 값을 참조하여 변환하는 비식별화부;
를 포함하는 프라이버시 영역 비식별화 장치.
Acquisition unit for extracting an image from the video;
a recognizing unit detecting a privacy area in the image;
a de-identification unit generating an encryption block by encrypting an encryption area of the privacy area using a key, and converting a block other than the encryption area by referring to a value of the encryption area;
Privacy zone de-identification device comprising a.
상기 프라이버시 영역을 나타내는 프라이버시 영역 정보 및 상기 이미지를 포함하는 비식별화 동영상을 생성하는 인코더
를 더 포함하는 프라이버시 영역 비식별화 장치.
According to claim 1,
Encoder for generating a non-identified video including privacy area information indicating the privacy area and the image
Privacy zone de-identification device further comprising a.
상기 비식별화부는,
상기 암호화 영역의 i(상기 i는 2 이상의 자연수)번째 픽셀 값과 i-1번째 픽셀 값을 합산한 값을 암호화 영역의 i번째 픽셀 값으로 대체한 이후, 암호화 영역의 각 픽셀 값을 암호화 영역의 모든 평문 픽셀 값을 합산한 값으로 나눈 후 지정된 상수를 곱하여 정규화한 값을 i번째 픽셀의 값으로 하는 변환 블록을 생성하고,
상기 변환 블록을 참조하여 상기 암호화 영역 이외의 블록을 변환하는 것을 특징으로 하는 프라이버시 영역 비식별화 장치.
According to claim 1,
The de-identification unit,
After replacing the sum of the i-th pixel value (i is a natural number greater than or equal to 2) and the i-1-th pixel value of the encryption area with the i-th pixel value of the encryption area, each pixel value of the encryption area is Divide by the sum of all plain text pixel values and multiply by a designated constant to generate a conversion block that takes the normalized value as the value of the ith pixel;
Privacy region de-identification apparatus characterized in that for transforming blocks other than the encryption region with reference to the conversion block.
상기 비식별화부는,
상기 암호화 영역 이외 블록의 i번째 픽셀 값과 변환 블록의 i번째 픽셀 값의 합을 생성하고,
상기 합이 지정된 상수 이하인 경우, 상기 합을 해당 블록의 i번째 픽셀 값으로 설정하고,
상기 합이 지정된 상수를 초과하는 경우, 상기 합에서 지정된 상수를 차감한 값을 상기 암호화 영역 이외 블록의 i번째 픽셀 값으로 설정
하는 것을 특징으로 하는 프라이버시 영역 비식별화 장치.
According to claim 3,
The de-identification unit,
generating a sum of the i-th pixel value of a block other than the encryption area and the i-th pixel value of a transformation block;
If the sum is less than or equal to a specified constant, set the sum to the i-th pixel value of the corresponding block;
If the sum exceeds the specified constant, a value obtained by subtracting the specified constant from the sum is set as the i-th pixel value of the block other than the encryption area.
Privacy zone de-identification device characterized in that to do.
비식별화 영역 정보에 상응하는 상기 이미지 내의 프라이버시 영역 중 암호화 영역을 키를 통해 복호화하여 평문을 생성하고, 상기 평문을 참조하여 상기 암호화 영역 이외의 블록을 복원하는 복원부;
를 포함하는 프라이버시 영역 복원 장치.
Acquisition unit for extracting an image from the non-identified video; and
a restoration unit decrypting an encryption area of the privacy area in the image corresponding to the non-identification area information using a key to generate plaintext, and restoring blocks other than the encryption area by referring to the plaintext;
Privacy zone restoration device comprising a.
상기 프라이버시 영역이 복원된 프레임을 포함하는 복원 동영상을 생성하는 인코더
를 더 포함하는 프라이버시 영역 복원 장치.
According to claim 5,
Encoder generating a restored video including a frame in which the privacy area is restored
Privacy zone restoration device further comprising a.
상기 복원부는,
상기 암호화 영역의 평문 중 i(상기 i는 2 이상의 자연수)번째 픽셀 값과 i-1번째 픽셀 값을 합산한 값을 암호화 영역의 i번째 픽셀 값으로 대체한 이후, 암호화 영역의 각 픽셀 값을 암호화 영역의 모든 평문 픽셀 값을 합산한 값으로 나눈 후 지정된 상수를 곱하여 정규화한 값을 i번째 픽셀의 값으로 하는 변환 블록을 생성하고,
상기 변환 블록을 참조하여 상기 암호화 영역 이외의 블록을 복원하는 것을 특징으로 하는 프라이버시 영역 복원 장치.
According to claim 5,
the restoration unit,
After replacing the sum of the i (i is a natural number greater than or equal to 2)-th pixel value and the i-1-th pixel value in the plain text of the encryption area with the i-th pixel value of the encryption area, each pixel value of the encryption area is encrypted. Generates a conversion block in which the i-th pixel value is the normalized value by dividing by the sum of all plain text pixel values in the region and then multiplying by the designated constant;
The apparatus for restoring a privacy region, characterized in that restoring a block other than the encryption region by referring to the conversion block.
상기 복원부는,
상기 암호화 영역 이외의 블록의 i번째 픽셀 값과 상기 변환 블록의 i번째 픽셀 값의 차를 산출하고,
상기 차가 음수인 경우, 상기 차에 미리 지정된 상수를 합산한 값을 상기 블록의 i 번째 픽셀 값으로 설정하고,
상기 차가 0 또는 양수인 경우, 상기 차를 상기 블록의 i번째 픽셀 값으로 설정하는 것을 특징으로 하는 프라이버시 영역 복원 장치.
According to claim 7,
the restoration unit,
Calculating a difference between an i-th pixel value of a block other than the encryption area and an i-th pixel value of the conversion block;
If the difference is a negative number, a value obtained by adding a predetermined constant to the difference is set as the i-th pixel value of the block;
and if the difference is 0 or a positive number, setting the difference to the i-th pixel value of the block.
동영상으로부터 이미지를 추출하는 단계;
상기 이미지 내의 프라이버시 영역을 탐지하는 단계;
상기 프라이버시 영역 중 암호화 영역을 키를 통해 암호화하여 암호 블록을 생성하고, 상기 암호화 영역 이외의 블록을 상기 암호화 영역의 값을 참조하여 변환하는 단계;
를 포함하는 프라이버시 영역 비식별화 방법.
In the method for the privacy zone de-identification device to de-identify the privacy zone,
Extracting images from moving pictures;
detecting a privacy area in the image;
generating an encryption block by encrypting an encryption area of the privacy area using a key, and converting a block other than the encryption area by referring to a value of the encryption area;
Privacy zone de-identification method comprising a.
상기 프라이버시 영역을 나타내는 프라이버시 영역 정보 및 상기 이미지를 포함하는 비식별화 동영상을 생성하는 단계
를 더 포함하는 프라이버시 영역 비식별화 방법.
According to claim 9,
Generating a non-identified video including privacy area information representing the privacy area and the image
Privacy zone de-identification method further comprising a.
상기 프라이버시 영역 중 암호화 영역을 키를 통해 암호화하여 암호 블록을 생성하고, 상기 암호화 영역 이외의 블록을 상기 암호화 영역의 값을 참조하여 변환하는 단계는,
상기 암호화 영역의 i(상기 i는 2 이상의 자연수)번째 픽셀 값과 i-1번째 픽셀 값을 합산한 값을 암호화 영역의 i번째 픽셀 값으로 대체한 이후, 암호화 영역의 각 픽셀 값을 암호화 영역의 모든 평문 픽셀 값을 합산한 값으로 나눈 후 지정된 상수를 곱하여 정규화한 값을 i번째 픽셀의 값으로 하는 변환 블록을 생성하는 단계; 및
상기 변환 블록을 참조하여 상기 암호화 영역 이외의 블록을 변환하는 단계
를 포함하는 것을 특징으로 하는 프라이버시 영역 비식별화 방법.
According to claim 9,
The step of generating an encryption block by encrypting an encryption area of the privacy area using a key and converting a block other than the encryption area by referring to a value of the encryption area,
After replacing the sum of the i-th pixel value (i is a natural number greater than or equal to 2) and the i-1-th pixel value of the encryption area with the i-th pixel value of the encryption area, each pixel value of the encryption area is Generating a transform block having a normalized value as a value of an i-th pixel by dividing all plaintext pixel values by a summed value and then multiplying by a designated constant; and
Transforming a block other than the encryption area by referring to the transformation block
Privacy zone de-identification method comprising a.
상기 프라이버시 영역 중 암호화 영역을 키를 통해 암호화하여 암호 블록을 생성하고, 상기 암호화 영역 이외의 블록을 상기 암호화 영역의 값을 참조하여 변환하는 단계는,
상기 암호화 영역 이외 블록의 i번째 픽셀 값과 변환 블록의 i번째 픽셀 값의 합을 생성하는 단계;
상기 합이 지정된 상수 이하인 경우, 상기 합을 해당 블록의 i번째 픽셀 값으로 설정하는 단계; 및
상기 합이 지정된 상수를 초과하는 경우, 상기 합에서 지정된 상수를 차감한 값을 상기 암호화 영역 이외 블록의 i번째 픽셀 값으로 설정하는 단계
를 포함하는 것을 특징으로 하는 프라이버시 영역 비식별화 방법.
According to claim 11,
The step of generating an encryption block by encrypting an encryption area of the privacy area using a key and converting a block other than the encryption area by referring to a value of the encryption area,
generating a sum of an i-th pixel value of a block other than the encryption area and an i-th pixel value of a transformation block;
setting the sum as an i-th pixel value of a corresponding block when the sum is equal to or less than a specified constant; and
If the sum exceeds a designated constant, setting a value obtained by subtracting the designated constant from the sum as a value of the ith pixel of a block other than the encryption area.
Privacy zone de-identification method comprising a.
비식별화 동영상으로부터 이미지를 추출하는 단계; 및
비식별화 영역 정보에 상응하는 상기 이미지 내의 프라이버시 영역 중 암호화 영역을 키를 통해 복호화하여 평문을 생성하고, 상기 평문을 참조하여 상기 암호화 영역 이외의 블록을 복원하는 단계;
를 포함하는 프라이버시 영역 복원 방법.
A method for restoring a privacy area by a privacy area restoration apparatus,
Extracting an image from a non-identified video; and
decrypting an encryption area of the privacy area in the image corresponding to non-identification area information using a key to generate plaintext, and restoring blocks other than the encryption area by referring to the plaintext;
Privacy zone restoration method comprising a.
상기 프라이버시 영역이 복원된 프레임을 포함하는 복원 동영상을 생성하는 단계
를 더 포함하는 프라이버시 영역 복원 방법.
According to claim 13,
generating a restored video including a frame in which the privacy area is restored;
A privacy area restoration method further comprising a.
상기 비식별화 영역 정보에 상응하는 상기 이미지 내의 프라이버시 영역 중 암호화 영역을 키를 통해 복호화하여 평문을 생성하고, 상기 평문을 참조하여 상기 암호화 영역 이외의 블록을 복원하는 단계는,
상기 암호화 영역의 평문 중 i(상기 i는 2 이상의 자연수)번째 픽셀 값과 i-1번째 픽셀 값을 합산한 값을 암호화 영역의 i번째 픽셀 값으로 대체한 이후, 암호화 영역의 각 픽셀 값을 암호화 영역의 모든 평문 픽셀 값을 합산한 값으로 나눈 후 지정된 상수를 곱하여 정규화한 값을 i번째 픽셀의 값으로 하는 변환 블록을 생성하는 단계; 및
상기 변환 블록을 참조하여 상기 암호화 영역 이외의 블록을 복원하는 단계
를 포함하는 것을 특징으로 하는 프라이버시 영역 복원 방법.
According to claim 13,
The step of decrypting an encryption area of the privacy area in the image corresponding to the non-identification area information using a key to generate plaintext, and restoring blocks other than the encryption area by referring to the plaintext,
After replacing the sum of the i (i is a natural number greater than or equal to 2)-th pixel value and the i-1-th pixel value in the plain text of the encryption area with the i-th pixel value of the encryption area, each pixel value of the encryption area is encrypted. generating a transform block having a normalized value as a value of an i-th pixel by dividing all plain text pixel values of the region by a summed value and then multiplying by a specified constant; and
Restoring a block other than the encryption area by referring to the conversion block
Privacy zone restoration method comprising a.
상기 비식별화 영역 정보에 상응하는 상기 이미지 내의 프라이버시 영역 중 암호화 영역을 키를 통해 복호화하여 평문을 생성하고, 상기 평문을 참조하여 상기 암호화 영역 이외의 블록을 복원하는 단계는,
상기 암호화 영역 이외의 블록의 i번째 픽셀 값과 상기 변환 블록의 i번째 픽셀 값의 차를 산출하는 단계;
상기 차가 음수인 경우, 상기 차에 미리 지정된 상수를 합산한 값을 상기 블록의 i 번째 픽셀 값으로 설정하는 단계;
상기 차가 0 또는 양수인 경우, 상기 차를 상기 블록의 i번째 픽셀 값으로 설정하는 단계
를 포함하는 것을 특징으로 하는 프라이버시 영역 복원 방법.
According to claim 15,
The step of decrypting an encryption area of the privacy area in the image corresponding to the non-identification area information using a key to generate plaintext, and restoring blocks other than the encryption area by referring to the plaintext,
calculating a difference between an i-th pixel value of a block other than the encryption area and an i-th pixel value of the transformation block;
if the difference is a negative number, setting a value obtained by adding a predetermined constant to the difference as a value of the i-th pixel of the block;
If the difference is 0 or a positive number, setting the difference to the i-th pixel value of the block
Privacy zone restoration method comprising a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210156904A KR102582816B1 (en) | 2021-11-15 | 2021-11-15 | Apparatus for non-identification and restoration of privacy region, method for non-identification and restoration of privacy region |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210156904A KR102582816B1 (en) | 2021-11-15 | 2021-11-15 | Apparatus for non-identification and restoration of privacy region, method for non-identification and restoration of privacy region |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230070879A true KR20230070879A (en) | 2023-05-23 |
KR102582816B1 KR102582816B1 (en) | 2023-09-26 |
Family
ID=86544479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210156904A KR102582816B1 (en) | 2021-11-15 | 2021-11-15 | Apparatus for non-identification and restoration of privacy region, method for non-identification and restoration of privacy region |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102582816B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130114037A (en) * | 2013-09-04 | 2013-10-16 | 엠엠피씨 주식회사 | Masking and recovering method of privacy region |
KR20190085225A (en) * | 2018-01-10 | 2019-07-18 | (주)아비요리퍼블릭 | How to protect personal information in video using independent password for each object |
KR102259457B1 (en) * | 2020-08-21 | 2021-06-02 | (주)와토시스 | Method for de-identifying personal information, method for veryfying de-identified information and system thereof |
KR102299564B1 (en) * | 2020-08-21 | 2021-09-08 | (주)와토시스 | Method and system for ai learning using de-identified image data |
-
2021
- 2021-11-15 KR KR1020210156904A patent/KR102582816B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130114037A (en) * | 2013-09-04 | 2013-10-16 | 엠엠피씨 주식회사 | Masking and recovering method of privacy region |
KR20190085225A (en) * | 2018-01-10 | 2019-07-18 | (주)아비요리퍼블릭 | How to protect personal information in video using independent password for each object |
KR102259457B1 (en) * | 2020-08-21 | 2021-06-02 | (주)와토시스 | Method for de-identifying personal information, method for veryfying de-identified information and system thereof |
KR102299564B1 (en) * | 2020-08-21 | 2021-09-08 | (주)와토시스 | Method and system for ai learning using de-identified image data |
Also Published As
Publication number | Publication date |
---|---|
KR102582816B1 (en) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5269033B2 (en) | Image privacy masking method and apparatus | |
US11164046B1 (en) | Method for producing labeled image from original image while preventing private information leakage of original image and server using the same | |
KR102374343B1 (en) | Method and system for building training database using voice personal information protection technology | |
KR20230033700A (en) | Distribution of privacy-preserving images | |
US9094204B2 (en) | Image encryption system and image decryption system | |
CN115398535A (en) | Voice authentication system with embedded watermark and method thereof | |
KR20230070879A (en) | Apparatus for non-identification and restoration of privacy region, method for non-identification and restoration of privacy region | |
KR101675134B1 (en) | Data storage system and method for storing information distributed | |
CN109614804B (en) | Bimodal biological characteristic encryption method, device and storage device | |
CN112307875A (en) | Face verification method and face verification system | |
KR101831633B1 (en) | Mutual authentication method based on visual cryptography and control method of device for mutual authentication based on visual cryptography | |
KR101746168B1 (en) | Apparatus for processing image of vehicle black box, method thereof and computer recordable medium storing the method | |
KR101472495B1 (en) | Data hiding device and method for information security | |
JP2019095872A (en) | Search system, search device, terminal device, search method, and program | |
Suneetha et al. | Enhancement of Security for Cloud Data Using Partition-Based Steganography | |
CN113139527A (en) | Video privacy protection method, device, equipment and storage medium | |
JP2006293842A (en) | Retrieval system | |
KR102530463B1 (en) | Image security device and method using pedestrian face detection information | |
KR102101557B1 (en) | Image authentication method and apparatus based on object detection | |
JP2000276309A (en) | Information processor | |
KR101582579B1 (en) | Encryption apparatus and method for generating an encryption key using the biometric information | |
KR102500252B1 (en) | Machine learning database construction system using face privacy protection technology | |
US20240104232A1 (en) | Information processing apparatus, control method thereof, storage medium, and information processing system | |
EP4293649A1 (en) | Secret search method, secret search system, secret search device, encryption device, searcher terminal, and program | |
CN111488592A (en) | Data encryption and decryption method and device and network equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |