KR20220167854A - System and method of protecting image information - Google Patents

System and method of protecting image information Download PDF

Info

Publication number
KR20220167854A
KR20220167854A KR1020210077084A KR20210077084A KR20220167854A KR 20220167854 A KR20220167854 A KR 20220167854A KR 1020210077084 A KR1020210077084 A KR 1020210077084A KR 20210077084 A KR20210077084 A KR 20210077084A KR 20220167854 A KR20220167854 A KR 20220167854A
Authority
KR
South Korea
Prior art keywords
image
masked
information protection
specific
unit
Prior art date
Application number
KR1020210077084A
Other languages
Korean (ko)
Other versions
KR102509624B1 (en
Inventor
조성주
안근백
Original Assignee
(주)카네비모빌리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)카네비모빌리티 filed Critical (주)카네비모빌리티
Priority to KR1020210077084A priority Critical patent/KR102509624B1/en
Publication of KR20220167854A publication Critical patent/KR20220167854A/en
Application granted granted Critical
Publication of KR102509624B1 publication Critical patent/KR102509624B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/003—Deblurring; Sharpening
    • G06T5/004—Unsharp masking
    • G06T5/75—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25875—Management of end-user data involving end-user authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video stream decryption
    • H04N21/44055—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video stream decryption by partially decrypting, e.g. decrypting a video stream that has been partially encrypted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4753—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for user identification, e.g. by entering a PIN or password

Abstract

Disclosed are a system and method for protecting image information, which may mask a face in an image to prevent the face from being viewed without an encryption key. The system for protecting image information includes an information protection unit which recognizes an object in an image acquired by an image acquiring unit and performs masking processing for a specific part of the recognized object. The information protection unit includes: an image unit which recognizes a specific part of the object; a masking unit which performs masking processing for the specific recognized part; and an encryption unit which encrypts the masked image or the masked specific part in the image. The specific part corresponds to information that can identify the object, and the image is filmed without the consent of the right holder of the object. Accordingly, the present invention may protect portrait rights.

Description

영상 정보 보호 시스템 및 방법{SYSTEM AND METHOD OF PROTECTING IMAGE INFORMATION}Image information protection system and method {SYSTEM AND METHOD OF PROTECTING IMAGE INFORMATION}

본 발명은 영상 내의 얼굴을 마스킹하여 암호화키가 없으면 얼굴을 볼 수 없도록 하는 영상 정보 보호 시스템 및 방법에 관한 것이다. The present invention relates to a video information protection system and method for masking a face in an image so that the face cannot be seen without an encryption key.

CCTV 등에 의해 획득된 영상 내에 사람이 포함되는 경우가 많은데, 상기 사람의 얼굴이 그대로 드러나서 개인의 초상권이 침해되었다. In many cases, a person is included in an image obtained by a CCTV or the like, and the person's face is exposed as it is, and thus, an individual's portrait right is violated.

KRKR 10-2138835 10-2138835 BB

본 발명은 영상 내의 얼굴을 마스킹하여 암호화키가 없으면 얼굴을 볼 수 없도록 하는 영상 정보 보호 시스템 및 방법을 제공하는 것이다.The present invention provides a video information protection system and method for masking a face in an image so that the face cannot be seen without an encryption key.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 영상 정보 보호 시스템은 영상 획득부에 의해 획득된 영상 내의 개체를 인식하고, 상기 인식된 개체의 특정 부분을 마스킹 처리하는 정보 보호부를 포함한다. 상기 정보 보호부는 상기 개체의 특정 부분을 인식하는 영상부; 상기 인식된 특정 부분을 마스킹 처리하는 마스킹부; 및 상기 마스킹된 영상 또는 상기 마스킹된 특정 부분의 영상을 암호화하는 암호화부를 포함한다. 여기서, 상기 특정 부분은 상기 개체를 식별할 수 있는 정보에 해당하며, 상기 개체의 권리권자의 동의없이 상기 영상이 촬영된다. . In order to achieve the above object, an image information protection system according to an embodiment of the present invention recognizes an object in an image obtained by an image acquisition unit, and protects information for masking a specific part of the recognized object. includes wealth The information protection unit includes an image unit recognizing a specific part of the object; a masking unit for masking the recognized specific portion; and an encryption unit encrypting the masked image or the masked image of the specific portion. Here, the specific part corresponds to information capable of identifying the entity, and the image is captured without the consent of the right holder of the entity. .

본 발명의 일 실시예에 따른 영상 정보 보호 방법은 촬영된 영상에서 개체의 특정 부분을 마스킹하는 단계; 상기 마스킹된 특정 부분을 별도의 영상으로 생성하는 단계; 상기 생성된 별도의 영상을 암호화하는 단계; 상기 암호화된 별도의 영상을 복호하여 상기 특정 부분을 복원하는 단계; 및 상기 복원된 특정 부분을 상기 마스킹된 영상에 결합시켜 원본 영상을 복원하는 단계를 포함한다. An image information protection method according to an embodiment of the present invention includes masking a specific part of an object in a captured image; generating a separate image of the masked specific portion; Encrypting the generated separate image; restoring the specific part by decoding the separate encrypted image; and restoring an original image by combining the restored specific part with the masked image.

본 발명에 따른 영상 정보 보호 시스템 및 방법은 영상 내의 사람의 얼굴을 마스킹하여 초상권을 보호할 수 있다. The image information protection system and method according to the present invention can protect portrait rights by masking a person's face in an image.

도 1은 본 발명의 일 실시예에 따른 영상 정보 보호 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 정보 보호 방법을 도시한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 마스킹된 얼굴 영상을 도시한 도면이다.
도 4 내지 도 8은 본 발명의 다른 실시예에 따른 영상 정보 보호 방법을 도시한 도면들이다.
도 9는 본 발명의 일 실시예에 따른 정보 보호부의 구성을 도시한 블록도이다. 1 is a diagram illustrating a video information protection system according to an embodiment of the present invention.
2 is a flowchart illustrating a video information protection method according to an embodiment of the present invention.
3 is a diagram illustrating a masked face image according to an embodiment of the present invention.
4 to 8 are diagrams illustrating a video information protection method according to another embodiment of the present invention.
9 is a block diagram showing the configuration of an information protection unit according to an embodiment of the present invention.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.Singular expressions used herein include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "consisting of" or "comprising" should not be construed as necessarily including all of the various components or steps described in the specification, and some of the components or some of the steps It should be construed that it may not be included, or may further include additional components or steps. In addition, terms such as "...unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. .

본 발명은 개체 인식을 통한 영상 정보 보호 시스템 및 방법에 관한 것으로서, 촬영된 영상에서 얼굴 부분을 실시간 마스킹하여 개인의 초상권이 침해되는 것을 방지하며, 필요시 얼굴 부분의 마스킹을 해제하여 원본 영상을 복원할 수 있다. 결과적으로, 동의없이 촬영된 개인의 정보를 보호할 수 있으며, 개인의 요청 또는 공공기관에서의 요청 등에 따라 원본 영상을 복원하여 활용할 수 있다. The present invention relates to a system and method for protecting image information through object recognition, which prevents infringement of an individual's portrait right by masking a face part in a captured image in real time, and, if necessary, restores the original image by releasing the masking of the face part can do. As a result, it is possible to protect personal information captured without consent, and the original video can be restored and used according to the request of the individual or public institution.

한편, 마스킹되는 부분이 사람의 얼굴 부분으로 언급하였으나, 마스킹되는 부분은 개체의 특정 부분일 수 있으며, 상기 개체는 사람으로 제한되지 않는다. 다만, 설명의 편의를 위하여 이하 개체를 사람으로 가정한다. Meanwhile, although the portion to be masked is referred to as a face of a person, the portion to be masked may be a specific portion of an object, and the object is not limited to a person. However, for convenience of description, the following entities are assumed to be humans.

이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다. Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 영상 정보 보호 시스템을 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 영상 정보 보호 방법을 도시한 순서도이며, 도 3은 본 발명의 일 실시예에 따른 마스킹된 얼굴 영상을 도시한 도면이다. 도 4 내지 도 8은 본 발명의 다른 실시예에 따른 영상 정보 보호 방법을 도시한 도면들이다. 1 is a diagram showing a video information protection system according to an embodiment of the present invention, FIG. 2 is a flowchart showing a video information protection method according to an embodiment of the present invention, and FIG. 3 is an embodiment of the present invention. It is a diagram illustrating a masked face image according to an example. 4 to 8 are diagrams illustrating a video information protection method according to another embodiment of the present invention.

도 1을 참조하면, 본 실시예의 영상 정보 보호 시스템은 영상 획득부(100), 정보 보호부(102) 및 저장부(104)를 포함할 수 있다. 또한, 상기 영상 정보 보호 시스템은 복원부를 더 포함할 수도 있다. Referring to FIG. 1 , the image information protection system of this embodiment may include an image acquisition unit 100 , an information protection unit 102 and a storage unit 104 . In addition, the image information protection system may further include a restoration unit.

영상 획득부(100)는 영상을 획득하는 소자로서, 외부 출입을 감시하는 CCTV, 차량 내부 또는 외부를 촬영하는 블랙박스 등일 수 있다. 특히, 영상 획득부(100)는 촬영된 영상 내의 사람 또는 그의 보호인, 즉 권리권자로부터 동의를 받지 않고 사람을 촬영할 수 있다. 결과적으로, 동의없이 촬영된 사람의 얼굴이 그대로 노출되서 초상권이 침해될 수 있다. The image acquisition unit 100 is an element that acquires an image, and may be a CCTV for monitoring external access, a black box for photographing the interior or exterior of a vehicle, and the like. In particular, the image acquiring unit 100 may capture a person without obtaining consent from the person in the captured image or his or her guardian, that is, the right holder. As a result, the face of a person photographed without consent may be exposed as it is, and the right to portrait may be violated.

따라서, 본 발명의 영상 정보 보호 방법은 촬영된 사람의 정보를 보호하기 위하여 정보 보호부(102)를 사용한다. Therefore, the image information protection method of the present invention uses the information protection unit 102 to protect the information of the person photographed.

정보 보호부(102)는 촬영된 영상에서 사람을 인식하고, 상기 인식된 사람의 얼굴을 마스킹하여 보이지 않도록 할 수 있다. 예를 들어, 정보 보호부(102)는 상기 영상에서 사람의 얼굴을 모자이크 또는 노이즈 처리할 수 있다. 물론, 마스킹할 부위가 얼굴로 한정되지는 않으며, 사람을 식별할 수 있는 부위면 충분하다. 다만, 설명의 편의를 위하여 마스킹될 부위를 얼굴로 가정하겠다. The information protection unit 102 may recognize a person in the photographed image and mask the face of the recognized person so as not to be seen. For example, the information protection unit 102 may mosaic or noise-process a person's face in the image. Of course, the area to be masked is not limited to the face, and any area where a person can be identified is sufficient. However, for convenience of explanation, it is assumed that the region to be masked is the face.

이렇게 얼굴이 마스킹된 영상은 저장부(104)에 저장될 수 있다. 저장부(104)는 정보 보호부(102)와 유무선으로 연결된 클라우드 서버일 수도 있고, 즉 상기 마스킹된 영상이 원격으로 전송되어 저장될 수 있으며, 정보 보호부(102)와 함께 하나의 장치에 포함되어 구현될 수도 있다. 또는, 영상 획득부(100), 정보 보호부(102) 및 저장부(104)가 하나의 장치 내에 포함되어 구현될 수도 있다. The face masked image may be stored in the storage unit 104 . The storage unit 104 may be a cloud server connected to the information protection unit 102 by wire or wirelessly, that is, the masked image may be transmitted and stored remotely, and included in one device together with the information protection unit 102 may be implemented. Alternatively, the image acquisition unit 100, the information protection unit 102, and the storage unit 104 may be included in one device and implemented.

일 실시예에 따르면, 얼굴이 마스킹 처리된 영상이 그대로 저장부(104)에 저장될 수 있다.According to an embodiment, an image in which a face is masked may be stored in the storage unit 104 as it is.

다른 실시예에 따르면, 마스킹된 얼굴 부분만을 포함하는 별도의 영상(얼굴 영상)을 생성하고, 상기 얼굴 영상과 상기 마스킹된 영상을 저장부(104)에 저장할 수 있다. 이 때, 상기 얼굴 영상과 상기 마스킹된 영상은 추후 복원을 위하여 타임스탬프, 영상 프레임 번호 등을 통하여 서로 동기화될 수 있다. 상기 얼굴 영상과 상기 마스킹된 영상을 연계시키는 한 동기화 방법에는 제한이 없다. According to another embodiment, a separate image (face image) including only the masked face part may be generated, and the face image and the masked image may be stored in the storage unit 104 . In this case, the face image and the masked image may be synchronized with each other through timestamps, image frame numbers, etc. for later restoration. There is no limitation on a synchronization method as long as the face image and the masked image are linked.

한편, 마스킹된 영상은 필요시, 예를 들어 소송에서 심판관의 요청에 따라 복원될 수 있다. 즉, 상기 영상에서 마스킹 처리된 얼굴 부분이 원래의 영상으로 복원될 수 있다. Meanwhile, the masked image may be restored if necessary, for example, at the request of a judge in a lawsuit. That is, the face part masked from the image may be restored to the original image.

일 실시예에 따르면, 상기 얼굴 영상은 암호화키로 암호화되고, 상기 암호화키로 복원될 수 있다. According to an embodiment, the face image may be encrypted with an encryption key and restored with the encryption key.

다른 실시예에 따르면, 상기 얼굴 영상을 암호화키로 해제시키지 않고, 상기 사람의 개인 정보로 해제될 수도 있다. 예를 들어, 차량에 설치된 블랙박스로 실내가 촬영되어 상기 촬영된 영상 내에 운전자가 보이고 상기 얼굴 영상이 암호화된 경우, 운전자가 자신의 개인 정보(예를 들어, 주민등록번호 등)를 디스플레이 장치를 통하여 입력하면 별도로 암호화키를 입력하지 않더라도 상기 암호화된 얼굴 부분이 자동으로 복원될 수도 있다. According to another embodiment, the face image may be decrypted with personal information of the person without decryption with an encryption key. For example, when an interior is photographed by a black box installed in a vehicle and the driver is visible in the photographed image and the facial image is encrypted, the driver inputs his or her personal information (eg, resident registration number, etc.) through the display device. Then, the encrypted face part may be automatically restored without separately inputting an encryption key.

정리하면, 본 실시예의 영상 정보 보호 시스템은 동의를 받지 않은 촬영된 영상의 사람에 대한 정보를 보호하기 위하여 상기 영상 내의 사람의 얼굴을 마스킹 처리하고, 필요시 마스킹 처리를 해제하여 얼굴을 원래의 모습으로 복원할 수 있다. In summary, the image information protection system of this embodiment masks the face of a person in the image in order to protect information about the person in the captured image without consent, and if necessary, releases the masking process to restore the face to its original appearance can be restored to

위에서는, 사람의 얼굴을 모자이크 처리하는 것으로 언급하였으나, 얼굴이 다른 사람의 얼굴이나 가상 얼굴로 대체될 수도 있다. 이러한 대체 방법도 사람의 얼굴을 안보이게 한다는 견지에서 마스킹으로 통칭될 수 있다. In the above, it has been mentioned that a person's face is mosaic-processed, but the face may be replaced with another person's face or a virtual face. These alternative methods may also be collectively referred to as masking in the sense of making a person's face invisible.

다른 실시예에 따르면, 화면에서 특정 영역의 위치에서만 마스킹될 수도 있다. 예를 들어, 운전석을 제외한 다른 영역에서의 사람의 얼굴이 마스킹될 수도 있다. 상기 특정 영역은 고정된 영역일 수도 있고 사용자의 설정에 따라 가변될 수도 있다. 즉, 사용자가 특정 영역을 임의로 설정할 수도 있다. According to another embodiment, it may be masked only at a location of a specific area on the screen. For example, a person's face in an area other than the driver's seat may be masked. The specific area may be a fixed area or may be variable according to a user's setting. That is, the user may arbitrarily set a specific area.

또 다른 실시예에 따르면, 사용자가 마스킹 방법을 선택할 수 있다. 즉, 상기 사용자는 마스킹할 신체 부분을 선택할 수 있다. 예를 들어, 얼굴, 상체 등 신체 부위를 segmentation하여 사용자가 용이하게 선택할 수 있도록 할 수 있다. According to another embodiment, a user may select a masking method. That is, the user may select a body part to be masked. For example, body parts such as the face and upper body may be segmented so that the user can easily select them.

또 다른 실시예에 따르면, 마스킹 색, 방법, 강도 등이 선택 가능할 수 있다. 또한, 마스킹 색 등이 마스킹될 개체별로 다르게 설정될 수도 있다. According to another embodiment, a masking color, method, strength, and the like may be selectable. Also, a masking color or the like may be set differently for each object to be masked.

또 다른 실시예에 따르면, 특정 개체를 트랙킹해서 마스킹할 수도 있다. According to another embodiment, a specific object may be tracked and masked.

또 다른 실시예에 따르면, 촬영 각도에 따라 복호를 위한 암호화키 또는 인증 과정이 달라질 수 있다. 이는 정면에서 촬영시 얼굴이 정확히 보여지지만 다른 각도에서는 얼굴이 정확하게 보여지지 않을 수 있기 때문이다. 예를 들어, 촬영 각도가 정면일 경우에는 다단계 인증을 거쳐 복호가 가능하도록 하거나 긴 길이의 암호화키가 사용될 수 있고, 촬영 각도가 45도 이하에서는 한 종류의 패스워드 또는 짧은 키 길이의 암호화키로 복호가 가능할 수 있다. According to another embodiment, an encryption key for decryption or an authentication process may vary according to a photographing angle. This is because the face may be accurately shown when shooting from the front, but the face may not be accurately shown from other angles. For example, when the shooting angle is frontal, decryption can be performed through multi-factor authentication or a long encryption key can be used. When the shooting angle is 45 degrees or less, decryption is performed with one type of password or short key length encryption key. It could be possible.

또한, 촬영 각도에 따라 암호화키 또는 인증 과정도 사용자에 의해 임의로 설정 가능하도록 설계될 수도 있다. Also, an encryption key or an authentication process may be designed to be arbitrarily set by a user according to a photographing angle.

이하, 영상 정보 보호 과정을 구체적으로 살펴보겠다. Hereinafter, the image information protection process will be described in detail.

도 2 및 도 3에 도시된 바와 같이, 영상 획득부(100)를 통하여 영상(300)을 획득할 수 있다(S200). 상기 획득된 영상은 디스플레이부(미도시)를 통하여 실시간 디스플레이될 수 있다. As shown in FIGS. 2 and 3 , an image 300 may be acquired through the image acquisition unit 100 (S200). The obtained image may be displayed in real time through a display unit (not shown).

이어서, 정보 보호부(102)는 도 3의 좌측에 보여지는 바와 같이 상기 획득된 영상(300)에서 사람, 특히 얼굴을 인식하고, 도 3의 우측에 보여지는 바와 같이 상기 인식된 얼굴을 마스킹 처리하며(S202), 마스킹된 영상(302) 또는 마스킹된 얼굴만을 포함하고 있는 얼굴 영상(304)을 암호화한 후 저장부(104)에 저장할 수 있다(S204). Subsequently, the information protection unit 102 recognizes a person, particularly a face, in the acquired image 300 as shown on the left side of FIG. 3, and masks the recognized face as shown on the right side of FIG. (S202), the masked image 302 or the face image 304 including only the masked face may be encrypted and stored in the storage unit 104 (S204).

이 때, 디스플레이 화면에 얼굴이 마스킹된 상태로 영상(302)이 디스플레이될 수도 있고, 마스킹없이 영상(300)이 그대로 디스플레이되고 얼굴 영상(304) 또는 마스킹된 영상(302)이 암호화된 후 히든 파일로 저장될 수도 있다. At this time, the image 302 may be displayed on the display screen with the face masked, or the image 300 may be displayed as it is without masking, and the face image 304 or the masked image 302 may be encrypted and then hidden files may be saved as

일 실시예에 따르면, 얼굴 영상(304)이 암화화된 후 저장부(104)에 저장될 수 있다. 이 때, 얼굴 영상(304)은 상기 촬영된 영상 또는 마스킹된 영상(302)과 동기화될 수 있다. According to an embodiment, the face image 304 may be encrypted and then stored in the storage unit 104 . At this time, the face image 304 may be synchronized with the captured image or the masked image 302 .

다른 실시예에 따르면, 마스킹된 영상(302)을 구성하는 영상 프레임에 마스킹 부분의 원래 영상을 저장할 수 있다. 이 때, 상기 원래 영상 또는 상기 마스킹 부분이 암호화될 수 있다. According to another embodiment, the original image of the masking portion may be stored in an image frame constituting the masked image 302 . At this time, the original image or the masking portion may be encrypted.

또 다른 실시예에 따르면, 저장 용량을 줄이기 위하여 상기 영상 프레임에 암호화키만 저장될 수 있다. 이 때, 상기 영상 프레임 자체 또는 상기 영상 프레임의 마스킹 부분이 암호화될 수 있다. 또한, 마스킹된 영상을 암호화하고, 암호화된 마스킹된 영상 내에 암호화키가 저장될 수도 있다. According to another embodiment, only an encryption key may be stored in the video frame to reduce storage capacity. In this case, the video frame itself or a masked portion of the video frame may be encrypted. Also, the masked image may be encrypted, and an encryption key may be stored in the encrypted masked image.

계속하여, 정보 보호부(102) 또는 복원부(미도시)가 필요시 암호화키로 영상을 복호하고 복호된 영상에서 마스킹을 해제하여 영상을 복원할 수 있다(S206).Subsequently, the information protection unit 102 or the restoration unit (not shown) may decrypt the video using an encryption key if necessary and release the masking from the decoded video to restore the video (S206).

일 실시예에 따르면, 정보 보호부(102) 또는 복원부는 얼굴 영상(304)을 복호하고 마스킹 해제한 후, 얼굴 영상을 마스킹된 영상(302)에 결합시켜 원본 영상을 복원할 수 있다. According to an embodiment, the information protection unit 102 or the restoration unit may decode and unmask the face image 304 and then combine the face image with the masked image 302 to restore the original image.

다른 실시예에 따르면, 촬영된 영상에 포함된 사람의 개인 정보를 입력하면 얼굴 영상(304)의 암호가 해제된 후 원본 영상이 복원될 수 있다. 이 경우에는, 상기 사람에 대한 개인정보가 미리 저장되어 있을 것이다. According to another embodiment, if personal information of a person included in a captured image is input, the face image 304 is decrypted, and then the original image may be restored. In this case, personal information about the person may be stored in advance.

또 다른 실시예에 따르면, 영상에 복수의 사람들이 포함된 경우, 다른 사람들의 정보가 입력되지 않더라도 특정인의 개인 정보가 입력되면 암호가 해제될 수도 있다. According to another embodiment, when a plurality of people are included in the image, the password may be decrypted when personal information of a specific person is input even if other people's information is not input.

또 다른 실시예에 따르면, 영상 프레임 내에 포함된 암호화키를 이용하여 마스킹된 영상을 복호시킬 수 있다. According to another embodiment, a masked image may be decrypted using an encryption key included in an image frame.

한편, 위에서는 영상 내에 한 사람이 있는 것으로 설명하였으나, 도 4에 도시된 바와 같이 영상 내에 복수의 사람들이 존재할 수 있다. 이 경우, 도 5에 도시된 바와 같이 인식된 얼굴들이 마스킹되고, 도 6에 도시된 바와 같이 마스킹된 얼굴 영상이 암호화되어 저장될 수 있다. Meanwhile, although it has been described that there is one person in the image above, a plurality of people may exist in the image as shown in FIG. 4 . In this case, as shown in FIG. 5 , the recognized faces may be masked, and as shown in FIG. 6 , the masked face image may be encrypted and stored.

이어서, 필요시, 도 7에 도시된 바와 같이 저장된 얼굴 영상이 복호화되고, 도 8에 도시된 바와 같이 복호된 얼굴 영상이 마스킹된 영상에 결합되어 원본 영상이 복원될 수 있다. Subsequently, if necessary, the stored face image is decoded as shown in FIG. 7 , and the original image may be restored by combining the decoded face image with the masked image as shown in FIG. 8 .

도 9는 본 발명의 일 실시예에 따른 정보 보호부의 구성을 도시한 블록도이다. 9 is a block diagram showing the configuration of an information protection unit according to an embodiment of the present invention.

도 9를 참조하면, 본 실시예의 정보 보호부(102)는 제어부(900), 통신부(902), 영상부(904), 마스킹부(906) 및 암호화부(908)를 포함할 수 있다. Referring to FIG. 9 , the information protection unit 102 of this embodiment may include a control unit 900, a communication unit 902, an imaging unit 904, a masking unit 906, and an encryption unit 908.

통신부(902)는 영상 획득부(100) 또는 저장부(104)와의 통신 연결 통로이다. The communication unit 902 is a communication connection path with the image acquisition unit 100 or the storage unit 104 .

영상부(904)는 영상 획득부(100)로부터 영상을 제공받고, 상기 제공받은 영상에서 얼굴을 인식하며, 마스킹된 영상 또는 마스킹된 얼굴 영상을 저장부(104)로 제공할 수 있다. 즉, 영상부(904)는 다양한 영상을 관리하는 역할을 수행한다. The image unit 904 may receive an image from the image acquisition unit 100, recognize a face in the received image, and provide a masked image or masked face image to the storage unit 104. That is, the imaging unit 904 serves to manage various images.

마스킹부(906)는 영상 내의 사람의 얼굴을 마스킹할 수 있다.The masking unit 906 may mask a person's face in the image.

암호화부(908)는 마스킹된 영상 또는 마스킹된 얼굴 영상을 암호화할 수 있다. The encryption unit 908 may encrypt a masked image or a masked face image.

제어부(900)는 정보 보호부(102)의 구성요소들의 동작을 전반적으로 제어할 수 있다. The control unit 900 may control overall operations of components of the information protection unit 102 .

한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.On the other hand, the components of the above-described embodiment can be easily grasped from a process point of view. That is, each component can be identified as each process. In addition, the process of the above-described embodiment can be easily grasped from the viewpoint of components of the device.

또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, the technical contents described above may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiments or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler. A hardware device may be configured to act as one or more software modules to perform the operations of the embodiments and vice versa.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다. The embodiments of the present invention described above have been disclosed for illustrative purposes, and those skilled in the art having ordinary knowledge of the present invention will be able to make various modifications, changes, and additions within the spirit and scope of the present invention, and such modifications, changes, and additions will be considered to fall within the scope of the following claims.

100 : 영상 획득부 102 : 정보 보호부
104 : 저장부100: image acquisition unit 102: information protection unit
104: storage unit

Claims (12)

영상 획득부에 의해 획득된 영상 내의 개체를 인식하고, 상기 인식된 개체의 특정 부분을 마스킹 처리하는 정보 보호부를 포함하며,
상기 정보 보호부는,
상기 개체의 특정 부분을 인식하는 영상부;
상기 인식된 특정 부분을 마스킹 처리하는 마스킹부; 및
상기 마스킹된 영상 또는 상기 마스킹된 특정 부분의 영상을 암호화하는 암호화부를 포함하되,
상기 특정 부분은 상기 개체를 식별할 수 있는 정보에 해당하며, 상기 개체의 권리권자의 동의없이 상기 영상이 촬영된 것을 특징으로 하는 영상 정보 보호 시스템.An information protection unit recognizing an object in the image obtained by the image acquisition unit and masking a specific part of the recognized object;
The information protection department,
an image unit recognizing a specific part of the object;
a masking unit for masking the recognized specific portion; and
An encryption unit for encrypting the masked image or the masked image of the specific portion,
The video information protection system, characterized in that the specific part corresponds to information capable of identifying the entity, and the image was captured without the consent of the right holder of the entity. 제1항에 있어서, 상기 개체는 사람이고, 상기 특정 부분은 신체 부분이며, 상기 신체 부분이 마스킹 처리된 영상과 마스킹된 신체 부분 영상이 별도로 저장되되,
상기 마스킹된 신체 부분 영상이 암호화되며, 상기 신체 부분이 마스킹 처리된 영상과 상기 마스킹된 신체 부분 영상이 동기화되는 것을 특징으로 하는 영상 정보 보호 시스템. The method of claim 1, wherein the object is a person, the specific part is a body part, and an image of the body part masked and an image of the masked body part are separately stored,
The image information protection system according to claim 1 , wherein the masked body part image is encrypted, and the masked body part image and the masked body part image are synchronized. 제1항에 있어서, 상기 마스킹된 영상의 영상 프레임 내에 마스킹 처리된 원본 영상이 저장되며, 복호되지 않으면 상기 마스킹된 영상이 보여지는 것을 특징으로 하는 영상 정보 보호 시스템. The video information protection system according to claim 1, wherein the masked original video is stored in an image frame of the masked video, and the masked video is displayed if it is not decoded. 제1항에 있어서, 상기 마스킹된 영상의 영상 프레임 내에 복호를 위한 암호화키가 저장되거나 암호화된 마스킹된 영상 내에 암호화키가 저장되는 것을 특징으로 하는 영상 정보 보호 시스템. The image information protection system according to claim 1, wherein an encryption key for decoding is stored in an image frame of the masked image or an encryption key is stored in an encrypted masked image. 제1항에 있어서, 상기 마스킹이 실시간으로 이루어지되,
마스킹되지 않은 영상이 디스플레이 화면을 통하여 실시간으로 보여지며, 상기 마스킹된 영상 또는 상기 마스킹된 특정 부분의 영상이 저장되는 것을 특징으로 하는 영상 정보 보호 시스템. The method of claim 1, wherein the masking is performed in real time,
An image information protection system characterized in that an unmasked image is displayed in real time through a display screen, and the masked image or the image of the specific masked part is stored. 제1항에 있어서,
상기 마스킹된 특정 부분의 영상을 복호시키고, 상기 복호된 영상을 상기 마스킹된 영상에 결합시켜 상기 영상을 복원시키는 복원부를 더 포함하는 것을 특징으로 하는 영상 정보 보호 시스템. According to claim 1,
and a restoring unit that decodes the image of the specific masked portion and restores the image by combining the decoded image with the masked image. 제6항에 있어서, 상기 복원부는 상기 개체로서 사람의 개인 정보가 입력되면 상기 영상에서 상기 개인 정보가 입력된 사람을 복호시키는 것을 특징으로 하는 영상 정보 보호 시스템. 7. The image information protection system according to claim 6, wherein the restoration unit decodes the person whose personal information is input from the image when personal information of a person is input as the entity. 제7항에 있어서, 복수의 사람들의 얼굴이 마스킹된 경우, 상기 복원부는 상기 사람들 중 특정인의 개인 정보가 입력되면 모든 사람의 얼굴을 복원시키는 것을 특징으로 하는 영상 정보 보호 시스템. 8. The image information protection system according to claim 7, wherein, when the faces of a plurality of people are masked, the restoring unit restores the faces of all people when personal information of a specific person among the people is input. 제1항에 있어서, 상기 마스킹은 화면에서 특정 영역의 위치에서만 상기 개체의 특정 부분이 마스킹되며, 상기 특정 영역은 사용자에 의해 임의 선택이 가능한 것을 특징으로 하는 영상 정보 보호 시스템. The image information protection system according to claim 1, wherein a specific part of the object is masked only at a location of a specific region on the screen, and the specific region can be arbitrarily selected by a user. 제1항에 있어서, 마스킹 색, 방법 또는 강도가 사용자에 의해 선택 가능한 것을 특징으로 하는 영상 정보 보호 시스템. The video information protection system according to claim 1, wherein a masking color, method or strength is selectable by a user. 제1항에 있어서, 상기 암호화된 마스킹된 영상 또는 상기 암호화된 마스킹된 특정 부분의 영상을 복호할 때 복호를 위한 암호화키 또는 인증은 상기 영상부의 촬영 각도 또는 상기 영상 내의 개체가 촬영된 각도에 따라 달라지는 것을 특징으로 하는 영상 정보 보호 시스템. The method of claim 1, wherein when the encrypted masked image or the image of the specific encrypted masked portion is decrypted, an encryption key or authentication for decryption is performed according to a photographing angle of the image unit or an angle at which an object in the image is photographed. A video information protection system characterized in that it varies. 촬영된 영상에서 개체의 특정 부분을 마스킹하는 단계;
상기 마스킹된 특정 부분을 별도의 영상으로 생성하는 단계;
상기 생성된 별도의 영상을 암호화하는 단계;
상기 암호화된 별도의 영상을 복호하여 특정 부분을 복원하는 단계; 및
상기 복원된 특정 부분을 상기 마스킹된 영상에 결합시켜 원본 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 정보 보호 방법.



Masking a specific part of the object in the captured image;
generating a separate image of the masked specific portion;
Encrypting the generated separate image;
restoring a specific part by decoding the separate encrypted image; and
and restoring an original image by combining the restored specific part with the masked image.
KR1020210077084A 2021-06-15 2021-06-15 System and method of protecting image information KR102509624B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210077084A KR102509624B1 (en) 2021-06-15 2021-06-15 System and method of protecting image information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210077084A KR102509624B1 (en) 2021-06-15 2021-06-15 System and method of protecting image information

Publications (2)

Publication Number Publication Date
KR20220167854A true KR20220167854A (en) 2022-12-22
KR102509624B1 KR102509624B1 (en) 2023-03-14

Family

ID=84578481

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210077084A KR102509624B1 (en) 2021-06-15 2021-06-15 System and method of protecting image information

Country Status (1)

Country Link
KR (1) KR102509624B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190120663A (en) * 2018-04-16 2019-10-24 주식회사 아이에이 Image receiving device, image reconstructing method thereof, method for image masking and reconstructing of image system
KR102138835B1 (en) 2018-08-06 2020-07-28 주식회사 엘지유플러스 Apparatus and method for providing information exposure protecting image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190120663A (en) * 2018-04-16 2019-10-24 주식회사 아이에이 Image receiving device, image reconstructing method thereof, method for image masking and reconstructing of image system
KR102138835B1 (en) 2018-08-06 2020-07-28 주식회사 엘지유플러스 Apparatus and method for providing information exposure protecting image

Also Published As

Publication number Publication date
KR102509624B1 (en) 2023-03-14

Similar Documents

Publication Publication Date Title
US9330272B2 (en) Head-mounted display apparatus with enhanced security and method for accessing encrypted information by the apparatus
US20150104103A1 (en) Surveillance camera that respects privacy
KR102066778B1 (en) Image processing system comprising image transmitter and image receiver based on internet of things, and image processing method using the same
JP6910772B2 (en) Imaging device, control method and program of imaging device
JPWO2009013822A1 (en) Video surveillance device and video surveillance program
KR102053945B1 (en) Method for controlling surveillance camera
WO2017026356A1 (en) Image processing device, image restoring device, image processing method, and image restoring method
KR101951605B1 (en) Cctv image security system to prevent image leakage
KR102100582B1 (en) Privacy masking method using format preserving encryption in image security system, RECORDING MEDIUM FOR PERFORMING THE METHOD
JP2023111974A (en) Image masking device and image masking method
KR20150021280A (en) Image processor apparatus and the method
CA3184510A1 (en) Image distribution using composite re-encrypted images
KR102509624B1 (en) System and method of protecting image information
JP4112509B2 (en) Image encryption system and image encryption method
KR20170090319A (en) Apparatus for processing picture intended for information protection, method thereof and computer recordable medium storing the method
CN113038089B (en) Intelligent identification dynamic self-decoding processing method and device, electronic equipment and storage medium
KR101746168B1 (en) Apparatus for processing image of vehicle black box, method thereof and computer recordable medium storing the method
JP5718757B2 (en) Image management apparatus, image management program, and image management method
KR102016844B1 (en) Crop supportingauthenticationmethod, decryption method and apparatus thereof
KR102101557B1 (en) Image authentication method and apparatus based on object detection
US20230216672A1 (en) Storage apparatus, storage method, and computer-readable storage medium
KR102530463B1 (en) Image security device and method using pedestrian face detection information
KR20180059104A (en) Method and apparatus for protecting image at 3d contents service
KR102142919B1 (en) Method for controlling surveillance camera
JP2022053339A (en) Storage apparatus, storage method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant