KR101648188B1

KR101648188B1 - Apparatus for processing picture adapted to protect privacy for individual object, method thereof and computer recordable medium storing the method

Info

Publication number: KR101648188B1
Application number: KR1020150022555A
Authority: KR
Inventors: 윤은준; 박윤하
Original assignee: 경일대학교산학협력단; 주식회사우경정보기술
Priority date: 2015-02-13
Filing date: 2015-02-13
Publication date: 2016-08-16

Abstract

The purpose of the present invention is to provide image processing apparatus and method to individually protect privacy of objects when the objects which are necessary to be protected in an image and a computer readable recording medium to record the method. The present invention relates to image processing apparatus and method to protect individual object privacy, and a computer readable recording medium to record the method. The image processing apparatus comprises: a camera module; and a control module to extract a plurality of object areas including privacy information from an image received from the camera module, to determine a plurality of protection areas in each of the object areas, and to individually conceal each location information of the individually processed protection areas in the image after individually processing the protection areas not to identify the privacy information provided for the object areas to protect the privacy.

Description

BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus for protecting individual object privacy, a method for the same, and a computer readable recording medium on which the method is recorded.

본 발명은 프라이버시 보호를 위한 영상 처리 기술에 관한 것으로, 보다 상세하게는, 하나의 영상에 프라이버시 보호가 필요한 복수의 객체가 존재할 때, 복수의 객체 각각에 대해 개별적으로 프라이버시를 보호할 수 있는 영상 처리 장치 및 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing technique for privacy protection, and more particularly, to an image processing technique for protecting privacy of each of a plurality of objects when there is a plurality of objects requiring privacy protection in one image And a computer-readable recording medium on which the method is recorded.

최근 치안 문제는 국내뿐만 아니라 세계적으로 관심이 집중되면서, 보안 시스템은 지역과 사업군을 막론하고 반드시 필요한 요소로 자리 잡고 있다. 하지만, 이처럼 네트워크를 통한 영상감시 서비스의 중요성이 증가하고 영상감시 시스템이 적용되는 지역이 늘어남에 따라 영상감시 시스템의 보안에 대한 관심도 높아지고 있다. 영상감시 시스템이 IP 환경으로 진화됨에 따라 인터넷에서 문제가 되던 해킹기술을 그대로 사용할 수 있어 보안기능의 중요성이 부각되었으며 특히, 불특정 다수를 대상으로 영상을 수집하는 과정에서 발생할 수 있는 사생활 침해문제는 다른 IT 시스템에 비해 더욱 심각한 문제로 지적되고 있다. 특히, 국내의 CCTV의 사회적인 인식도 자료에 따르면 CCTV 설치로 인한 30% ~ 40% 정도 범죄율 감소 효과는 있으나 합법적/불법적 CCTV에 의한 무분별한 영상 감시로 인해 사생활 침해 및 인권 침해 등의 개인 프라이버시 침해가 또 다른 사회적 문제로 대두되고 있다. Recently, as security issues have become more focused not only in Korea but also in the world, security systems are becoming a necessity for both regions and business groups. However, as the importance of the video surveillance service through the network increases and the area where the video surveillance system is applied is increasing, interest in the security of the video surveillance system is also increasing. As the video surveillance system evolves into the IP environment, the importance of the security function has been emphasized because the hacking technology which was a problem on the internet can be used as it is. Especially, the problem of privacy invasion that may occur in the process of collecting images for an unspecified number It is pointed out as a more serious problem than IT system. In particular, according to the social awareness data of CCTV in Korea, although the crime rate is reduced by 30% ~ 40% due to the installation of CCTV, illegal video surveillance by illegal / illegal CCTV causes infringement of privacy and infringement of personal privacy It is emerging as a social problem.

한국공개특허 제2006-0098815호 2006년 09월 19일 공개 (명칭: 감시카메라 및 감시카메라의 프라이버시 보호방법)Korean Patent Laid-Open No. 2006-0098815 September 19, 2006 (Name: Protection Method of Surveillance Camera and Surveillance Camera)

본 발명의 목적은 하나의 영상에 프라이버시 보호가 필요한 복수의 객체가 존재할 때, 복수의 객체 각각에 대해 개별적으로 프라이버시를 보호할 수 있도록 하는 영상 처리 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다. An object of the present invention is to provide an image processing apparatus capable of individually protecting privacy for each of a plurality of objects when a plurality of objects requiring privacy protection exist in one image, a method therefor, and a computer readable recording method And to provide a recording medium that can be used.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 영상 처리 장치는 카메라 모듈; 및 상기 카메라 모듈로부터 수신되는 영상에서 프라이버시 정보가 포함된 복수의 객체 영역을 도출하고, 상기 복수의 객체 영역 각각에서 적어도 일부를 복수의 보호 영역으로 지정하며, 프라이버시 보호를 위해 상기 복수의 객체 영역에서 제공하는 프라이버시 정보를 식별할 수 없도록 상기 복수의 보호 영역을 개별적으로 가공한 후, 상기 개별적으로 가공된 복수의 보호 영역 각각의 위치 정보를 개별적으로 상기 영상에 은닉하는 제어 모듈;을 포함한다. According to an aspect of the present invention, there is provided an image processing apparatus comprising: a camera module; And a plurality of object regions including privacy information from an image received from the camera module, designating at least a part of each of the plurality of object regions as a plurality of protection regions, and, in order to protect privacy, And a control module for separately processing the plurality of protection areas so as not to be able to identify the provided privacy information and then separately hiding the position information of each of the individually processed plurality of protection areas on the image.

본 발명의 실시예에 따른 제어 모듈은 상기 영상을 상기 복수의 객체의 수에 따라 복수의 은닉 영역으로 구분하고, 상기 구분된 복수의 은닉 영역 각각의 히스토그램의 최대값의 빈도수에 따라 상기 복수의 은닉 영역 각각의 은닉 가능한 데이터의 양을 도출하며, 상기 복수의 은닉 영역 각각의 은닉 가능한 데이터의 양을 만족하도록 상기 복수의 객체 영역 각각에서 적어도 일부를 복수의 보호 영역으로 지정하는 것을 특징으로 한다. The control module according to an embodiment of the present invention divides the image into a plurality of hidden areas according to the number of the plurality of objects and controls the plurality of hidden areas according to the frequency of the maximum value of the histogram of each of the divided hidden areas Wherein at least a part of each of the plurality of object areas is designated as a plurality of protection areas so as to satisfy the amount of data that can be concealed in each of the plurality of concealment areas.

본 발명의 실시예에 따른 제어 모듈은 상기 복수의 보호 영역 각각을 서로 다른 스크램블링 규칙에 따라 스크램블링을 통해 가공하며, 상기 복수의 보호 영역의 위치 정보를 상기 복수의 은닉 영역 각각의 히스토그램의 최대값 위치에 은닉하는 것을 특징으로 한다. The control module according to an embodiment of the present invention processes each of the plurality of protection areas through scrambling according to different scrambling rules and outputs position information of the plurality of protection areas to a maximum value position of a histogram of each of the plurality of hidden areas As shown in Fig.

본 발명의 실시예에 따른 제어 모듈은 상기 복수의 보호 영역 중 어느 하나에 대한 보호 해제를 요청 받고, 상기 복수의 은닉 영역의 히스토그램의 최대값과 최소값 위치 중 상기 요청에 해당하는 하나를 이용하여 상기 복수의 보호 영역 중 대응하는 보호 영역의 위치 정보를 추출하며, 상기 추출된 보호 영역의 위치 정보에 상응하는 영역을 디스크램블링하는 것을 특징으로 한다. The control module according to an exemplary embodiment of the present invention may be configured to receive a request to unprotect any one of the plurality of protection areas and to determine whether to cancel the protection by using one of a maximum value and a minimum value position of the histogram of the plurality of hidden areas, Extracting position information of a corresponding one of the plurality of protection areas, and descrambling an area corresponding to the extracted position information of the protection area.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 영상 처리 방법은 입력된 영상에서 프라이버시 정보가 포함된 복수의 객체 영역을 도출하는 단계; 상기 복수의 객체 영역 각각에서 적어도 일부를 복수의 보호 영역으로 지정하는 단계; 프라이버시 보호를 위해 상기 복수의 객체 영역에서 제공하는 프라이버시 정보를 식별할 수 없도록 상기 복수의 보호 영역을 개별적으로 가공하는 단계; 및 상기 개별적으로 가공된 복수의 보호 영역 각각의 위치 정보를 개별적으로 상기 영상에 은닉하는 단계;를 포함한다. According to an aspect of the present invention, there is provided an image processing method including: extracting a plurality of object regions including privacy information from an input image; Designating at least a part of each of the plurality of object areas as a plurality of protection areas; Processing the plurality of protection areas individually so that privacy information provided by the plurality of object areas can not be identified for privacy protection; And separately hiding location information of each of the individually processed plurality of protection areas in the image.

상기 지정하는 단계는 상기 영상을 상기 복수의 객체의 수에 따라 복수의 은닉 영역으로 구분하는 단계; 상기 구분된 복수의 은닉 영역 각각의 히스토그램의 최대값의 빈도수에 따라 상기 복수의 은닉 영역 각각의 은닉 가능한 데이터의 양을 도출하는 단계; 및 상기 복수의 은닉 영역 각각의 은닉 가능한 데이터의 양을 만족하도록 상기 복수의 객체 영역 각각에서 적어도 일부를 복수의 보호 영역으로 지정하는 단계;를 포함한다. Wherein the designating step comprises: dividing the image into a plurality of hidden areas according to the number of the plurality of objects; Deriving the amount of data that can be concealed in each of the plurality of hidden areas according to the frequency of the maximum value of the histogram of each of the plurality of classified hidden areas; And designating at least a part of each of the plurality of object areas as a plurality of protection areas so as to satisfy an amount of data that can be concealed in each of the plurality of concealed areas.

상기 가공하는 단계는 상기 복수의 보호 영역 각각을 서로 다른 스크램블링 규칙에 따라 스크램블링을 통해 가공하는 것을 특징으로 하며, 상기 은닉하는 단계는 상기 복수의 보호 영역의 위치 정보를 상기 복수의 은닉 영역 각각의 히스토그램의 최대값 위치에 은닉하는 것을 특징으로 한다. Wherein the processing step comprises processing each of the plurality of protection areas through scrambling according to different scrambling rules, wherein the step of hiding comprises the step of obtaining position information of the plurality of protection areas by using a histogram In a maximum value position of the maximum value.

본 발명의 실시예에 따른 영상 처리 방법은 상기 복수의 보호 영역 중 어느 하나에 대한 보호 해제를 요청 받는 단계; 상기 복수의 은닉 영역의 히스토그램의 최대값과 최소값 위치 중 상기 요청에 해당하는 하나를 이용하여 상기 복수의 보호 영역 중 대응하는 보호 영역의 위치 정보를 추출하는 단계; 및 상기 추출된 보호 영역의 위치 정보에 상응하는 영역을 디스크램블링하는 단계;를 더 포함한다. A method of processing an image according to an exemplary embodiment of the present invention includes: receiving a protection release request for any one of the plurality of protection areas; Extracting position information of a corresponding one of the plurality of protection areas using one of a maximum value and a minimum value position of the histogram of the plurality of the hidden areas, the one corresponding to the request; And descrambling an area corresponding to the extracted position information of the protection area.

또한, 전술한 본 발명의 바람직한 실시예에 따른 영상 처리 방법이 기록된 컴퓨터 판독 가능한 기록매체를 제공한다. The present invention also provides a computer-readable recording medium on which the above-described image processing method according to the preferred embodiment of the present invention is recorded.

상술한 바와 같은 본 발명에 따르면, 복수의 객체에 대해 개별적으로 프라이버시 보호를 적용할 수 있다. 따라서 하나의 영상에서 선택적으로 프라이버시 보호를 적용하거나 해제할 수 있다. 또한, 영상에서 프라이버시 정보가 포함된 영역을 가공하여 유효한 권한이 없는 사용자로부터 프라이버시를 보호할 수 있다. 특히, 히스토그램 이동 기법에 따라 복원에 필요한 정보를 영상 내에 은닉하기 때문에 보안 레벨이 높으며, 영상에 은닉할 수 있는 데이터의 양에 따라 보호 영역을 증감하여 설정할 수 있기 때문에, 은닉할 수 있는 데이터의 양이 적은 경우이더라도 효율적으로 보호되어야 하는 프라이버시 정보를 은닉할 수 있다. According to the present invention as described above, privacy protection can be separately applied to a plurality of objects. Therefore, the privacy protection can be selectively applied or released from one image. In addition, it is possible to protect privacy from a user who does not have a valid authority by processing an area including privacy information in the image. In particular, since the information required for restoration is concealed in the image according to the histogram moving technique, the security level is high, and the protection area can be increased or decreased according to the amount of data that can be concealed in the image. It is possible to conceal the privacy information that needs to be efficiently protected even if there is a small amount of information.

도 1은 본 발명의 실시예에 따른 영상 처리 장치가 적용된 CCTV 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 영상 처리 장치가 적용된 차량용 블랙박스 시스템을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 영상 처리 장치를 설명하기 위한 블록도이다.
도 4a 내지 도 4g는 본 발명의 실시예에 따른 프라이버시 보호를 위한 영상 처리 방법을 설명하기 위한 화면 예이다.
도 5는 본 발명의 실시예에 따른 프라이버시 보호를 위한 영상 처리 방법을 설명하기 위한 흐름도이다.
도 6a 및 도 6b는 본 발명의 실시예에 따른 프라이버시 보호를 위한 영상 처리 방법을 설명하기 위한 화면 예이다.
또한, 도 7은 본 발명의 실시예에 따른 프라이버시 보호를 위한 영상 처리 방법을 설명하기 위한 흐름도이다. 1 is a view for explaining a CCTV system to which an image processing apparatus according to an embodiment of the present invention is applied.
2 is a view for explaining a black box system for a vehicle to which an image processing apparatus according to an embodiment of the present invention is applied.
3 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention.
4A to 4G are views illustrating an image processing method for privacy protection according to an exemplary embodiment of the present invention.
5 is a flowchart illustrating an image processing method for privacy protection according to an embodiment of the present invention.
6A and 6B are views illustrating an image processing method for privacy protection according to an embodiment of the present invention.
7 is a flowchart illustrating an image processing method for privacy protection according to an embodiment of the present invention.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, the terms or words used in the present specification and claims should not be construed as limited to ordinary or preliminary meaning, and the inventor may designate his own invention in the best way It should be construed in accordance with the technical idea of the present invention based on the principle that it can be appropriately defined as a concept of a term to describe it. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention, and are not intended to represent all of the technical ideas of the present invention. Therefore, various equivalents It should be understood that water and variations may be present.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Note that, in the drawings, the same components are denoted by the same reference symbols as possible. Further, the detailed description of known functions and configurations that may obscure the gist of the present invention will be omitted. For the same reason, some of the elements in the accompanying drawings are exaggerated, omitted, or schematically shown, and the size of each element does not entirely reflect the actual size.

본 발명의 실시예에 따른 영상 처리 장치는 다양한 시스템에 적용될 수 있다. 이와 같이, 영상 처리 장치가 적용되는 다양한 시스템의 예에 대해서 설명하기로 한다. 먼저, 본 발명의 실시예에 따른 영상 처리 장치가 적용된 CCTV 시스템을 설명한다. 도 1은 본 발명의 실시예에 따른 영상 처리 장치가 적용된 CCTV 시스템을 설명하기 위한 도면이다. The image processing apparatus according to the embodiment of the present invention can be applied to various systems. An example of various systems to which the image processing apparatus is applied will be described. First, a CCTV system to which an image processing apparatus according to an embodiment of the present invention is applied will be described. 1 is a view for explaining a CCTV system to which an image processing apparatus according to an embodiment of the present invention is applied.

도 1에 보인 바와 같이, CCTV 시스템은 기본적으로, 복수의 카메라 모듈(200)과, 이러한 복수의 카메라 모듈(200)을 제어하고 관리하기 위한 서비스 서버(300)를 포함한다. 카메라 모듈(200)이 촬영한 영상은 서비스 서버(300)에 제공된다. 사용자 장치(500)는 서비스 서버(300)에 네트워크를 통해 접속하여 영상을 수신하고, 수신된 영상을 사용자 장치(500)에 표시할 수 있다. As shown in FIG. 1, the CCTV system basically includes a plurality of camera modules 200 and a service server 300 for controlling and managing the plurality of camera modules 200. The image taken by the camera module 200 is provided to the service server 300. The user device 500 may connect to the service server 300 through a network to receive an image and display the received image on the user device 500.

여기서, 사용자 장치(500)는 예컨대, 스마트폰, 태블릿 장치, 패블릿 장치, PDA, 노트북, PC 등이 될 수 있다. 사용자 장치(500)는 이동통신 네트워크에 접속하여 게이트웨이(400)를 거쳐 IP 네트워크를 통해 서비스 서버(300)와 통신할 수 있다. 혹은 사용자 장치(500)는 직접 IP 네트워크에 접속하여 IP 네트워크를 통해 서비스 서버(300)와 통신할 수 있다. 도시된 바와 같이, 본 발명의 일 실시예에 따르면, 영상 처리 장치(100)는 서비스 서버(300) 및 사용자 장치(500)에 포함될 수 있다. 서비스 서버(300)에 포함된 영상 처리 장치(100)는 카메라 모듈(200)이 촬영한 영상을 수신하면, 수신된 영상을 가공하여 프라이버시를 보호한다. 이에 따라, 유효한 권한을 가지지 않은 사용자가 해당 영상의 원본을 열람할 수 없도록 한다. 또한, 사용자 장치(500)에 포함된 영상 처리 장치(100)는 유효한 사용자가 영상의 원본을 요청할 때, 가공된 영상을 영상의 원본으로 복원한다. 이에 따라, 유효한 권한을 가진 사용자가 해당 영상의 원본을 열람할 수 있도록 한다. Here, the user device 500 may be, for example, a smart phone, a tablet device, a pellet device, a PDA, a notebook PC, and the like. The user device 500 can access the mobile communication network and communicate with the service server 300 through the IP network via the gateway 400. [ Or the user device 500 can directly access the IP network and communicate with the service server 300 via the IP network. As illustrated, the image processing apparatus 100 may be included in the service server 300 and the user apparatus 500, according to an embodiment of the present invention. The image processing apparatus 100 included in the service server 300 receives the image captured by the camera module 200, and protects the privacy by processing the received image. Accordingly, a user who does not have a valid authority can not browse the original image. In addition, the image processing apparatus 100 included in the user apparatus 500 restores the processed image to the original image when a valid user requests the original image. Accordingly, a user having a valid authority can browse the original image.

다음으로, 본 발명의 실시예에 따른 영상 처리 장치가 적용된 차량용 블랙박스 시스템을 설명한다. 도 2는 본 발명의 실시예에 따른 영상 처리 장치가 적용된 차량용 블랙박스 시스템을 설명하기 위한 도면이다. Next, a vehicle black box system to which an image processing apparatus according to an embodiment of the present invention is applied will be described. 2 is a view for explaining a black box system for a vehicle to which an image processing apparatus according to an embodiment of the present invention is applied.

도 2에 보인 바와 같이, 블랙박스(600)는 카메라 모듈(200) 및 영상 처리 장치(100)를 포함한다. 도시된 바와 같이, 본 발명의 다른 실시예에 따르면, 영상 처리 장치(100)는 블랙박스(600)에 포함될 수 있다. 블랙박스(600)에 포함된 영상 처리 장치(100)는 카메라 모듈(200)이 촬영한 영상을 수신하면, 수신된 영상을 가공하여 프라이버시를 보호한다. 이에 따라, 유효한 권한을 가지지 않은 사용자가 해당 영상의 원본을 열람할 수 없도록 한다. 또한, 블랙박스(600)에 포함된 영상 처리 장치(100)는 유효한 사용자가 영상의 원본을 요청할 때, 가공된 영상을 영상의 원본으로 복원한다. 이에 따라, 유효한 권한을 가진 사용자가 해당 영상의 원본을 열람할 수 있도록 한다. As shown in FIG. 2, the black box 600 includes a camera module 200 and an image processing apparatus 100. As shown in the figure, according to another embodiment of the present invention, the image processing apparatus 100 may be included in the black box 600. The image processing apparatus 100 included in the black box 600 receives the image captured by the camera module 200, and protects the privacy by processing the received image. Accordingly, a user who does not have a valid authority can not browse the original image. Also, the image processing apparatus 100 included in the black box 600 restores the processed image to the original image when an effective user requests the original image. Accordingly, a user having a valid authority can browse the original image.

전술한 바와 같이, 본 발명의 실시예에 따른 영상 처리 장치는 CCTV 시스템, 차량용 블랙박스 시스템 등에 적용될 수 있다. 도 1 및 2에서 설명된 CCTV 시스템 및 차량용 블랙박스 시스템은 본 발명의 실시예에 따른 영상 처리 장치가 적용되는 대표적인 예이며, 그 밖에도 프라이버시 정보를 포함하는 영상을 다루는 다양한 시스템, 장치, 모듈 등에 본 발명의 실시예에 따른 영상 처리 장치가 적용될 수 있을 것이다. As described above, the image processing apparatus according to the embodiment of the present invention can be applied to a CCTV system, a vehicle black box system, and the like. The CCTV system and the vehicle black box system described in FIGS. 1 and 2 are typical examples in which the image processing apparatus according to the embodiment of the present invention is applied. In addition, various systems, devices, modules, and the like for handling images including privacy information An image processing apparatus according to an embodiment of the present invention may be applied.

그러면, 보다 상세하게 본 발명의 실시예에 따른 영상 처리 장치(100)에 대해서 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 영상 처리 장치를 설명하기 위한 블록도이다. The image processing apparatus 100 according to the embodiment of the present invention will now be described in more detail. 3 is a block diagram illustrating an image processing apparatus according to an embodiment of the present invention.

도 3을 참조하면, 영상 처리 장치(100)는 기본적으로, 제어 모듈(110) 및 저장 모듈(120)을 포함한다. 그 밖에 영상 처리 장치(100)는 입력 모듈(130) 및 표시 모듈(140)을 더 포함할 수 있다. 카메라 모듈(200)은 그 구현의 태양에 따라 선택적으로 영상 처리 장치(100)와 같은 장치에 포함되거나, 다른 장치에 구현될 수 있다. Referring to FIG. 3, the image processing apparatus 100 basically includes a control module 110 and a storage module 120. In addition, the image processing apparatus 100 may further include an input module 130 and a display module 140. The camera module 200 may be included in an apparatus such as the image processing apparatus 100, or may be implemented in another apparatus, according to aspects of the embodiments.

영상 처리 장치(100)는 기본적으로 카메라 모듈(200)로부터 카메라 모듈(200)이 촬영한 영상을 수신하여, 이를 가공한다. 카메라 모듈(200)은 영상을 촬영하기 위한 것이다. 이러한 카메라 모듈(200)은 렌즈, 액추에이터, 필터, 이미지센서 및 이미지 프로세서(ISP, Image Signal Processor)로 구성될 수 있다. 또한, 카메라 모듈(200)은 자동초점(AF, Auto Focus) 및/또는 떨림 보정(OIS, Optical Image Stabilization) 드라이버 등을 통해 액추에이터를 제어하여 자동초점(AF) 및/또는 떨림 보정(OIS)을 수행할 수 있다. 카메라 모듈(200)의 촬영 범위 내의 영상을 촬영하여 본 발명의 실시예에 따른 영상 처리 장치(100)에 제공한다. 이러한 카메라 모듈(200)은 도 1에서 설명된 CCTV 시스템에서와 같이, 영상 처리 장치(100)와 네트워크를 통해 연결되거나, 도 2에 설명된 차량용 블랙박스 시스템에서와 같이, 영상 처리 장치(100)와 하나의 장치에 구현될 수 있다. The image processing apparatus 100 basically receives an image captured by the camera module 200 from the camera module 200, and processes the image. The camera module 200 is for capturing an image. The camera module 200 may include a lens, an actuator, a filter, an image sensor, and an image processor (ISP). In addition, the camera module 200 controls the actuator through an AF (Auto Focus) and / or an OIS (Optical Image Stabilization) driver to perform automatic focus (AF) and / or shake correction Can be performed. And captures an image within the shooting range of the camera module 200 and provides the image to the image processing apparatus 100 according to the embodiment of the present invention. 1, the camera module 200 may be connected to the image processing apparatus 100 via a network, or may be connected to the image processing apparatus 100 as in the vehicle black box system described in FIG. And one device.

제어 모듈(110)은 영상 처리 장치(100)의 전반적인 동작 및 영상 처리 장치(100)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(190)는 중앙 처리 장치(Central Processing Unit : CPU), 어플리케이션 프로세서(Application Processor), GPU(Graphic Processing Unit) 등이 될 수 있다. The control module 110 may control the overall operation of the image processing apparatus 100 and the signal flow between the internal blocks of the image processing apparatus 100 and may perform a data processing function of processing the data. The controller 190 may be a central processing unit (CPU), an application processor, a GPU (Graphic Processing Unit), or the like.

제어 모듈(110)은 본 발명의 실시예에 따라 카메라 모듈(200)로부터 입력되는 영상에서 복수의 객체 각각의 적어도 일부를 개별적으로 가공하여 복수의 객체 각각에 대해 프라이버시 정보를 유효한 권한을 가지지 않은 사용자가 인식할 수 없도록 한다. 또한, 제어 모듈(110)은 복수의 객체 각각에 대해 유효한 인증을 얻은 사용자가 프라이버시 정보를 인식할 수 있도록 가공된 영상에서 복수의 객체 각각에 대해 원본으로 복원할 수 있다. 이러한 제어 모듈(110)의 동작은 아래에서 더 상세하게 설명될 것이다. The control module 110 processes at least a part of each of a plurality of objects individually from an image input from the camera module 200 according to an embodiment of the present invention to transmit privacy information to each of a plurality of objects, So that it can not be recognized. In addition, the control module 110 may restore an original for each of a plurality of objects in the processed image so that a user who has obtained valid authentication for each of the plurality of objects can recognize the privacy information. The operation of this control module 110 will be described in more detail below.

저장 모듈(120)은 영상 처리 장치(100)의 동작에 필요한 각 종 데이터, 영상 처리 장치(100)의 동작에 따라 발생된 각 종 데이터를 저장하는 역할을 수행한다. 예컨대, 이러한 데이터는 영상 처리 장치(100)가 가공한 영상 및 가공한 영상을 복원하기 위해 필요한 정보 등을 포함할 수 있다. 저장 모듈(120)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다. The storage module 120 stores various kinds of data required for the operation of the image processing apparatus 100 and various kinds of data generated according to the operation of the image processing apparatus 100. For example, such data may include a processed image of the image processing apparatus 100 and information necessary for restoring the processed image. Each kind of data stored in the storage module 120 can be deleted, changed or added according to a user's operation.

입력 모듈(130)은 영상 처리 장치(100)의 제어 모듈(110)에 영상의 원본을 요청하거나, 영상 처리 장치(100)를 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어 모듈(110)에 전달한다. 입력 모듈(130)은 전원 on/off를 위한 전원 키, 문자 키, 숫자 키, 방향키 중 적어도 하나를 포함할 수 있다. 이러한 입력 모듈(130)은 영상 처리 장치(100)가 CCTV 시스템으로 구현되어 있는 경우, 사용자 장치(500)의 입력 장치가 될 수 있다. 혹은, 입력 모듈(130)은 영상 처리 장치(100)가 차량용 블랙박스 시스템으로 구현되어 있는 경우, 블랙박스(600)의 입력 장치가 될 수 있다. 입력 모듈(130)의 기능은 표시 모듈(140)에서 이루어질 수 있으며, 표시 모듈(140)만으로 모든 기능을 수행할 수 있는 경우, 입력 모듈(130)은 생략될 수도 있다. The input module 130 requests the control module 110 of the image processing apparatus 100 for an original image or receives a user's key operation for controlling the image processing apparatus 100 and generates an input signal, (110). The input module 130 may include at least one of a power key, a character key, a number key, and a direction key for power on / off. The input module 130 may be an input device of the user apparatus 500 when the image processing apparatus 100 is implemented as a CCTV system. Alternatively, the input module 130 may be an input device of the black box 600 when the image processing apparatus 100 is implemented as a vehicle black box system. The function of the input module 130 may be performed in the display module 140. In the case where the display module 140 alone can perform all functions, the input module 130 may be omitted.

표시 모듈(140)은 영상 처리 장치(100)의 제어 모듈(110)로부터 화면 표시를 위한 데이터를 수신하여 수신된 데이터를 화면으로 표시한다. 또한, 표시 모듈(140)은 영상 처리 장치(100)의 메뉴, 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공할 수 있다. 이러한 표시 모듈(140)은 영상 처리 장치(100)가 CCTV 시스템으로 구현되어 있는 경우, 사용자 장치(500)의 표시 장치가 될 수 있다. 혹은, 표시 모듈(140)은 영상 처리 장치(100)가 차량용 블랙박스 시스템으로 구현되어 있는 경우, 블랙박스(600)의 표시 장치가 될 수 있다. 표시 모듈(140)이 터치스크린으로 형성되는 경우, 입력 모듈(130) 기능의 일부 또는 전부를 대신 수행할 수 있다. 표시 모듈(140)은 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. The display module 140 receives data for screen display from the control module 110 of the image processing apparatus 100 and displays the received data on a screen. In addition, the display module 140 can visually provide menus, data, function setting information, and various other information of the image processing apparatus 100 to the user. The display module 140 may be a display device of the user device 500 when the image processing apparatus 100 is implemented as a CCTV system. Alternatively, the display module 140 may be a display device of the black box 600 when the image processing apparatus 100 is implemented as a vehicle black box system. When the display module 140 is formed as a touch screen, some or all of the functions of the input module 130 may be performed instead. The display module 140 may be formed of a liquid crystal display (LCD), an organic light emitting diode (OLED), an active matrix organic light emitting diode (AMOLED), or the like.

다음으로, 본 발명의 실시예에 따른 프라이버시 보호를 위한 영상 처리 방법을 설명하기로 한다. 본 발명의 실시예에 따른 프라이버시 보호를 위한 영상 처리 방법은 영상의 적어도 일부, 즉, 프라이버시 보호가 필요한 영역을 가공하여 저장한다. 이러한 가공에 따라 인증을 얻지 못한 사용자는 원본 영상을 열람할 수 없다. 반면, 인증을 통해 열람 권한을 획득한 사용자는 영상에서 프라이버시 보호가 필요한 영역을 포함하여 원본 영상을 열람할 수 있다. Next, an image processing method for privacy protection according to an embodiment of the present invention will be described. An image processing method for privacy protection according to an embodiment of the present invention processes and stores at least a part of an image, that is, an area requiring privacy protection. According to such processing, a user who has not obtained the authentication can not view the original image. On the other hand, a user who has acquired the viewing right through authentication can browse the original image including the area requiring privacy protection in the image.

그러면, 먼저, 본 발명의 실시예에 따른 프라이버시 보호를 위한 영상 처리 방법 중 프라이버시 보호를 위하여 영상에서 개별 객체를 가공하는 방법에 대해서 설명하기로 한다. 도 4a 내지 도 4g는 본 발명의 실시예에 따른 프라이버시 보호를 위한 영상 처리 방법을 설명하기 위한 화면 예이다. 도 5는 본 발명의 실시예에 따른 프라이버시 보호를 위한 영상 처리 방법을 설명하기 위한 흐름도이다. First, a method of processing individual objects in an image for privacy protection among privacy protection methods according to an exemplary embodiment of the present invention will be described. 4A to 4G are views illustrating an image processing method for privacy protection according to an exemplary embodiment of the present invention. 5 is a flowchart illustrating an image processing method for privacy protection according to an embodiment of the present invention.

도 5를 참조하면, 제어 모듈(110)은 S110 단계에서 카메라 모듈(200)로부터 영상을 입력받는다. 예컨대, 본 발명의 실시예에서 입력되는 영상은 CCTV 시스템에서 유선 혹은 무선의 네트워크를 통해 연결된 카메라 모듈(200)이 촬영한 영상이거나, 차량용 블랙박스 시스템에서 카메라 모듈(200)이 촬영한 영상이 될 수 있다. Referring to FIG. 5, the control module 110 receives an image from the camera module 200 in step S110. For example, in the embodiment of the present invention, the input image may be an image captured by the camera module 200 connected through a wired or wireless network in the CCTV system, or a video captured by the camera module 200 in the vehicle black box system .

본 발명은 입력되는 영상에서 프라이버시 보호가 필요한 복수의 객체가 존재하는 경우를 가정한다. 설명의 편의를 위하여, 프라이버시 보호가 필요한 복수의 객체는 인물의 얼굴이라고 가정한다. 특히, 본 발명은 복수의 객체에 대해 개별적으로 프라이버시 보호를 적용한다. 이를 위하여, 먼저 입력되는 영상에서 복수의 객체를 따로 식별해야 한다. 따라서 제어 모듈(110)은 S120 단계에서 입력되는 영상에서 프라이버시 보호가 필요한 복수의 객체가 위치하는 복수의 객체 영역 각각을 개별적으로 특정 한다. 본 발명의 실시예에서 프라이버시 보호가 필요한 객체가 인물의 얼굴인 경우, 제어 모듈(110)은 저장 모듈(120)은 다양한 사용자의 얼굴의 형태, 다양한 사용자의 얼굴의 색 등의 기초 데이터를 저장하며, 제어 모듈(110)은 이러한 얼굴의 형태 및 얼굴의 색에 따라 영상에서 얼굴 부분을 특정할 수 있다. 예컨대, 도 4a는 본 발명의 실시예에 따른 프라이버시 복수의 객체가 포함된 영상의 화면 예를 도시한다. 제어 모듈(110)은 도 4a와 같은 인물이 포함된 영상에서 인물의 얼굴 영역, 즉, 복수의 객체 영역(11, 12, 13, 14) 각각을 특정 한다. 이하, 복수의 객체 영역(11, 12, 13, 14)은 구분할 때 각각 제1, 제2, 제3 및 제4 객체 영역(11, 12, 13 및 14)으로 칭하기로 한다. The present invention assumes that there are a plurality of objects requiring privacy protection in an input image. For convenience of explanation, it is assumed that a plurality of objects requiring privacy protection are faces of a person. In particular, the present invention applies privacy protection to a plurality of objects individually. To this end, a plurality of objects must be separately identified in the input image. Therefore, the control module 110 individually identifies each of a plurality of object regions where a plurality of objects requiring privacy protection are located in the image input in operation S120. In the embodiment of the present invention, when the object requiring privacy protection is a face of a person, the control module 110 stores basic data such as face shapes of various users and colors of faces of various users, , The control module 110 can specify the face part in the image according to the shape of the face and the color of the face. For example, FIG. 4A shows an example of a screen of an image including a plurality of privacy objects according to an embodiment of the present invention. The control module 110 specifies a face region of a person, that is, a plurality of object regions 11, 12, 13, and 14, respectively, in an image including a person as shown in FIG. Hereinafter, the plurality of object regions 11, 12, 13, and 14 will be referred to as first, second, third, and fourth object regions 11, 12, 13, and 14, respectively.

복수의 객체 영역(11, 12, 13, 14)이 특정되면, 제어 모듈(110)은 프라이버시 보호를 위해 보호 영역을 지정하고, 지정된 보호 영역을 가공한 후, 그 가공된 보호 영역을 복원하기 위한 정보를 히스토그램 이동(histogram shifting) 기법을 이용하여 영상(도 4a)에 은닉할 것이다. 히스토그램 이동 기법은 은닉하고자 하는 데이터를 은닉하는 영상(도 4a)에서 픽셀 빈도수를 나타내는 히스토그램의 최대값(peak point) 및 최소값(zero point) 위치를 찾고, 그 최대값 및 최소값의 위치에 은닉하고자 하는 데이터를 삽입한다. 하지만, 이러한 히스토그램 이동 기법은 은닉하고자 하는 데이터의 양이 최대값의 빈도수에 한정된다. 한편, 본 발명에서 프라이버시 정보는 시각적인 정보이며, 시각적인 정보는 이미지의 크기에 비례하여 정보의 양이 증가한다. 프라이버시 정보가 존재하는 영역, 즉, 보호 영역을 가공하여 타인이 식별할 수 없도록 하며, 가공된 영역(보호 영역)의 위치 정보를 원본 영상에 은닉할 것이다. 이때, 이러한 위치 정보는 보호 영역의 픽셀 좌표 값이며, 이러한 위치 정보 또한 보호 영역의 크기에 비례하여 증가한다. 따라서 보호 영역이 증가할수록 은닉하고자 하는 데이터(위치 정보) 또한 증가한다. 하지만, 앞서 설명된 바와 같이 은닉 가능한 데이터의 양은 한정되어 있다. 따라서 은닉 가능한 데이터의 양에 따라 객체 영역 중 일부만을 보호 영역으로 지정해야 할 수 있다. 더욱이, 본 발명은 복수의 객체(11, 12, 13, 14)에 대해 개별적으로 프라이버시 보호를 제공해야 한다. When a plurality of object areas 11, 12, 13, and 14 are specified, the control module 110 designates a protection area for protection of privacy, processes a designated protection area, The information will be concealed in the image (Figure 4a) using a histogram shifting technique. The histogram moving method finds a peak point and a zero point position of a histogram representing a pixel frequency in an image hiding the data to be concealed (FIG. 4A), and attempts to conceal the position of the maximum value and the minimum value Insert the data. However, in this histogram moving technique, the amount of data to be concealed is limited to the maximum frequency. Meanwhile, in the present invention, the privacy information is visual information, and the amount of visual information increases in proportion to the size of the image. The area where the privacy information is present, that is, the protection area, is processed so that it can not be recognized by others, and the positional information of the processed area (protection area) will be concealed in the original image. At this time, the position information is the pixel coordinate value of the protection area, and the position information also increases in proportion to the size of the protection area. Therefore, as the protection area increases, the data (location information) to be concealed also increases. However, as described above, the amount of data that can be hidden is limited. Therefore, only a part of the object area may be designated as a protection area according to the amount of data that can be hidden. Moreover, the present invention should provide privacy protection for a plurality of objects 11, 12, 13, 14 separately.

따라서 제어 모듈(110)은 S130 단계에서 영상에서 복수의 객체 영역(11, 12, 13, 14)을 제외한 영역을 복수의 객체 영역(11, 12, 13, 14)의 수에 따라 복수의 은닉 영역으로 구분한다. 이러한 화면 예를 도 4b에 도시하였다. 도시된 바와 같이, 복수의 객체 영역(11, 12, 13, 14)의 수에 맞춰 4개의 은닉 영역(A, B, C, D)로 구분한다. 그런 다음, 제어 모듈(110)은 S140 단계에서 복수의 은닉 영역(A, B, C, D) 각각의 히스토그램의 최대값의 빈도수에 따라 복수의 은닉 영역(A, B, C, D) 각각의 은닉 가능한 데이터의 양을 구한다. 복수의 은닉 영역(A, B, C, D)은 구분할 때 각각 제1, 제2, 제3 및 제4 은닉 영역(A, B, C 및 D)로 칭하기로 한다. Accordingly, in step S130, the control module 110 determines whether the area excluding the plurality of object areas 11, 12, 13, and 14 is divided into a plurality of hidden areas 11, 12, 13, . An example of such a screen is shown in FIG. 4B. As shown in the figure, the four hidden areas A, B, C, and D are classified according to the number of the object areas 11, 12, 13, and 14. Then, in step S140, the control module 110 determines whether or not each of the plurality of hidden areas A, B, C, and D corresponds to the frequency of the maximum value of the histogram of each of the plurality of hidden areas A, The amount of data that can be concealed is obtained. The first, second, third and fourth hidden areas A, B, C and D are referred to as a first, second, third and fourth hidden areas A, B, C and D, respectively.

이어서, 제어 모듈(110)은 S150 단계에서 복수의 은닉 영역(A, B, C, D) 각각의 은닉 가능한 데이터의 양을 만족하도록 복수의 객체 영역(11, 12, 13, 14) 각각에서 적어도 일부를 복수의 보호 영역(21, 22, 23, 24)으로 지정한다. 복수의 보호 영역(21, 22, 23, 24)은 구분할 때 각각 제1, 제2, 제3 및 제4 보호 영역(21, 22, 23 및 24)로 칭하기로 한다. 이러한 화면 예를 도 4c에 도시하였다. 즉, 도시된 바와 같이, 제1 은닉 영역(A)의 은닉 가능한 데이터의 양을 만족하도록 제1 객체 영역(11) 중 적어도 일부를 제1 보호 영역(21)으로 지정하며, 제2 은닉 영역(B)의 은닉 가능한 데이터의 양을 만족하도록 제2 객체 영역(12) 중 적어도 일부를 제1 보호 영역(21, 22, 23, 24)으로 지정한다. 또한, 제3 은닉 영역(C)의 은닉 가능한 데이터의 양을 만족하도록 제3 객체 영역(13) 중 적어도 일부를 제1 보호 영역(23)으로 지정한다. 그리고 제4 은닉 영역(D)의 은닉 가능한 데이터의 양을 만족하도록 제4 객체 영역(14) 중 적어도 일부를 제4 보호 영역(24)으로 지정한다. Then, in step S150, the control module 110 determines whether or not at least one of the plurality of object areas 11, 12, 13, and 14 is present in at least one of the plurality of hidden areas A, B, C, And a part thereof is designated as a plurality of protection areas (21, 22, 23, 24). The plurality of protection areas 21, 22, 23, and 24 will be referred to as first, second, third, and fourth protection areas 21, 22, 23, and 24, respectively. An example of such a screen is shown in Fig. 4C. That is, as shown, at least a part of the first object area 11 is designated as the first protection area 21 so as to satisfy the amount of data that can be concealed in the first hidden area A, (21, 22, 23, 24) at least a part of the second object area (12) so as to satisfy the amount of data that can be hidden. Further, at least a part of the third object area 13 is designated as the first protection area 23 so as to satisfy the amount of data that can be concealed in the third hidden area C. And designates at least a part of the fourth object area 14 as the fourth protection area 24 so as to satisfy the amount of data that can be confined in the fourth hidden area D. [

보다 상세히, 본 발명의 일 실시예에 따른 보호 영역 지정 방법을 설명하기로 한다. 도 4e 및 도 4f는 본 발명의 일 실시예에 따른 보호 영역 지정 방법을 설명하기 위한 화면 예이다. 도 4e 및 도 4f는 제2 객체 영역(12)을 예로 들어 설명한다. In more detail, a method of designating a protection area according to an embodiment of the present invention will be described. 4E and 4F are diagrams illustrating a method of designating a protection area according to an embodiment of the present invention. 4E and 4F illustrate the second object area 12 as an example.

도 4e에 도시된 바와 같이, 제어 모듈(110)은 얼굴 영역인 제2 객체 영역(12)에서 기본 보호 영역을 지정하고, 도 4f에 도시된 바와 같이, 앞서(S150) 도출된 제2 은닉 영역(B)의 은닉 가능한 데이터의 양을 만족하는 한도에서 기본 보호 영역을 증가시켜 제2 보호 영역(22)으로 지정할 수 있다. 4E, the control module 110 designates a basic protection area in the second object area 12, which is the face area, and, as shown in FIG. 4F, It is possible to increase the basic protection area and designate it as the second protection area 22 so long as the amount of data that can be hidden is satisfied.

기본 보호 영역은 프라이버시 정보가 타인에게 노출되지 않도록 보호되어야 하는 최소한의 영역이다. 도 4e에 보인 바와 같이, 기본 보호 영역은 얼굴 중 두 눈을 모두 가리는 영역(X)이 될 수 있다. 프라이버시 보호가 필요한 객체가 얼굴인 경우에 있어서, 프라이버시 정보는 외모를 타인과 구분 짖는 눈, 코, 입, 귀 등이 될 수 있다. 얼굴에서 프라이버시 정보 중 코, 입, 귀 등을 가리는 것에 비해 눈을 가릴 경우 해당 인물의 신원, 즉, 프라이버시 정보를 가장 효과적으로 감출 수 있다. 따라서 본 발명의 일 실시예에 따르면, 두 눈을 모두 가리는 영역(X)을 기본 보호 영역으로 설정할 수 있다. 즉, 기본 보호 영역은 프라이버시 정보를 보호하기 위한 최소 단위라고 할 수 있다. 이와 같이, 기본 보호 영역만을 가린다면, 프라이버시 보호를 위한 신원 노출은 어느 정도 방지할 수 있다. 그럼에도 불구하고, 제2 객체 영역(12)에서 더 많은 영역을 가릴수록 신원 확인이 더 어렵기 때문에 앞서(S150) 도출된 제2 은닉 영역(B)의 은닉 가능한 데이터의 양을 만족하는 한도에서 기본 보호 영역으로부터 그 영역을 선형적으로 증가시켜 제2 보호 영역(22)으로 지정한다. 즉, 제어 모듈(110)은 도 4e에 보인 바와 같이 두 눈을 모두 가리는 영역(X)을 기본 보호 영역으로 하되, 도 4f에 보인 바와 같이 제2 은닉 영역(B)의 은닉 가능한 데이터의 양을 만족하는 선에서 확장된 영역(Y)을 제2 보호 영역(22)으로 지정할 수 있다. The default protection zone is the minimum area that privacy information should be protected from exposure to others. As shown in FIG. 4E, the basic protection area may be an area X covering both eyes of the face. When the object requiring privacy protection is a face, the privacy information may be an eye, a nose, a mouth, an ear, or the like which distinguishes the appearance from the other person. In contrast to covering the nose, mouth, ears, etc. of the privacy information on the face, the identity of the person, that is, the privacy information, can be most effectively masked when the user is blindfolded. Therefore, according to the embodiment of the present invention, the area X covering both eyes can be set as the basic protection area. That is, the basic protection area is the minimum unit for protecting privacy information. In this way, if only the basic protection area is covered, identity exposure for privacy protection can be prevented to some extent. Nevertheless, since identification is more difficult as more areas are covered in the second object area 12, in order to satisfy the amount of confidential data of the derived second hidden area B (S150) The area is linearly increased from the protection area to be designated as the second protection area 22. That is, the control module 110 sets the area X covering both eyes as a basic protection area as shown in FIG. 4E, and the amount of data that can be stored in the second hidden area B as shown in FIG. The extended area Y can be designated as the second protection area 22 in the line satisfying the condition.

일 실시예에 따르면, 보호 영역은 기본 보호 영역으로부터 은닉 가능한 데이터의 양을 만족시키는 한도에서 그 영역을 확장시켜 지정되었다. 이러한 실시예에 대한 대안으로 객체 영역을 프라이버시 정보를 가지는 복수의 영역을 구분하고, 도출된 은닉 가능한 데이터의 양에 따라 구분된 영역 중 일부를 보호 영역으로 지정하는 방법에 대해서 설명하기로 한다. 도 4g는 본 발명의 다른 실시예에 따른 보호 영역을 지정하는 방법을 설명하기 위한 화면 예이다. 도 4g의 보호 영역 지정 방법은 제3 객체 영역(13)을 예로 들어 설명한다. According to one embodiment, the protection area has been specified by extending the area to the extent that it satisfies the amount of data that can be hidden from the basic protection area. As an alternative to this embodiment, a method of dividing a plurality of regions having an object region into privacy information and designating a part of the divided regions according to the derived amount of concealable data as a protection region will be described. FIG. 4G is an example of a screen for explaining a method of designating a protection area according to another embodiment of the present invention. The protection area designation method of FIG. 4G will be described by taking the third object area 13 as an example.

본 발명의 다른 실시예에 따르면, 보호 영역을 지정하기 위해, 제어 모듈(110)은 제3 객체 영역(13)을 프라이버시 정보를 가지는 복수의 영역(L, M, N)으로 구분한다. 예컨대, 얼굴에서 프라이버시 정보를 제공하는 영역은 눈, 코, 입, 등이 될 수 있다. 이에 따라, 제어 모듈(110)은 도 4g에 보인 바와 같이, 제3 객체 영역(13)으로부터 눈 영역(L), 코 영역(M) 및 입 영역(N)으로 구분하여 특정할 수 있다. 그리고 제어 모듈(110)은 제3 은닉 영역(C)의 은닉 가능한 데이터의 양을 을 만족하도록 특정된 영역 중 일부 영역(L, M, N)을 보호 영역으로 지정할 수 있다. According to another embodiment of the present invention, in order to designate a protection area, the control module 110 divides the third object area 13 into a plurality of areas L, M, N having privacy information. For example, the area for providing privacy information on the face may be eyes, nose, mouth, and the like. Accordingly, the control module 110 can distinguish the eye area L, the nose area M, and the mouth area N from the third object area 13 as shown in FIG. 4G. The control module 110 may designate some of the areas L, M, and N as protection areas to satisfy the amount of data that can be stored in the third hidden area C.

특히, 제어 모듈(110)은 구분된 영역의 프라이버시 정보의 중요도에 따라 우선순위를 부여하며, 그 우선순위에 따라 보호 영역을 지정할 수 있다. 즉, 제어 모듈(110)은 미리 결정된 우선순위에 따라 제3 은닉 영역(C)의 은닉 가능한 데이터의 양에 맞춰 우선순위가 높은 순으로 보호 영역으로 지정할 수 있다. 예컨대, 도 4g에 보인 바와 같이, 제3 객체 영역(13)에서 프라이버시 정보를 제공하는 영역으로 구분된 영역은 눈 영역(L), 코 영역(M), 및 입 영역(N)이 될 수 있다. 우선순위는 눈 영역(L), 입 영역(N) 및 코 영역(M) 순서라고 가정한다. 따라서 제어 모듈(110)은 우선순위에 따라 눈 영역(L), 입 영역(N) 및 코 영역(M) 각각의 위치 정보의 데이터의 양을 구하고, 제3 은닉 영역(C)의 은닉 가능한 데이터의 양에 맞춰 제3 보호 영역을 지정한다. 예컨대, 은닉 가능한 데이터의 양이 눈 영역(L) 및 입 영역(N)의 위치 정보를 은닉할 수 있는 양이지만, 눈 영역(L), 입 영역(N) 및 코 영역(M) 모두의 위치 정보를 은닉하기에는 부족하다고 가정하자. 그러면, 제어 모듈(110)은 우선순위에 따라, 눈 영역(L) 및 입 영역(N)만을 제3 보호 영역(23)으로 지정한다. In particular, the control module 110 assigns priorities according to the importance of the privacy information of the divided areas, and can designate the protection areas according to the priorities. That is, the control module 110 may designate the protection area in the descending order of priority according to the amount of data that can be stored in the third hidden area C according to a predetermined priority order. For example, as shown in FIG. 4G, the area divided into the areas for providing the privacy information in the third object area 13 may be the eye area L, the nose area M, and the mouth area N . It is assumed that the order of priority is the eye area L, the mouth area N, and the nose area M. Therefore, the control module 110 calculates the amount of data of the position information of each of the eye region L, the input region N and the nose region M according to the priority order, The third protection area is designated in accordance with the amount of the second protection area. For example, although the amount of data that can be concealed is an amount capable of hiding the positional information of the eye area L and the mouth area N, the position of both the eye area L, the mouth area N and the nose area M Suppose that it is not enough to conceal information. Then, the control module 110 designates only the eye area L and the input area N as the third protection area 23 according to the priority order.

복수의 보호 영역(21, 22, 23, 24)이 지정되면, 제어 모듈(110)은 복수의 보호 영역(21, 22, 23, 24)을 개별적으로 가공한다. 이러한 가공은 스크램블링을 이용하는 것이 바람직하다. 제어 모듈(110)은 S160 단계에서 복수의 보호 영역(21, 22, 23, 24) 각각에 대해 서로 다른 스크램블링 규칙을 적용하여, 복수의 보호 영역(21, 22, 23, 24) 각각을 개별적으로 스크램블링할 수 있다. 여기서, 스크램블링은 영상의 모든 영역을 스크램블링하는 것이 아니라, 복수의 보호 영역(21, 22, 23, 24) 각각에 보호 영역으로 지정된 영역만을 개별적으로 스크램블링한다. 즉, 도 4d에 도시된 바와 같이, 제어 모듈(110)은 제1 보호 영역(21)에 대해 제1 스크램블링 규칙을 적용하여 제1 보호 영역(21)만을 따로 스크램블링하고, 제2 보호 영역(22)에 대해 제2 스크램블링 규칙을 적용하여 제2 보호 영역(22)만을 따로 스크램블링한다. 또한, 제어 모듈(110)은 제3 보호 영역(23)에 대해 제3 스크램블링 규칙을 적용하여 제3 보호 영역(23)만을 따로 스크램블링하며, 제4 보호 영역(24)에 대해 제4 스크램블링 규칙을 적용하여 제4 보호 영역(24)만을 따로 스크램블링한다. When a plurality of protection areas 21, 22, 23 and 24 are designated, the control module 110 processes the plurality of protection areas 21, 22, 23 and 24 individually. It is preferable that such processing uses scrambling. The control module 110 applies a different scrambling rule to each of the plurality of protection areas 21, 22, 23 and 24 in step S160 so that the plurality of protection areas 21, 22, 23, Scrambling can be performed. Here, the scrambling does not scramble all the areas of the image but scrambles only the areas designated as the protection areas in each of the plurality of protection areas 21, 22, 23, and 24 individually. That is, as shown in FIG. 4D, the control module 110 scrambles only the first protection area 21 separately by applying the first scrambling rule to the first protection area 21, and the second protection area 22 The second scrambling rule is applied to each of the second protection areas 22 separately. The control module 110 scrambles only the third protection area 23 separately by applying the third scrambling rule to the third protection area 23 and scrambles the fourth scrambling rule for the fourth protection area 24 So that only the fourth protection area 24 is scrambled separately.

스크램블링이 완료되면, 제어 모듈(110)은 S170 단계에서 개별적으로 가공된(스크램블링된) 복수의 보호 영역(21, 22, 23, 24) 각각의 위치 정보를 개별적으로 영상에 은닉한다. 즉, 제어 모듈(110)은 복수의 보호 영역(21, 22, 23, 24) 각각의 위치 정보를 복수의 은닉 영역(A, B, C, D) 각각의 히스토그램의 최대값 위치에 은닉한다. 다시 말해서, 제어 모듈(110)은 제1 보호 영역(21)의 위치 정보를 제1 은닉 영역(A)의 히스토그램의 최대값 위치에 은닉하고, 제2 보호 영역(22)의 위치 정보를 제2 은닉 영역(B)의 히스토그램의 최대값 위치에 은닉하며, 제3 보호 영역(23)의 위치 정보를 제3 은닉 영역(C)의 히스토그램의 최대값 위치에 은닉하고, 제4 보호 영역(24)의 위치 정보를 제4 은닉 영역(D)의 히스토그램의 최대값 위치에 은닉한다. When the scrambling is completed, the control module 110 separately hides the positional information of each of the plurality of individually processed (scrambled) protection areas 21, 22, 23, and 24 in the image in step S170. That is, the control module 110 stores the positional information of each of the plurality of protection areas 21, 22, 23, 24 at the maximum value position of the histogram of each of the plurality of hidden areas A, B, C, In other words, the control module 110 hides the position information of the first protection area 21 at the maximum value position of the histogram of the first concealment area A and stores the position information of the second protection area 22 at the second value The position information of the third protection area 23 is concealed at the maximum value position of the histogram of the third concealment area C and the fourth protection area 24 is hidden at the maximum value position of the histogram of the concealment area B, Is hidden at the maximum value position of the histogram of the fourth hidden area (D).

본 발명의 실시예에 따르면 스크램블링은 객체 영역의 보호 영역만을 대상으로 스크램블링한다. 따라서 스크램블링된 위치 정보를 알 수 없다면, 스크램블링된 알고리즘을 알고 디스크램블링하는 경우에도 원본을 복원할 수 없다. 따라서 스크램블링된 영역에 대한 위치 정보는 디스크램블링시 반드시 필요한 정보이다. According to the embodiment of the present invention, the scrambling scrambles only the protection area of the object area. Therefore, if the scrambled position information is not known, the original can not be restored even if descrambling is performed by knowing the scrambled algorithm. Therefore, the position information on the scrambled area is necessary information for descrambling.

S170 단계대해 제1 보호 영역(21)에 대해서만 상세하게 설명하면, 제어 모듈(110)은 제1 은닉 영역(A)의 히스토그램에서 최대값과 최소값의 위치를 찾는다. 여기서, 히스토그램은 픽셀 빈도수를 나타낸다. 그런 다음, 제어 모듈(110)은 제1 보호 영역(21)에 대한 위치 정보를 이진수로 표현한다. 이어서, 제어 모듈(110)은 제1 은닉 영역(A)의 히스토그램에서 최대값과 최소값 사이의 픽셀들은 최소값 방향으로 한 픽셀씩 이동시킨다. 그런 다음, 제어 모듈(110)은 제1 보호 영역(21)에 대한 위치 정보를 표현하는 이진수의 각 자리의 수가 1이면 최대값 픽셀을 한 픽셀 이동시키고, 0이면 최대값 픽셀을 그대로 유지하는 방식으로 제1 보호 영역(21)에 대한 위치 정보를 도 4d에 보인바와 같은 영상의 제1 은닉 영역(A)에 은닉한다. 나머지, 제2 내지 제4 보호 영역(22, 23, 24)에 대해서도 제어 모듈(110)은 제1 보호 영역과 마찬가지 방식으로 제2 내지 제4 보호 영역(22, 23, 24)의 위치 정보 각각을 대응하는 제2 내지 제4 은닉 영역(B, C, D)에 은닉한다. In step S170, the control module 110 finds the position of the maximum value and the minimum value in the histogram of the first hidden area A. Here, the histogram represents the pixel frequency. Then, the control module 110 expresses the positional information about the first protection area 21 in binary numbers. Then, the control module 110 shifts the pixels between the maximum value and the minimum value in the histogram of the first hidden area A by one pixel in the minimum value direction. Then, the control module 110 shifts the maximum value pixel by one pixel if the number of each digit of the binary number representing the position information for the first protection area 21 is 1, The positional information on the first protection area 21 is concealed in the first hidden area A of the image as shown in FIG. 4D. The control module 110 also detects the position information of the second to fourth protection areas 22, 23 and 24 in the same manner as the first protection area for the remaining second to fourth protection areas 22, To the corresponding second to fourth hidden areas B, C, and D, respectively.

전술한 바와 같이, 이어서, 제어 모듈(110)은 S180 단계에서 복수의 은닉 영역(A, B, C, D)을 가지는 영상과 복수의 은닉 영역(A, B, C, D) 각각의 히스토그램에서 최대값과 최소값 위치를 매핑하여 저장 모듈(120)에 저장한다. 이때, 제어 모듈(110)은 제1 은닉 영역(A)의 히스토그램에서 최대값과 최소값 위치, 제2 은닉 영역(B)의 히스토그램에서 최대값과 최소값 위치, 제3 은닉 영역(C)의 히스토그램에서 최대값과 최소값 위치 및 제4 은닉 영역(D)의 히스토그램에서 최대값과 최소값 위치를 구분하여 저장한다. As described above, in step S180, the control module 110 determines whether the image having the plurality of hidden areas A, B, C, and D and the histograms of the plurality of hidden areas A, B, C, The maximum value and the minimum value are mapped and stored in the storage module 120. At this time, the control module 110 sets the maximum value and the minimum value position in the histogram of the first hidden area A, the maximum value and the minimum value position in the histogram of the second hidden area B, and the maximum value and the minimum value in the histogram of the third hidden area C, The maximum value and the minimum value position and the maximum value and the minimum value position in the histogram of the fourth hidden area D are stored separately.

한편, 전술한 도 7에 개시된 실시예는 4개의 객체 영역을 구분하여 프라이버시 보호를 위한 영상 처리 절차를 수행하는 것에 대해 설명하였다. 하지만, 본 발명이 이에 한정되는 것은 아니며, 4개의 객체 영역을 한꺼번에 가공하지 않고, 4개의 객체 영역 중 선택된 것만을 따로 가공하여 프라이버시 보호를 위한 영상 처리 절차를 수행할 수 있다. 즉, 복수의 객체 영역을 구분한 후, 복수의 객체 영역의 수에 따라 영상을 복수의 은닉 영역으로 구분하고, 복수의 객체 영역 중 어느 하나가 선택되면, 선택된 객체 영역에 대응하는 은닉 영역의 은닉 가능한 데이터 양을 산출하고, 산출된 데이터 양에 따라 선택된 객체 영역에서 보호 영역을 지정하고, 지정된 보호 영역을 스크램블링 한 후, 지정된 보호 영역의 위치 정보를 해당 은닉 영역에 은닉할 수 있다. Meanwhile, the embodiment shown in FIG. 7 described above performs the image processing procedure for privacy protection by dividing four object regions. However, the present invention is not limited to this, and the image processing procedure for privacy protection can be performed by separately processing only the selected one of the four object areas without processing the four object areas at once. That is, after dividing a plurality of object regions, the image is divided into a plurality of hidden regions according to the number of the plurality of object regions, and when any one of the plurality of object regions is selected, It is possible to calculate a possible amount of data, designate a protection area in the selected object area according to the calculated amount of data, scramble the designated protection area, and hide the position information of the designated protection area in the corresponding hidden area.

다음으로, 본 발명의 실시예에 따른 프라이버시 보호를 위한 영상 처리 방법 중 프라이버시 보호를 위하여 가공된 영상을 복원하는 방법에 대해서 설명하기로 한다. 도 6a 및 도 6b는 본 발명의 실시예에 따른 프라이버시 보호를 위한 영상 처리 방법을 설명하기 위한 화면 예이다. 또한, 도 7은 본 발명의 실시예에 따른 프라이버시 보호를 위한 영상 처리 방법을 설명하기 위한 흐름도이다. Next, a method of restoring a processed image for privacy protection among the image processing methods for privacy protection according to an embodiment of the present invention will be described. 6A and 6B are views illustrating an image processing method for privacy protection according to an embodiment of the present invention. 7 is a flowchart illustrating an image processing method for privacy protection according to an embodiment of the present invention.

도 7을 참조하면, 영상 처리 장치(100)의 제어 모듈(110)은 S210 단계에서 앞서 도 5에서 설명된 방법에 따라 프라이버시 보호가 적용된 영상을 표시 모듈(140)을 통해 표시한 상태라고 가정한다. 이러한 영상은 도 6a에 도시된 바와 같다. 도 6a에 도시된 영상은 도 4d에 도시된 영상과 동일하며 복수의 보호 영역(21, 22, 23, 24) 각각이 스크램블링된 상태이다. Referring to FIG. 7, the control module 110 of the image processing apparatus 100 assumes that the image with privacy protection is displayed through the display module 140 according to the method described above with reference to FIG. 5 in step S210 . This image is as shown in FIG. 6A. The image shown in FIG. 6A is the same as the image shown in FIG. 4D, and a plurality of protection areas 21, 22, 23, and 24 are scrambled.

사용자는 복수의 보호 영역(21, 22, 23, 24) 중 적어도 하나를 선택하여 원본으로 복원을 요청할 수 있다. 예컨대, 사용자는 복수의 보호 영역(21, 22, 23, 24) 중 제2 보호 영역(22)에 대한 복원을 요청하였다고 가정한다. 제어 모듈(110)은 S220 단계에서 입력 모듈(130)을 통해 복수의 보호 영역(21, 22, 23, 24) 중 적어도 하나에 대한 보호 해제 요청을 입력 받는다. The user can select at least one of the plurality of protection areas 21, 22, 23, and 24 to request restoration to the original. For example, it is assumed that the user requests restoration of the second protection area 22 among the plurality of protection areas 21, 22, 23, 24. The control module 110 receives a protection release request for at least one of the plurality of protection areas 21, 22, 23 and 24 through the input module 130 in step S220.

요청을 입력 받으면, 영상을 복원하는 절차 이전에, 유효한 사용자를 검증하기 위하여, S230 단계에서 인증 절차가 수행된다. 여기서, 인증은 시스템에 따라 다양한 절차에 따라 이루어질 수 있다. 대표적인 예로 계정을 가진 사용자의 아이디 및 패스워드를 입력하고, 이를 인증하는 방식이 있다. 이러한 인증 절차에 대한 상세한 설명은 요지를 명확하게 하기 위하여 생략한다. Upon receipt of the request, the authentication procedure is performed in step S230 in order to verify a valid user before the procedure of restoring the image. Here, authentication may be performed according to various procedures depending on the system. As a representative example, there is a method of inputting an ID and a password of a user having an account and authenticating the same. A detailed description of this authentication procedure is omitted for clarity.

인증 절차에 따라 인증에 성공하였다고 가정한다. 그러면, 영상 처리 장치(100)는 유효한 권한을 획득할 수 있다. 이에 따라, 제어 모듈(110)은 S240 단계에서 영상을 복원하는 데에 필요한 정보를 획득할 수 있다. 이러한 정보는, 복수의 은닉 영역(A, B, C, D)의 히스토그램의 최대값과 최소값 위치 중 상기 요청에 해당하는 하나가 된다. 즉, 사용자가 제2 보호 영역(22)에 대한 복원을 요청하였기 때문에 제2 은닉 영역(B)의 히스토그램에서 최대값과 최소값 위치이다. It is assumed that the authentication is successful according to the authentication procedure. Then, the image processing apparatus 100 can obtain a valid authority. Accordingly, the control module 110 may acquire information necessary for restoring the image in step S240. This information becomes one of the maximum value and the minimum value position of the histogram of the plurality of hidden areas A, B, C and D corresponding to the request. That is, since the user has requested restoration for the second protection area 22, it is the maximum value and the minimum value position in the histogram of the second hidden area B.

일 예로, CCTV 시스템의 경우, 서비스 서버(300)에 포함된 영상 처리 장치(100)는 저장 모듈(120)에 영상과 그 영상에서 복수의 은닉 영역(A, B, C, D) 각각의 히스토그램에서 최대값과 최소값 위치를 저장할 수 있다. 영상 처리 장치(100)를 포함하는 사용자 장치(500)가 서비스 서버(300)에 대해 인증을 획득하면, 서비스 서버(300)에 포함된 영상 처리 장치(100)는 영상에서 제2 은닉 영역(B)의 히스토그램에서 최대값과 최소값 위치를 사용자 장치(500)에 전송할 수 있다. 이에 따라, 사용자 장치(500)에 포함된 영상 처리 장치(100)의 제어 모듈(110)은 제2 은닉 영역(B)의 히스토그램에서 최대값과 최소값 위치를 얻을 수 있다. 다른 예로, 차량용 블랙박스 시스템의 경우, 블랙박스(600)에 포함된 영상 처리 장치(100)는 저장 모듈(120)에 영상과 그 영상에서 복수의 은닉 영역(A, B, C, D) 각각의 히스토그램에서 최대값과 최소값 위치를 저장할 수 있다. 블랙박스(600)의 사용자가 블랙박스(600)에 대해 인증을 획득하면, 블랙박스(600)에 포함된 영상 처리 장치(100)는 저장 모듈(120)에 저장된 제2 은닉 영역(B)의 히스토그램에서 최대값과 최소값 위치를 제어 모듈(110)에 로드할 수 있다. 이에 따라, 제어 모듈(110)은 제2 은닉 영역(B)의 히스토그램에서 최대값과 최소값 위치를 얻을 수 있다. For example, in the case of a CCTV system, the image processing apparatus 100 included in the service server 300 transmits the image and the histogram of each of the plurality of hidden areas A, B, C, and D to the storage module 120, The maximum value and the minimum value position can be stored. When the user apparatus 500 including the image processing apparatus 100 acquires the authentication for the service server 300, the image processing apparatus 100 included in the service server 300 extracts the second hidden area B To the user device 500. The maximum value and minimum value position may be transmitted to the user device 500 in the histogram of the user. Accordingly, the control module 110 of the image processing apparatus 100 included in the user device 500 can obtain the maximum value and the minimum value position in the histogram of the second hidden area B. As another example, in the case of a vehicle black box system, the image processing apparatus 100 included in the black box 600 may store images in the storage module 120 and a plurality of hidden areas A, B, C, and D The maximum value and the minimum value position can be stored in the histogram of FIG. When the user of the black box 600 acquires the authentication for the black box 600, the image processing apparatus 100 included in the black box 600 acquires the authentication information of the second hidden area B stored in the storage module 120 The maximum value and the minimum value position can be loaded into the control module 110 in the histogram. Accordingly, the control module 110 can obtain the maximum value and the minimum value position in the histogram of the second hidden area B.

다음으로, 제어 모듈(110)은 S250 단계에서 복수의 은닉 영역(A, B, C, D)의 히스토그램의 최대값과 최소값 위치 중 입력받은 요청에 해당하는 하나를 이용하여 복수의 보호 영역(21, 22, 23, 24) 중 대응하는 보호 영역의 위치 정보를 추출한다. 즉, 제어 모듈(110)은 제2 은닉 영역(B)의 히스토그램에서 최대값과 최소값 위치를 이용하여 제2 보호 영역(22)의 위치 정보를 추출한다. 즉, 제어 모듈(110)은 제2 은닉 영역(B)의 히스토그램의 최대값과 최소값 위치가 주어지면, 최대값 위치를 기준으로 최소값 방향으로 이웃한 픽셀들의 정보를 확인하여 데이터를 추출하고, 최소값에 있었던 픽셀들을 원래대로 이동시킴으로써 이루어진다. In step S250, the control module 110 generates a plurality of protection areas 21 (A, B, C, and D) by using one of the maximum and minimum values of the histograms of the plurality of hidden areas A, , 22, 23, and 24 are extracted. That is, the control module 110 extracts the position information of the second protection area 22 using the maximum value and the minimum value position in the histogram of the second hidden area B. That is, given a maximum value and a minimum value position of the histogram of the second hidden area B, the control module 110 extracts data by checking information of neighboring pixels in the minimum value direction based on the maximum value position, By moving the pixels that were in the original position.

이어서, 제어 모듈(110)은 S260 단계에서 추출된 보호 영역의 위치 정보에 상응하는 영역을 디스크램블링한다. 즉, 제어 모듈(110)은 제2 보호 영역(22)의 위치 정보에 상응하는 영역을 제2 스크램블링 규칙에 따라 디스크램블링하여 제2 보호 영역(22)을 원본으로 복원한다. 이러한 화면 예를 도 6b에 도시하였다. 앞서 스크램블링은 제2 보호 영역(22)만의 이미지를 이용하여 스크램블링되었기 때문에 제2 보호 영역(22)의 위치 정보를 알 수 없다면, 제2 스크램블링 규칙을 알고 있다고 하더라도 디스크램블링을 통해 원본 영상을 복원할 수 없다. 따라서 본 발명의 실시예에 따르면, 인증을 통해 히스토그램 이동 기법에 따른 최대값 및 최소값의 위치 정보를 얻고, 그로부터 보호 영역의 위치 정보를 얻은 후에야 비로소 완벽하게 제2 보호 영역(22)을 원본으로 복원할 수 있다. 제어 모듈(110)은 S270 단계에서 복수의 보호 영역 중 보호 해제가 요청된 보호 영역이 원본으로 복원된 영상을 표시 모듈(140)을 통해 표시할 수 있다. 즉, 제어 모듈(110)은 제2 보호 영역(22)이 원본으로 복원된 영상을 표시 모듈(140)을 통해 표시한다. Then, the control module 110 descrambles an area corresponding to the position information of the protection area extracted in step S260. That is, the control module 110 descrambles the area corresponding to the position information of the second protection area 22 according to the second scrambling rule to restore the second protection area 22 as the original. An example of such a screen is shown in FIG. 6B. If the location information of the second protection area 22 is not known because the scrambling has been scrambled using the image of only the second protection area 22, the original image is restored through descrambling even if the second scrambling rule is known I can not. Therefore, according to the embodiment of the present invention, after acquiring the position information of the maximum value and the minimum value according to the histogram movement technique through authentication and obtaining the position information of the protection area from the obtained information, the second protection area 22 is completely restored can do. In step S270, the control module 110 may display a restored image of the protection area, which is requested to be unprotected among the plurality of protection areas, through the display module 140. [ That is, the control module 110 displays the image in which the second protection area 22 is restored as the original through the display module 140.

한편, 도 6a, 도 6b 및 도 7을 참조로 하는 실시예는 제2 보호 영역(22)에 대해서만 설명하였다. 하지만, 다른 보호 영역(21, 23, 24)에 대해서도 마찬가지 방법으로 개별적으로 복원할 수 있다. On the other hand, the embodiment with reference to Figs. 6A, 6B and 7 has been described for the second protection area 22 only. However, the other protection areas 21, 23, and 24 can also be individually restored in the same manner.

전술한 바와 같은 본 발명에 따르면, 영상에서 프라이버시 정보가 포함된 영역을 가공하여 유효한 권한이 없는 사용자로부터 프라이버시를 보호할 수 있다. 특히, 본 발명은 프라이버시 보호를 위한 보호 영역 자체를 영상에 은닉하는 것이 아니라, 보호 영역을 스크램블링하여, 그 보호 영역을 식별할 수 없도록 한다. 보호 영역을 원본으로 복원하기 위해서는 스크램블링 규칙도 알아야 하지만, 실제 스크램블링된 영역의 정확한 위치, 즉, 보호 영역의 위치를 알 수 있는 경우에만 복원이 가능하다. 즉, 보호 영역의 위치 정보인 보호 영역(스크램블링된 영역)의 픽셀 좌표값을 알아야 한다. 이에 따라, 본 발명은 보호 영역의 위치 정보를 영상 내에 은닉한다. 이러한 본 발명은 프라이버시 보호를 위한 보호 영역 자체를 영상에 은닉하는 방식에 비해 은닉하는 데이터의 양이 줄어들면서도 보안 레벨은 더욱 올라간다. 더욱이, 단순히 보호 영역을 스크램블링하는 기법에 비해서도 보안 레벨이 올라간다. 게다가, 영상에 은닉할 수 있는 데이터의 양에 따라 보호 영역을 선택적으로 증감하여 설정할 수 있다. 따라서 영상에 따라 결정되는 은닉 가능한 데이터의 양을 만족시키면서도 프라이버시를 충분히 보호할 수 있기 때문에, 영상의 종류에 따라 효율적인 보안 기법을 제시한다. 또한, 하나의 영상에 포함된 개별 객체에 대해서 개별적으로 프라이버시를 보호 기법을 적용할 수 있기 때문에, 사용자의 선택에 따라 다양한 형태로 프라이버시를 보호할 수 있어, 새로운 사용자 경험(UX: User eXperience)을 제공할 수 있다. According to the present invention as described above, it is possible to protect privacy from a user who does not have a valid authority by processing an area including privacy information in an image. In particular, the present invention does not conceal the protection area itself for the protection of the image but scrambles the protection area so that the protection area can not be identified. In order to restore the protection area to the original, it is necessary to know the scrambling rule. However, it is possible to restore only when the exact position of the actual scrambled area, that is, the location of the protection area can be known. That is, the pixel coordinate value of the protection area (scrambled area), which is the position information of the protection area, must be known. Accordingly, the present invention hides the position information of the protection area in the image. The present invention reduces the amount of data to be hidden as compared with a method of concealing the protection area itself for protecting the image, but the security level is further increased. Furthermore, the security level is higher than the technique of simply scrambling the protection area. In addition, the protection area can be selectively increased or decreased according to the amount of data that can be concealed in the image. Therefore, since the privacy can be sufficiently protected while satisfying the amount of confidential data determined according to the image, an efficient security technique is presented according to the type of the image. In addition, privacy protection can be applied to individual objects included in a single image. Therefore, privacy can be protected in various forms according to the user's selection, and a new user experience (UX: User experience) .

한편, 본 발명의 실시예에 따른 영상 처리 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. Meanwhile, the image processing method according to the embodiment of the present invention can be implemented in a form of a program readable by various computer means and recorded in a computer-readable recording medium. Here, the recording medium may include program commands, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on a recording medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. For example, the recording medium may be a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical medium such as a CD-ROM or a DVD, a magneto-optical medium such as a floppy disk magneto-optical media, and hardware devices that are specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions may include machine language wires such as those produced by a compiler, as well as high-level language wires that may be executed by a computer using an interpreter or the like. Such a hardware device may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit of the invention and the scope of the appended claims.

100: 영상 처리 장치 110: 제어 모듈
120: 저장 모듈 130: 입력 모듈
140: 표시 모듈 200: 카메라 모듈
300: 서비스 서버 400: 게이트웨이
500: 사용자 장치 600: 블랙박스 100: image processing apparatus 110: control module
120: storage module 130: input module
140: display module 200: camera module
300: service server 400: gateway
500: user device 600: black box

Claims

A camera module; And
Deriving a plurality of object regions including privacy information from an image received from the camera module,
Wherein at least a part of each of the plurality of object areas is designated as a plurality of protection areas, the image is divided into a plurality of hidden areas according to the number of the plurality of objects, and the maximum value of the histogram of each of the divided hidden areas Wherein the positional information of each of the plurality of protection areas increases in proportion to the size of each of the plurality of protection areas, Designating at least a part of each of the plurality of object areas as a plurality of protection areas so as to satisfy an amount of each of the concealable data,
Processing the plurality of protection areas individually so that privacy information provided by the plurality of object areas can not be identified for privacy protection,
And a control module for concealing the positional information of each of the individually processed plurality of protection areas separately in the image.

Deriving a plurality of object regions including privacy information from an input image;
Wherein at least a part of each of the plurality of object areas is designated as a plurality of protection areas, the image is divided into a plurality of hidden areas according to the number of the plurality of objects, and the maximum value of the histogram of each of the divided hidden areas Wherein the positional information of each of the plurality of protection areas increases in proportion to the size of each of the plurality of protection areas, Designating at least a part of each of the plurality of object areas as a plurality of protection areas so as to satisfy an amount of each of the concealable data;
Processing the plurality of protection areas individually so that privacy information provided by the plurality of object areas can not be identified for privacy protection; And
And hiding location information of each of the individually processed plurality of protection areas separately in the image.

3. The method of claim 2,
The step of specifying
A predetermined basic protection area of each of the plurality of object areas is linearly expanded so as to satisfy the amount of data that can be concealed in each of the plurality of hidden areas, and at least a part of each of the plurality of object areas is designated as a plurality of protection areas Wherein the image processing method comprises the steps of:

3. The method of claim 2,
Wherein the machining step is performed by scrambling each of the plurality of protection areas according to different scrambling rules,
Wherein the hiding step hides the position information of the plurality of protection areas at a maximum value position of the histogram of each of the plurality of hidden areas.

5. The method of claim 4,
Receiving a protection release request for any one of the plurality of protection areas;
Extracting position information of a corresponding one of the plurality of protection areas using one of a maximum value and a minimum value position of the histogram of the plurality of the hidden areas, the one corresponding to the request; And
And descrambling an area corresponding to the extracted position information of the protection area.

A computer-readable recording medium on which the image processing method according to any one of claims 2 to 5 is recorded.