KR101288248B1

KR101288248B1 - Human tracking system and method for privacy masking

Info

Publication number: KR101288248B1
Application number: KR1020120021855A
Authority: KR
Inventors: 정영규; 남미영
Original assignee: 정영규
Priority date: 2011-12-09
Filing date: 2012-03-02
Publication date: 2013-07-26
Also published as: KR20130065567A

Abstract

프라이버시 마스킹용 휴먼 추적 시스템 및 방법이 개시된다. 프라이버시 마스킹용 휴먼 추적 시스템은 입력 영상에 포함되는 각각의 객체에 대한 필터를 생성하는 필터 생성부 및 상기 생성된 필터 중 사용자에 의해 선택되는 객체에 해당하는 필터를 이용하여 상기 선택된 객체를 검출하고 상기 검출된 객체를 추적하여 상기 추적된 객체를 마스킹하는 마스킹부를 포함할 수 있다.A human tracking system and method for privacy masking is disclosed. The human tracking system for privacy masking detects the selected object using a filter generator which generates a filter for each object included in an input image and a filter corresponding to an object selected by a user among the generated filters. It may include a masking unit for tracking the detected object to mask the tracked object.

Description

HUMAN TRACKING SYSTEM AND METHOD FOR PRIVACY MASKING}

본 발명의 실시예들은 사생활 침해를 방지할 수 있는 프라이버시 마스킹용 휴먼 추적 시스템 및 방법에 관한 것이다.Embodiments of the present invention relate to a human tracking system and method for privacy masking that can prevent privacy invasion.

오늘날 산업, 의료, 교통 감시, 방재 등 다양한 용도로 CCTV(Closed Circuit TeleVision)가 각 분야에 보급되어 있다. 이러한 CCTV에 의해서 어느 정도 재해, 범죄 등이 줄어들고 있지만, 다른 한편으로 CCTV로 인한 사생활 침해가 사회 문제화되고 있는 상황이다.Today, CCTV (Closed Circuit TeleVision) is widely used in various fields such as industrial, medical, traffic surveillance and disaster prevention. Disasters and crimes are being reduced to some extent by these CCTVs, but on the other hand, invasion of privacy due to CCTV is becoming a social problem.

개인정보 보호법에 의해서 공공기관에서 설치된 CCTV인 경우 개인이 원할 경우 촬영된 영상을 요구할 수 있으며, 이 때 촬영된 영상은 사생활 침해를 방지하기 위하여 다른 사람들이 마스킹(masking)된 후 제공되어야 한다.In the case of CCTV installed in a public institution under the Personal Information Protection Act, an individual may request a video taken if desired, and the video must be provided after others are masked to prevent privacy infringement.

일 예로, 한국등록특허공보 제10-0877747호(등록일자 2008년 12월 31일) "디지털 비디오 레코더 및 그의 입력 영상 보호 장치 및 방법"에는 카메라로부터 입력되는 영상 데이터를 수신하여 영상 데이터의 고정 좌표값을 이용하여 일부 영역을 추출하고, 추출한 영역을 선택적으로 마스킹하는 것이 기재되어 있다.For example, Korean Patent Publication No. 10-0877747 (December 31, 2008) "Digital video recorder and input image protection device and method thereof" includes fixed coordinates of image data by receiving image data input from a camera. Extracting some regions using values and selectively masking the extracted regions is described.

그러나 이러한 방법은 영상에서 미리 정해진 영역 또는 미리 정해진 객체의 형태를 추적할 수 있는 있지만, 다중 객체들 사이에서 하나의 객체를 지속적으로 검출하고 추적하기는 어렵다. 따라서, 이러한 방법으로 마스킹하는 경우 마스킹하고자 하는 객체들만을 자동으로 마스킹하는 것은 어렵다는 문제점이 있다.However, while this method can track a predetermined area or a shape of a predetermined object in the image, it is difficult to continuously detect and track one object among multiple objects. Therefore, when masking in this manner, it is difficult to automatically mask only the objects to be masked.

그러므로, 다양한 환경에 맞추어 객체를 추적하고 추적된 객체의 얼굴 영역 등을 검출한 후 이를 마스킹함으로써 사생활을 보호할 수 있는 기술이 요구되고 있다.Therefore, there is a need for a technology capable of protecting privacy by tracking an object in accordance with various environments, detecting a face region of the tracked object, and masking the object.

다양한 객체들 중에서 하나의 객체를 선택했을 때 이와 형태가 가장 유사한 객체를 자동으로 선택한 후 정확히 검출하고, 검출된 객체가 이동 중 모양이 변할 경우에도 적응적으로 필터를 변경하여 오랜 시간 추적할 수 있는 프라이버시 마스킹용 휴먼 추적 시스템 및 방법이 제공된다.When one of the various objects is selected, the most similar object is automatically selected and detected correctly, and even if the detected object changes shape while moving, the filter can be adaptively tracked for a long time. A human tracking system and method for privacy masking is provided.

어느 한 순간에 복수개의 객체를 선택할 경우에도 개별 객체를 공간에서 독립시킨 후 지속적으로 추적하여 마스킹할 수 있는 프라이버시 마스킹용 휴먼 추적 시스템이 제공된다.When a plurality of objects are selected at any one time, a human tracking system for privacy masking is provided that can independently track and mask individual objects in space.

프라이버시 마스킹용 휴먼 추적 시스템은 입력 영상에 포함되는 각각의 객체에 대한 필터를 생성하는 필터 생성부 및 상기 생성된 필터 중 사용자에 의해 선택되는 객체에 해당하는 필터를 이용하여 상기 선택된 객체를 검출하고 상기 검출된 객체를 추적하여 상기 추적된 객체를 마스킹하는 마스킹부를 포함할 수 있다.The human tracking system for privacy masking detects the selected object using a filter generator which generates a filter for each object included in an input image and a filter corresponding to an object selected by a user among the generated filters. It may include a masking unit for tracking the detected object to mask the tracked object.

일측에 따르면, 상기 필터 생성부는 상기 입력 영상을 전처리하는 전처리 모듈 및 상기 전처리된 입력 영상에서 선택된 객체에 대한 필터를 실시간으로 생성하는 실시간 필터 생성 모듈을 포함할 수 있다.According to one side, the filter generation unit may include a pre-processing module for pre-processing the input image and a real-time filter generation module for generating a filter for the object selected from the pre-processed input image in real time.

다른 측면에 따르면, 상기 마스킹부는 상기 선택된 객체와 상기 생성된 필터 간의 유사도를 측정하여 상기 선택된 객체에 해당하는 필터를 자동으로 선택하는 자동 필터 선택 모듈, 상기 선택된 객체의 색상 정보, 형태 정보 및 운동 방향 정보 중 적어도 하나를 기초로 상기 선택된 객체에 대한 프로파일 정보를 생성하는 프로파일 생성 모듈, 상기 선택된 필터를 이용하여 상기 선택된 객체를 검출하는 개별객체 검출 모듈, 상기 검출된 객체를 추적하는 개별객체 추적 모듈, 상기 생성된 프로파일 정보를 이용하여 상기 추적된 객체에서 마스킹할 영역을 검출하는 마스킹 영역 검출 모듈 및 상기 검출된 영역을 마스킹하고 상기 마스킹된 영역을 암호화하는 마스킹 및 암호화 모듈을 포함할 수 있다.According to another aspect, the masking unit is an automatic filter selection module for automatically selecting a filter corresponding to the selected object by measuring the similarity between the selected object and the generated filter, color information, shape information and movement direction of the selected object A profile generation module that generates profile information for the selected object based on at least one of the information, an individual object detection module that detects the selected object using the selected filter, an individual object tracking module that tracks the detected object, And a masking area detection module for detecting an area to be masked in the tracked object using the generated profile information, and a masking and encryption module for masking the detected area and encrypting the masked area.

또 다른 측면에 따르면, 상기 자동 필터 선택 모듈은 상기 선택된 객체에 포함되는 영역의 에너지 정도를 나타내는 PSR(Peak to Sidelobe Ratio) 및 블록 엔트로피 중 어느 하나가 기 설정된 값 이하로 측정되는 경우 상기 선택된 객체를 추적하기 위한 적응형 필터를 생성하여 상기 선택한 필터를 갱신하고, 상기 개별객체 추적 모듈은 상기 적응형 필터를 기초로 상기 검출된 객체를 추적할 수 있다. 이때 만약 PSR(Peak to Sidelobe Ratio) 및 블록 엔트로피 중 어느 하나가 설정된 최저값 이하로 측정되는 경우 추적 객체를 읽은 것으로 하여 필터를 갱신하지 않을 수 있다.According to another aspect, the automatic filter selection module selects the selected object when any one of a peak to sidelobe ratio (PSR) and a block entropy indicating an energy level of an area included in the selected object is measured to be equal to or less than a preset value. An adaptive filter for tracking may be generated to update the selected filter, and the individual object tracking module may track the detected object based on the adaptive filter. In this case, if any one of the peak to sidelobe ratio (PSR) and the block entropy is measured to be less than or equal to the set minimum value, the filter may not be updated by reading the tracking object.

또 다른 측면에 따르면, 복수개의 객체가 선택되는 경우 하나의 화면 내에 하나의 객체가 존재하도록 상기 선택된 객체의 수만큼 영상을 생성하는 다중객체 생성 모듈을 더 포함하고, 상기 개별객체 추적 모듈은 상기 선택된 객체의 수만큼 생성된 영상에서 상기 검출된 객체를 추적할 수 있다.According to another aspect, the multi-object generating module for generating an image by the number of the selected object so that one object exists in one screen when a plurality of objects are selected, wherein the individual object tracking module is selected The detected object may be tracked in an image generated by the number of objects.

프라이버시 마스킹용 휴먼 추적 방법은 입력 영상에 포함되는 각각의 객체에 대한 필터를 생성하는 단계, 상기 생성된 필터 중 사용자에 의해 선택되는 객체에 해당하는 필터를 이용하여 상기 선택된 객체를 검출하고 상기 검출된 객체를 추적하는 단계 및 상기 추적된 객체를 마스킹하는 단계를 포함할 수 있다.The human tracking method for privacy masking may include generating a filter for each object included in an input image, detecting the selected object by using a filter corresponding to an object selected by a user among the generated filters, and detecting the detected object. Tracking the object and masking the tracked object.

다양한 객체들 중에서 하나의 객체를 선택했을 때 이와 형태가 가장 유사한 객체를 자동으로 선택한 후 정확히 검출하고, 검출된 객체가 이동 중 모양이 변할 경우에도 적응적으로 필터를 변경하여 장시간 추적할 수 있기 때문에 CCTV에 노출된 개인이 자신의 영상을 요구할 때나 TV 매체 등에 노출을 원하지 않는 개인의 사생활을 보호할 수 있다.When one of the various objects is selected, the most similar object is automatically selected and detected correctly, and even if the detected object changes its shape during movement, it can adaptively change the filter and track it for a long time. You can protect the privacy of individuals who do not want to be exposed when they are exposed to CCTV or when they ask for their video.

어느 한 순간에 복수개의 객체를 선택할 경우에도 하나의 화면 내에 하나의 객체가 존재하도록 선택된 객체의 수만큼 영상을 생성함으로써 개별 객체를 공간에서 독립시킨 후 각각의 객체를 지속적으로 추적할 수 있고, 마스킹된 영상을 암호화함으로써 허가되지 않은 사람이 영상을 복원할 수 없도록 할 수 있기 때문에 보다 강력한 사생활 보호가 가능하도록 하는 효과가 있다.Even when multiple objects are selected at any one time, images can be created as many as the number of objects selected so that one object exists in one screen, so that individual objects can be tracked independently from each other and masked continuously. Encrypting the encrypted video can prevent unauthorized people from restoring the video, which can provide stronger privacy protection.

도 1은 본 발명의 일실시예에 있어서, 프라이버시 마스킹용 휴먼 추적 시스템을 나타내는 블록도이다.
도 2는 본 발명의 일실시예에 있어서, 각 객체의 형태에 생성된 필터의 형상을 나타내는 예시도이다.
도 3은 본 발명의 일실시예에 있어서, 입력 영상을 마스킹하는 과정을 설명하기 위한 도면이다.
도 4은 본 발명의 일실시예에 있어서, 프라이버시 마스킹용 휴먼 추적 방법을 나타내는 흐름도이다.1 is a block diagram illustrating a human tracking system for privacy masking according to an embodiment of the present invention.
2 is an exemplary view showing the shape of a filter generated in the shape of each object in an embodiment of the present invention.
3 is a diagram for describing a process of masking an input image, according to an exemplary embodiment.
4 is a flowchart illustrating a human tracking method for privacy masking according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 있어서, 프라이버시 마스킹용 휴먼 추적 시스템을 나타내는 블록도이다.1 is a block diagram illustrating a human tracking system for privacy masking according to an embodiment of the present invention.

도면을 참조하면, 프라이버시 마스킹용 휴먼 추적 시스템은 필터 생성부(110) 및 마스킹부(120)를 포함한다.Referring to the drawings, the privacy tracking human tracking system includes a filter generator 110 and the masking unit 120.

본 발명에 따른 프라이버시 마스킹용 휴먼 추적 시스템은 개인의 사생활 보호를 위하여 카메라 등을 통하여 촬영된 정지 영상, CCTV 등을 통하여 촬영된 동영상 등과 같은 영상을 입력 받아, 입력 받은 영상에서 마스킹하고자 하는 객체를 지속적으로 추적하는 한편, 추적된 객체를 마스킹한다.The human tracking system for privacy masking according to the present invention receives an image such as a still image photographed through a camera, a video photographed through CCTV, etc. to protect an individual's privacy, and continuously maintains an object to be masked from the received image. While tracking by, mask the tracked object.

이를 위하여 필터 생성부(110)는 입력 영상에 포함되는 각각의 객체에 대한 필터를 생성하고, 마스킹부(120)는 필터 생성부(120)에서 생성된 필터 중 사용자에 의해 선택되는 객체에 해당하는 필터를 이용하여 사용자에 의해 선택된 객체를 검출하고 검출된 객체를 추적하여 마스킹한다.To this end, the filter generator 110 generates a filter for each object included in the input image, and the masking unit 120 corresponds to an object selected by the user among the filters generated by the filter generator 120. Filters are used to detect objects selected by the user and to track and mask the detected objects.

보다 구체적으로, 상기 필터 생성부(110)는 전처리 모듈(112) 및 실시간 필터 생성 모듈(114)을 포함할 수 있다.More specifically, the filter generation unit 110 may include a preprocessing module 112 and a real time filter generation module 114.

전처리 모듈(112)은 입력 영상에 포함된 객체의 형태를 필터로 생성하기 위하여 입력 영상에 대한 전처리를 수행한다.The preprocessing module 112 performs preprocessing on the input image in order to generate a form of an object included in the input image as a filter.

그리고, 실시간 필터 생성 모듈(114)은 전처리 모듈(112)에서 전처리된 입력 영상에서 선택된 객체에 대한 필터를 실시간으로 생성한다.The real-time filter generation module 114 generates a filter for the object selected from the input image preprocessed by the preprocessing module 112 in real time.

예를 들어, 필터 생성부(110)에 동영상이 입력되는 경우, 전처리 모듈(112)은 입력된 동영상에서 사람의 형태를 보다 정확하게 필터로 생성하기 위하여, 배경에 해당하는 영역은 블러링 처리하고 사람에 해당하는 영역은 경계 영역 강화를 수행하거나 배경에 해당하는 영역을 어둡게 처리하고 사람에 해당하는 영역은 밝게 처리하는 등의 전처리를 수행할 수 있다. 이후, 사용자가 마우스 클릭 등을 통하여 소정의 객체를 선택하면 실시간 필터 생성 모듈(114)은 선택된 사람의 형태를 필터로 생성할 수 있다.For example, when a video is input to the filter generator 110, the preprocessing module 112 blurs an area corresponding to a background and generates a person in order to more accurately generate the shape of a person in the input video. The area corresponding to may perform preprocessing such as enhancement of the boundary area, darkening the area corresponding to the background, and brightening the area corresponding to the person. Thereafter, when the user selects a predetermined object through a mouse click or the like, the real-time filter generation module 114 may generate a shape of the selected person as a filter.

도 2는 본 발명의 일실시예에 있어서, 각 객체의 형태에 생성된 필터의 형상을 나타내는 예시도이다.2 is an exemplary view showing the shape of a filter generated in the shape of each object in an embodiment of the present invention.

도 2(a)는 일 예로 입력 영상에서 사람의 정면이 표시되는 경우 필터 생성부(110)를 통해 생성된 필터와 에지(edge)를 나타내고, 도 2(b)로 사람의 측면에 대해 생성된 필터와 에지를 각각 나타낸다.FIG. 2 (a) illustrates an example of a filter and an edge generated through the filter generator 110 when the front of the person is displayed in the input image. FIG. Filter and edge respectively.

한편, 마스킹부(120)는 자동 필터 선택 모듈(121), 프로파일 생성 모듈(122), 다중객체 생성 모듈(123), 개별객체 검출 모듈(124), 개별객체 추적 모듈(125), 마스킹 영역 검출 모듈(126) 및 마스킹 및 암호화 모듈(127)을 포함할 수 있다.The masking unit 120 includes an automatic filter selection module 121, a profile generation module 122, a multi-object generation module 123, an individual object detection module 124, an individual object tracking module 125, and a masking area detection. Module 126 and masking and encryption module 127.

자동 필터 선택 모듈(121)은 입력 영상에 포함된 복수개의 객체 중 마스킹하고자 하는 객체를 마우스로 클릭함으로써 사용자에 의해 선택된 객체와 필터 생성부(110)에서 생성된 필터 간의 유사도를 측정하여 상기 선택된 객체에 해당하는 필터를 자동으로 선택한다.The automatic filter selection module 121 measures the similarity between the object selected by the user and the filter generated by the filter generator 110 by clicking on an object to be masked among the plurality of objects included in the input image with a mouse. Automatically select the filter corresponding to.

한편, 자동 필터 선택 모듈(121)은 사용자에 의해 선택된 객체를 지속적으로 추적하기 위하여, 유사도 측정을 통해 선택한 필터를 사용자에 의해 선택된 객체에 해당하는 형태로 갱신함으로써 적응형 필터를 생성할 수 있다.Meanwhile, the automatic filter selection module 121 may generate an adaptive filter by continuously updating the filter selected through the similarity measurement to a shape corresponding to the object selected by the user in order to continuously track the object selected by the user.

상기 적응형 필터는 다음의 수학식 1을 통해 생성될 수 있다.
The adaptive filter may be generated through Equation 1 below.

여기서, G는 주파수 영역에서의 출력 이미지, F는 주파수 영역에서의 입력 이미지, F*는 입력 이미지의 켤레 복소수를 각각 나타낸다.
Here, G denotes an output image in the frequency domain, F denotes an input image in the frequency domain, and F * denotes a complex conjugate of the input image.

이와 같은 적응형 필터를 적용할 경우, 유사도 측정을 통해 선택한 필터를 적응형 필터로 갱신할 시점을 판단하는 것은 중요한 요소이다. 따라서, 자동 필터 선택 모듈(121)은 상기 선택된 객체에 포함되는 영역의 에너지 정도를 나타내는 PSR(Peak to Sidelobe Ratio) 또는 블록 엔트로피를 이용하여 적응형 필터의 적용 여부를 결정할 수 있다.When applying such an adaptive filter, it is important to determine when to update the selected filter to the adaptive filter by measuring the similarity. Therefore, the automatic filter selection module 121 may determine whether to apply the adaptive filter by using a peak to sidelobe ratio (PSR) or block entropy indicating an energy level of an area included in the selected object.

휴먼 추적의 경우에는 비행기, 차량 등의 추적과 달리 객체 추적 시 PSR 또는 블록 엔트로피가 몇 프레임 추적 후 급격히 낮아지는 문제점이 있다. 따라서, 자동 필터 선택 모듈(121)은 PSR 또는r 블록 엔트로피가 기 설정된 값 이하로 측정되는 경우 적응형 필터를 생성하여 유사도 측정을 통해 선택한 필터를 갱신할 수 있다. 이때 만약 PSR(Peak to Sidelobe Ratio) 및 블록 엔트로피 중 어느 하나가 설정된 최저값 이하로 측정되는 경우 추적 객체를 읽은 것으로 하여 필터를 갱신하지 않을 수 있다.In the case of human tracking, unlike the tracking of an airplane or a vehicle, PSR or block entropy is rapidly lowered after tracking a few frames when tracking an object. Therefore, when the PSR or the r block entropy is measured to be equal to or less than a preset value, the automatic filter selection module 121 may generate an adaptive filter and update the selected filter through similarity measurement. In this case, if any one of the peak to sidelobe ratio (PSR) and the block entropy is measured to be less than or equal to the set minimum value, the filter may not be updated by reading the tracking object.

한편, 프로파일 생성 모듈(122)은 사용자에 의해 선택된 객체의 특징을 기초로 상기 선택된 객체에 대한 프로파일 정보를 생성한다.Meanwhile, the profile generation module 122 generates profile information on the selected object based on the feature of the object selected by the user.

일 예로, 프로파일 생성 모듈(122)은 선택된 객체의 색상 정보, 형태 정보 및 운동 방향 정보 등을 이용하여 객체의 프로파일 정보를 생성할 수 있는데, 색상 정보는 다음의 수학식 2와 같이 선택된 객체의 RGB(Red, Green, Blue) 색상을 HSV(Hue, Saturation, Value) 색상으로 변환하여 히스토그램을 생성한 후 히스토그램의 개수에 가중치를 곱함으로써 추출될 수 있다.
For example, the profile generation module 122 may generate profile information of the object using color information, shape information, motion direction information, etc. of the selected object, and the color information may be RGB of the selected object as shown in Equation 2 below. The color may be extracted by converting the (Red, Green, Blue) color into the HSV (Hue, Saturation, Value) color to generate a histogram and multiplying the number of the histograms by a weight.

그리고, 운동 방향 정보는 칼만 필터를 이용하여 생성할 수 있다. 칼만 필터는 최소자승법을 사용하는 계산법으로서, 실시간으로 잡음 운동 방정식을 가진 시간에 따른 방향성 추적하는데 효율적이다.In addition, the movement direction information may be generated using a Kalman filter. The Kalman filter is a computation using least-squares method, which is effective for tracking the direction of time with the noise motion equation in real time.

다중객체 생성 모듈(123)은 사용자에 의해 복수개의 객체가 선택되는 경우 하나의 화면 내에 하나의 객체가 존재하도록 선택된 객체의 수만큼 영상을 생성함으로써 보다 정확하게 객체를 추적할 수 있도록 한다. 일 예로, 다중객체 생성 모듈(123)은 사용자가 한 화면에 있는 다양한 객체들을 마우스로 선택하는 경우, 자동 필터 선택 모듈(121)과 프로파일 생성 모듈(122)을 재실행하여 선택된 객체의 수만큼 영상을 생성하여 하나의 영상 내에 단일 객체만이 존재하도록 할 수 있다.When a plurality of objects are selected by the user, the multi-object generation module 123 may more accurately track an object by generating an image as many as the number of objects selected so that one object exists in one screen. For example, when the user selects various objects on a screen with a mouse, the multi-object generation module 123 re-executes the automatic filter selection module 121 and the profile generation module 122 to display images as many as the number of selected objects. It can be created so that only a single object exists in one image.

개별객체 검출 모듈(124)은 자동 필터 선택 모듈(121)에서 선택된 필터를 이용하여 사용자에 의해 선택된 객체를 검출한다.The individual object detection module 124 detects the object selected by the user using the filter selected by the automatic filter selection module 121.

개별객체 추적 모듈(125)은 개별객체 검출 모듈(124)에서 검출된 객체를 추적하는 모듈로서, 사용자에 의해 복수개의 객체가 선택되는 경우 다중객체 생성 모듈(123)를 통해 사용자에 의해 선택된 객체의 수만큼 생성된 영상에서 각각 객체를 추적할 수 있다.The individual object tracking module 125 is a module for tracking an object detected by the individual object detection module 124. When a plurality of objects are selected by the user, the individual object tracking module 125 may determine the objects selected by the user through the multi-object generation module 123. Each object can be tracked in the generated images.

한편, 개별객체 추적 모듈(125)은 자동 마우스 클릭 기능 및 수동 마우스 클릭 기능을 포함할 수 있다. 자동 마우스 클릭 기능은 상기 선택된 객체에 포함되는 영역의 에너지 정도를 나타내는 PSR(Peak to Sidelobe Ratio) 또는 블록 엔트로피를 측정하여 기 설정된 값 이하의 PSR 또는 블록 엔트로피가 감지되면 사용자가 그 영역을 마우스를 클릭한 것과 같이 새로운 필터를 생성하는 기능이고, 수동 마우스 클릭 기능은 개별객체 추적 모듈(125)이 추적하고자 하는 객체를 놓쳤을 때 사용자가 수동으로 마우스를 이용하여 마스킹하고자 하는 객체를 클릭할 수 있도록 하는 기능이다. 따라서, 개별객체 추적 모듈(125)은 자동 마우스 클릭 기능 및 수동 마우스 클릭 기능을 통해서 그 성능을 유지할 수 있다.Meanwhile, the individual object tracking module 125 may include an automatic mouse click function and a manual mouse click function. The automatic mouse click function measures a peak to sidelobe ratio (PSR) or block entropy representing an energy level of an area included in the selected object, and when a PSR or block entropy below a predetermined value is detected, the user clicks the mouse on the area. Like this, a new filter is created, and the manual mouse click function allows the user to manually click an object to be masked by using a mouse when the individual object tracking module 125 misses an object to be tracked. to be. Accordingly, the individual object tracking module 125 may maintain its performance through the automatic mouse click function and the manual mouse click function.

마스킹 영역 검출 모듈(126)은 프로파일 생성 모듈(122)에서 생성된 프로파일 정보를 이용하여 개별객체 추적 모듈(125)에서 추적된 객체에서 마스킹할 영역을 검출한다.The masking area detection module 126 detects an area to be masked in the object tracked by the individual object tracking module 125 using the profile information generated by the profile generation module 122.

마스킹 및 암호화 모듈(127)은 마스킹 영역 검출 모듈(126)에서 검출된 영역을 마스킹하고 마스킹된 영역을 암호화한다. 즉, 마스킹 및 암호화 모듈(127)은 마스킹하고자 하는 영역을 암호화 기술을 이용하여 마스킹함으로써 원본 영상을 복원할 수 없도록 함으로써 보다 강력한 사생활 보호가 가능하도록 할 수 있다.The masking and encryption module 127 masks the area detected by the masking area detection module 126 and encrypts the masked area. That is, the masking and encryption module 127 may mask the area to be masked using an encryption technique so that the original image cannot be restored, thereby enabling stronger privacy protection.

도 3은 본 발명의 일실시예에 있어서, 입력 영상을 마스킹하는 과정을 설명하기 위한 도면이다.3 is a diagram for describing a process of masking an input image, according to an exemplary embodiment.

이하, 도 3을 참조하여 본 발명에 따른 프라이버시 마스킹용 휴먼 추적 시스템이 입력 영상(310)을 처리하는 과정에 대해 설명한다.Hereinafter, a process of processing the input image 310 by the human masking system for privacy masking according to the present invention will be described.

프라이버스 마스킹용 휴먼 시스템은 입력 영상(310)에서 마스킹하고자 하는 영역(312) 내에 포함된 객체(314, 316) 중 사용자가 마우스로 클릭함으로써 선택된 객체(314)를 검출하기 위하여, 입력 영상(310)을 전처리함으로써 전처리된 입력 영상(320)을 생성한다. 그리고, 전처리된 입력 영상(320)으로부터 실시간으로 필터(330)를 생성한다.The human masking system for privacy masking input image 310 to detect the selected object 314 by clicking with a mouse among the objects 314 and 316 included in the area 312 to be masked in the input image 310. ) Is generated to generate the preprocessed input image 320. The filter 330 is generated in real time from the preprocessed input image 320.

그리고, 생성된 필터(330)를 이용하여 대상 이미지(340)에서 선택된 객체를 바이너리 화면(350)에 도시된 바와 같이 검출한 뒤 이를 추적하고 마스킹함으로써 사생활이 보호되도록 할 수 있다.In addition, by using the generated filter 330, the object selected in the target image 340 may be detected as shown in the binary screen 350, followed by tracking and masking to protect privacy.

도 4은 본 발명의 일실시예에 있어서, 프라이버시 마스킹용 휴먼 추적 방법을 나타내는 흐름도이다.4 is a flowchart illustrating a human tracking method for privacy masking according to an embodiment of the present invention.

프라이버시 마스킹용 휴먼 추적 시스템은 입력 영상에 포함되는 각각의 객체에 대한 필터를 생성하기 위하여 입력 영상을 전처리하여 각각의 객체에 대한 필터를 실시간으로 생성한다(S410).The human tracking system for privacy masking generates a filter for each object in real time by preprocessing the input image to generate a filter for each object included in the input image (S410).

이후, 사용자가 마우스 클릭 등을 통하여 마스킹하고자 하는 객체를 선택하는 경우 생성된 필터 중 선택된 객체에 해당하는 필터를 사용자에 의해 선택된 객체와 생성된 복수개의 필터 간의 유사도를 기초로 자동으로 선택하고(S420), 선택된 객체를 검출하여 해당 객체를 추적한다.Subsequently, when the user selects an object to be masked through a mouse click or the like, a filter corresponding to the selected object among the generated filters is automatically selected based on the similarity between the object selected by the user and the generated plurality of filters (S420). ), Detects the selected object and tracks it.

일 예로, 프라이버시 마스킹용 휴먼 추적 시스템은 선택된 객체에 포함되는 영역의 에너지 정도를 나타내는 PSR 또는 블록 엔트로피가 기 설정된 값 이하로 측정되는 경우 해당 객체를 추적하기 위한 적응형 필터를 생성하여 필터를 갱신하고, 적응형 필터를 이용하여 해당 객체를 추적할 수 있다. 이때 만약 PSR(Peak to Sidelobe Ratio) 및 블록 엔트로피 중 어느 하나가 설정된 최저값 이하로 측정되는 경우 추적 객체를 읽은 것으로 하여 필터를 갱신하지 않을 수 있다.For example, the human tracking system for privacy masking updates the filter by generating an adaptive filter for tracking the object when the PSR or the block entropy indicating the energy level of the area included in the selected object is measured below the preset value. Using the adaptive filter, you can track the object. In this case, if any one of the peak to sidelobe ratio (PSR) and the block entropy is measured to be less than or equal to the set minimum value, the filter may not be updated by reading the tracking object.

이 때, 사용자가 복수개의 객체를 선택하는 경우 프라이버시 마스킹용 휴먼 추적 시스템은 하나의 화면 내에 하나의 객체가 존재하도록 선택된 객체의 수만큼 영상을 생성하고(S430), 선택된 객체의 수만큼 생성된 영상에서 해당 객체를 추적할 수도 있다.At this time, when the user selects a plurality of objects, the privacy tracking human tracking system generates images as many as the number of objects selected so that one object exists in one screen (S430), and generates images as many as the number of selected objects. You can also track the object in.

한편, 프라이버시 마스킹용 휴먼 추적 시스템은 선택된 객체의 색상 정보, 형태 정보 및 운동 방향 정보 등과 같은 객체의 특징을 기초로 해당 객체에 대한 프로파일 정보를 생성하고, 생성된 프로파일 정보를 이용하여 추적되는 객체에서 마스킹할 영역을 검출한다(S440). 그리고, 검출된 영역을 마스킹하고 암호화함으로써(S450) 개인의 프라이버시가 보호될 수 있도록 한다.Meanwhile, the human tracking system for privacy masking generates profile information on the object based on the characteristics of the object such as color information, shape information, and motion direction information of the selected object, and uses the generated profile information in the tracked object. The area to be masked is detected (S440). In addition, the privacy of the individual may be protected by masking and encrypting the detected area (S450).

따라서, 본 발명에 따른 프라이버시 마스킹용 휴먼 추적 시스템 및 방법 다양한 객체들 중에서 하나의 객체를 선택했을 때 이와 형태가 가장 유사한 객체를 자동으로 선택한 후 정확히 검출하고 검출된 객체가 이동 중 모양이 변할 경우에도 적응적으로 필터를 변경하여 장시간 추적할 수 있기 때문에, CCTV 등에 노출된 개인이 자신의 영상을 요구할 때나 TV 매체 등에 노출을 원하지 않는 개인의 사생활을 보호할 수 있다.Therefore, the human tracking system and method for privacy masking according to the present invention, when one of the various objects is selected, automatically selects the object most similar to the same and then accurately detects and changes the shape of the detected object during movement. Since the filter can be adaptively tracked for a long time, it is possible to protect the privacy of an individual who does not want to be exposed to a TV medium or the like when an individual exposed to CCTV requests a video of him or her.

또한, 어느 한 순간에 사용자가 복수개의 객체를 선택할 경우에도 하나의 화면 내에 하나의 객체가 존재하도록 선택된 객체의 수만큼 영상을 생성함으로써 개별 객체를 공간에서 독립시킨 후 각각의 객체를 지속적으로 추적할 수 있고, 마스킹된 영상을 암호화함으로써 허가되지 않은 사람이 영상을 복원할 수 없도록 할 수 있기 때문에 보다 강력하게 사생활을 보호할 수 있다.In addition, even if the user selects a plurality of objects at any one time, as many images as the number of objects selected to exist in one screen exist, individual objects are separated from space, and each object is continuously tracked. And by encrypting the masked image, it is possible to prevent unauthorized persons from restoring the image, thereby protecting the privacy more strongly.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

Claims

A filter generator configured to generate a filter for each object included in the input image;
A masking unit which detects the selected object by using a filter corresponding to an object selected by the user among the generated filters, and tracks the detected object to mask the tracked object; And
And a multi-object generation module generating images as many as the number of the selected objects so that one object exists in one screen when a plurality of objects are selected.
The masking unit,
An automatic filter selection module which measures a similarity between the selected object and the generated filter and automatically selects a filter corresponding to the selected object;
A profile generation module that generates profile information for the selected object;
An individual object detection module which detects the selected object using the selected filter;
An individual object tracking module for tracking the detected object;
A masking area detection module detecting an area to be masked in the tracked object using the generated profile information; And
Masking and encryption module for masking the detected area and encrypting the masked area
/ RTI >
The individual object tracking module,
The human tracking system for privacy masking, characterized in that for tracking the detected object in the image generated by the number of the selected object.

The method of claim 1,
The filter generator,
A preprocessing module for preprocessing the input image; And
A real-time filter generation module for generating a filter for a selected object in real time from the preprocessed input image
Human masking system for privacy masking comprising a.

The method of claim 1,
The profile generator
And a privacy masking human tracking system for generating the profile information based on at least one of color information, shape information, and movement direction information of the selected object.

delete

Generating a filter for each object included in the input image;
Detecting the selected object and tracking the detected object using a filter corresponding to an object selected by the user among the generated filters;
Masking the tracked object; And
Generating as many images as the number of the selected objects so that one object exists in one screen when a plurality of objects are selected
Lt; / RTI >
Masking the tracked object,
Automatically selecting a filter corresponding to the selected object by measuring a similarity between the selected object and the generated filter;
Generating profile information for the selected object;
Detecting the selected object using the selected filter;
Tracking the detected object;
Detecting an area to be masked in the tracked object using the generated profile information; And
Masking the detected area and encrypting the masked area
/ RTI >
Tracking the detected object,
And tracking the detected object in the image generated as many as the number of the selected object.

The method according to claim 6,
Generating the filter,
Preprocessing the input image; And
Generating a filter on a selected object in the preprocessed input image in real time
Human masking method for privacy masking comprising a.

delete

The method according to claim 6,
Generating profile information for the selected object
And generating the profile information on the basis of at least one of color information, shape information, and movement direction information of the selected object.

delete