KR102474697B1

KR102474697B1 - Image Pickup Apparatus and Method for Processing Images

Info

Publication number: KR102474697B1
Application number: KR1020160101002A
Authority: KR
Inventors: 공원준
Original assignee: 한화테크윈 주식회사
Priority date: 2016-08-09
Filing date: 2016-08-09
Publication date: 2022-12-05
Also published as: KR20180017329A

Abstract

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 촬상 장치는 촬상부를 통해 획득한 영상으로부터 마스킹 대상을 판별하는 객체 판별부; 상기 영상이 패닝, 틸팅 또는 주밍되면, 상기 마스킹 대상의 위치 좌표의 변화량을 연산하여 최종 위치 좌표를 도출하는 위치 좌표 연산부; 상기 영상이 패닝, 틸팅 또는 주밍되면, 상기 마스킹 대상의 픽셀 정보의 변화량을 연산하여 최종 픽셀 정보를 도출하는 픽셀 정보 연산부; 상기 영상의 상기 최종 위치 좌표의 근방에서, 상기 도출한 최종 픽셀 정보와 픽셀 정보의 일치율이 가장 높은 영역을 찾는 픽셀 정보 비교부; 및 상기 픽셀 정보 비교부가 찾은 상기 영역에 프라이버시 마스크를 적용하는 마스크 적용부를 포함한다.An imaging device according to an embodiment of the present invention for solving the above problems includes an object discrimination unit for determining a masking target from an image acquired through the imaging unit; a position coordinate calculation unit for deriving final position coordinates by calculating an amount of change in position coordinates of the masking target when the image is panned, tilted, or zoomed; a pixel information calculation unit calculating a variation amount of pixel information of the masking target to derive final pixel information when the image is panned, tilted, or zoomed; a pixel information comparator for finding an area in the vicinity of the final position coordinates of the image, in which the obtained final pixel information and pixel information have the highest matching rate; and a mask application unit that applies a privacy mask to the area found by the pixel information comparison unit.

Description

Image pickup apparatus and image processing method {Image Pickup Apparatus and Method for Processing Images}

본 발명은 촬상 장치에 관한 것으로서, 보다 상세하게는 영상이 패닝, 틸팅 또는 주밍이 되면 위치 좌표의 변화 만이 아니라, 픽셀 정보도 함께 이용하여, 마스킹 대상에 프라이버시 마스크를 더욱 정확하게 적용시킬 수 있는 촬상 장치에 관한 것이다.The present invention relates to an imaging device, and more particularly, to an imaging device capable of more accurately applying a privacy mask to a masking target by using not only a change in location coordinates but also pixel information when an image is panned, tilted, or zoomed. It is about.

일반적으로 은행, 백화점, 일반 주택가를 비롯한 다양한 장소에서 감시 시스템이 널리 사용되고 있다. 이러한 감시 시스템은 범죄 예방, 보안을 목적으로 사용될 수 있으나, 최근에는 실내의 애완동물 또는 어린 아이를 실시간으로 감시하기 위해서도 사용되기도 한다. 그리고 이러한 감시 시스템으로 가장 많이 사용하는 시스템은, 감시를 원하는 영역을 촬영할 수 있도록 적절한 위치에 카메라를 설치하고, 사용자는 카메라가 촬영한 영상을 모니터링 함으로써 감시할 수 있는 폐쇄회로 텔레비전(Closed Circuit Television: CCTV) 시스템이다.In general, surveillance systems are widely used in various places including banks, department stores, and general residential areas. Such a surveillance system may be used for crime prevention and security purposes, but recently it is also used to monitor indoor pets or children in real time. And, in the system most commonly used as such a surveillance system, a camera is installed at an appropriate location so that the area to be monitored can be filmed, and the user can monitor the video captured by the camera. Closed Circuit Television: CCTV) system.

그러나, 카메라에 의해 촬영된 감시 영상에 불특정 다수의 얼굴 등이 포함되어, 사생활과 관련된 민감한 개인 정보가 그대로 노출됨으로써 이른바 프라이버시(Privacy) 침해에 대한 논란이 제기되고 있다. 따라서, 최근에는 이러한 감시 영상에 의해 노출될 수 있는 불특정 개인의 프라이버시를 보호하기 위해 특정 영역 또는 영상 인식을 통해 파악된 특정 객체에 대해 모자이크(Mosaic) 등과 같은 프라이버시 마스크를 적용하는 마스킹(Masking) 방법이 제시되고 있다.However, since an unspecified number of faces, etc. are included in a surveillance image captured by a camera, and sensitive personal information related to privacy is exposed as it is, a so-called privacy infringement controversy has been raised. Therefore, recently, a masking method of applying a privacy mask such as a mosaic to a specific area or a specific object identified through image recognition in order to protect the privacy of an unspecified individual that may be exposed by such surveillance images this is being presented.

현재 사용 중인 IP 카메라에는 비디오 코덱(Video Codec)이 이미 포함되어 있어서 이미 설치된 코덱에 마스킹 기능을 추가하기 어렵고, 코덱 별로 마스킹 기능을 각각 추가하는 것도 현실적으로 불가능하다. 따라서 일반적으로는 인코딩되어 나온 비트스트림(Bitstream)에서 마스킹 대상을 식별하여 마스킹 된다.IP cameras currently in use already include a video codec, so it is difficult to add a masking function to an already installed codec, and it is practically impossible to add a masking function for each codec. Therefore, in general, masking is performed by identifying a masking target in an encoded bitstream.

최근에는 카메라 가운데 패닝(Panning), 틸팅(Tilting) 및 주밍(Zooming)이 가능한 PTZ 카메라가 자주 사용된다. 이러한 카메라가 패닝, 틸팅 또는 주밍을 수행하면, 프라이버시 마스크를 적용해야 하는 마스킹 대상의 위치 좌표가, 카메라가 촬영하여 획득한 영상 상에서 변화하게 된다. 이 때, 마스킹을 유지하기 위해, 마스킹 대상의 위치 변화에 대응하여 프라이버시 마스크 또한 영상 상에서 위치가 변화되어야 한다. 이 때, 일반적으로 카메라가 패닝 또는 틸팅을 수행한 회전 각도를 이용하여 마스킹 대상의 위치 좌표를 연산한 후, 연산된 위치 좌표에 마스킹을 적용하는 방법이 사용된다.Recently, among cameras, a PTZ camera capable of panning, tilting, and zooming is frequently used. When such a camera performs panning, tilting, or zooming, positional coordinates of a masking target to which a privacy mask is to be applied change on an image captured by the camera. At this time, in order to maintain the masking, the location of the privacy mask also needs to be changed on the image corresponding to the change in the location of the masking target. At this time, in general, a method of calculating position coordinates of a masking target using a rotation angle at which a camera pans or tilts is performed, and then applying masking to the calculated position coordinates is used.

그러나, 이러한 방법은 카메라를 회전시키는 모터의 구동 오차, 여러 구성요소들이 조립되어 카메라 어셈블리를 형성하는 과정에서 발생하는 조립 공차 등에 의하여 마스킹 대상과 프라이버시 마스크의 위치가 정확하게 대응되지 않을 수 있다. 만약 카메라가 물리적인 패닝 또는 틸팅이 되지 않고, 장치 내에 설치된 소프트웨어를 통해 패닝 또는 틸팅이 되더라도, 좌표계의 연산에 따른 오차에 의하여 마스킹 대상과 프라이버시 마스크의 위치가 정확하게 대응되지 않을 수도 있다. 카메라가 주밍을 수행할 때에도, 영상의 줌 인(Zoom In) 또는 줌 아웃(Zoom Out) 과정에서 카메라의 광축이 이동하면서 오차가 발생할 수도 있게 된다.However, in this method, the positions of the masking target and the privacy mask may not accurately correspond due to driving errors of a motor rotating the camera, assembly tolerances generated in the process of assembling various components to form a camera assembly, and the like. If the camera does not physically pan or tilt, but pans or tilts through software installed in the device, the position of the masking target and the privacy mask may not accurately correspond due to an error due to coordinate system calculation. Even when the camera performs zooming, an error may occur as the optical axis of the camera moves in the process of zooming in or zooming out of an image.

이러한 방법을 개선하기 위해, 위치 좌표를 연산하지 않고 마스킹 대상의 영상 상에서의 픽셀 정보를 이용하는 방법이 제시되었다. 즉, 마스킹 대상의 픽셀 정보들을 저장한 후, 카메라가 패닝, 틸팅 또는 주밍이 되면 전체 영상에서 상기 픽셀 정보와 일치하는 지점을 찾아 프라이버시 마스크를 적용하는 것이다. 그러나, 이러한 방법 또한, 화면부에 디스플레이 되는 영상의 전체 픽셀 정보를 인식한 후, 마스킹 대상의 픽셀 정보와 일치하는 부분을 찾아야 하므로 연산량이 과도하게 증가하는 문제가 있다.In order to improve this method, a method of using pixel information on an image of a masking target without calculating position coordinates has been proposed. That is, after storing information on pixels to be masked, when the camera pans, tilts, or zooms, a point matching the pixel information is found in the entire image and a privacy mask is applied. However, this method also has a problem in that the amount of calculation is excessively increased because it is necessary to recognize all pixel information of an image displayed on the screen unit and then find a portion matching the pixel information of the object to be masked.

한편, 마스킹 대상의 일부가 감시 대상에 의하여 차폐될 때가 있다. 이러한 때에는, 프라이버시 보호를 위해 마스킹 대상에 해당하는 부분은 프라이버시 마스크가 유지되고, 상기 감시 대상은 감시를 위해 프라이버시 마스크가 해제되는 것이 바람직하다. 그러나, 여전히 마스킹 대상의 전체에 대해서 프라이버시 마스크를 적용하게 되어, 일부 차폐된 부분에도 프라이버시 마스크가 적용됨으로써 상기 감시 대상에 대한 감시가 불가능하게 되는 결과가 발생한다.On the other hand, there are times when a part of the masking target is shielded by the monitoring target. In this case, it is preferable that the privacy mask is maintained for the part corresponding to the masking target for privacy protection, and the privacy mask is released for monitoring the surveillance target. However, since the privacy mask is still applied to the entire object to be masked, the privacy mask is also applied to a partially shielded portion, resulting in the impossible to monitor the object to be monitored.

한국특허등록 제10-1237975호Korean Patent Registration No. 10-1237975 한국공개공보 제10-2015-0127498호Korean Publication No. 10-2015-0127498

본 발명이 해결하고자 하는 과제는, 영상이 패닝, 틸팅 또는 주밍이 되면 위치 좌표의 변화 만이 아니라, 픽셀 정보도 함께 이용하여, 마스킹 대상에 프라이버시 마스크를 더욱 정확하게 적용시킬 수 있는 촬상 장치를 제공하는 것이다.An object to be solved by the present invention is to provide an imaging device capable of more accurately applying a privacy mask to a masking target by using not only a change in position coordinates but also pixel information when an image is panned, tilted, or zoomed. .

또한, 감시 대상이 마스킹 대상의 일부를 차폐하는 경우, 프라이버시 마스크를 분할하여 감시 대상에 대하여는 노출되도록 함으로써 감시를 용이하게 할 수 있는 촬상 장치를 제공하는 것이다.Another object of the present invention is to provide an imaging device capable of facilitating surveillance by dividing a privacy mask so that the monitoring target is exposed when the monitoring target covers a part of the masking target.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The tasks of the present invention are not limited to the tasks mentioned above, and other tasks not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.According to embodiments of the present invention, at least the following effects are provided.

영상이 패닝, 틸팅 또는 주밍이 되면, 마스킹 대상의 위치 좌표의 변화 만이 아니라, 픽셀 정보도 함께 이용하여 프라이버시 마스크의 변화도 용이하게 파악하고, 더욱 정확한 위치에 프라이버시 마스크를 적용시킬 수 있다.When an image is panned, tilted, or zoomed, not only the change in position coordinates of the masking target but also the pixel information can be used to easily grasp the change in the privacy mask and apply the privacy mask to a more accurate position.

또한, 마스킹 대상의 일부를 감시 대상이 차폐하는 경우, 프라이버시 마스크를 분할하여, 프라이버시 보호를 위해 마스킹 대상에 해당하는 부분은 프라이버시 마스크가 유지되고, 상기 감시 대상은 감시를 위해 프라이버시 마스크가 해제되도록 할 수 있다.In addition, when the monitoring target shields a part of the masking target, the privacy mask is divided so that the privacy mask is maintained for the part corresponding to the masking target for privacy protection, and the privacy mask is released for monitoring the monitoring target. can

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.Effects according to the present invention are not limited by the contents exemplified above, and more various effects are included in the present specification.

도 1은 본 발명의 일 실시예에 따른 촬상 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 제어부(14)의 상세한 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 정보 관리부(145)의 상세한 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 마스크 분할부(146)의 상세한 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 촬상 장치(1)가 마스킹 대상(3)을 촬영하는 모습을 나타낸 도면이다.
도 6은 도 5에서 촬상 장치(1)가 획득한 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 마스킹 대상(3)에 프라이버시 마스크(112)가 적용되는 모습을 나타낸 도면이다.
도 8은 도 7에서 프라이버시 마스크(112)가 적용된 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 촬상 장치(1)가 패닝을 수행하는 모습을 나타낸 도면이다.
도 10은 도 9에서 프라이버시 마스크(112)가 적용된 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 11은 도 10에서 적용된 프라이버시 마스크(112)가 보정되는 모습을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 촬상 장치(1)가 줌을 수행하였을 때, 프라이버시 마스크(112)가 적용된 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 13은 도 12에서 적용된 프라이버시 마스크(112)가 보정되는 모습을 나타낸 도면이다.
도 14는 마스킹 대상(3)이 감시 대상(5)에 의해 가려진 모습을, 본 발명의 일 실시예에 따른 촬상 장치(1)가 촬영한 영상(111)을 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 마스킹 대상(3)에 프라이버시 마스크(112)가 적용되면서, 감시 대상(5)이 노출되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 프라이버시 마스크(112)가 블록 분할된 모습을 나타낸 도면이다.
도 17은 도 16에서 블록 분할된 프라이버시 마스크(112) 가운데, 감시 대상(5)을 마스킹하는 일부 마스크가 적용되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 18은 도 16에 비해 분할율이 증가되어 블록 분할된 프라이버시 마스크(112) 가운데, 감시 대상(5)을 마스킹하는 일부 마스크가 적용되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 프라이버시 마스크(112)가 사용자 임의 분할된 모습을 나타낸 도면이다.
도 20은 도 19에서 사용자 임의 분할된 프라이버시 마스크(112) 가운데, 감시 대상(5)을 마스킹하는 일부 마스크가 적용되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.1 is a block diagram showing the configuration of an imaging system according to an embodiment of the present invention.
2 is a block diagram showing a detailed configuration of the control unit 14 according to an embodiment of the present invention.
3 is a block diagram showing the detailed configuration of the information management unit 145 according to an embodiment of the present invention.
4 is a block diagram showing a detailed configuration of a mask divider 146 according to an embodiment of the present invention.
FIG. 5 is a view showing a state in which the imaging device 1 according to an embodiment of the present invention captures a masking target 3 .
FIG. 6 is a view showing how the image 111 acquired by the imaging device 1 in FIG. 5 is displayed on the screen unit 21 .
FIG. 7 is a view showing how a privacy mask 112 is applied to a masking target 3 according to an embodiment of the present invention.
FIG. 8 is a view showing how the image 111 to which the privacy mask 112 is applied in FIG. 7 is displayed on the screen unit 21 .
9 is a diagram showing how the imaging device 1 performs panning according to an embodiment of the present invention.
FIG. 10 is a diagram showing how the image 111 to which the privacy mask 112 is applied is displayed on the screen unit 21 in FIG. 9 .
FIG. 11 is a view showing how the privacy mask 112 applied in FIG. 10 is corrected.
FIG. 12 is a diagram showing how the image 111 to which the privacy mask 112 is applied is displayed on the screen unit 21 when the imaging device 1 according to an embodiment of the present invention performs zoom.
FIG. 13 is a view showing how the privacy mask 112 applied in FIG. 12 is corrected.
FIG. 14 is a diagram showing an image 111 captured by an imaging device 1 according to an embodiment of the present invention, in which a masking target 3 is obscured by a monitoring target 5 .
15 shows a state in which an image 111 in which the subject to be monitored 5 is not exposed is displayed on the screen unit 21 while the privacy mask 112 is applied to the masking subject 3 according to an embodiment of the present invention. is the drawing shown.
16 is a diagram illustrating a state in which the privacy mask 112 according to an embodiment of the present invention is divided into blocks.
FIG. 17 is a diagram illustrating a state in which an image 111 to which a partial mask for masking a target 5 to be monitored is not applied is displayed on the screen unit 21 among the privacy masks 112 divided into blocks in FIG. 16 .
FIG. 18 shows a state in which an image 111 to which a partial mask for masking a subject to be monitored 5 is not applied is displayed on the screen unit 21 among the privacy masks 112 divided into blocks due to an increased division ratio compared to FIG. 16. is the drawing shown.
19 is a diagram showing a state in which the privacy mask 112 according to an embodiment of the present invention is randomly divided by a user.
FIG. 20 is a diagram illustrating a state in which an image 111 to which a partial mask for masking a target 5 to be monitored is not applied is displayed on the screen unit 21 among the privacy masks 112 randomly divided by the user in FIG. 19 .

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention belongs. It is provided to completely inform the person who has the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numbers designate like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used in a meaning commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.Terminology used herein is for describing the embodiments and is not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, "comprises" and/or "comprising" does not exclude the presence or addition of one or more other elements other than the recited elements.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 촬상 시스템의 구성을 나타낸 블록도이다.1 is a block diagram showing the configuration of an imaging system according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 촬상 시스템을 이용하는 방법에 따르면, 촬상 장치(1)가 획득한 영상(111) 내에 포함된 마스킹 대상(3)을, 프라이버시 마스크(112)가 마스킹한다. 이 때, 영상(111)이 패닝(Panning), 틸팅(Tilting) 또는 주밍(Zooming)이 되면, 영상(111) 내에서 마스킹 대상(3)의 위치 및 모양이 변화한다. 이에 따라 프라이버시 마스크(112)도, 마스킹 대상(3)과 대응되어 위치 및 모양이 변화하는데, 본 발명의 일 실시예에 따른 촬상 시스템은 마스킹 대상(3)의 위치 좌표뿐만 아니라, 픽셀 정보를 이용하여 프라이버시 마스크(112)의 위치 및 모양을 변화시킨다. 따라서, 오차가 발생하지 않고 마스킹 대상(3)과 정확하게 대응되도록 프라이버시 마스크(112)가 변화될 수 있다.According to the method of using the imaging system according to an embodiment of the present invention, the privacy mask 112 masks the masking target 3 included in the image 111 acquired by the imaging device 1 . At this time, when the image 111 is panned, tilted, or zoomed, the position and shape of the masking target 3 within the image 111 change. Accordingly, the position and shape of the privacy mask 112 also changes in correspondence with the masking target 3. The imaging system according to an embodiment of the present invention uses pixel information as well as the positional coordinates of the masking target 3 to change the position and shape of the privacy mask 112. Accordingly, the privacy mask 112 may be changed to accurately correspond to the masking target 3 without generating an error.

본 발명의 일 실시예에 따른 촬상 시스템은, 도 1에 도시된 바와 같이 특정 영역을 촬영하여 영상(111)을 획득하는 촬상 장치(1), 촬상 장치(1)가 획득한 영상(111)을 전송받아 디스플레이 하는 모니터링 장치(2)를 포함한다. 촬상 장치(1)와 모니터링 장치(2)는 서로 유선 또는 무선으로 연결되어, 영상 데이터 또는 신호를 송수신 할 수 있다. 만약, 촬상 장치(1)가 모니터링 장치(2)와 별도의 구성으로 마련되는 것이 아니라 모니터링 장치(2)에 직접 설치되는 구성이라면, 촬상 장치(1)와 모니터링 장치(2)는 내부 회로를 통하여 영상 데이터 또는 신호를 송수신 할 수 있다.An imaging system according to an embodiment of the present invention, as shown in FIG. It includes a monitoring device 2 that receives and displays the transmission. The imaging device 1 and the monitoring device 2 may be wired or wirelessly connected to each other to transmit and receive image data or signals. If the imaging device 1 is not provided as a separate configuration from the monitoring device 2, but is directly installed in the monitoring device 2, the imaging device 1 and the monitoring device 2 are connected through an internal circuit. Video data or signals can be transmitted and received.

촬상 장치(1)는 특정 영역을 촬영하여 영상(111)을 획득한다. 촬상 장치(1)는 이미지 신호를 수신하는 촬상부(11), 영상(111)을 전송하는 통신부(12), 상기 영상(111)을 저장하는 저장부(13), 타 구성요소들을 제어하는 제어부(14)를 포함한다.The imaging device 1 acquires an image 111 by capturing a specific region. The imaging device 1 includes an imaging unit 11 that receives an image signal, a communication unit 12 that transmits an image 111, a storage unit 13 that stores the image 111, and a control unit that controls other components. (14).

촬상부(11)는 특정 영역에 대한 이미지 신호를 수신한다. 촬상부(21)에는 일반적으로 CCD(Charge Coupled Device, 전하결합소자)나 CMOS 이미지 센서 등의 촬상 소자가 포함된다. CCD는 복수의 포토다이오드(Photodiode)에 광이 조사되면 광전효과에 의해 발생한 전자들을 축적시킨 후 전송하는 방식이다. 이 때, 광자의 양에 따라 발생하는 전자량의 변화를 분석하고 정보를 재구성함으로써, 화면을 이루는 이미지 정보가 생성된다. CCD는 화질이 선명하고 노이즈가 적다는 장점이 있으나, 전력소비가 높고 처리속도가 느리다는 단점이 있다.The imaging unit 11 receives an image signal for a specific area. The imaging unit 21 generally includes an imaging device such as a charge coupled device (CCD) or a CMOS image sensor. CCD is a method of accumulating and transmitting electrons generated by the photoelectric effect when light is irradiated to a plurality of photodiodes. At this time, image information constituting the screen is generated by analyzing the change in the amount of electrons generated according to the amount of photons and reconstructing the information. CCD has the advantage of clear image quality and low noise, but has the disadvantage of high power consumption and slow processing speed.

CMOS 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor)를 이용하는 이미지 센서로서, 각 셀마다 증폭기가 있어 광에 의해 발생한 전자를 곧바로 전기신호로 증폭시켜 전송하는 방식이다. CMOS 이미지 센서는 가격이 저렴하고 전력소비가 낮으며 처리속도가 빠르나, 노이즈가 많다는 단점이 있다.A CMOS image sensor is an image sensor using Complementary Metal Oxide Semiconductor (CMOS), and has an amplifier for each cell, so that electrons generated by light are directly amplified into electrical signals and transmitted. CMOS image sensors are inexpensive, have low power consumption, and have high processing speed, but have a lot of noise.

통신부(12)는 모니터링 장치(2)와 유무선으로 신호 및 데이터를 송수신한다. 예를 들어, 상기 통신부(12)는 상기 제어부(14)로부터의 신호 및 데이터를 변조 및 주파수 업컨버팅하여 모니터링 장치(2)로 송신하거나, 모니터링 장치(2)로부터 수신되는 신호 및 데이터를 주파수 다운컨버팅 및 복조하여 제어부(14)로 제공한다. 이러한 과정으로, 통신부(12)는 모니터링 장치(2)로 영상 데이터를 전송하거나 신호를 송신할 수 있고, 모니터링 장치(2)로부터 생성된 신호 및 데이터를 수신할 수도 있다. 상기 기술한 바와 같이, 촬상 장치(1)가 모니터링 장치(2)에 직접 설치되는 구성이라면, 촬상 장치(1)와 모니터링 장치(2)는 내부 회로를 통하여 영상 데이터 또는 신호를 송수신 할 수 있다.The communication unit 12 transmits and receives signals and data with the monitoring device 2 wired or wirelessly. For example, the communication unit 12 modulates and frequency-upconverts signals and data from the control unit 14 and transmits them to the monitoring device 2, or frequency-down signals and data received from the monitoring device 2. It is converted and demodulated and provided to the control unit 14. Through this process, the communication unit 12 may transmit image data or signals to the monitoring device 2 and may receive signals and data generated from the monitoring device 2 . As described above, if the imaging device 1 is directly installed in the monitoring device 2, the imaging device 1 and the monitoring device 2 may transmit and receive image data or signals through an internal circuit.

저장부(13)는 촬상 장치(1)의 동작들을 처리 및 제어하기 위한 프로그램과 각 프로그램 수행 중에 발생되는 각종 데이터, 그리고 모니터링 장치(2)로 전송할 영상 데이터를 저장한다. 저장부(13)는 촬상 장치(1)에 내장될 수도 있으나, 네트워크 카메라 시스템의 경우에는 NVR(Network Video Recorder) 등과 같이 별도의 장치가 마련될 수도 있다.The storage unit 13 stores programs for processing and controlling operations of the imaging device 1 , various data generated during execution of each program, and image data to be transmitted to the monitoring device 2 . The storage unit 13 may be built into the imaging device 1, but in the case of a network camera system, a separate device such as a network video recorder (NVR) may be provided.

제어부(14)는 촬상 장치(1)의 전반적인 동작을 제어한다. 예를 들어, 제어부(14)는 통신부(12)와 모니터링 장치(2)의 신호 및 데이터 통신을 위한 처리 및 제어를 수행하고, 촬상부(11)를 통해 영상(111)이 획득되면 디코딩 및 렌더링 등 영상 처리를 수행한다. 또한, 마스킹 대상(3)을 촬영한 영상(111)에 프라이버시 마스크(112)를 표시하도록 제어하며, 저장부(13)에 영상(111)을 저장시키고, 저장된 영상을 로딩하도록 제어한다. 본 발명의 일 실시예에 따른 제어부(14)로는 CPU(Central Processing Unit), MCU(Micro Controller Unit) 또는 DSP(Digital Signal Processor) 등을 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 논리 연산 프로세서가 사용될 수 있다.The controller 14 controls overall operations of the imaging device 1 . For example, the control unit 14 performs processing and control for signal and data communication between the communication unit 12 and the monitoring device 2, and when the image 111 is acquired through the imaging unit 11, decoding and rendering image processing, etc. In addition, control is performed to display the privacy mask 112 on the image 111 of the masking target 3 captured, to store the image 111 in the storage unit 13, and to load the stored image. It is preferable to use a central processing unit (CPU), a micro controller unit (MCU), or a digital signal processor (DSP) as the controller 14 according to an embodiment of the present invention, but is not limited thereto, and various logic operation processors may be used. can be used

상기의 기능 외에도 제어부(14)는 각종 설정된 내용들을 구현하거나 내부의 신호들을 제어한다. 상기 설정된 내용은 사용자가 자신에게 적합하도록 인터페이스를 설정한 내용뿐만 아니라 자체 소프트웨어의 업데이트 등의 내용을 포함한다. 그리고 상기 인터페이스의 설정 내용은 화면의 줌, 해상도, 밝기, 색도, 채도를 포함하고, 흑백, 스타일, 뷰 모드 등 사용자가 원하는 영상이 출력될 수 있도록 설정할 수 있는 모든 내용들을 포함한다. 따라서, 사용자가 원하면 화면의 줌 인 및 줌 아웃을 하여 화면의 확대 및 축소가 가능하고, 화면의 밝기 또한 조절할 수 있다. 또한, 촬상 장치(1)가 촬영한 영상(111)을 패닝 또는 틸팅 하도록 뷰 모드를 조정할 수 있다.In addition to the above functions, the controller 14 implements various set contents or controls internal signals. The set content includes not only content that the user has set the interface to be suitable for himself, but also content such as updating the user's own software. And the setting contents of the interface include zoom, resolution, brightness, chromaticity, saturation of the screen, black and white, style, view mode, etc., and all contents that can be set so that the image desired by the user can be output. Therefore, if the user desires, the screen can be enlarged and reduced by zooming in and out of the screen, and the brightness of the screen can also be adjusted. In addition, the view mode may be adjusted to pan or tilt the image 111 captured by the imaging device 1 .

본 발명의 일 실시예에 따른 촬상 장치(1)는 패닝(Panning), 틸팅(Tilting)이 가능한 팬틸트 카메라인 것이 바람직하다. 또는, 촬상 장치(1)는 큰 화각을 갖는 광각렌즈를 가질 수 있으며, 180°이상의 화각을 갖는 초광각 렌즈인 어안 렌즈(Fish-Eye Lens)를 가질 수도 있다. 나아가, 촬상 장치(1)는 최근에 소개된 360°카메라일 수도 있다. 360°카메라란, 카메라 자체가 물리적인 패닝 또는 틸팅이 되지 않고, 어안 렌즈를 복수로 장착하여 전방위가 동시에 촬영이 가능한 카메라를 말한다. 이러한 경우에는, 360°카메라가 획득한 영상(111)은, 모니터링 장치(2) 내에 설치된 소프트웨어를 통해 패닝 또는 틸팅된다. 본 발명의 일 실시예에 따른 촬상 장치(1)는 이에 제한되지 않고, 특정 영역을 향해 촬영이 가능하다면 다양한 촬상 장치(1)를 사용할 수 있다.The imaging device 1 according to an embodiment of the present invention is preferably a pan-tilt camera capable of panning and tilting. Alternatively, the imaging device 1 may have a wide-angle lens with a large angle of view, or may have a fish-eye lens, which is an ultra-wide-angle lens with an angle of view of 180° or more. Further, the imaging device 1 may be a recently introduced 360° camera. A 360° camera is a camera that does not physically pan or tilt, and can take pictures in all directions at the same time by attaching a plurality of fisheye lenses. In this case, the image 111 acquired by the 360° camera is panned or tilted through software installed in the monitoring device 2 . The imaging device 1 according to an embodiment of the present invention is not limited thereto, and various imaging devices 1 may be used as long as they are capable of capturing a specific area.

촬상 장치(1)는 매초 15~30프레임의 2차원 화상을 촬영하여 디지털 변환함으로써 동영상 데이터를 출력하는 디지털 카메라인 것이 바람직하나, 이에 제한되지 않는다. 만약, 촬상 장치(1)가 디지털 카메라가 아니라면 촬영한 영상은 RGB 아날로그 영상 신호이므로 ADC컨버터가 별도로 구비되어야 하나, 촬상 장치(1)가 디지털 카메라라면 ADC컨버터가 필요하지 않다. 또한 촬상 장치(1) 자체에서 영상(111)을 인코딩하는 기능이 탑재되어 있으므로, 촬상 장치(1)가 영상(111)을 촬영하면 곧바로 인코딩되어 압축 영상 데이터가 생성된다.The imaging device 1 is preferably, but not limited to, a digital camera that outputs moving picture data by capturing and digitally converting two-dimensional images of 15 to 30 frames per second. If the imaging device 1 is not a digital camera, since the captured image is an RGB analog video signal, an ADC converter must be separately provided. However, if the imaging device 1 is a digital camera, the ADC converter is not required. In addition, since the imaging device 1 itself has a function of encoding the video 111, when the imaging device 1 captures the video 111, it is immediately encoded and compressed video data is generated.

최근에는 초고해상도 영상인 UHD(Ultra High Definition)의 관심으로 UHD 영상 인코딩을 위한 HEVC(High Efficiency Video Coding)의 표준화가 완료되며 H.264/MPEG-4 AVC보다 2배 이상의 인코딩 효율을 향상시켰다. 상기 영상을 인코딩하기 위한 코덱으로는, 최근 주로 사용되는 MPEG4 또는 H.264/MPEG-4 AVC, 상기 소개한 HEVC 등을 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 종류의 코덱이 사용될 수 있다.Recently, with the interest in UHD (Ultra High Definition), which is an ultra-high resolution video, the standardization of HEVC (High Efficiency Video Coding) for UHD video encoding has been completed, and the encoding efficiency has been improved by more than twice that of H.264/MPEG-4 AVC. As a codec for encoding the video, it is preferable to use MPEG4 or H.264/MPEG-4 AVC, which is mainly used recently, or HEVC introduced above, but is not limited thereto and various types of codecs may be used.

본 발명의 일 실시예에 따른 모니터링 장치(2)는 촬상 장치(1)가 획득한 영상(111)을 전송받아 디스플레이한다. 모니터링 장치(2)는 스마트폰(Smartphone), 태블릿 PC(Tablet PC), 랩탑(Laptop) 등 터치 기능을 제공하는 장치인 것이 바람직하나, 이에 제한되지 않고 데스크 탑(Desktop)과 같이 마우스 등 통해 사용자 명령을 입력하는 장치일 수도 있다. 사용자는 모니터링 장치(2)에 다양한 어플리케이션을 설치 및 삭제할 수 있다. 이 가운데, 카메라 제어 어플리케이션을 실행하고, 터치 또는 마우스 등의 입력 방법을 통해 영상(111)의 패닝 또는 틸팅을 제어하는 신호를 생성할 수 있다.The monitoring device 2 according to an embodiment of the present invention receives and displays the image 111 acquired by the imaging device 1 . The monitoring device 2 is preferably a device that provides a touch function, such as a smartphone, tablet PC, or laptop, but is not limited thereto, and is not limited thereto. It may also be a device for inputting commands. A user can install and delete various applications in the monitoring device 2 . Among them, a camera control application may be executed, and a signal for controlling panning or tilting of the image 111 may be generated through an input method such as touch or mouse.

모니터링 장치(2)는 본체(20), 영상(111)을 디스플레이 하는 화면부(21)를 포함한다. 화면부(21)는 촬상 장치(1)로부터 전송된 영상(111)을 디스플레이 한다. 모니터링 장치(2)가 터치 기능을 제공한다면, 화면부(21)는 터치 센서를 포함할 수 있다. 이 경우에는 사용자가 화면부(21)를 통해 직접 터치 신호를 입력할 수 있다. 터치 센서는 화면부(21)와 함께 일체로 장착될 수 있으며, 화면부(21)에서 발생되는 터치를 감지하여 터치가 발생된 영역의 좌표, 터치의 횟수 및 세기 등을 검출하고, 상기 검출된 결과를 제어부(14)에 전달한다. 터치 센서가 터치를 감지하는 방식에 따라, 정전 용량 방식, 전기저항막 방식, 초음파 방식, 적외선 방식 등 다양한 방식이 사용될 수 있다. 모니터링 장치(2)가 터치 기능을 제공하더라도, 화면부(21)가 터치 센서를 포함하지 않는다면 별도의 터치 패드가 입력부로써 마련될 수도 있다. 그리고 터치는 손가락을 이용하여 수행될 수도 있으나, 이에 제한되지 않고, 미세 전류가 흐를 수 있는 팁이 장착된 스타일러스 펜 등을 이용하여 수행될 수도 있다. 만약, 모니터링 장치(2)가 터치 기능을 제공하지 않는다면, 마우스 등 사용자의 명령을 입력할 수 있는 입력부가 별도로 마련될 수 있다.The monitoring device 2 includes a main body 20 and a screen unit 21 displaying an image 111 . The screen unit 21 displays the image 111 transmitted from the imaging device 1 . If the monitoring device 2 provides a touch function, the screen unit 21 may include a touch sensor. In this case, the user may directly input a touch signal through the screen unit 21 . The touch sensor may be integrally mounted with the screen unit 21, detects a touch generated on the screen unit 21, detects the coordinates of the area where the touch occurs, the number and intensity of the touch, and the detected The result is delivered to the controller 14. Depending on how the touch sensor senses a touch, various methods such as a capacitance method, an electric resistance film method, an ultrasonic method, and an infrared method may be used. Even if the monitoring device 2 provides a touch function, if the screen unit 21 does not include a touch sensor, a separate touch pad may be provided as an input unit. Further, the touch may be performed using a finger, but is not limited thereto, and may be performed using a stylus pen equipped with a tip through which a microcurrent may flow. If the monitoring device 2 does not provide a touch function, an input unit capable of inputting a user command such as a mouse may be provided separately.

도 2는 본 발명의 일 실시예에 따른 제어부(14)의 상세한 구성을 나타낸 블록도이다.2 is a block diagram showing a detailed configuration of the control unit 14 according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 제어부(14)는, 도 2에 도시된 바와 같이 영상 처리부(141), 영상 제어부(142), 객체 판별부(143), 마스크 적용부(144), 정보 관리부(145), 마스크 분할부(146) 및 픽셀 정보 비교부(147)를 포함한다.As shown in FIG. 2, the control unit 14 according to an embodiment of the present invention includes an image processing unit 141, an image control unit 142, an object determination unit 143, a mask application unit 144, an information management unit ( 145), a mask division unit 146, and a pixel information comparison unit 147.

영상 처리부(141)는 대기하는 영상의 프레임 데이터를 임시로 저장하는 버퍼 메모리, 영상의 렌더링(Rendering) 작업을 수행하는 그래픽 렌더러, 복합 영상을 생성하기 위해 복수의 영상의 오버레이를 수행하는 슈퍼 임포저를 더 포함할 수 있다. 버퍼 메모리, 그래픽 렌더러 또는 슈퍼 임포저는, 영상 제어부(142)가 명령을 함으로써 조절된다. 다만, 이에 제한되지 않고, 영상의 인코딩 및 디코딩의 과정이나 기타 영상 처리가 필요하지 않은 경우에는, 입력 영상 처리부(141)는 상기 기술한 버퍼 메모리, 그래픽 렌더러 또는 슈퍼 임포저 중에 일부를 포함하지 않을 수 있다. 즉, 촬상 장치(1)로부터 촬영된 영상의 처리 방법에 따라, 영상 처리부(141)는 다양하게 구성될 수 있다.The image processing unit 141 includes a buffer memory that temporarily stores frame data of a waiting image, a graphic renderer that performs image rendering, and a super imposer that overlays a plurality of images to create a composite image. may further include. The buffer memory, graphic renderer or super imposer is controlled by the image controller 142 giving a command. However, it is not limited thereto, and if the process of encoding and decoding an image or other image processing is not required, the input image processing unit 141 may not include some of the above-described buffer memory, graphic renderer, or super imposer. can That is, the image processing unit 141 may be configured in various ways according to a method of processing an image captured by the imaging device 1 .

압축 영상은 영상 처리부(141)로 입력되면, 영상 제어부(142)에는 압축 영상이 영상 처리부(141)로 입력된다는 신호가 인가된다. 영상 제어부(142)는 상기 신호가 인가되면, 영상 처리부(141)에서 영상을 처리하여 해상도(Resolution), 프레임율(Frame-Rate) 또는 화질(Bit-Depth)을 변경하는 영상 처리 과정의 전반적인 제어를 수행한다.When the compressed image is input to the image processor 141, a signal indicating that the compressed image is input to the image processor 141 is applied to the image controller 142. When the signal is applied, the image control unit 142 controls the overall image processing process of processing the image in the image processing unit 141 and changing the resolution, frame rate, or bit depth. do

객체 판별부(143)는 촬상 장치(1)가 획득한 영상(111)으로부터 마스킹 대상(3)을 판별한다. 객체 판별부(143)는 우선 촬상 장치(1)가 획득한 영상(111)으로부터 이미지 픽셀에 대한 엣지 정보를 추출한다. 상기 엣지 정보를 추출하기 위해서 일반적으로 사용되는 그라디언트 공식을 사용할 수 있다. 상기 추출한 엣지 정보를 통해 마스킹 대상(3)의 윤곽선이 드러나게 된다. 그리고 저장부(13)에 미리 윤곽선 정보에 대한 데이터를 저장하고, 상기 획득한 윤곽선 정보와 매칭하여 마스킹 대상(3)의 정체를 인식하고 판별할 수 있다. 상기 이미지 매칭을 위해 특징점을 추출하는 방법으로는 SIFT(Scale Invariant Feature Transform) 또는 SURF(Speeded Up Robust Features)기법을 사용할 수 있으나, 본 발명은 시간을 단축하여 신속한 정보 획득이 목적이므로 보다 빠른 SURF 기법이 바람직하다.The object determination unit 143 determines the masking target 3 from the image 111 acquired by the imaging device 1 . The object determining unit 143 first extracts edge information about an image pixel from the image 111 acquired by the imaging device 1 . A commonly used gradient formula may be used to extract the edge information. Through the extracted edge information, the outline of the masking target 3 is revealed. In addition, data on the contour line information is stored in advance in the storage unit 13, and the identity of the masking target 3 can be recognized and determined by matching with the obtained contour line information. As a method of extracting feature points for image matching, SIFT (Scale Invariant Feature Transform) or SURF (Speeded Up Robust Features) techniques can be used, but since the present invention aims to quickly obtain information by reducing time, a faster SURF technique this is preferable

나아가, 만약 마스킹 대상(3)이 사람의 얼굴이라면, 지구상에 존재하는 모든 사람들의 얼굴에 대한 윤곽선 정보를 미리 저장부(13)에 저장하는 것이 불가능하다. 이러한 경우에는 얼굴 영역을 추출하는 방법을 사용할 수 있다. 예를 들면, 컬러정보, 엣지 정보를 이용하여 얼굴의 후보영역을 찾는 특징 기반 방법과, 신경회로망, 움직임 정보, 선형 부분 공간 방법, 통계적 접근 등과 같이 얼굴의 후보영역에 대해서 국부 최적 임계치 방법을 사용하여 얼굴의 구성요소(눈, 눈썹, 입)들을 검출하여 얼굴영역을 찾는 이미지 기반 방법. 형태학상 처리 그리고 템플릿을 이용한 정합법, PCA를 이용한 주성분분석법 등이 있다.Furthermore, if the masking target 3 is a human face, it is impossible to store contour information on the faces of all people on earth in the storage unit 13 in advance. In this case, a method of extracting a face region may be used. For example, a feature-based method for finding a candidate region of the face using color information and edge information, and a local optimal threshold method for the candidate region of the face such as a neural network, motion information, linear subspace method, and statistical approach are used. An image-based method for finding facial regions by detecting facial components (eyes, eyebrows, mouth) There are morphological processing, registration method using template, principal component analysis method using PCA, etc.

객체 판별부(143)는 움직이는 물체를 자동으로 감지하는 이동 객체 감지(Moving Object Detecting, MOD) 기능을 제공할 수도 있다. 따라서 만약, 마스킹 대상(3)이 이동하는 물체라면, 이러한 이동 객체 감지(MOD) 기능을 활용하여 마스킹 대상(3)을 판별할 수 있다.The object determination unit 143 may provide a moving object detection (MOD) function for automatically detecting a moving object. Therefore, if the masking target 3 is a moving object, the masking target 3 may be determined by utilizing the moving object detection (MOD) function.

마스크 적용부(144)는 영상(111) 상에서, 상기 판별된 마스킹 대상(3)에 대하여 프라이버시 마스크(112)를 적용한다. 하기 기술할 바, 변화되는 마스킹 대상(3)의 위치 좌표 및 픽셀 정보에 대응하여, 정보 관리부(145)가 프라이버시 마스크(112)의 위치 좌표 및 픽셀 정보 또한 수정한다. 그리고, 마스크 적용부(144)는 상기 수정된 위치 좌표 및 픽셀 정보를 토대로, 정확한 위치에 프라이버시 마스크(112)를 적용할 수 있다. 나아가, 마스킹 대상(3)의 일부가 감시 대상(5)에 의하여 차폐될 때가 있다. 이러한 때에는, 프라이버시 보호를 위해 마스킹 대상(3)에 해당하는 부분은 프라이버시 마스크(112)가 유지되고, 상기 감시 대상(5)은 감시를 위해 프라이버시 마스크(112)가 해제되는 것이 바람직하다. 따라서, 마스크 분할부(146)가 마스킹을 유지할 부분과, 마스킹을 해제할 부분으로 분할하여, 오로지 마스킹 대상(3)에만 프라이버시 마스크(112)를 적용하고, 그 외의 부분은 마스킹을 해제한다. 프라이버시 마스크(112)가 영상(111)에 적용되어 화면부(21)에 표시될 때는, 촬상 장치(1)가 획득한 영상(111)에 OSD(On Screen Display) 형태로 합성되어 표시될 수 있다.The mask application unit 144 applies the privacy mask 112 to the determined masking target 3 on the image 111 . As will be described below, the information management unit 145 also modifies the position coordinates and pixel information of the privacy mask 112 in response to the changed position coordinates and pixel information of the masking target 3 . Also, the mask application unit 144 may apply the privacy mask 112 to an accurate location based on the corrected location coordinates and pixel information. Furthermore, there are times when a part of the masking target 3 is shielded by the monitoring target 5 . In this case, it is preferable that the privacy mask 112 is maintained in the part corresponding to the masking target 3 for privacy protection, and the privacy mask 112 is released for monitoring the monitoring target 5. Accordingly, the mask dividing unit 146 divides the masking portion into a portion to be maintained and a portion to be unmasked, the privacy mask 112 is applied only to the masking target 3, and the other portion is unmasked. When the privacy mask 112 is applied to the image 111 and displayed on the screen unit 21, the image 111 obtained by the imaging device 1 may be synthesized and displayed in the form of an OSD (On Screen Display). .

프라이버시 마스크(112)가 적용되는 방식은, 판별된 마스킹 대상(3)을 필터링하여 검게 처리하는 것이 바람직하다. 그러나, 이에 제한되지 않고 마스킹 대상(3)의 RGB 색상값을 주변 픽셀의 평균 색상 값으로 맵핑 처리하여 영상을 흐리게 하는 방식, 또는 마스킹 대상(3)의 픽셀 수를 조절하여 모자이크 처리하는 방식 등 다양한 방식을 적용할 수 있다.In the method of applying the privacy mask 112, it is preferable to process the determined masking target 3 by filtering it black. However, it is not limited to this, and various methods such as a method of blurring an image by mapping the RGB color values of the masking target 3 to the average color values of surrounding pixels or a method of mosaic processing by adjusting the number of pixels of the masking target 3 method can be applied.

정보 관리부(145)는 영상(111)이 패닝, 틸팅 또는 주밍되면, 마스킹 대상(3)의 영상(111)에서의 위치 좌표의 변화량 및 픽셀 정보의 변화량을 연산하여, 프라이버시 마스크(112)가 정확한 위치에 적용되도록 반영한다. 정보 관리부(145)의 동작에 대한 자세한 설명은 후술한다.When the image 111 is panned, tilted, or zoomed, the information management unit 145 calculates the amount of change in position coordinates and the amount of change in pixel information of the image 111 of the masking target 3, so that the privacy mask 112 is accurate. Reflect to apply to the location. A detailed description of the operation of the information management unit 145 will be described later.

마스크 분할부(146)는 마스킹 대상(3)을 감시 대상(5)이 차폐시키는 경우, 프라이버시 마스크(112)를 분할하여, 일부 영역은 프라이버시 마스크(112)가 유지되고, 일부 영역은 프라이버시 마스크(112)가 해제되도록 한다. 마스크 분할부(146)의 동작에 대한 자세한 설명은 후술한다.The mask division unit 146 divides the privacy mask 112 when the monitoring target 5 shields the masking target 3, so that the privacy mask 112 is maintained in some areas and the privacy mask 112 is maintained in some areas. 112) is released. A detailed description of the operation of the mask dividing unit 146 will be described later.

픽셀 정보 비교부(147)는 프라이버시 마스크(112)를 정확히 위치시키기 위해, 최초로 추출한 마스킹 대상(3)의 픽셀 정보와, 마스킹 대상(3)의 위치가 변화한 후의 픽셀 정보를 비교한다. 또한, 마스크가 분할되는 경우, 차폐할 영역과 노출할 영역을 명확히 구분하기 위해 저장된 픽셀 정보와 새롭게 추출된 픽셀 정보를 비교한다.The pixel information comparator 147 compares the first extracted pixel information of the masking target 3 with pixel information after the position of the masking target 3 is changed in order to accurately locate the privacy mask 112 . In addition, when the mask is divided, stored pixel information and newly extracted pixel information are compared to clearly distinguish a region to be shielded from a region to be exposed.

도 3은 본 발명의 일 실시예에 따른 정보 관리부(145)의 상세한 구성을 나타낸 블록도이다.3 is a block diagram showing the detailed configuration of the information management unit 145 according to an embodiment of the present invention.

정보 관리부(145)는 도 3에 도시된 바와 같이, 위치 좌표에 대한 정보를 관리하는 위치 좌표 관리부(1451), 픽셀 정보에 대한 정보를 관리하는 픽셀 정보 관리부(1452)를 포함한다.As shown in FIG. 3 , the information management unit 145 includes a location coordinate management unit 1451 that manages information about position coordinates and a pixel information management unit 1452 that manages information about pixel information.

위치 좌표 관리부(1451)는 영상(111)에서 마스킹 대상(3)에 프라이버시 마스크(112)를 적용하기 위해 프라이버시 마스크(112)의 좌표를 연산한다. 위치 좌표 관리부(1451)는 마스킹 대상(3)이 영상(111)에서 현재 위치하는 좌표를 추출하는 위치 좌표 추출부(1453), 영상(111)이 패닝, 틸팅 또는 주밍 되었을 때 마스킹 대상(3)의 위치 좌표 변화량을 연산하고, 이를 상기 추출한 위치 좌표에 보상함으로써 최종 위치 좌표를 도출하는 위치 좌표 연산부(1454)를 포함한다.The location coordinate management unit 1451 calculates the coordinates of the privacy mask 112 to apply the privacy mask 112 to the masking target 3 in the image 111 . The position coordinate management unit 1451 is a position coordinate extraction unit 1453 that extracts coordinates where the masking target 3 is currently located in the image 111, and the masking target 3 when the image 111 is panned, tilted, or zoomed. and a position coordinate calculation unit 1454 that calculates a change in position coordinates of , and derives final position coordinates by compensating for the extracted position coordinates.

마스킹 대상(3)이 촬상 장치(1)에 촬영되어 영상(111) 상에서 표시될 때, 객체 판별부(143)에서 마스킹 대상(3)을 영상(111) 상에서 판별하면, 위치 좌표 추출부(1453)는 마스킹 대상(3)이 영상(111) 상에서 현재 위치한 위치 좌표를 추출해 낸다. 여기서, 마스킹 대상(3)이 화면부(21)를 통해 영상(111) 상에서 표시되면, 일정한 면적을 가지는 영역으로 표시되는 것이 일반적이다. 따라서, 상기 위치 좌표는 복수로 추출되어야 한다. 또한, 영상(111) 상에서 표시되는 마스킹 대상(3)의 아웃라인은, 직선만을 가지는 것이 아니라 곡선을 가질 수도 있다. 따라서, 복수의 위치 좌표는 마스킹 대상(3)의 아웃라인을 따라서 일정한 간격으로 추출되는 것이 바람직하다. 상기 일정한 간격이 넓을수록, 위치 좌표의 추출량이 감소하여 연산량이 감소하고 연산 속도가 빨라지나, 마스킹 대상(3)의 위치 좌표 변화량 연산시 오차가 크게 발생할 수 있다. 이와 반대로, 상기 일정한 간격이 좁을 수록, 마스킹 대상(3)의 위치 좌표 변화량 연산시 오차를 감소시킬 수 있으나, 연산량이 증가하고 연산 속도가 느려진다. 따라서, 상기 일정한 간격은 제어부(14)의 연산 능력 및 본 발명의 적용 상황에 따라 다양하게 변경될 수 있다.When the masking target 3 is photographed by the imaging device 1 and displayed on the image 111, if the object determination unit 143 determines the masking target 3 on the image 111, the position coordinate extraction unit 1453 ) extracts the location coordinates of the masking target 3 currently located on the image 111. Here, when the masking target 3 is displayed on the image 111 through the screen unit 21, it is generally displayed as an area having a certain area. Therefore, the location coordinates must be extracted in plurality. In addition, the outline of the masking target 3 displayed on the image 111 may have a curved line as well as a straight line. Accordingly, it is preferable that the plurality of positional coordinates are extracted at regular intervals along the outline of the masking target 3 . As the constant interval increases, the amount of extraction of position coordinates decreases, so the amount of calculation decreases and the calculation speed increases. However, a large error may occur when calculating the amount of change in position coordinates of the masking target 3 . Conversely, as the predetermined interval becomes narrower, an error may be reduced when calculating the amount of change in position coordinates of the masking target 3, but the amount of calculation increases and the calculation speed slows down. Accordingly, the regular interval may be variously changed according to the computing capability of the control unit 14 and application conditions of the present invention.

위치 좌표 연산부(1454)는 영상(111)이 패닝, 틸팅 또는 주밍 되었을 때 마스킹 대상(3)의 위치 좌표 변화량을 연산하여 최종 위치 좌표를 도출한다. 영상(111)이 패닝, 틸팅 또는 주밍되면, 마스킹 대상(3)의 아웃라인 모양이 왜곡되어 나타나게 된다. 위치 좌표 연산부(1454)는 이러한 왜곡되는 마스킹 대상(3)의 아웃라인 모양을 모두 반영하여 위치 좌표의 변화량을 연산한다.When the image 111 is panned, tilted, or zoomed, the position coordinate calculation unit 1454 calculates a position coordinate change amount of the masking target 3 to derive final position coordinates. When the image 111 is panned, tilted, or zoomed, the outline shape of the masking target 3 appears distorted. The positional coordinate calculation unit 1454 calculates the amount of change in positional coordinates by reflecting all the outline shapes of the distorted masking target 3 .

픽셀 정보 관리부(1452)는 마스킹 대상(3)의 현재 픽셀 정보를 추출하는 픽셀 정보 추출부(1455), 영상(111)이 패닝, 틸팅 또는 주밍 되었을 때 마스킹 대상(3)의 픽셀 정보의 변화량을 연산하고 이를 상기 현재 픽셀 정보에 보상함으로써 최종 픽셀 정보를 도출하는 픽셀 정보 연산부(1456)를 포함한다.The pixel information management unit 1452 is a pixel information extraction unit 1455 that extracts current pixel information of the masking target 3, and changes in pixel information of the masking target 3 when the image 111 is panned, tilted, or zoomed. and a pixel information calculation unit 1456 for calculating and compensating for the current pixel information to derive final pixel information.

마스킹 대상(3)이 촬상 장치(1)에 촬영되어 영상(111) 상에서 표시될 때, 객체 판별부(143)에서 마스킹 대상(3)을 영상(111) 상에서 판별하면, 픽셀 정보 추출부(1455)는 마스킹 대상(3)이 영상(111)에서 가지는 현재 픽셀 정보를 추출해 낸다. 여기서 픽셀 정보란, 픽셀 각각이 가지는 특정 픽셀 값만이 아니라, 이웃하는 픽셀들 간의 픽셀 값의 차분을 포함한다.When the masking target 3 is photographed by the imaging device 1 and displayed on the image 111, if the object discrimination unit 143 determines the masking target 3 on the image 111, the pixel information extraction unit 1455 ) extracts current pixel information of the masking target (3) in the image (111). Here, the pixel information includes not only a specific pixel value of each pixel, but also a pixel value difference between neighboring pixels.

픽셀 값이란, 각 픽셀이 가지고 있는 고유의 밝기 값을 말한다. 즉, 임의의 픽셀은 RGB를 이용해 색상 및 밝기가 구현되고, R, G, B는 각각 0 내지 255 중 임의의 수를 가진다. 여기서 0 내지 255가 픽셀 값을 말하며, 0에 가까울수록 픽셀은 어두워지고 255에 가까울수록 픽셀은 밝아진다. R, G, B 삼원색은 각각 0 내지 255 중 임의의 수를 가짐으로써 하나의 픽셀에는 8비트씩 총 24비트가 할당된다. 이러한 R, G, B가 가지는 각각의 값이 조화를 이룸으로써 픽셀 값이 형성된다.The pixel value refers to a unique brightness value of each pixel. That is, color and brightness of an arbitrary pixel are implemented using RGB, and each of R, G, and B has an arbitrary number from 0 to 255. Here, 0 to 255 refers to pixel values. The closer to 0, the darker the pixel, and the closer to 255, the brighter the pixel. Each of the three primary colors R, G, and B has an arbitrary number from 0 to 255, so a total of 24 bits of 8 bits are allocated to one pixel. A pixel value is formed by harmonizing the respective values of R, G, and B.

영상(111) 상에서 마스킹 대상(3)이 표시되면, 화면부(21)에는 상기 영상(111)을 디스플레이 하기 위해, 마스킹 대상(3)에 대응되는 여러 픽셀들이 각각 절대적인 픽셀 값을 가지게 된다. 또한, 각각의 픽셀들은 제각기 다른 픽셀 값을 가질 수 있으므로, 이웃하는 픽셀들 간의 픽셀 값의 차분이 존재할 수도 있다. 픽셀 정보 추출부(1455)는, 픽셀들이 각각 가지는 절대적인 픽셀 값뿐만 아니라, 이웃하는 픽셀들 간의 픽셀 값의 차분을 계산함으로써, 여러 픽셀들의 상대적인 픽셀 값까지 추출한다.When the masking target 3 is displayed on the image 111, in order to display the image 111 on the screen unit 21, several pixels corresponding to the masking target 3 each have an absolute pixel value. Also, since each pixel may have a different pixel value, there may be a difference in pixel value between neighboring pixels. The pixel information extractor 1455 extracts not only absolute pixel values of each pixel, but also relative pixel values of several pixels by calculating differences in pixel values between neighboring pixels.

픽셀 정보 연산부(1456)는 영상(111)이 패닝, 틸팅 또는 주밍 되었을 때 마스킹 대상(3)의 픽셀 정보 변화량을 연산하여 최종 픽셀 정보를 도출한다. 영상(111)이 패닝, 틸팅 또는 주밍되면, 마스킹 대상(3)의 색채(색상, 명도, 채도 등)가 왜곡되어 나타나게 된다. 픽셀 정보 연산부(1456)는 이러한 왜곡되는 마스킹 대상(3)의 색채를 모두 반영하여 픽셀 정보의 변화량을 연산한다.When the image 111 is panned, tilted, or zoomed, the pixel information calculation unit 1456 calculates the amount of change in pixel information of the masking target 3 to derive final pixel information. When the image 111 is panned, tilted, or zoomed, the color (hue, brightness, saturation, etc.) of the masking target 3 appears distorted. The pixel information calculation unit 1456 calculates a change amount of pixel information by reflecting all colors of the masking target 3 that are distorted.

영상(111)이 패닝, 틸팅 또는 주밍되면, 정보 관리부(145)가 변화되는 마스킹 대상(3)의 위치 좌표 및 픽셀 정보 변화량을 연산한다. 그리고, 상기 변화량을 최초 추출한 위치 좌표 및 픽셀 정보에 보상함으로써, 최종 위치 좌표 및 최종 픽셀 정보가 도출된다. 마스크 적용부(144)는 이에 대응되는 위치 및 모양에 프라이버시 마스크(112)를 생성하여 적용함으로써, 오차를 감소시키고 정확한 위치에 프라이버시 마스크(112)를 적용할 수 있게 된다.When the image 111 is panned, tilted, or zoomed, the information management unit 145 calculates the position coordinates of the masking target 3 and the amount of change in pixel information. And, by compensating for the amount of change with the initially extracted position coordinates and pixel information, final position coordinates and final pixel information are derived. The mask application unit 144 generates and applies the privacy mask 112 to the corresponding position and shape, thereby reducing errors and applying the privacy mask 112 to an accurate position.

도 4는 본 발명의 일 실시예에 따른 마스크 분할부(146)의 상세한 구성을 나타낸 블록도이다.4 is a block diagram showing a detailed configuration of a mask divider 146 according to an embodiment of the present invention.

마스킹 대상(3)의 일부가 감시 대상(5)에 의하여 차폐될 때가 있다. 이 경우, 감시 대상(5)에 의하여 차폐된 마스킹 대상(3)의 일부에도 프라이버시 마스크(112)가 적용되면, 이중으로 감시 대상(5) 및 프라이버시 마스크(112)에 의하여 중복으로 차폐되는 결과가 발생한다. 그러면, 불필요한 프라이버시 마스크(112)의 적용이 발생하며, 정작 감시가 필요한 감시 대상(5)까지 차폐되는 문제가 발생한다. 따라서 프라이버시 보호를 위해 마스킹 대상(3)에 해당하는 부분은 프라이버시 마스크(112)가 유지되고, 상기 감시 대상(5)은 감시를 위해 프라이버시 마스크(112)가 해제되는 것이 바람직하다.There are times when a part of the masking target (3) is shielded by the monitoring target (5). In this case, if the privacy mask 112 is also applied to a part of the masking target 3 shielded by the monitoring target 5, the result of being overlapped by the monitoring target 5 and the privacy mask 112 is overlapped. Occurs. Then, an unnecessary application of the privacy mask 112 occurs, and a problem occurs in that even the monitoring target 5 that needs to be monitored is shielded. Therefore, it is preferable that the privacy mask 112 is maintained for the part corresponding to the masking target 3 for privacy protection, and the privacy mask 112 is released for monitoring the monitoring target 5 .

마스크 분할부(146)는 마스킹 대상(3)을 감시 대상(5)이 차폐시키는 경우, 프라이버시 마스크(112)를 분할하여, 일부 영역은 프라이버시 마스크(112)가 유지되고, 일부 영역은 프라이버시 마스크(112)가 해제되도록 한다.The mask division unit 146 divides the privacy mask 112 when the monitoring target 5 shields the masking target 3, so that the privacy mask 112 is maintained in some areas and the privacy mask 112 is maintained in some areas. 112) is released.

마스크 분할부(146)는 프라이버시 마스크(112)를 블록 분할하는 블록 분할부(1461), 프라이버시 마스크(112)를 사용자가 원하는 대로 분할하는 사용자 분할부(1462)를 포함한다.The mask divider 146 includes a block divider 1461 that divides the privacy mask 112 into blocks and a user divider 1462 that divides the privacy mask 112 as desired by a user.

블록 분할부(1461)는 프라이버시 마스크(112)를 블록으로 분할한다. 블록이란, 특정 너비와 높이를 가지는 사각형의 모양으로, 프라이버시 마스크(112)를 가로 및 세로를 특정 간격으로 분할하면 복수의 블록이 형성된다.The block divider 1461 divides the privacy mask 112 into blocks. A block is a rectangle having a specific width and height, and a plurality of blocks are formed by dividing the privacy mask 112 horizontally and vertically at specific intervals.

사용자 분할부(1462)는 사용자가 임의로 지정한 대로 프라이버시 마스크(112)를 분할한다. 사용자가 임의로 지정하므로, 블록으로 분할하는 경우와는 달리 각각의 블록 마다 차폐 및 노출 여부를 판별할 필요가 없다. 즉, 사용자가 임의로 입력한 분할선을 기준으로 영역이 분할되면, 분할된 영역에 대하여만 차폐 및 노출 여부를 판별하면 된다.The user division unit 1462 divides the privacy mask 112 as arbitrarily designated by the user. Since the user specifies it arbitrarily, unlike the case of dividing into blocks, there is no need to determine whether to block or expose each block. That is, when a region is divided based on a dividing line arbitrarily input by a user, it is only necessary to determine whether to shield and expose only the divided region.

이와 같이, 마스크 분할부(146)는 프라이버시 마스크(112)를 유지하여 차폐할 영역과, 프라이버시 마스크(112)를 해제하여 노출할 부분으로 분할한다. 그리고 픽셀 정보 비교부(147)가 픽셀 정보를 비교하여 차폐할 영역과 노출할 영역을 판별한다. 만약, 프라이버시 마스크(112)가 블록 분할된다면, 각각의 블록 마다 차폐 및 노출 여부를 판별하고, 사용자가 임의로 지정한 대로 프라이버시 마스크(112)가 분할된다면, 분할된 영역에 대하여 차폐 및 노출 여부를 판별한다. 그리고 상기 판별 정보를 마스크 적용부(144)에 전송함으로써, 오로지 마스킹 대상(3)에 해당하는 영역에만 프라이버시 마스크(112)가 적용되고, 그 외의 부분은 마스킹이 해제되도록 한다. 프라이버시 마스크(112)가 영상(111)에 적용되어 화면부(21)에 표시될 때는, 촬상 장치(1)가 획득한 영상(111)에 OSD(On Screen Display) 형태로 합성되어 표시될 수 있다.In this way, the mask division unit 146 divides a region to be shielded by holding the privacy mask 112 and a region to be exposed by releasing the privacy mask 112. Then, the pixel information comparator 147 compares pixel information to determine an area to be shielded and an area to be exposed. If the privacy mask 112 is divided into blocks, shielding and exposure are determined for each block, and if the privacy mask 112 is divided as arbitrarily specified by the user, shielding and exposure are determined for the divided areas. . And, by transmitting the determination information to the mask application unit 144, the privacy mask 112 is applied only to the region corresponding to the masking target 3, and masking is released for the other regions. When the privacy mask 112 is applied to the image 111 and displayed on the screen unit 21, the image 111 obtained by the imaging device 1 may be synthesized and displayed in the form of an OSD (On Screen Display). .

상기와 같이, 마스크 적용부(144)는 정보 관리부(145) 및 마스크 분할부(146)로부터 정보를 수신함으로써, 정확한 위치에 프라이버시 마스크(112)를 적용할 수 있고, 마스킹 대상(3)의 일부를 감시 대상(5)이 차폐하더라도, 영상(111) 상에서 마스킹 대상(3)에 해당하는 영역에만 프라이버시 마스크(112)를 적용할 수 있다.As described above, the mask application unit 144 may apply the privacy mask 112 to an accurate position by receiving information from the information management unit 145 and the mask division unit 146, and a part of the masking target 3 Even if the monitoring target 5 shields, the privacy mask 112 may be applied only to a region corresponding to the masking target 3 on the image 111 .

도 5는 본 발명의 일 실시예에 따른 촬상 장치(1)가 마스킹 대상(3)을 촬영하는 모습을 나타낸 도면이고, 도 6은 도 5에서 촬상 장치(1)가 획득한 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.FIG. 5 is a view showing a state in which the imaging device 1 captures a masking target 3 according to an embodiment of the present invention, and FIG. 6 is an image 111 acquired by the imaging device 1 in FIG. 5 It is a drawing showing how it is displayed on the screen unit 21 .

도 5에 도시된 바와 같이, 촬상 장치(1)가 마스킹 대상(3)을 촬영하면, 마스킹 대상(3)에 대한 영상(111)이 획득된다. 이 때, 아직 마스킹 대상(3)에 대하여 프라이버시 마스크(112)를 적용하지 않는다면, 도 6에 도시된 바와 같이, 영상(111)이 모니터링 장치(2)의 화면부(21)에 디스플레이 되며, 상기 영상(111)에는 마스킹 대상(3)이 표시된다. 여기서 영상(111)은 정지 영상일 수도 있으나 동영상일 수도 있다.As shown in FIG. 5 , when the imaging device 1 captures the masking target 3 , an image 111 of the masking target 3 is obtained. At this time, if the privacy mask 112 is not yet applied to the masking target 3, as shown in FIG. 6, the image 111 is displayed on the screen unit 21 of the monitoring device 2, and the The masking target 3 is displayed on the image 111 . Here, the image 111 may be a still image or a moving image.

마스킹 대상(3)은 3차원에 존재하여 일정한 부피와 질량을 가지는 입체적인 물체이나, 영상(111)이 화면부(21)에 디스플레이 될 때에는, 마스킹 대상(3)은 2차원 평면으로 표시된다. 여기서 마스킹 대상(3)이 영상(111)에 표시될 때, 영상(111) 상에서 위치 좌표 및 픽셀 정보를 가진다.The masking target 3 is a three-dimensional object that exists in three dimensions and has a certain volume and mass, but when the image 111 is displayed on the screen unit 21, the masking target 3 is displayed on a two-dimensional plane. Here, when the masking target 3 is displayed on the image 111, it has position coordinates and pixel information on the image 111.

도 7은 본 발명의 일 실시예에 따른 마스킹 대상(3)에 프라이버시 마스크(112)가 적용되는 모습을 나타낸 도면이고, 도 8은 도 7에서 프라이버시 마스크(112)가 적용된 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.7 is a view showing how the privacy mask 112 is applied to the masking target 3 according to an embodiment of the present invention, and FIG. 8 shows the image 111 to which the privacy mask 112 is applied in FIG. It is a diagram showing how it is displayed on the unit 21.

화면부(21)를 통해 디스플레이 되는 영상(111)은, 3차원의 입체적인 형상이라도 2차원 평면으로 표시된다. 따라서, 도 7에 도시된 바와 같이, 촬상 장치(1)로부터 일정 거리만큼 떨어진 곳에 가상의 곡면(4)이 형성되고, 촬상 장치(1)가 촬영하는 3차원의 특정 영역이 상기 가상의 곡면(4)에 투영되어 2차원 평면화된 것으로 가정할 수 있다.The image 111 displayed through the screen unit 21 is displayed on a two-dimensional plane even if it has a three-dimensional shape. Accordingly, as shown in FIG. 7 , a virtual curved surface 4 is formed at a distance from the imaging device 1 by a certain distance, and a 3D specific area captured by the imaging device 1 is the virtual curved surface ( 4) and can be assumed to be two-dimensionally flattened.

정보 관리부(145)는 상기 가상의 곡면(4)에 투영된 마스킹 대상(3)의 현재 위치 좌표 및 픽셀 정보를 추출한다. 그리고 상기 추출한 위치 좌표 및 픽셀 정보를 마스크 적용부(144)에 전송하면, 마스크 적용부(144)가 상기 위치 좌표 및 픽셀 정보를 토대로 프라이버시 마스크(112)를 생성하여 적용한다. 따라서, 도 8에 도시된 바와 같이 가상의 곡면(4)에 마스킹 대상(3)이 투영되는 위치에 프라이버시 마스크(112)가 적용되는 것이다.The information management unit 145 extracts current position coordinates and pixel information of the masking target 3 projected onto the virtual curved surface 4 . Then, when the extracted location coordinates and pixel information are transmitted to the mask application unit 144, the mask application unit 144 generates and applies the privacy mask 112 based on the location coordinates and pixel information. Therefore, as shown in FIG. 8 , the privacy mask 112 is applied to the position where the masking target 3 is projected on the virtual curved surface 4 .

도 9는 본 발명의 일 실시예에 따른 촬상 장치(1)가 패닝을 수행하는 모습을 나타낸 도면이고, 도 10은 도 9에서 프라이버시 마스크(112)가 적용된 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.FIG. 9 is a diagram showing how the imaging device 1 performs panning according to an embodiment of the present invention, and FIG. 10 shows the image 111 to which the privacy mask 112 is applied in FIG. 9 on the screen portion 21. It is a drawing showing how it is displayed on .

촬상 장치(1)가 패닝(Panning) 또는 틸팅(Tilting)을 수행하여 움직이는 경우, 촬상 장치(1)의 앵글과 마스킹 대상(3) 사이의 공간적인 배치가 변경된다. 이러한 변경은 화면부(21)를 통해 디스플레이 되는 영상(111)에 반영되어 표시된다. 또는, 촬상 장치(1)가 직접 물리적인 패닝 또는 틸팅이 되지 않고, 장치 내에 설치된 소프트웨어를 통해 패닝 또는 틸팅이 되더라도, 디스플레이 되는 영상(111) 상에서의 마스킹 대상(3)은 배치가 변경된다.When the imaging device 1 is moved by panning or tilting, a spatial arrangement between the angle of the imaging device 1 and the masking target 3 is changed. These changes are reflected and displayed on the image 111 displayed through the screen unit 21 . Alternatively, even if the imaging device 1 is not directly physically panned or tilted, but is panned or tilted through software installed in the device, the arrangement of the masking target 3 on the displayed image 111 is changed.

구체적으로 설명하면, 도 9에 도시된 바와 같이 처음에는 촬상 장치(1)가 마스킹 대상(3)을 영상(111)의 중앙에 위치하도록 촬영을 한다. 그 후, 사용자의 조작 등으로 영상(111)이 좌측으로 패닝을 수행한다. 그러면, 마스킹 대상(3)은 패닝된 영상(111)에서 상대적으로 우측 방향으로 이동하게 된다. 즉, 마스킹 대상(3)의 위치 좌표가 영상(111) 상에서 변화하게 된다.Specifically, as shown in FIG. 9 , at first, the imaging device 1 captures the masking target 3 so as to be located in the center of the image 111 . After that, the image 111 is panned to the left by a user's manipulation or the like. Then, the masking target 3 moves relatively rightward in the panned image 111 . That is, the positional coordinates of the masking target 3 change on the image 111 .

영상(111)이 패닝 또는 틸팅되면, 영상(111) 상에 표시되는 마스킹 대상(3)은 단순히 위치만 변하는데 그치지 않는다. 즉, 촬상 장치(1)의 촬영 앵글이 변경되면서, 렌즈의 곡률 등에 의하여 3차원의 마스킹 대상(3)의 아웃라인 모양이 왜곡되어 나타나게 된다. 따라서, 위치 좌표 연산부(1454)는 이러한 왜곡되는 마스킹 대상(3)의 아웃라인 모양을 모두 반영하여, 최종 위치 좌표를 도출해 내도록, 위치 좌표의 변화량을 연산한다.When the image 111 is panned or tilted, the masking target 3 displayed on the image 111 does not simply change its position. That is, as the photographing angle of the imaging device 1 is changed, the outline shape of the three-dimensional masking target 3 is distorted due to the curvature of the lens. Accordingly, the position coordinate calculation unit 1454 reflects all the outline shapes of the distorted masking target 3 and calculates the change amount of the position coordinates to derive the final position coordinates.

한편, 마스킹을 유지하기 위해, 마스킹 대상(3)의 위치 변화에 대응하여 프라이버시 마스크(112) 또한 영상(111) 상에서 위치가 변화되어야 한다. 이 때, 일반적으로 영상(111)이 패닝 또는 틸팅된 회전 각도를 이용하여 마스킹 대상(3)의 최종 위치 좌표를 연산한 후, 연산된 위치 좌표에 마스킹을 적용하는 방법이 사용된다.Meanwhile, in order to maintain masking, the position of the privacy mask 112 also needs to be changed on the image 111 corresponding to the position change of the masking target 3 . At this time, in general, a method of calculating final positional coordinates of the masking target 3 using a panned or tilted rotation angle of the image 111 and then applying masking to the calculated positional coordinates is used.

그러나, 이러한 방법은 촬상 장치(1)를 회전시키는 모터의 구동 오차, 여러 구성요소들이 조립되어 촬상 장치(1) 어셈블리를 형성하는 과정에서 발생하는 조립 공차 등에 의하여, 도 10에 도시된 바와 같이 마스킹 대상(3)과 프라이버시 마스크(112)의 위치가 정확하게 대응되지 않을 수 있다. 만약 촬상 장치(1)가 물리적인 패닝 또는 틸팅이 되지 않고, 장치 내에 설치된 소프트웨어를 통해 패닝 또는 틸팅이 되더라도, 좌표계의 연산에 따른 오차에 의하여 마스킹 대상(3)과 프라이버시 마스크(112)의 위치가 정확하게 대응되지 않을 수도 있다. 즉, 영상(111)의 회전 각도를 역으로 연산하여 마스킹 대상(3)의 최종 위치 좌표를 연산하는 방법을 이용하면, 프라이버시 마스크(112)는 위치, 크기 또는 모양만이 변경될 뿐이며, 마스킹 대상(3)을 완벽하게 차폐하지 못한다.However, this method is masked as shown in FIG. Positions of the object 3 and the privacy mask 112 may not correspond exactly. Even if the imaging device 1 is not physically panned or tilted, but is panned or tilted through software installed in the device, the positions of the masking target 3 and the privacy mask 112 may be changed due to errors due to coordinate system calculations. It may not correspond exactly. That is, if the method of calculating the final position coordinates of the masking target 3 by inversely calculating the rotation angle of the image 111 is used, only the position, size or shape of the privacy mask 112 is changed, and the masking target (3) cannot be completely shielded.

도 11은 도 10에서 적용된 프라이버시 마스크(112)가 보정되는 모습을 나타낸 도면이다.FIG. 11 is a view showing how the privacy mask 112 applied in FIG. 10 is corrected.

본 발명의 일 실시예에 따른 촬상 장치(1)는, 영상(111)의 회전 각도를 이용하여 마스킹 대상(3)의 최종 위치 좌표를 연산하는 데에서 그치는 것이 아니라, 픽셀 정보를 함께 이용하여 프라이버시 마스크(112)를 적용한다. 즉, 마스킹 대상(3)의 최초 픽셀 정보를 이용함으로써, 모터의 구동 오차, 조립 공차 등을 감소시키는 것이다.The imaging device 1 according to an embodiment of the present invention not only calculates the final position coordinates of the masking target 3 using the rotation angle of the image 111, but also uses pixel information to provide privacy. A mask 112 is applied. That is, by using the first pixel information of the masking target 3, driving errors and assembly tolerances of the motor are reduced.

구체적으로 설명하면, 마스킹 대상(3)이 영상(111) 상에 표시되면서 가지게 되는 픽셀 정보들이 존재한다. 픽셀 정보 추출부(1455)는 마스킹 대상(3)의 최초 픽셀 정보를 추출하여 저장부(13)에 저장한다. 이 후, 영상(111)이 패닝 또는 틸팅되면, 위치 좌표 연산부(1454)가 영상(111)의 회전 각도을 이용하여 위치 좌표의 변화량을 연산하여 최종 위치 좌표를 도출해낸다. 한편, 상기 기술한 바와 같이, 영상(111)이 패닝, 틸팅 또는 주밍되면, 촬상 장치(1)의 촬영 앵글이 변경되면서, 조명의 변화 등에 의하여 마스킹 대상(3)의 색채(색상, 명도, 채도 등)가 왜곡되어 나타나게 된다. 픽셀 정보 연산부(1456)는 이러한 왜곡되는 마스킹 대상(3)의 색채를 모두 반영하여 픽셀 정보의 변화량을 연산하고, 최종 픽셀 정보를 도출해 낸다.Specifically, pixel information that the masking target 3 has while being displayed on the image 111 exists. The pixel information extraction unit 1455 extracts the first pixel information of the masking target 3 and stores it in the storage unit 13 . Then, when the image 111 is panned or tilted, the position coordinate calculation unit 1454 calculates the amount of change in position coordinates using the rotation angle of the image 111 to derive final position coordinates. Meanwhile, as described above, when the image 111 is panned, tilted, or zoomed, the photographing angle of the imaging device 1 is changed, and the color (hue, brightness, saturation) of the masking target 3 is changed by a change in lighting. etc.) appears distorted. The pixel information calculation unit 1456 calculates the amount of change in pixel information by reflecting all of the distorted colors of the masking target 3 and derives final pixel information.

상기 최종 위치 좌표를 통해 마스킹 대상(3)의 위치를 대략적으로 파악할 수 있다. 그리고, 픽셀 정보 비교부(147)는 상기 최종 위치 좌표의 근방에서, 상기 도출한 최종 픽셀 정보와 가장 유사한 픽셀 정보를 가지는 영역을 찾는다. 즉, 픽셀 정보의 일치율이 가장 높은 영역을 찾는다. 상기 영역을 찾으면 픽셀 정보 비교부(147)는 마스크 적용부(144)에 상기 영역에 대한 정보를 전송하고, 마스크 적용부(144)는 도 11에 도시된 바와 같이, 상기 정보를 토대로 프라이버시 마스크(112)를 적용한다. 따라서, 프라이버시 마스크(112)를 마스킹 대상(3)에 대하여 정확한 위치에 적용시킬 수 있다. 여기서, 최종 위치 좌표의 근방이란, 일반적으로 픽셀 정보를 이용하지 않고 위치 좌표만을 이용하였을 때, 프라이버시 마스크(112)가 적용되면 발생하는 오차의 범위와 대응되는 것이 바람직하다. 만약, 촬상 장치(1)의 모터 구동 오차, 조립 공차 등이 매우 크다면, 상기 근방의 범위는 상대적으로 넓고, 반대로 상기 오차, 공차 등이 매우 작다면, 상기 근방의 범위는 상대적으로 좁을 것이다. 다만, 이에 제한되지 않고 상기 근방의 범위는 사용자가 원하는 대로 다양하게 설정될 수 있다.The position of the masking target 3 can be roughly grasped through the final position coordinates. Then, the pixel information comparator 147 finds an area having pixel information most similar to the derived final pixel information in the vicinity of the final position coordinates. That is, an area with the highest matching rate of pixel information is found. When the area is found, the pixel information comparison unit 147 transmits information about the area to the mask application unit 144, and the mask application unit 144, as shown in FIG. 112) applies. Accordingly, the privacy mask 112 can be applied to an accurate position with respect to the masking target 3 . Here, the vicinity of the final position coordinates preferably corresponds to the range of errors generated when the privacy mask 112 is applied when only position coordinates are used without using pixel information. If the motor driving error, assembly tolerance, etc. of the imaging device 1 are very large, the range of the neighborhood is relatively wide, and conversely, if the error, tolerance, etc. are very small, the range of the neighborhood is relatively narrow. However, it is not limited thereto and the range of the vicinity may be variously set as desired by the user.

도 12는 본 발명의 일 실시예에 따른 촬상 장치(1)가 줌을 수행하였을 때, 프라이버시 마스크(112)가 적용된 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.FIG. 12 is a diagram showing how the image 111 to which the privacy mask 112 is applied is displayed on the screen unit 21 when the imaging device 1 according to an embodiment of the present invention performs zoom.

촬상 장치(1)가 주밍(Zooming)을 수행하는 경우, 영상(111)의 배율이 변화하고, 마스킹 대상(3)이 영상(111) 상에서 표시되는 사이즈도 함께 변화한다. 그러면, 마스킹 대상(3)의 아웃라인을 따라서 형성된 복수의 위치 좌표 간의 일정한 간격도 함께 변화한다. 즉, 마스킹 대상(3)의 위치 좌표가 영상(111) 상에서 변화하게 된다.When the imaging device 1 performs zooming, the magnification of the image 111 changes, and the size of the masking target 3 displayed on the image 111 also changes. Then, a constant interval between a plurality of position coordinates formed along the outline of the masking target 3 also changes. That is, the positional coordinates of the masking target 3 change on the image 111 .

이 때 마스킹을 유지하기 위해, 일반적으로 촬상 장치(1)가 주밍을 수행한 확대 또는 축소 배율을 이용하여 마스킹 대상(3)의 최종 위치 좌표를 연산한 후, 연산된 위치 좌표에 마스킹을 적용하는 방법이 사용된다.At this time, in order to maintain masking, generally, after calculating the final position coordinates of the masking target 3 using the magnification or reduction magnification at which the imaging device 1 has performed zooming, masking is applied to the calculated position coordinates method is used

그러나, 이러한 방법은 영상(111)의 줌 인(Zoom In) 또는 줌 아웃(Zoom Out) 과정에서 촬상 장치(1)의 광축이 이동하면서 발생하는 오차 등에 의하여, 도 12에 도시된 바와 같이 마스킹 대상(3)과 프라이버시 마스크(112)의 위치가 정확하게 대응되지 않을 수 있다. 즉, 영상(111)의 확대 또는 축소 배율을 그대로 위치 좌표의 사이즈 연산에 적용하여, 마스킹 대상(3)의 최종 위치 좌표를 연산하는 방법을 이용하면, 프라이버시 마스크(112)는 크기만이 변경될 뿐이며, 마스킹 대상(3)을 완벽하게 차폐하지 못한다.However, in this method, as shown in FIG. 12, the masking target (3) and the location of the privacy mask 112 may not exactly correspond. That is, if the method of calculating the final position coordinates of the masking target 3 by applying the enlargement or reduction magnification of the image 111 as it is to the size calculation of position coordinates is used, only the size of the privacy mask 112 can be changed. However, it does not completely shield the masking target (3).

도 13은 도 12에서 적용된 프라이버시 마스크(112)가 보정되는 모습을 나타낸 도면이다.FIG. 13 is a view showing how the privacy mask 112 applied in FIG. 12 is corrected.

위치 좌표 연산부(1454)는 영상(111)의 확대 또는 축소 배율을 이용하여 마스킹 대상(3)의 최종 위치 좌표를 연산한다. 그리고 픽셀 정보 연산부(1456)는 이러한 왜곡되는 마스킹 대상(3)의 색채를 모두 반영하여 픽셀 정보의 변화량을 연산하고, 최종 픽셀 정보를 도출해 낸다. 영상(111)이 패닝, 틸팅 또는 주밍되면, 픽셀 정보 비교부(147)는 상기 최종 위치 좌표의 근방에서, 상기 도출한 최종 픽셀 정보와 가장 유사한 픽셀 정보를 가지는 영역을 찾는다. 즉, 픽셀 정보의 일치율이 가장 높은 영역을 찾는다. 상기 영역을 찾으면 픽셀 정보 비교부(147)는 마스크 적용부(144)에 상기 영역에 대한 정보를 전송하고, 마스크 적용부(144)는 도 13에 도시된 바와 같이, 상기 정보를 토대로 프라이버시 마스크(112)를 적용한다. 따라서, 프라이버시 마스크(112)를 마스킹 대상(3)에 대하여 정확하게 적용시킬 수 있다.The position coordinate calculation unit 1454 calculates final position coordinates of the masking target 3 using the magnification or reduction ratio of the image 111 . The pixel information calculation unit 1456 reflects all of the distorted colors of the masking target 3 to calculate the amount of change in pixel information, and derives final pixel information. When the image 111 is panned, tilted, or zoomed, the pixel information comparator 147 searches for an area having pixel information most similar to the derived final pixel information in the vicinity of the final position coordinates. That is, an area with the highest matching rate of pixel information is found. When the area is found, the pixel information comparison unit 147 transmits information about the area to the mask application unit 144, and the mask application unit 144, as shown in FIG. 13, uses the privacy mask ( 112) applies. Accordingly, the privacy mask 112 can be accurately applied to the masking target 3 .

도 14는 마스킹 대상(3)이 감시 대상(5)에 의해 가려진 모습을, 본 발명의 일 실시예에 따른 촬상 장치(1)가 촬영한 영상(111)을 나타낸 도면이고, 도 15는 본 발명의 일 실시예에 따른 마스킹 대상(3)에 프라이버시 마스크(112)가 적용되면서, 감시 대상(5)이 노출되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.14 is a view showing an image 111 captured by an imaging device 1 according to an embodiment of the present invention, in which a masking target 3 is obscured by a monitoring target 5, and FIG. 15 is a view showing the present invention This is a diagram showing a state in which an image 111 in which the monitoring target 5 is not exposed is displayed on the screen unit 21 while the privacy mask 112 is applied to the masking target 3 according to an embodiment of.

도 14에 도시된 바와 같이, 마스킹 대상(3)의 일부가 감시 대상(5)에 의하여 차폐될 때가 있다. 예를 들어, 개인 정보가 기록된 문서가 테이블 위에 놓여있고, 침입자가 테이블의 앞을 지나가면서 상기 문서를 차폐하는 경우가 있다. 이러한 때에는, 프라이버시 보호를 위해 마스킹 대상(3)에 해당하는 부분은 프라이버시 마스크(112)가 유지되고, 상기 감시 대상(5)은 감시를 위해 프라이버시 마스크(112)가 해제되는 것이 바람직하다. 그러나, 도 15에 도시된 바와 같이, 여전히 일부 차폐된 부분에도 프라이버시 마스크(112)가 적용된다면, 상기 감시 대상(5)에 대한 감시가 불가능하게 되는 결과가 발생한다.As shown in FIG. 14, there are times when a part of the masking target 3 is shielded by the monitoring target 5. For example, there is a case in which a document on which personal information is recorded is placed on a table, and an intruder shields the document while passing in front of the table. In this case, it is preferable that the privacy mask 112 is maintained in the part corresponding to the masking target 3 for privacy protection, and the privacy mask 112 is released for monitoring the monitoring target 5. However, as shown in FIG. 15 , if the privacy mask 112 is still applied to a partially shielded portion, monitoring of the monitoring target 5 becomes impossible.

도 16은 본 발명의 일 실시예에 따른 프라이버시 마스크(112)가 블록 분할된 모습을 나타낸 도면이다.16 is a diagram illustrating a state in which the privacy mask 112 according to an embodiment of the present invention is divided into blocks.

객체 판별부(143)에서 마스킹 대상(3)을 영상(111) 상에서 판별하면, 정보 관리부(145)에서 마스킹 대상(3)의 위치 좌표와 픽셀 정보를 추출하고, 저장부(13)에 저장한다. 이 때, 감시 대상(5)이 마스킹 대상(3)의 일부를 차폐시키는 경우, 마스크 분할부(146)는 프라이버시 마스크(112)를 분할한다. 그리고 차폐할 영역은 프라이버시 마스크(112)가 유지되고, 노출할 영역은 프라이버시 마스크(112)가 해제되도록 한다.When the object discrimination unit 143 identifies the masking target 3 on the image 111, the information management unit 145 extracts the position coordinates and pixel information of the masking target 3 and stores them in the storage unit 13 . At this time, when the monitoring target 5 shields a part of the masking target 3, the mask divider 146 divides the privacy mask 112. In addition, the privacy mask 112 is maintained in the area to be shielded, and the privacy mask 112 is released in the area to be exposed.

마스크 분할부(146)에 포함된 블록 분할부(1461)는 도 16에 도시된 바와 같이, 프라이버시 마스크(112)를 블록으로 분할한다. 블록이란, 특정 너비와 높이를 가지는 사각형의 모양으로, 프라이버시 마스크(112)를 가로 및 세로를 특정 간격으로 분할하면 복수의 블록이 형성된다.A block divider 1461 included in the mask divider 146 divides the privacy mask 112 into blocks, as shown in FIG. 16 . A block is a rectangle having a specific width and height, and a plurality of blocks are formed by dividing the privacy mask 112 horizontally and vertically at specific intervals.

도 17은 도 16에서 블록 분할된 프라이버시 마스크(112) 가운데, 감시 대상(5)을 마스킹하는 일부 마스크가 적용되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.FIG. 17 is a diagram illustrating a state in which an image 111 to which a partial mask for masking a subject to be monitored 5 is not applied is displayed on the screen unit 21 among the privacy masks 112 divided into blocks in FIG. 16 .

블록 분할부(1461)가 프라이버시 마스크(112)를 블록으로 분할한 후에는, 픽셀 정보 비교부(147)가 각각의 블록 마다 픽셀 정보를 비교하여 차폐할 블록과 노출할 블록을 판별한다. 이 때, 마스킹 대상(3)에 대한 픽셀 정보를 이용한다. 만약, 영상(111) 상에서 마스킹 대상(3)의 위치가 변화하지 않은 경우, 최초 추출한 마스킹 대상(3)의 픽셀 정보를 이용하고, 영상(111) 상에서 마스킹 대상(3)의 위치가 변화한 경우, 최종 위치 좌표 및 최종 픽셀 정보를 도출해 내어 이용한다.After the block division unit 1461 divides the privacy mask 112 into blocks, the pixel information comparison unit 147 compares pixel information for each block to determine a block to be shielded and a block to be exposed. At this time, pixel information on the masking target 3 is used. If the position of the masking target (3) on the image 111 does not change, the first extracted pixel information of the masking target (3) is used, and the position of the masking target (3) on the image 111 is changed , the final position coordinates and final pixel information are derived and used.

한편, 마스킹 대상(3)의 일부가 차폐되어 있으므로, 새롭게 추출된 마스킹 대상(3)의 픽셀 정보와 미리 저장되거나 연산된 픽셀 정보가 전부 일치하지 않는다. 따라서, 픽셀 각각의 픽셀 값과 이웃하는 픽셀들 간의 픽셀 값의 차분을 모두 반영하여, 블록 별로 일치율을 판단함으로써 차폐할 블록과 노출할 블록을 판별한다.Meanwhile, since a part of the masking target 3 is shielded, the newly extracted pixel information of the masking target 3 and previously stored or calculated pixel information do not match at all. Accordingly, a block to be shielded and a block to be exposed are discriminated by determining a match rate for each block by reflecting both the pixel value of each pixel and the pixel value difference between neighboring pixels.

구체적으로, 감시 대상(5)이 차폐하지 않은 마스킹 대상(3)의 일부분에서는, 새롭게 영상(111)을 통해 추출한 픽셀 정보와 미리 저장되거나 연산된 픽셀 정보의 일치율이 높을 것이다. 이 블록은 프라이버시 마스크(112)로 차폐할 블록이다. 상기 픽셀 정보 비교부(147)는 상기 분할된 블록 가운데, 차폐할 블록에 프라이버시 마스크(112)가 그대로 적용될 것으로 판단한다. 반면에, 감시 대상(5)이 차폐한 마스킹 대상(3)의 일부분에서는, 새롭게 영상(111)을 통해 추출한 픽셀 정보와 미리 저장되거나 연산된 픽셀 정보의 일치율이 낮을 것이다. 이 블록은 프라이버시 마스크(112)로 차폐하지 않고 노출할 블록이다. 상기 픽셀 정보 비교부(147)는 상기 분할된 블록 가운데, 노출할 블록에 프라이버시 마스크(112)가 해제될 것으로 판단한다. 여기서, 일치율이 높고 낮음은 상대적인 것이며, 그 기준값은 사용자의 임의대로 변경될 수 있다. 만약, 기준값이 상대적으로 높다면 약간의 오차라도 프라이버시 마스크(112)가 적용되지 않아 개인 정보의 보호가 소홀해지고, 기준값이 상대적으로 낮다면 노출이 쉽게 되지 않아 감시가 용이하지 않다. 따라서, 상기 기준값은 본 발명의 적용 상황에 따라 다양하게 변경될 수 있다.Specifically, in a part of the masking target 3 that is not shielded by the monitoring target 5, the coincidence rate between pixel information newly extracted through the image 111 and previously stored or calculated pixel information will be high. This block is to be shielded by the privacy mask 112. The pixel information comparator 147 determines that the privacy mask 112 is to be applied as it is to a block to be shielded from among the divided blocks. On the other hand, in a part of the masking target 3 shielded by the monitoring target 5, the coincidence rate between pixel information newly extracted through the image 111 and pre-stored or calculated pixel information will be low. This block is a block to be exposed without being shielded by the privacy mask 112. The pixel information comparator 147 determines that the privacy mask 112 is to be released in a block to be exposed among the divided blocks. Here, high and low matching rates are relative, and the reference value can be changed arbitrarily by the user. If the reference value is relatively high, the privacy mask 112 is not applied even with a slight error, so personal information is not protected, and if the reference value is relatively low, exposure is not easy and monitoring is not easy. Therefore, the reference value may be variously changed according to the application situation of the present invention.

나아가, 블록 간의 픽셀 정보의 일치율을 비교하더라도, 전체적인 일치율을 대략적으로 빠르게 판단하면, 마스킹 대상(3)과 감시 대상(5) 사이의 경계 부근을 파악할 수 있다. 이 때, 블록 분할부(1461)는 상기 경계 부근에 위치한 블록은 작게, 그 외의 영역에 위치한 블록은 크게 분할할 수도 있다. 그럼으로써 픽셀 정보 비교부(147)는 경계 부근이 아닌 영역에서 시간을 낭비하지 않고 빠르게 블록의 차폐 및 노출 여부를 판별할 수 있다. 또는, 블록의 크기는 일정하더라도, 픽셀 정보 비교부(147)가 상기 경계 부근에 위치한 블록만을 판별할 수도 있다. 즉, 픽셀 정보 비교부(147)가 빠르게 블록의 차폐 및 노출 여부를 판별할 수 있다면 제한되지 않고 다양한 방법을 사용할 수 있다.Furthermore, even if the matching rate of pixel information between blocks is compared, the vicinity of the boundary between the masking target 3 and the monitoring target 5 can be grasped by approximately quickly determining the overall matching rate. At this time, the block divider 1461 may divide blocks located near the boundary into smaller blocks, and blocks located in other regions into larger blocks. As a result, the pixel information comparator 147 can quickly determine whether a block is shielded or exposed without wasting time in an area other than the boundary. Alternatively, even if the size of a block is constant, the pixel information comparison unit 147 may determine only a block located near the boundary. That is, if the pixel information comparator 147 can quickly determine whether a block is shielded or exposed, various methods can be used without limitation.

상기 블록마다 차폐 및 노출 여부를 판별하면 픽셀 정보 비교부(147)는 마스크 적용부(144)에 상기 판별 정보를 전송하고, 마스크 적용부(144)는 도 17에 도시된 바와 같이, 상기 정보를 토대로 프라이버시 마스크(112)를 적용한다. 그러면, 마스킹 대상(3) 만이 프라이버시 마스크(112)에 차폐될 수 있고, 감시 대상(5)은 프라이버시 마스크(112)가 해제되어 촬상 장치(1)에 의해 감시될 수 있다.If shielding and exposure are determined for each block, the pixel information comparison unit 147 transmits the determination information to the mask application unit 144, and the mask application unit 144 transmits the information as shown in FIG. 17. Based on this, a privacy mask 112 is applied. Then, only the masking target 3 can be shielded by the privacy mask 112 , and the monitoring target 5 can be monitored by the imaging device 1 with the privacy mask 112 released.

도 18은 도 16에 비해 분할율이 증가되어 블록 분할된 프라이버시 마스크(112) 가운데, 감시 대상(5)을 마스킹하는 일부 마스크가 적용되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.FIG. 18 shows a state in which an image 111 to which a partial mask for masking a subject to be monitored 5 is not applied is displayed on the screen unit 21 among the privacy masks 112 divided into blocks due to an increased division ratio compared to FIG. 16. is the drawing shown.

프라이버시 마스크(112)를 가로 및 세로를 특정 간격으로 분할하면 복수의 블록이 형성된다. 상기 특정 간격이 넓을수록 블록의 크기가 커지나, 블록의 개수는 적어진다. 따라서, 연산량이 적어 차폐할 영역과 노출할 영역을 빠르게 판별할 수 있다. 그러나, 마스킹 대상(3)과 감시 대상(5) 사이의 경계와 정확하게 대응되도록 프라이버시 마스크(112)가 분할되지는 않는다. 이와 반대로, 도 18에 도시된 바와 같이 상기 특정 간격이 좁을수록 블록의 개수가 많아지나, 블록의 크기가 작아진다. 만약, 상기 특정 간격이 과도하게 좁아지면, 블록 하나의 크기는 픽셀 하나의 크기와 동일하게 된다. 따라서, 마스킹 대상(3)과 감시 대상(5) 사이의 경계와 정확하게 대응되도록 프라이버시 마스크(112)가 분할된다. 그러나, 연산량이 많아 차폐할 영역과 노출할 영역을 판별하는 데 시간이 오래 걸릴 수 있다.When the privacy mask 112 is divided horizontally and vertically at specific intervals, a plurality of blocks are formed. As the specific interval increases, the block size increases, but the number of blocks decreases. Therefore, the area to be shielded and the area to be exposed can be quickly determined with a small amount of calculation. However, the privacy mask 112 is not divided to exactly correspond to the boundary between the masking target 3 and the monitoring target 5 . Conversely, as shown in FIG. 18, as the specific interval becomes narrower, the number of blocks increases, but the size of the blocks decreases. If the specific interval is excessively narrowed, the size of one block becomes the same as the size of one pixel. Accordingly, the privacy mask 112 is divided to exactly correspond to the boundary between the masking target 3 and the monitoring target 5 . However, it may take a long time to determine the area to be shielded and the area to be exposed due to the large amount of computation.

상기 특정 간격에 따라 프라이버시 마스크(112)의 분할율이 달라지며, 상기 분할율에 따라 판별 속도 및 프라이버시 마스크(112)의 분할 결과가 다양하게 변화될 수 있다.The division rate of the privacy mask 112 varies according to the specific interval, and the determination speed and the division result of the privacy mask 112 may vary according to the division rate.

도 19는 본 발명의 일 실시예에 따른 프라이버시 마스크(112)가 사용자 임의 분할된 모습을 나타낸 도면이다.19 is a diagram showing a state in which the privacy mask 112 according to an embodiment of the present invention is randomly divided by a user.

사용자 분할부(1462)는 사용자가 임의로 지정한 대로 프라이버시 마스크(112)를 분할한다. 블록 분할은 픽셀 정보 비교부(147)가 직접 대략적으로 마스킹 대상(3)과 감시 대상(5)의 경계를 찾아야 한다. 그러나, 사용자 임의 분할은 사용자가 지정한 대로 프라이버시 마스크(112)를 분할하므로, 마스킹 대상(3)과 감시 대상(5)의 경계를 찾을 필요가 없다.The user division unit 1462 divides the privacy mask 112 as arbitrarily designated by the user. For block division, the pixel information comparator 147 must directly roughly find the boundary between the masking target 3 and the monitoring target 5. However, since the user's arbitrary division divides the privacy mask 112 as specified by the user, there is no need to find a boundary between the masking target 3 and the monitoring target 5.

그리고, 블록 분할은 수 많은 블록마다 차폐 및 노출 여부를 각각 판별해야 한다. 그러나, 사용자 임의 분할은, 사용자가 임의로 지정한 분할선을 기준으로 영역이 분할되면, 분할된 수 개의 영역에 대하여만 전체적으로 차폐 및 노출 여부를 판별하면 된다. 또한, 사용자가 직접 프라이버시 마스크(112)를 분할하므로 복수의 블록들로 각각 분할하는 작업도 불필요하다. 따라서, 사용자 임의 분할은 블록 분할보다 빠르게 마스크를 분할하고 차폐 및 노출 영역을 판단할 수 있다.And, for block division, shielding and exposure must be determined for each of numerous blocks. However, when a region is divided based on a division line arbitrarily designated by a user, it is only necessary to determine whether to be shielded or exposed as a whole only for several divided regions. In addition, since the user directly divides the privacy mask 112, it is not necessary to divide the privacy mask 112 into a plurality of blocks. Therefore, the user's arbitrary division can divide the mask faster than the block division and determine the shielding and exposure regions.

다만, 사용자가 직접 프라이버시 마스크(112)를 분할해야 하므로, 마스킹 대상(3)과 감시 대상(5) 사이의 경계와 정확하게 대응되도록 프라이버시 마스크(112)가 분할되지 않을 수 있다. 즉, 사람이 직접 분할선을 입력하는 것이므로 오차가 크게 발생할 수 있다.However, since the user has to divide the privacy mask 112 directly, the privacy mask 112 may not be divided to exactly correspond to the boundary between the masking target 3 and the monitoring target 5 . That is, since a person directly inputs the dividing line, a large error may occur.

따라서, 사용자가 임의로 프라이버시 마스크(112)를 분할하는 경우, 블록 분할부(1461)가 분할선의 부근에만 블록 분할을 할 수도 있다. 그리고, 블록 별로 픽셀 정보의 일치율을 판단하여 블록의 차폐 및 노출 여부를 판단할 수 있다. 즉, 사용자가 임의로 분할선을 도시하면, 사용자 분할부(1462)가 단독으로 동작될 수도 있으나, 이와 같이 블록 분할부(1461)도 함께 동작될 수도 있다. 또한, 프라이버시 마스크(112) 전체를 블록 분할할 필요 없이 사용자가 입력한 분할선 부근만을 블록 분할하여, 빠르고 정확하게 차폐 및 노출 영역을 판별할 수 있다.Accordingly, when a user arbitrarily divides the privacy mask 112, the block divider 1461 may perform block division only in the vicinity of the division line. In addition, it is possible to determine whether a block is shielded or exposed by determining a matching rate of pixel information for each block. That is, if a user arbitrarily draws a division line, the user divider 1462 may operate alone, but the block divider 1461 may also operate together. In addition, without the need to divide the entire privacy mask 112 into blocks, only the vicinity of the dividing line input by the user is divided into blocks, so that the shielded and exposed areas can be quickly and accurately determined.

도 20은 도 19에서 사용자 임의 분할된 프라이버시 마스크(112) 가운데, 감시 대상(5)을 마스킹하는 일부 마스크가 적용되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.FIG. 20 is a view showing how an image 111 to which a partial mask for masking a target 5 to be monitored is not applied is displayed on the screen unit 21 among the privacy masks 112 randomly divided by the user in FIG. 19 .

사용자가 임의로 프라이버시 마스크(112)를 분할한 후에는, 픽셀 정보 비교부(147)가 분할된 영역의 픽셀 정보를 비교하여 차폐할 영역과 노출할 영역을 판별한다. 이 때, 마스킹 대상(3)에 대한 픽셀 정보를 이용한다.After the user arbitrarily divides the privacy mask 112, the pixel information comparator 147 compares pixel information of the divided regions to determine an area to be shielded and an area to be exposed. At this time, pixel information on the masking target 3 is used.

한편, 마스킹 대상(3)의 일부가 차폐되어 있으므로, 새롭게 추출된 마스킹 대상(3)의 픽셀 정보와 미리 저장되거나 연산된 픽셀 정보가 전부 일치하지 않는다. 따라서, 픽셀 각각의 픽셀 값과 이웃하는 픽셀들 간의 픽셀 값의 차분을 모두 반영하여, 영역 별로 일치율을 판단함으로써 차폐할 영역과 노출할 영역을 판별한다.Meanwhile, since a part of the masking target 3 is shielded, the newly extracted pixel information of the masking target 3 and previously stored or calculated pixel information do not match at all. Therefore, the area to be shielded and the area to be exposed are determined by determining the matching rate for each area by reflecting both the pixel value of each pixel and the pixel value difference between neighboring pixels.

구체적으로, 감시 대상(5)이 차폐하지 않은 마스킹 대상(3)의 영역에서는, 새롭게 영상(111)을 통해 추출한 픽셀 정보와 미리 저장되거나 연산된 픽셀 정보의 일치율이 높을 것이다. 이 영역은 프라이버시 마스크(112)로 차폐할 영역이다. 상기 픽셀 정보 비교부(147)는 상기 분할된 영역 가운데, 차폐할 영역에 프라이버시 마스크(112)가 그대로 적용될 것으로 판단한다. 반면에, 감시 대상(5)이 차폐한 마스킹 대상(3)의 영역에서는, 새롭게 영상(111)을 통해 추출한 픽셀 정보와 미리 저장되거나 연산된 픽셀 정보의 일치율이 낮을 것이다. 이 영역은 프라이버시 마스크(112)로 차폐하지 않고 노출할 영역이다. 상기 픽셀 정보 비교부(147)는 상기 분할된 영역 가운데, 노출할 영역에 프라이버시 마스크(112)가 해제될 것으로 판단한다.Specifically, in the region of the masking target 3 where the monitoring target 5 is not shielded, the coincidence rate between pixel information newly extracted through the image 111 and previously stored or calculated pixel information will be high. This area is an area to be shielded with the privacy mask 112 . The pixel information comparator 147 determines that the privacy mask 112 is to be applied as it is to the region to be shielded among the divided regions. On the other hand, in the area of the masking target 3 that is shielded by the monitoring target 5, the coincidence rate between pixel information newly extracted through the image 111 and previously stored or calculated pixel information will be low. This area is an area to be exposed without being shielded by the privacy mask 112 . The pixel information comparator 147 determines that the privacy mask 112 is to be released in an area to be exposed among the divided areas.

나아가, 상기 기술한 바와 같이, 사용자 분할부(1462) 뿐만이 아니라 블록 분할부(1461)도 함께 동작하는 경우, 사용자가 입력한 분할선의 부근에만 블록 분할이 될 수 있다. 그리고 픽셀 정보 비교부(147)는 분할된 블록들에 대하여 차폐 및 노출 여부를 판별한다. 블록 분할이 되지 않은 영역들은, 가장 인접한 블록들로 차폐할 블록이 많다면 차폐할 영역이 되고, 가장 인접한 블록들로 노출할 블록이 많다면 노출할 영역이 된다. 다만, 이에 제한되지 않고 빠르고 용이하게 차폐 및 노출 여부를 판별할 수 있다면 다양한 방법을 사용할 수 있다.Furthermore, as described above, when not only the user divider 1462 but also the block divider 1461 operates together, block division may occur only in the vicinity of the division line input by the user. And, the pixel information comparator 147 determines whether the divided blocks are shielded or exposed. Areas that are not divided into blocks become areas to be shielded if there are many blocks to be shielded as adjacent blocks, and areas to be exposed if there are many blocks to be exposed as adjacent blocks. However, it is not limited thereto, and various methods may be used if it is possible to quickly and easily determine whether or not shielding and exposure are present.

상기 영역마다 차폐 및 노출 여부를 판별하면 픽셀 정보 비교부(147)는 마스크 적용부(144)에 상기 판별 정보를 전송하고, 마스크 적용부(144)는 도 20에 도시된 바와 같이, 상기 정보를 토대로 프라이버시 마스크(112)를 적용한다. 그러면, 마스킹 대상(3) 만이 프라이버시 마스크(112)에 차폐될 수 있고, 감시 대상(5)은 프라이버시 마스크(112)가 해제되어 촬상 장치(1)에 의해 감시될 수 있다.If shielding and exposure are determined for each region, the pixel information comparing unit 147 transmits the determination information to the mask application unit 144, and the mask application unit 144 transmits the information as shown in FIG. 20. Based on this, a privacy mask 112 is applied. Then, only the masking target 3 can be shielded by the privacy mask 112 , and the monitoring target 5 can be monitored by the imaging device 1 with the privacy mask 112 released.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art to which the present invention pertains will understand that the present invention can be embodied in other specific forms without changing its technical spirit or essential features. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. The scope of the present invention is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be construed as being included in the scope of the present invention. do.

1: 촬상 장치 2: 모니터링 장치
3: 마스킹 대상 4: 곡면
5: 감시 대상 11: 촬상부
12: 통신부 13: 저장부
14: 제어부 111: 영상
112: 프라이버시 마스크 141: 영상 처리부
142: 영상 제어부 143: 객체 판별부
144: 마스크 적용부 145: 정보 관리부
146: 마스크 분할부 147: 픽셀 정보 비교부
1451: 위치 좌표 관리부 1452: 픽셀 정보 관리부
1453: 위치 좌표 추출부 1454: 위치 좌표 연산부
1455: 픽셀 정보 추출부 1456: 픽셀 정보 연산부
1461: 블록 분할부 1462: 사용자 분할부Reference Signs List 1: imaging device 2: monitoring device
3: masking target 4: curved surface
5: monitoring target 11: imaging unit
12: communication unit 13: storage unit
14: control unit 111: video
112: privacy mask 141: image processing unit
142: image control unit 143: object determination unit
144: mask application unit 145: information management unit
146: mask division unit 147: pixel information comparison unit
1451: position coordinate management unit 1452: pixel information management unit
1453: position coordinate extraction unit 1454: position coordinate calculation unit
1455: pixel information extraction unit 1456: pixel information calculation unit
1461: block division unit 1462: user division unit

Claims

An imaging device that applies a privacy mask to a masking target existing at specific positional coordinates in an image region, comprising:
a position coordinate calculation unit for deriving final position coordinates of the masking target in the region of the image by referring to a rotation angle of the imaging device when the imaging device is panned or tilted;
a pixel information calculation unit deriving final pixel information of the masking target based on the final position coordinates;
a pixel information comparator for finding a region in the vicinity of the final position coordinates in which a matching rate between the derived final pixel information and pixel information extracted in advance with respect to the masking target is highest; and
and a mask application unit that applies a privacy mask to the region found by the pixel information comparison unit.

According to claim 1,
When the image is panned or tilted,
The position coordinate calculation unit,
Calculate the amount of change in the position coordinates by reflecting the shape of the outline of the masking target distorted and displayed on the image;
The pixel information calculation unit,
An imaging device configured to calculate a variation amount of the pixel information by reflecting a color of the masking target distorted and displayed on the image.

According to claim 1,
When a part of the masking target is shielded by the monitoring target,
and a mask divider configured to divide the privacy mask into an area corresponding to the masking target and an area corresponding to the surveillance target in the image.

According to claim 3,
The mask division part,
and a block divider configured to divide the privacy mask into blocks.

According to claim 4,
The pixel information comparison unit,
determining a matching rate by comparing pixel information of the masking target newly extracted from the image and pre-stored or calculated pixel information for each block;
A block having a matching rate higher than a specific reference value is determined as a block to be shielded by the privacy mask;
and determining a block having the match rate lower than a specific reference value as a block to release the privacy mask.

According to claim 3,
The mask division part,
and a user dividing unit dividing the privacy mask based on a dividing line input by a user.

An image processing method of an imaging device in which a privacy mask is applied to a masking target existing at specific position coordinates in an image region, the method comprising:
deriving final position coordinates of the masking target in the region of the image by referring to a rotation angle of the imaging device when the imaging device is panned or tilted;
deriving final pixel information of the masking target based on the final position coordinates;
searching for a region in the vicinity of the final position coordinates in which a coincidence rate between the derived final pixel information and pixel information extracted in advance with respect to the masking target is highest; and
and applying a privacy mask to the searched area.