KR20180017329A - 촬상 장치 - Google Patents
촬상 장치 Download PDFInfo
- Publication number
- KR20180017329A KR20180017329A KR1020160101002A KR20160101002A KR20180017329A KR 20180017329 A KR20180017329 A KR 20180017329A KR 1020160101002 A KR1020160101002 A KR 1020160101002A KR 20160101002 A KR20160101002 A KR 20160101002A KR 20180017329 A KR20180017329 A KR 20180017329A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- pixel information
- mask
- masking
- unit
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H04N5/232—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 촬상 장치는 촬상부를 통해 획득한 영상으로부터 마스킹 대상을 판별하는 객체 판별부; 상기 영상이 패닝, 틸팅 또는 주밍되면, 상기 마스킹 대상의 위치 좌표의 변화량을 연산하여 최종 위치 좌표를 도출하는 위치 좌표 연산부; 상기 영상이 패닝, 틸팅 또는 주밍되면, 상기 마스킹 대상의 픽셀 정보의 변화량을 연산하여 최종 픽셀 정보를 도출하는 픽셀 정보 연산부; 상기 영상의 상기 최종 위치 좌표의 근방에서, 상기 도출한 최종 픽셀 정보와 픽셀 정보의 일치율이 가장 높은 영역을 찾는 픽셀 정보 비교부; 및 상기 픽셀 정보 비교부가 찾은 상기 영역에 프라이버시 마스크를 적용하는 마스크 적용부를 포함한다.
Description
본 발명은 촬상 장치에 관한 것으로서, 보다 상세하게는 영상이 패닝, 틸팅 또는 주밍이 되면 위치 좌표의 변화 만이 아니라, 픽셀 정보도 함께 이용하여, 마스킹 대상에 프라이버시 마스크를 더욱 정확하게 적용시킬 수 있는 촬상 장치에 관한 것이다.
일반적으로 은행, 백화점, 일반 주택가를 비롯한 다양한 장소에서 감시 시스템이 널리 사용되고 있다. 이러한 감시 시스템은 범죄 예방, 보안을 목적으로 사용될 수 있으나, 최근에는 실내의 애완동물 또는 어린 아이를 실시간으로 감시하기 위해서도 사용되기도 한다. 그리고 이러한 감시 시스템으로 가장 많이 사용하는 시스템은, 감시를 원하는 영역을 촬영할 수 있도록 적절한 위치에 카메라를 설치하고, 사용자는 카메라가 촬영한 영상을 모니터링 함으로써 감시할 수 있는 폐쇄회로 텔레비전(Closed Circuit Television: CCTV) 시스템이다.
그러나, 카메라에 의해 촬영된 감시 영상에 불특정 다수의 얼굴 등이 포함되어, 사생활과 관련된 민감한 개인 정보가 그대로 노출됨으로써 이른바 프라이버시(Privacy) 침해에 대한 논란이 제기되고 있다. 따라서, 최근에는 이러한 감시 영상에 의해 노출될 수 있는 불특정 개인의 프라이버시를 보호하기 위해 특정 영역 또는 영상 인식을 통해 파악된 특정 객체에 대해 모자이크(Mosaic) 등과 같은 프라이버시 마스크를 적용하는 마스킹(Masking) 방법이 제시되고 있다.
현재 사용 중인 IP 카메라에는 비디오 코덱(Video Codec)이 이미 포함되어 있어서 이미 설치된 코덱에 마스킹 기능을 추가하기 어렵고, 코덱 별로 마스킹 기능을 각각 추가하는 것도 현실적으로 불가능하다. 따라서 일반적으로는 인코딩되어 나온 비트스트림(Bitstream)에서 마스킹 대상을 식별하여 마스킹 된다.
최근에는 카메라 가운데 패닝(Panning), 틸팅(Tilting) 및 주밍(Zooming)이 가능한 PTZ 카메라가 자주 사용된다. 이러한 카메라가 패닝, 틸팅 또는 주밍을 수행하면, 프라이버시 마스크를 적용해야 하는 마스킹 대상의 위치 좌표가, 카메라가 촬영하여 획득한 영상 상에서 변화하게 된다. 이 때, 마스킹을 유지하기 위해, 마스킹 대상의 위치 변화에 대응하여 프라이버시 마스크 또한 영상 상에서 위치가 변화되어야 한다. 이 때, 일반적으로 카메라가 패닝 또는 틸팅을 수행한 회전 각도를 이용하여 마스킹 대상의 위치 좌표를 연산한 후, 연산된 위치 좌표에 마스킹을 적용하는 방법이 사용된다.
그러나, 이러한 방법은 카메라를 회전시키는 모터의 구동 오차, 여러 구성요소들이 조립되어 카메라 어셈블리를 형성하는 과정에서 발생하는 조립 공차 등에 의하여 마스킹 대상과 프라이버시 마스크의 위치가 정확하게 대응되지 않을 수 있다. 만약 카메라가 물리적인 패닝 또는 틸팅이 되지 않고, 장치 내에 설치된 소프트웨어를 통해 패닝 또는 틸팅이 되더라도, 좌표계의 연산에 따른 오차에 의하여 마스킹 대상과 프라이버시 마스크의 위치가 정확하게 대응되지 않을 수도 있다. 카메라가 주밍을 수행할 때에도, 영상의 줌 인(Zoom In) 또는 줌 아웃(Zoom Out) 과정에서 카메라의 광축이 이동하면서 오차가 발생할 수도 있게 된다.
이러한 방법을 개선하기 위해, 위치 좌표를 연산하지 않고 마스킹 대상의 영상 상에서의 픽셀 정보를 이용하는 방법이 제시되었다. 즉, 마스킹 대상의 픽셀 정보들을 저장한 후, 카메라가 패닝, 틸팅 또는 주밍이 되면 전체 영상에서 상기 픽셀 정보와 일치하는 지점을 찾아 프라이버시 마스크를 적용하는 것이다. 그러나, 이러한 방법 또한, 화면부에 디스플레이 되는 영상의 전체 픽셀 정보를 인식한 후, 마스킹 대상의 픽셀 정보와 일치하는 부분을 찾아야 하므로 연산량이 과도하게 증가하는 문제가 있다.
한편, 마스킹 대상의 일부가 감시 대상에 의하여 차폐될 때가 있다. 이러한 때에는, 프라이버시 보호를 위해 마스킹 대상에 해당하는 부분은 프라이버시 마스크가 유지되고, 상기 감시 대상은 감시를 위해 프라이버시 마스크가 해제되는 것이 바람직하다. 그러나, 여전히 마스킹 대상의 전체에 대해서 프라이버시 마스크를 적용하게 되어, 일부 차폐된 부분에도 프라이버시 마스크가 적용됨으로써 상기 감시 대상에 대한 감시가 불가능하게 되는 결과가 발생한다.
본 발명이 해결하고자 하는 과제는, 영상이 패닝, 틸팅 또는 주밍이 되면 위치 좌표의 변화 만이 아니라, 픽셀 정보도 함께 이용하여, 마스킹 대상에 프라이버시 마스크를 더욱 정확하게 적용시킬 수 있는 촬상 장치를 제공하는 것이다.
또한, 감시 대상이 마스킹 대상의 일부를 차폐하는 경우, 프라이버시 마스크를 분할하여 감시 대상에 대하여는 노출되도록 함으로써 감시를 용이하게 할 수 있는 촬상 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 촬상 장치는 촬상부를 통해 획득한 영상으로부터 마스킹 대상을 판별하는 객체 판별부; 상기 영상이 패닝, 틸팅 또는 주밍되면, 상기 마스킹 대상의 위치 좌표의 변화량을 연산하여 최종 위치 좌표를 도출하는 위치 좌표 연산부; 상기 영상이 패닝, 틸팅 또는 주밍되면, 상기 마스킹 대상의 픽셀 정보의 변화량을 연산하여 최종 픽셀 정보를 도출하는 픽셀 정보 연산부; 상기 영상의 상기 최종 위치 좌표의 근방에서, 상기 도출한 최종 픽셀 정보와 픽셀 정보의 일치율이 가장 높은 영역을 찾는 픽셀 정보 비교부; 및 상기 픽셀 정보 비교부가 찾은 상기 영역에 프라이버시 마스크를 적용하는 마스크 적용부를 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
영상이 패닝, 틸팅 또는 주밍이 되면, 마스킹 대상의 위치 좌표의 변화 만이 아니라, 픽셀 정보도 함께 이용하여 프라이버시 마스크의 변화도 용이하게 파악하고, 더욱 정확한 위치에 프라이버시 마스크를 적용시킬 수 있다.
또한, 마스킹 대상의 일부를 감시 대상이 차폐하는 경우, 프라이버시 마스크를 분할하여, 프라이버시 보호를 위해 마스킹 대상에 해당하는 부분은 프라이버시 마스크가 유지되고, 상기 감시 대상은 감시를 위해 프라이버시 마스크가 해제되도록 할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 촬상 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 제어부(14)의 상세한 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 정보 관리부(145)의 상세한 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 마스크 분할부(146)의 상세한 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 촬상 장치(1)가 마스킹 대상(3)을 촬영하는 모습을 나타낸 도면이다.
도 6은 도 5에서 촬상 장치(1)가 획득한 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 마스킹 대상(3)에 프라이버시 마스크(112)가 적용되는 모습을 나타낸 도면이다.
도 8은 도 7에서 프라이버시 마스크(112)가 적용된 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 촬상 장치(1)가 패닝을 수행하는 모습을 나타낸 도면이다.
도 10은 도 9에서 프라이버시 마스크(112)가 적용된 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 11은 도 10에서 적용된 프라이버시 마스크(112)가 보정되는 모습을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 촬상 장치(1)가 줌을 수행하였을 때, 프라이버시 마스크(112)가 적용된 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 13은 도 12에서 적용된 프라이버시 마스크(112)가 보정되는 모습을 나타낸 도면이다.
도 14는 마스킹 대상(3)이 감시 대상(5)에 의해 가려진 모습을, 본 발명의 일 실시예에 따른 촬상 장치(1)가 촬영한 영상(111)을 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 마스킹 대상(3)에 프라이버시 마스크(112)가 적용되면서, 감시 대상(5)이 노출되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 프라이버시 마스크(112)가 블록 분할된 모습을 나타낸 도면이다.
도 17은 도 16에서 블록 분할된 프라이버시 마스크(112) 가운데, 감시 대상(5)을 마스킹하는 일부 마스크가 적용되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 18은 도 16에 비해 분할율이 증가되어 블록 분할된 프라이버시 마스크(112) 가운데, 감시 대상(5)을 마스킹하는 일부 마스크가 적용되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 프라이버시 마스크(112)가 사용자 임의 분할된 모습을 나타낸 도면이다.
도 20은 도 19에서 사용자 임의 분할된 프라이버시 마스크(112) 가운데, 감시 대상(5)을 마스킹하는 일부 마스크가 적용되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 제어부(14)의 상세한 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 정보 관리부(145)의 상세한 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 마스크 분할부(146)의 상세한 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 촬상 장치(1)가 마스킹 대상(3)을 촬영하는 모습을 나타낸 도면이다.
도 6은 도 5에서 촬상 장치(1)가 획득한 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 마스킹 대상(3)에 프라이버시 마스크(112)가 적용되는 모습을 나타낸 도면이다.
도 8은 도 7에서 프라이버시 마스크(112)가 적용된 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 촬상 장치(1)가 패닝을 수행하는 모습을 나타낸 도면이다.
도 10은 도 9에서 프라이버시 마스크(112)가 적용된 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 11은 도 10에서 적용된 프라이버시 마스크(112)가 보정되는 모습을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 촬상 장치(1)가 줌을 수행하였을 때, 프라이버시 마스크(112)가 적용된 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 13은 도 12에서 적용된 프라이버시 마스크(112)가 보정되는 모습을 나타낸 도면이다.
도 14는 마스킹 대상(3)이 감시 대상(5)에 의해 가려진 모습을, 본 발명의 일 실시예에 따른 촬상 장치(1)가 촬영한 영상(111)을 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 마스킹 대상(3)에 프라이버시 마스크(112)가 적용되면서, 감시 대상(5)이 노출되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 프라이버시 마스크(112)가 블록 분할된 모습을 나타낸 도면이다.
도 17은 도 16에서 블록 분할된 프라이버시 마스크(112) 가운데, 감시 대상(5)을 마스킹하는 일부 마스크가 적용되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 18은 도 16에 비해 분할율이 증가되어 블록 분할된 프라이버시 마스크(112) 가운데, 감시 대상(5)을 마스킹하는 일부 마스크가 적용되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 프라이버시 마스크(112)가 사용자 임의 분할된 모습을 나타낸 도면이다.
도 20은 도 19에서 사용자 임의 분할된 프라이버시 마스크(112) 가운데, 감시 대상(5)을 마스킹하는 일부 마스크가 적용되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 촬상 시스템의 구성을 나타낸 블록도이다.
본 발명의 일 실시예에 따른 촬상 시스템을 이용하는 방법에 따르면, 촬상 장치(1)가 획득한 영상(111) 내에 포함된 마스킹 대상(3)을, 프라이버시 마스크(112)가 마스킹한다. 이 때, 영상(111)이 패닝(Panning), 틸팅(Tilting) 또는 주밍(Zooming)이 되면, 영상(111) 내에서 마스킹 대상(3)의 위치 및 모양이 변화한다. 이에 따라 프라이버시 마스크(112)도, 마스킹 대상(3)과 대응되어 위치 및 모양이 변화하는데, 본 발명의 일 실시예에 따른 촬상 시스템은 마스킹 대상(3)의 위치 좌표뿐만 아니라, 픽셀 정보를 이용하여 프라이버시 마스크(112)의 위치 및 모양을 변화시킨다. 따라서, 오차가 발생하지 않고 마스킹 대상(3)과 정확하게 대응되도록 프라이버시 마스크(112)가 변화될 수 있다.
본 발명의 일 실시예에 따른 촬상 시스템은, 도 1에 도시된 바와 같이 특정 영역을 촬영하여 영상(111)을 획득하는 촬상 장치(1), 촬상 장치(1)가 획득한 영상(111)을 전송받아 디스플레이 하는 모니터링 장치(2)를 포함한다. 촬상 장치(1)와 모니터링 장치(2)는 서로 유선 또는 무선으로 연결되어, 영상 데이터 또는 신호를 송수신 할 수 있다. 만약, 촬상 장치(1)가 모니터링 장치(2)와 별도의 구성으로 마련되는 것이 아니라 모니터링 장치(2)에 직접 설치되는 구성이라면, 촬상 장치(1)와 모니터링 장치(2)는 내부 회로를 통하여 영상 데이터 또는 신호를 송수신 할 수 있다.
촬상 장치(1)는 특정 영역을 촬영하여 영상(111)을 획득한다. 촬상 장치(1)는 이미지 신호를 수신하는 촬상부(11), 영상(111)을 전송하는 통신부(12), 상기 영상(111)을 저장하는 저장부(13), 타 구성요소들을 제어하는 제어부(14)를 포함한다.
촬상부(11)는 특정 영역에 대한 이미지 신호를 수신한다. 촬상부(21)에는 일반적으로 CCD(Charge Coupled Device, 전하결합소자)나 CMOS 이미지 센서 등의 촬상 소자가 포함된다. CCD는 복수의 포토다이오드(Photodiode)에 광이 조사되면 광전효과에 의해 발생한 전자들을 축적시킨 후 전송하는 방식이다. 이 때, 광자의 양에 따라 발생하는 전자량의 변화를 분석하고 정보를 재구성함으로써, 화면을 이루는 이미지 정보가 생성된다. CCD는 화질이 선명하고 노이즈가 적다는 장점이 있으나, 전력소비가 높고 처리속도가 느리다는 단점이 있다.
CMOS 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor)를 이용하는 이미지 센서로서, 각 셀마다 증폭기가 있어 광에 의해 발생한 전자를 곧바로 전기신호로 증폭시켜 전송하는 방식이다. CMOS 이미지 센서는 가격이 저렴하고 전력소비가 낮으며 처리속도가 빠르나, 노이즈가 많다는 단점이 있다.
통신부(12)는 모니터링 장치(2)와 유무선으로 신호 및 데이터를 송수신한다. 예를 들어, 상기 통신부(12)는 상기 제어부(14)로부터의 신호 및 데이터를 변조 및 주파수 업컨버팅하여 모니터링 장치(2)로 송신하거나, 모니터링 장치(2)로부터 수신되는 신호 및 데이터를 주파수 다운컨버팅 및 복조하여 제어부(14)로 제공한다. 이러한 과정으로, 통신부(12)는 모니터링 장치(2)로 영상 데이터를 전송하거나 신호를 송신할 수 있고, 모니터링 장치(2)로부터 생성된 신호 및 데이터를 수신할 수도 있다. 상기 기술한 바와 같이, 촬상 장치(1)가 모니터링 장치(2)에 직접 설치되는 구성이라면, 촬상 장치(1)와 모니터링 장치(2)는 내부 회로를 통하여 영상 데이터 또는 신호를 송수신 할 수 있다.
저장부(13)는 촬상 장치(1)의 동작들을 처리 및 제어하기 위한 프로그램과 각 프로그램 수행 중에 발생되는 각종 데이터, 그리고 모니터링 장치(2)로 전송할 영상 데이터를 저장한다. 저장부(13)는 촬상 장치(1)에 내장될 수도 있으나, 네트워크 카메라 시스템의 경우에는 NVR(Network Video Recorder) 등과 같이 별도의 장치가 마련될 수도 있다.
제어부(14)는 촬상 장치(1)의 전반적인 동작을 제어한다. 예를 들어, 제어부(14)는 통신부(12)와 모니터링 장치(2)의 신호 및 데이터 통신을 위한 처리 및 제어를 수행하고, 촬상부(11)를 통해 영상(111)이 획득되면 디코딩 및 렌더링 등 영상 처리를 수행한다. 또한, 마스킹 대상(3)을 촬영한 영상(111)에 프라이버시 마스크(112)를 표시하도록 제어하며, 저장부(13)에 영상(111)을 저장시키고, 저장된 영상을 로딩하도록 제어한다. 본 발명의 일 실시예에 따른 제어부(14)로는 CPU(Central Processing Unit), MCU(Micro Controller Unit) 또는 DSP(Digital Signal Processor) 등을 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 논리 연산 프로세서가 사용될 수 있다.
상기의 기능 외에도 제어부(14)는 각종 설정된 내용들을 구현하거나 내부의 신호들을 제어한다. 상기 설정된 내용은 사용자가 자신에게 적합하도록 인터페이스를 설정한 내용뿐만 아니라 자체 소프트웨어의 업데이트 등의 내용을 포함한다. 그리고 상기 인터페이스의 설정 내용은 화면의 줌, 해상도, 밝기, 색도, 채도를 포함하고, 흑백, 스타일, 뷰 모드 등 사용자가 원하는 영상이 출력될 수 있도록 설정할 수 있는 모든 내용들을 포함한다. 따라서, 사용자가 원하면 화면의 줌 인 및 줌 아웃을 하여 화면의 확대 및 축소가 가능하고, 화면의 밝기 또한 조절할 수 있다. 또한, 촬상 장치(1)가 촬영한 영상(111)을 패닝 또는 틸팅 하도록 뷰 모드를 조정할 수 있다.
본 발명의 일 실시예에 따른 촬상 장치(1)는 패닝(Panning), 틸팅(Tilting)이 가능한 팬틸트 카메라인 것이 바람직하다. 또는, 촬상 장치(1)는 큰 화각을 갖는 광각렌즈를 가질 수 있으며, 180°이상의 화각을 갖는 초광각 렌즈인 어안 렌즈(Fish-Eye Lens)를 가질 수도 있다. 나아가, 촬상 장치(1)는 최근에 소개된 360°카메라일 수도 있다. 360°카메라란, 카메라 자체가 물리적인 패닝 또는 틸팅이 되지 않고, 어안 렌즈를 복수로 장착하여 전방위가 동시에 촬영이 가능한 카메라를 말한다. 이러한 경우에는, 360°카메라가 획득한 영상(111)은, 모니터링 장치(2) 내에 설치된 소프트웨어를 통해 패닝 또는 틸팅된다. 본 발명의 일 실시예에 따른 촬상 장치(1)는 이에 제한되지 않고, 특정 영역을 향해 촬영이 가능하다면 다양한 촬상 장치(1)를 사용할 수 있다.
촬상 장치(1)는 매초 15~30프레임의 2차원 화상을 촬영하여 디지털 변환함으로써 동영상 데이터를 출력하는 디지털 카메라인 것이 바람직하나, 이에 제한되지 않는다. 만약, 촬상 장치(1)가 디지털 카메라가 아니라면 촬영한 영상은 RGB 아날로그 영상 신호이므로 ADC컨버터가 별도로 구비되어야 하나, 촬상 장치(1)가 디지털 카메라라면 ADC컨버터가 필요하지 않다. 또한 촬상 장치(1) 자체에서 영상(111)을 인코딩하는 기능이 탑재되어 있으므로, 촬상 장치(1)가 영상(111)을 촬영하면 곧바로 인코딩되어 압축 영상 데이터가 생성된다.
최근에는 초고해상도 영상인 UHD(Ultra High Definition)의 관심으로 UHD 영상 인코딩을 위한 HEVC(High Efficiency Video Coding)의 표준화가 완료되며 H.264/MPEG-4 AVC보다 2배 이상의 인코딩 효율을 향상시켰다. 상기 영상을 인코딩하기 위한 코덱으로는, 최근 주로 사용되는 MPEG4 또는 H.264/MPEG-4 AVC, 상기 소개한 HEVC 등을 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 종류의 코덱이 사용될 수 있다.
본 발명의 일 실시예에 따른 모니터링 장치(2)는 촬상 장치(1)가 획득한 영상(111)을 전송받아 디스플레이한다. 모니터링 장치(2)는 스마트폰(Smartphone), 태블릿 PC(Tablet PC), 랩탑(Laptop) 등 터치 기능을 제공하는 장치인 것이 바람직하나, 이에 제한되지 않고 데스크 탑(Desktop)과 같이 마우스 등 통해 사용자 명령을 입력하는 장치일 수도 있다. 사용자는 모니터링 장치(2)에 다양한 어플리케이션을 설치 및 삭제할 수 있다. 이 가운데, 카메라 제어 어플리케이션을 실행하고, 터치 또는 마우스 등의 입력 방법을 통해 영상(111)의 패닝 또는 틸팅을 제어하는 신호를 생성할 수 있다.
모니터링 장치(2)는 본체(20), 영상(111)을 디스플레이 하는 화면부(21)를 포함한다. 화면부(21)는 촬상 장치(1)로부터 전송된 영상(111)을 디스플레이 한다. 모니터링 장치(2)가 터치 기능을 제공한다면, 화면부(21)는 터치 센서를 포함할 수 있다. 이 경우에는 사용자가 화면부(21)를 통해 직접 터치 신호를 입력할 수 있다. 터치 센서는 화면부(21)와 함께 일체로 장착될 수 있으며, 화면부(21)에서 발생되는 터치를 감지하여 터치가 발생된 영역의 좌표, 터치의 횟수 및 세기 등을 검출하고, 상기 검출된 결과를 제어부(14)에 전달한다. 터치 센서가 터치를 감지하는 방식에 따라, 정전 용량 방식, 전기저항막 방식, 초음파 방식, 적외선 방식 등 다양한 방식이 사용될 수 있다. 모니터링 장치(2)가 터치 기능을 제공하더라도, 화면부(21)가 터치 센서를 포함하지 않는다면 별도의 터치 패드가 입력부로써 마련될 수도 있다. 그리고 터치는 손가락을 이용하여 수행될 수도 있으나, 이에 제한되지 않고, 미세 전류가 흐를 수 있는 팁이 장착된 스타일러스 펜 등을 이용하여 수행될 수도 있다. 만약, 모니터링 장치(2)가 터치 기능을 제공하지 않는다면, 마우스 등 사용자의 명령을 입력할 수 있는 입력부가 별도로 마련될 수 있다.
도 2는 본 발명의 일 실시예에 따른 제어부(14)의 상세한 구성을 나타낸 블록도이다.
본 발명의 일 실시예에 따른 제어부(14)는, 도 2에 도시된 바와 같이 영상 처리부(141), 영상 제어부(142), 객체 판별부(143), 마스크 적용부(144), 정보 관리부(145), 마스크 분할부(146) 및 픽셀 정보 비교부(147)를 포함한다.
영상 처리부(141)는 대기하는 영상의 프레임 데이터를 임시로 저장하는 버퍼 메모리, 영상의 렌더링(Rendering) 작업을 수행하는 그래픽 렌더러, 복합 영상을 생성하기 위해 복수의 영상의 오버레이를 수행하는 슈퍼 임포저를 더 포함할 수 있다. 버퍼 메모리, 그래픽 렌더러 또는 슈퍼 임포저는, 영상 제어부(142)가 명령을 함으로써 조절된다. 다만, 이에 제한되지 않고, 영상의 인코딩 및 디코딩의 과정이나 기타 영상 처리가 필요하지 않은 경우에는, 입력 영상 처리부(141)는 상기 기술한 버퍼 메모리, 그래픽 렌더러 또는 슈퍼 임포저 중에 일부를 포함하지 않을 수 있다. 즉, 촬상 장치(1)로부터 촬영된 영상의 처리 방법에 따라, 영상 처리부(141)는 다양하게 구성될 수 있다.
압축 영상은 영상 처리부(141)로 입력되면, 영상 제어부(142)에는 압축 영상이 영상 처리부(141)로 입력된다는 신호가 인가된다. 영상 제어부(142)는 상기 신호가 인가되면, 영상 처리부(141)에서 영상을 처리하여 해상도(Resolution), 프레임율(Frame-Rate) 또는 화질(Bit-Depth)을 변경하는 영상 처리 과정의 전반적인 제어를 수행한다.
객체 판별부(143)는 촬상 장치(1)가 획득한 영상(111)으로부터 마스킹 대상(3)을 판별한다. 객체 판별부(143)는 우선 촬상 장치(1)가 획득한 영상(111)으로부터 이미지 픽셀에 대한 엣지 정보를 추출한다. 상기 엣지 정보를 추출하기 위해서 일반적으로 사용되는 그라디언트 공식을 사용할 수 있다. 상기 추출한 엣지 정보를 통해 마스킹 대상(3)의 윤곽선이 드러나게 된다. 그리고 저장부(13)에 미리 윤곽선 정보에 대한 데이터를 저장하고, 상기 획득한 윤곽선 정보와 매칭하여 마스킹 대상(3)의 정체를 인식하고 판별할 수 있다. 상기 이미지 매칭을 위해 특징점을 추출하는 방법으로는 SIFT(Scale Invariant Feature Transform) 또는 SURF(Speeded Up Robust Features)기법을 사용할 수 있으나, 본 발명은 시간을 단축하여 신속한 정보 획득이 목적이므로 보다 빠른 SURF 기법이 바람직하다.
나아가, 만약 마스킹 대상(3)이 사람의 얼굴이라면, 지구상에 존재하는 모든 사람들의 얼굴에 대한 윤곽선 정보를 미리 저장부(13)에 저장하는 것이 불가능하다. 이러한 경우에는 얼굴 영역을 추출하는 방법을 사용할 수 있다. 예를 들면, 컬러정보, 엣지 정보를 이용하여 얼굴의 후보영역을 찾는 특징 기반 방법과, 신경회로망, 움직임 정보, 선형 부분 공간 방법, 통계적 접근 등과 같이 얼굴의 후보영역에 대해서 국부 최적 임계치 방법을 사용하여 얼굴의 구성요소(눈, 눈썹, 입)들을 검출하여 얼굴영역을 찾는 이미지 기반 방법. 형태학상 처리 그리고 템플릿을 이용한 정합법, PCA를 이용한 주성분분석법 등이 있다.
객체 판별부(143)는 움직이는 물체를 자동으로 감지하는 이동 객체 감지(Moving Object Detecting, MOD) 기능을 제공할 수도 있다. 따라서 만약, 마스킹 대상(3)이 이동하는 물체라면, 이러한 이동 객체 감지(MOD) 기능을 활용하여 마스킹 대상(3)을 판별할 수 있다.
마스크 적용부(144)는 영상(111) 상에서, 상기 판별된 마스킹 대상(3)에 대하여 프라이버시 마스크(112)를 적용한다. 하기 기술할 바, 변화되는 마스킹 대상(3)의 위치 좌표 및 픽셀 정보에 대응하여, 정보 관리부(145)가 프라이버시 마스크(112)의 위치 좌표 및 픽셀 정보 또한 수정한다. 그리고, 마스크 적용부(144)는 상기 수정된 위치 좌표 및 픽셀 정보를 토대로, 정확한 위치에 프라이버시 마스크(112)를 적용할 수 있다. 나아가, 마스킹 대상(3)의 일부가 감시 대상(5)에 의하여 차폐될 때가 있다. 이러한 때에는, 프라이버시 보호를 위해 마스킹 대상(3)에 해당하는 부분은 프라이버시 마스크(112)가 유지되고, 상기 감시 대상(5)은 감시를 위해 프라이버시 마스크(112)가 해제되는 것이 바람직하다. 따라서, 마스크 분할부(146)가 마스킹을 유지할 부분과, 마스킹을 해제할 부분으로 분할하여, 오로지 마스킹 대상(3)에만 프라이버시 마스크(112)를 적용하고, 그 외의 부분은 마스킹을 해제한다. 프라이버시 마스크(112)가 영상(111)에 적용되어 화면부(21)에 표시될 때는, 촬상 장치(1)가 획득한 영상(111)에 OSD(On Screen Display) 형태로 합성되어 표시될 수 있다.
프라이버시 마스크(112)가 적용되는 방식은, 판별된 마스킹 대상(3)을 필터링하여 검게 처리하는 것이 바람직하다. 그러나, 이에 제한되지 않고 마스킹 대상(3)의 RGB 색상값을 주변 픽셀의 평균 색상 값으로 맵핑 처리하여 영상을 흐리게 하는 방식, 또는 마스킹 대상(3)의 픽셀 수를 조절하여 모자이크 처리하는 방식 등 다양한 방식을 적용할 수 있다.
정보 관리부(145)는 영상(111)이 패닝, 틸팅 또는 주밍되면, 마스킹 대상(3)의 영상(111)에서의 위치 좌표의 변화량 및 픽셀 정보의 변화량을 연산하여, 프라이버시 마스크(112)가 정확한 위치에 적용되도록 반영한다. 정보 관리부(145)의 동작에 대한 자세한 설명은 후술한다.
마스크 분할부(146)는 마스킹 대상(3)을 감시 대상(5)이 차폐시키는 경우, 프라이버시 마스크(112)를 분할하여, 일부 영역은 프라이버시 마스크(112)가 유지되고, 일부 영역은 프라이버시 마스크(112)가 해제되도록 한다. 마스크 분할부(146)의 동작에 대한 자세한 설명은 후술한다.
픽셀 정보 비교부(147)는 프라이버시 마스크(112)를 정확히 위치시키기 위해, 최초로 추출한 마스킹 대상(3)의 픽셀 정보와, 마스킹 대상(3)의 위치가 변화한 후의 픽셀 정보를 비교한다. 또한, 마스크가 분할되는 경우, 차폐할 영역과 노출할 영역을 명확히 구분하기 위해 저장된 픽셀 정보와 새롭게 추출된 픽셀 정보를 비교한다.
도 3은 본 발명의 일 실시예에 따른 정보 관리부(145)의 상세한 구성을 나타낸 블록도이다.
정보 관리부(145)는 도 3에 도시된 바와 같이, 위치 좌표에 대한 정보를 관리하는 위치 좌표 관리부(1451), 픽셀 정보에 대한 정보를 관리하는 픽셀 정보 관리부(1452)를 포함한다.
위치 좌표 관리부(1451)는 영상(111)에서 마스킹 대상(3)에 프라이버시 마스크(112)를 적용하기 위해 프라이버시 마스크(112)의 좌표를 연산한다. 위치 좌표 관리부(1451)는 마스킹 대상(3)이 영상(111)에서 현재 위치하는 좌표를 추출하는 위치 좌표 추출부(1453), 영상(111)이 패닝, 틸팅 또는 주밍 되었을 때 마스킹 대상(3)의 위치 좌표 변화량을 연산하고, 이를 상기 추출한 위치 좌표에 보상함으로써 최종 위치 좌표를 도출하는 위치 좌표 연산부(1454)를 포함한다.
마스킹 대상(3)이 촬상 장치(1)에 촬영되어 영상(111) 상에서 표시될 때, 객체 판별부(143)에서 마스킹 대상(3)을 영상(111) 상에서 판별하면, 위치 좌표 추출부(1453)는 마스킹 대상(3)이 영상(111) 상에서 현재 위치한 위치 좌표를 추출해 낸다. 여기서, 마스킹 대상(3)이 화면부(21)를 통해 영상(111) 상에서 표시되면, 일정한 면적을 가지는 영역으로 표시되는 것이 일반적이다. 따라서, 상기 위치 좌표는 복수로 추출되어야 한다. 또한, 영상(111) 상에서 표시되는 마스킹 대상(3)의 아웃라인은, 직선만을 가지는 것이 아니라 곡선을 가질 수도 있다. 따라서, 복수의 위치 좌표는 마스킹 대상(3)의 아웃라인을 따라서 일정한 간격으로 추출되는 것이 바람직하다. 상기 일정한 간격이 넓을수록, 위치 좌표의 추출량이 감소하여 연산량이 감소하고 연산 속도가 빨라지나, 마스킹 대상(3)의 위치 좌표 변화량 연산시 오차가 크게 발생할 수 있다. 이와 반대로, 상기 일정한 간격이 좁을 수록, 마스킹 대상(3)의 위치 좌표 변화량 연산시 오차를 감소시킬 수 있으나, 연산량이 증가하고 연산 속도가 느려진다. 따라서, 상기 일정한 간격은 제어부(14)의 연산 능력 및 본 발명의 적용 상황에 따라 다양하게 변경될 수 있다.
위치 좌표 연산부(1454)는 영상(111)이 패닝, 틸팅 또는 주밍 되었을 때 마스킹 대상(3)의 위치 좌표 변화량을 연산하여 최종 위치 좌표를 도출한다. 영상(111)이 패닝, 틸팅 또는 주밍되면, 마스킹 대상(3)의 아웃라인 모양이 왜곡되어 나타나게 된다. 위치 좌표 연산부(1454)는 이러한 왜곡되는 마스킹 대상(3)의 아웃라인 모양을 모두 반영하여 위치 좌표의 변화량을 연산한다.
픽셀 정보 관리부(1452)는 마스킹 대상(3)의 현재 픽셀 정보를 추출하는 픽셀 정보 추출부(1455), 영상(111)이 패닝, 틸팅 또는 주밍 되었을 때 마스킹 대상(3)의 픽셀 정보의 변화량을 연산하고 이를 상기 현재 픽셀 정보에 보상함으로써 최종 픽셀 정보를 도출하는 픽셀 정보 연산부(1456)를 포함한다.
마스킹 대상(3)이 촬상 장치(1)에 촬영되어 영상(111) 상에서 표시될 때, 객체 판별부(143)에서 마스킹 대상(3)을 영상(111) 상에서 판별하면, 픽셀 정보 추출부(1455)는 마스킹 대상(3)이 영상(111)에서 가지는 현재 픽셀 정보를 추출해 낸다. 여기서 픽셀 정보란, 픽셀 각각이 가지는 특정 픽셀 값만이 아니라, 이웃하는 픽셀들 간의 픽셀 값의 차분을 포함한다.
픽셀 값이란, 각 픽셀이 가지고 있는 고유의 밝기 값을 말한다. 즉, 임의의 픽셀은 RGB를 이용해 색상 및 밝기가 구현되고, R, G, B는 각각 0 내지 255 중 임의의 수를 가진다. 여기서 0 내지 255가 픽셀 값을 말하며, 0에 가까울수록 픽셀은 어두워지고 255에 가까울수록 픽셀은 밝아진다. R, G, B 삼원색은 각각 0 내지 255 중 임의의 수를 가짐으로써 하나의 픽셀에는 8비트씩 총 24비트가 할당된다. 이러한 R, G, B가 가지는 각각의 값이 조화를 이룸으로써 픽셀 값이 형성된다.
영상(111) 상에서 마스킹 대상(3)이 표시되면, 화면부(21)에는 상기 영상(111)을 디스플레이 하기 위해, 마스킹 대상(3)에 대응되는 여러 픽셀들이 각각 절대적인 픽셀 값을 가지게 된다. 또한, 각각의 픽셀들은 제각기 다른 픽셀 값을 가질 수 있으므로, 이웃하는 픽셀들 간의 픽셀 값의 차분이 존재할 수도 있다. 픽셀 정보 추출부(1455)는, 픽셀들이 각각 가지는 절대적인 픽셀 값뿐만 아니라, 이웃하는 픽셀들 간의 픽셀 값의 차분을 계산함으로써, 여러 픽셀들의 상대적인 픽셀 값까지 추출한다.
픽셀 정보 연산부(1456)는 영상(111)이 패닝, 틸팅 또는 주밍 되었을 때 마스킹 대상(3)의 픽셀 정보 변화량을 연산하여 최종 픽셀 정보를 도출한다. 영상(111)이 패닝, 틸팅 또는 주밍되면, 마스킹 대상(3)의 색채(색상, 명도, 채도 등)가 왜곡되어 나타나게 된다. 픽셀 정보 연산부(1456)는 이러한 왜곡되는 마스킹 대상(3)의 색채를 모두 반영하여 픽셀 정보의 변화량을 연산한다.
영상(111)이 패닝, 틸팅 또는 주밍되면, 정보 관리부(145)가 변화되는 마스킹 대상(3)의 위치 좌표 및 픽셀 정보 변화량을 연산한다. 그리고, 상기 변화량을 최초 추출한 위치 좌표 및 픽셀 정보에 보상함으로써, 최종 위치 좌표 및 최종 픽셀 정보가 도출된다. 마스크 적용부(144)는 이에 대응되는 위치 및 모양에 프라이버시 마스크(112)를 생성하여 적용함으로써, 오차를 감소시키고 정확한 위치에 프라이버시 마스크(112)를 적용할 수 있게 된다.
도 4는 본 발명의 일 실시예에 따른 마스크 분할부(146)의 상세한 구성을 나타낸 블록도이다.
마스킹 대상(3)의 일부가 감시 대상(5)에 의하여 차폐될 때가 있다. 이 경우, 감시 대상(5)에 의하여 차폐된 마스킹 대상(3)의 일부에도 프라이버시 마스크(112)가 적용되면, 이중으로 감시 대상(5) 및 프라이버시 마스크(112)에 의하여 중복으로 차폐되는 결과가 발생한다. 그러면, 불필요한 프라이버시 마스크(112)의 적용이 발생하며, 정작 감시가 필요한 감시 대상(5)까지 차폐되는 문제가 발생한다. 따라서 프라이버시 보호를 위해 마스킹 대상(3)에 해당하는 부분은 프라이버시 마스크(112)가 유지되고, 상기 감시 대상(5)은 감시를 위해 프라이버시 마스크(112)가 해제되는 것이 바람직하다.
마스크 분할부(146)는 마스킹 대상(3)을 감시 대상(5)이 차폐시키는 경우, 프라이버시 마스크(112)를 분할하여, 일부 영역은 프라이버시 마스크(112)가 유지되고, 일부 영역은 프라이버시 마스크(112)가 해제되도록 한다.
마스크 분할부(146)는 프라이버시 마스크(112)를 블록 분할하는 블록 분할부(1461), 프라이버시 마스크(112)를 사용자가 원하는 대로 분할하는 사용자 분할부(1462)를 포함한다.
블록 분할부(1461)는 프라이버시 마스크(112)를 블록으로 분할한다. 블록이란, 특정 너비와 높이를 가지는 사각형의 모양으로, 프라이버시 마스크(112)를 가로 및 세로를 특정 간격으로 분할하면 복수의 블록이 형성된다.
사용자 분할부(1462)는 사용자가 임의로 지정한 대로 프라이버시 마스크(112)를 분할한다. 사용자가 임의로 지정하므로, 블록으로 분할하는 경우와는 달리 각각의 블록 마다 차폐 및 노출 여부를 판별할 필요가 없다. 즉, 사용자가 임의로 입력한 분할선을 기준으로 영역이 분할되면, 분할된 영역에 대하여만 차폐 및 노출 여부를 판별하면 된다.
이와 같이, 마스크 분할부(146)는 프라이버시 마스크(112)를 유지하여 차폐할 영역과, 프라이버시 마스크(112)를 해제하여 노출할 부분으로 분할한다. 그리고 픽셀 정보 비교부(147)가 픽셀 정보를 비교하여 차폐할 영역과 노출할 영역을 판별한다. 만약, 프라이버시 마스크(112)가 블록 분할된다면, 각각의 블록 마다 차폐 및 노출 여부를 판별하고, 사용자가 임의로 지정한 대로 프라이버시 마스크(112)가 분할된다면, 분할된 영역에 대하여 차폐 및 노출 여부를 판별한다. 그리고 상기 판별 정보를 마스크 적용부(144)에 전송함으로써, 오로지 마스킹 대상(3)에 해당하는 영역에만 프라이버시 마스크(112)가 적용되고, 그 외의 부분은 마스킹이 해제되도록 한다. 프라이버시 마스크(112)가 영상(111)에 적용되어 화면부(21)에 표시될 때는, 촬상 장치(1)가 획득한 영상(111)에 OSD(On Screen Display) 형태로 합성되어 표시될 수 있다.
상기와 같이, 마스크 적용부(144)는 정보 관리부(145) 및 마스크 분할부(146)로부터 정보를 수신함으로써, 정확한 위치에 프라이버시 마스크(112)를 적용할 수 있고, 마스킹 대상(3)의 일부를 감시 대상(5)이 차폐하더라도, 영상(111) 상에서 마스킹 대상(3)에 해당하는 영역에만 프라이버시 마스크(112)를 적용할 수 있다.
도 5는 본 발명의 일 실시예에 따른 촬상 장치(1)가 마스킹 대상(3)을 촬영하는 모습을 나타낸 도면이고, 도 6은 도 5에서 촬상 장치(1)가 획득한 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 5에 도시된 바와 같이, 촬상 장치(1)가 마스킹 대상(3)을 촬영하면, 마스킹 대상(3)에 대한 영상(111)이 획득된다. 이 때, 아직 마스킹 대상(3)에 대하여 프라이버시 마스크(112)를 적용하지 않는다면, 도 6에 도시된 바와 같이, 영상(111)이 모니터링 장치(2)의 화면부(21)에 디스플레이 되며, 상기 영상(111)에는 마스킹 대상(3)이 표시된다. 여기서 영상(111)은 정지 영상일 수도 있으나 동영상일 수도 있다.
마스킹 대상(3)은 3차원에 존재하여 일정한 부피와 질량을 가지는 입체적인 물체이나, 영상(111)이 화면부(21)에 디스플레이 될 때에는, 마스킹 대상(3)은 2차원 평면으로 표시된다. 여기서 마스킹 대상(3)이 영상(111)에 표시될 때, 영상(111) 상에서 위치 좌표 및 픽셀 정보를 가진다.
도 7은 본 발명의 일 실시예에 따른 마스킹 대상(3)에 프라이버시 마스크(112)가 적용되는 모습을 나타낸 도면이고, 도 8은 도 7에서 프라이버시 마스크(112)가 적용된 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
화면부(21)를 통해 디스플레이 되는 영상(111)은, 3차원의 입체적인 형상이라도 2차원 평면으로 표시된다. 따라서, 도 7에 도시된 바와 같이, 촬상 장치(1)로부터 일정 거리만큼 떨어진 곳에 가상의 곡면(4)이 형성되고, 촬상 장치(1)가 촬영하는 3차원의 특정 영역이 상기 가상의 곡면(4)에 투영되어 2차원 평면화된 것으로 가정할 수 있다.
정보 관리부(145)는 상기 가상의 곡면(4)에 투영된 마스킹 대상(3)의 현재 위치 좌표 및 픽셀 정보를 추출한다. 그리고 상기 추출한 위치 좌표 및 픽셀 정보를 마스크 적용부(144)에 전송하면, 마스크 적용부(144)가 상기 위치 좌표 및 픽셀 정보를 토대로 프라이버시 마스크(112)를 생성하여 적용한다. 따라서, 도 8에 도시된 바와 같이 가상의 곡면(4)에 마스킹 대상(3)이 투영되는 위치에 프라이버시 마스크(112)가 적용되는 것이다.
도 9는 본 발명의 일 실시예에 따른 촬상 장치(1)가 패닝을 수행하는 모습을 나타낸 도면이고, 도 10은 도 9에서 프라이버시 마스크(112)가 적용된 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
촬상 장치(1)가 패닝(Panning) 또는 틸팅(Tilting)을 수행하여 움직이는 경우, 촬상 장치(1)의 앵글과 마스킹 대상(3) 사이의 공간적인 배치가 변경된다. 이러한 변경은 화면부(21)를 통해 디스플레이 되는 영상(111)에 반영되어 표시된다. 또는, 촬상 장치(1)가 직접 물리적인 패닝 또는 틸팅이 되지 않고, 장치 내에 설치된 소프트웨어를 통해 패닝 또는 틸팅이 되더라도, 디스플레이 되는 영상(111) 상에서의 마스킹 대상(3)은 배치가 변경된다.
구체적으로 설명하면, 도 9에 도시된 바와 같이 처음에는 촬상 장치(1)가 마스킹 대상(3)을 영상(111)의 중앙에 위치하도록 촬영을 한다. 그 후, 사용자의 조작 등으로 영상(111)이 좌측으로 패닝을 수행한다. 그러면, 마스킹 대상(3)은 패닝된 영상(111)에서 상대적으로 우측 방향으로 이동하게 된다. 즉, 마스킹 대상(3)의 위치 좌표가 영상(111) 상에서 변화하게 된다.
영상(111)이 패닝 또는 틸팅되면, 영상(111) 상에 표시되는 마스킹 대상(3)은 단순히 위치만 변하는데 그치지 않는다. 즉, 촬상 장치(1)의 촬영 앵글이 변경되면서, 렌즈의 곡률 등에 의하여 3차원의 마스킹 대상(3)의 아웃라인 모양이 왜곡되어 나타나게 된다. 따라서, 위치 좌표 연산부(1454)는 이러한 왜곡되는 마스킹 대상(3)의 아웃라인 모양을 모두 반영하여, 최종 위치 좌표를 도출해 내도록, 위치 좌표의 변화량을 연산한다.
한편, 마스킹을 유지하기 위해, 마스킹 대상(3)의 위치 변화에 대응하여 프라이버시 마스크(112) 또한 영상(111) 상에서 위치가 변화되어야 한다. 이 때, 일반적으로 영상(111)이 패닝 또는 틸팅된 회전 각도를 이용하여 마스킹 대상(3)의 최종 위치 좌표를 연산한 후, 연산된 위치 좌표에 마스킹을 적용하는 방법이 사용된다.
그러나, 이러한 방법은 촬상 장치(1)를 회전시키는 모터의 구동 오차, 여러 구성요소들이 조립되어 촬상 장치(1) 어셈블리를 형성하는 과정에서 발생하는 조립 공차 등에 의하여, 도 10에 도시된 바와 같이 마스킹 대상(3)과 프라이버시 마스크(112)의 위치가 정확하게 대응되지 않을 수 있다. 만약 촬상 장치(1)가 물리적인 패닝 또는 틸팅이 되지 않고, 장치 내에 설치된 소프트웨어를 통해 패닝 또는 틸팅이 되더라도, 좌표계의 연산에 따른 오차에 의하여 마스킹 대상(3)과 프라이버시 마스크(112)의 위치가 정확하게 대응되지 않을 수도 있다. 즉, 영상(111)의 회전 각도를 역으로 연산하여 마스킹 대상(3)의 최종 위치 좌표를 연산하는 방법을 이용하면, 프라이버시 마스크(112)는 위치, 크기 또는 모양만이 변경될 뿐이며, 마스킹 대상(3)을 완벽하게 차폐하지 못한다.
도 11은 도 10에서 적용된 프라이버시 마스크(112)가 보정되는 모습을 나타낸 도면이다.
본 발명의 일 실시예에 따른 촬상 장치(1)는, 영상(111)의 회전 각도를 이용하여 마스킹 대상(3)의 최종 위치 좌표를 연산하는 데에서 그치는 것이 아니라, 픽셀 정보를 함께 이용하여 프라이버시 마스크(112)를 적용한다. 즉, 마스킹 대상(3)의 최초 픽셀 정보를 이용함으로써, 모터의 구동 오차, 조립 공차 등을 감소시키는 것이다.
구체적으로 설명하면, 마스킹 대상(3)이 영상(111) 상에 표시되면서 가지게 되는 픽셀 정보들이 존재한다. 픽셀 정보 추출부(1455)는 마스킹 대상(3)의 최초 픽셀 정보를 추출하여 저장부(13)에 저장한다. 이 후, 영상(111)이 패닝 또는 틸팅되면, 위치 좌표 연산부(1454)가 영상(111)의 회전 각도을 이용하여 위치 좌표의 변화량을 연산하여 최종 위치 좌표를 도출해낸다. 한편, 상기 기술한 바와 같이, 영상(111)이 패닝, 틸팅 또는 주밍되면, 촬상 장치(1)의 촬영 앵글이 변경되면서, 조명의 변화 등에 의하여 마스킹 대상(3)의 색채(색상, 명도, 채도 등)가 왜곡되어 나타나게 된다. 픽셀 정보 연산부(1456)는 이러한 왜곡되는 마스킹 대상(3)의 색채를 모두 반영하여 픽셀 정보의 변화량을 연산하고, 최종 픽셀 정보를 도출해 낸다.
상기 최종 위치 좌표를 통해 마스킹 대상(3)의 위치를 대략적으로 파악할 수 있다. 그리고, 픽셀 정보 비교부(147)는 상기 최종 위치 좌표의 근방에서, 상기 도출한 최종 픽셀 정보와 가장 유사한 픽셀 정보를 가지는 영역을 찾는다. 즉, 픽셀 정보의 일치율이 가장 높은 영역을 찾는다. 상기 영역을 찾으면 픽셀 정보 비교부(147)는 마스크 적용부(144)에 상기 영역에 대한 정보를 전송하고, 마스크 적용부(144)는 도 11에 도시된 바와 같이, 상기 정보를 토대로 프라이버시 마스크(112)를 적용한다. 따라서, 프라이버시 마스크(112)를 마스킹 대상(3)에 대하여 정확한 위치에 적용시킬 수 있다. 여기서, 최종 위치 좌표의 근방이란, 일반적으로 픽셀 정보를 이용하지 않고 위치 좌표만을 이용하였을 때, 프라이버시 마스크(112)가 적용되면 발생하는 오차의 범위와 대응되는 것이 바람직하다. 만약, 촬상 장치(1)의 모터 구동 오차, 조립 공차 등이 매우 크다면, 상기 근방의 범위는 상대적으로 넓고, 반대로 상기 오차, 공차 등이 매우 작다면, 상기 근방의 범위는 상대적으로 좁을 것이다. 다만, 이에 제한되지 않고 상기 근방의 범위는 사용자가 원하는 대로 다양하게 설정될 수 있다.
도 12는 본 발명의 일 실시예에 따른 촬상 장치(1)가 줌을 수행하였을 때, 프라이버시 마스크(112)가 적용된 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
촬상 장치(1)가 주밍(Zooming)을 수행하는 경우, 영상(111)의 배율이 변화하고, 마스킹 대상(3)이 영상(111) 상에서 표시되는 사이즈도 함께 변화한다. 그러면, 마스킹 대상(3)의 아웃라인을 따라서 형성된 복수의 위치 좌표 간의 일정한 간격도 함께 변화한다. 즉, 마스킹 대상(3)의 위치 좌표가 영상(111) 상에서 변화하게 된다.
이 때 마스킹을 유지하기 위해, 일반적으로 촬상 장치(1)가 주밍을 수행한 확대 또는 축소 배율을 이용하여 마스킹 대상(3)의 최종 위치 좌표를 연산한 후, 연산된 위치 좌표에 마스킹을 적용하는 방법이 사용된다.
그러나, 이러한 방법은 영상(111)의 줌 인(Zoom In) 또는 줌 아웃(Zoom Out) 과정에서 촬상 장치(1)의 광축이 이동하면서 발생하는 오차 등에 의하여, 도 12에 도시된 바와 같이 마스킹 대상(3)과 프라이버시 마스크(112)의 위치가 정확하게 대응되지 않을 수 있다. 즉, 영상(111)의 확대 또는 축소 배율을 그대로 위치 좌표의 사이즈 연산에 적용하여, 마스킹 대상(3)의 최종 위치 좌표를 연산하는 방법을 이용하면, 프라이버시 마스크(112)는 크기만이 변경될 뿐이며, 마스킹 대상(3)을 완벽하게 차폐하지 못한다.
도 13은 도 12에서 적용된 프라이버시 마스크(112)가 보정되는 모습을 나타낸 도면이다.
위치 좌표 연산부(1454)는 영상(111)의 확대 또는 축소 배율을 이용하여 마스킹 대상(3)의 최종 위치 좌표를 연산한다. 그리고 픽셀 정보 연산부(1456)는 이러한 왜곡되는 마스킹 대상(3)의 색채를 모두 반영하여 픽셀 정보의 변화량을 연산하고, 최종 픽셀 정보를 도출해 낸다. 영상(111)이 패닝, 틸팅 또는 주밍되면, 픽셀 정보 비교부(147)는 상기 최종 위치 좌표의 근방에서, 상기 도출한 최종 픽셀 정보와 가장 유사한 픽셀 정보를 가지는 영역을 찾는다. 즉, 픽셀 정보의 일치율이 가장 높은 영역을 찾는다. 상기 영역을 찾으면 픽셀 정보 비교부(147)는 마스크 적용부(144)에 상기 영역에 대한 정보를 전송하고, 마스크 적용부(144)는 도 13에 도시된 바와 같이, 상기 정보를 토대로 프라이버시 마스크(112)를 적용한다. 따라서, 프라이버시 마스크(112)를 마스킹 대상(3)에 대하여 정확하게 적용시킬 수 있다.
도 14는 마스킹 대상(3)이 감시 대상(5)에 의해 가려진 모습을, 본 발명의 일 실시예에 따른 촬상 장치(1)가 촬영한 영상(111)을 나타낸 도면이고, 도 15는 본 발명의 일 실시예에 따른 마스킹 대상(3)에 프라이버시 마스크(112)가 적용되면서, 감시 대상(5)이 노출되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
도 14에 도시된 바와 같이, 마스킹 대상(3)의 일부가 감시 대상(5)에 의하여 차폐될 때가 있다. 예를 들어, 개인 정보가 기록된 문서가 테이블 위에 놓여있고, 침입자가 테이블의 앞을 지나가면서 상기 문서를 차폐하는 경우가 있다. 이러한 때에는, 프라이버시 보호를 위해 마스킹 대상(3)에 해당하는 부분은 프라이버시 마스크(112)가 유지되고, 상기 감시 대상(5)은 감시를 위해 프라이버시 마스크(112)가 해제되는 것이 바람직하다. 그러나, 도 15에 도시된 바와 같이, 여전히 일부 차폐된 부분에도 프라이버시 마스크(112)가 적용된다면, 상기 감시 대상(5)에 대한 감시가 불가능하게 되는 결과가 발생한다.
도 16은 본 발명의 일 실시예에 따른 프라이버시 마스크(112)가 블록 분할된 모습을 나타낸 도면이다.
객체 판별부(143)에서 마스킹 대상(3)을 영상(111) 상에서 판별하면, 정보 관리부(145)에서 마스킹 대상(3)의 위치 좌표와 픽셀 정보를 추출하고, 저장부(13)에 저장한다. 이 때, 감시 대상(5)이 마스킹 대상(3)의 일부를 차폐시키는 경우, 마스크 분할부(146)는 프라이버시 마스크(112)를 분할한다. 그리고 차폐할 영역은 프라이버시 마스크(112)가 유지되고, 노출할 영역은 프라이버시 마스크(112)가 해제되도록 한다.
마스크 분할부(146)에 포함된 블록 분할부(1461)는 도 16에 도시된 바와 같이, 프라이버시 마스크(112)를 블록으로 분할한다. 블록이란, 특정 너비와 높이를 가지는 사각형의 모양으로, 프라이버시 마스크(112)를 가로 및 세로를 특정 간격으로 분할하면 복수의 블록이 형성된다.
도 17은 도 16에서 블록 분할된 프라이버시 마스크(112) 가운데, 감시 대상(5)을 마스킹하는 일부 마스크가 적용되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
블록 분할부(1461)가 프라이버시 마스크(112)를 블록으로 분할한 후에는, 픽셀 정보 비교부(147)가 각각의 블록 마다 픽셀 정보를 비교하여 차폐할 블록과 노출할 블록을 판별한다. 이 때, 마스킹 대상(3)에 대한 픽셀 정보를 이용한다. 만약, 영상(111) 상에서 마스킹 대상(3)의 위치가 변화하지 않은 경우, 최초 추출한 마스킹 대상(3)의 픽셀 정보를 이용하고, 영상(111) 상에서 마스킹 대상(3)의 위치가 변화한 경우, 최종 위치 좌표 및 최종 픽셀 정보를 도출해 내어 이용한다.
한편, 마스킹 대상(3)의 일부가 차폐되어 있으므로, 새롭게 추출된 마스킹 대상(3)의 픽셀 정보와 미리 저장되거나 연산된 픽셀 정보가 전부 일치하지 않는다. 따라서, 픽셀 각각의 픽셀 값과 이웃하는 픽셀들 간의 픽셀 값의 차분을 모두 반영하여, 블록 별로 일치율을 판단함으로써 차폐할 블록과 노출할 블록을 판별한다.
구체적으로, 감시 대상(5)이 차폐하지 않은 마스킹 대상(3)의 일부분에서는, 새롭게 영상(111)을 통해 추출한 픽셀 정보와 미리 저장되거나 연산된 픽셀 정보의 일치율이 높을 것이다. 이 블록은 프라이버시 마스크(112)로 차폐할 블록이다. 상기 픽셀 정보 비교부(147)는 상기 분할된 블록 가운데, 차폐할 블록에 프라이버시 마스크(112)가 그대로 적용될 것으로 판단한다. 반면에, 감시 대상(5)이 차폐한 마스킹 대상(3)의 일부분에서는, 새롭게 영상(111)을 통해 추출한 픽셀 정보와 미리 저장되거나 연산된 픽셀 정보의 일치율이 낮을 것이다. 이 블록은 프라이버시 마스크(112)로 차폐하지 않고 노출할 블록이다. 상기 픽셀 정보 비교부(147)는 상기 분할된 블록 가운데, 노출할 블록에 프라이버시 마스크(112)가 해제될 것으로 판단한다. 여기서, 일치율이 높고 낮음은 상대적인 것이며, 그 기준값은 사용자의 임의대로 변경될 수 있다. 만약, 기준값이 상대적으로 높다면 약간의 오차라도 프라이버시 마스크(112)가 적용되지 않아 개인 정보의 보호가 소홀해지고, 기준값이 상대적으로 낮다면 노출이 쉽게 되지 않아 감시가 용이하지 않다. 따라서, 상기 기준값은 본 발명의 적용 상황에 따라 다양하게 변경될 수 있다.
나아가, 블록 간의 픽셀 정보의 일치율을 비교하더라도, 전체적인 일치율을 대략적으로 빠르게 판단하면, 마스킹 대상(3)과 감시 대상(5) 사이의 경계 부근을 파악할 수 있다. 이 때, 블록 분할부(1461)는 상기 경계 부근에 위치한 블록은 작게, 그 외의 영역에 위치한 블록은 크게 분할할 수도 있다. 그럼으로써 픽셀 정보 비교부(147)는 경계 부근이 아닌 영역에서 시간을 낭비하지 않고 빠르게 블록의 차폐 및 노출 여부를 판별할 수 있다. 또는, 블록의 크기는 일정하더라도, 픽셀 정보 비교부(147)가 상기 경계 부근에 위치한 블록만을 판별할 수도 있다. 즉, 픽셀 정보 비교부(147)가 빠르게 블록의 차폐 및 노출 여부를 판별할 수 있다면 제한되지 않고 다양한 방법을 사용할 수 있다.
상기 블록마다 차폐 및 노출 여부를 판별하면 픽셀 정보 비교부(147)는 마스크 적용부(144)에 상기 판별 정보를 전송하고, 마스크 적용부(144)는 도 17에 도시된 바와 같이, 상기 정보를 토대로 프라이버시 마스크(112)를 적용한다. 그러면, 마스킹 대상(3) 만이 프라이버시 마스크(112)에 차폐될 수 있고, 감시 대상(5)은 프라이버시 마스크(112)가 해제되어 촬상 장치(1)에 의해 감시될 수 있다.
도 18은 도 16에 비해 분할율이 증가되어 블록 분할된 프라이버시 마스크(112) 가운데, 감시 대상(5)을 마스킹하는 일부 마스크가 적용되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
프라이버시 마스크(112)를 가로 및 세로를 특정 간격으로 분할하면 복수의 블록이 형성된다. 상기 특정 간격이 넓을수록 블록의 크기가 커지나, 블록의 개수는 적어진다. 따라서, 연산량이 적어 차폐할 영역과 노출할 영역을 빠르게 판별할 수 있다. 그러나, 마스킹 대상(3)과 감시 대상(5) 사이의 경계와 정확하게 대응되도록 프라이버시 마스크(112)가 분할되지는 않는다. 이와 반대로, 도 18에 도시된 바와 같이 상기 특정 간격이 좁을수록 블록의 개수가 많아지나, 블록의 크기가 작아진다. 만약, 상기 특정 간격이 과도하게 좁아지면, 블록 하나의 크기는 픽셀 하나의 크기와 동일하게 된다. 따라서, 마스킹 대상(3)과 감시 대상(5) 사이의 경계와 정확하게 대응되도록 프라이버시 마스크(112)가 분할된다. 그러나, 연산량이 많아 차폐할 영역과 노출할 영역을 판별하는 데 시간이 오래 걸릴 수 있다.
상기 특정 간격에 따라 프라이버시 마스크(112)의 분할율이 달라지며, 상기 분할율에 따라 판별 속도 및 프라이버시 마스크(112)의 분할 결과가 다양하게 변화될 수 있다.
도 19는 본 발명의 일 실시예에 따른 프라이버시 마스크(112)가 사용자 임의 분할된 모습을 나타낸 도면이다.
사용자 분할부(1462)는 사용자가 임의로 지정한 대로 프라이버시 마스크(112)를 분할한다. 블록 분할은 픽셀 정보 비교부(147)가 직접 대략적으로 마스킹 대상(3)과 감시 대상(5)의 경계를 찾아야 한다. 그러나, 사용자 임의 분할은 사용자가 지정한 대로 프라이버시 마스크(112)를 분할하므로, 마스킹 대상(3)과 감시 대상(5)의 경계를 찾을 필요가 없다.
그리고, 블록 분할은 수 많은 블록마다 차폐 및 노출 여부를 각각 판별해야 한다. 그러나, 사용자 임의 분할은, 사용자가 임의로 지정한 분할선을 기준으로 영역이 분할되면, 분할된 수 개의 영역에 대하여만 전체적으로 차폐 및 노출 여부를 판별하면 된다. 또한, 사용자가 직접 프라이버시 마스크(112)를 분할하므로 복수의 블록들로 각각 분할하는 작업도 불필요하다. 따라서, 사용자 임의 분할은 블록 분할보다 빠르게 마스크를 분할하고 차폐 및 노출 영역을 판단할 수 있다.
다만, 사용자가 직접 프라이버시 마스크(112)를 분할해야 하므로, 마스킹 대상(3)과 감시 대상(5) 사이의 경계와 정확하게 대응되도록 프라이버시 마스크(112)가 분할되지 않을 수 있다. 즉, 사람이 직접 분할선을 입력하는 것이므로 오차가 크게 발생할 수 있다.
따라서, 사용자가 임의로 프라이버시 마스크(112)를 분할하는 경우, 블록 분할부(1461)가 분할선의 부근에만 블록 분할을 할 수도 있다. 그리고, 블록 별로 픽셀 정보의 일치율을 판단하여 블록의 차폐 및 노출 여부를 판단할 수 있다. 즉, 사용자가 임의로 분할선을 도시하면, 사용자 분할부(1462)가 단독으로 동작될 수도 있으나, 이와 같이 블록 분할부(1461)도 함께 동작될 수도 있다. 또한, 프라이버시 마스크(112) 전체를 블록 분할할 필요 없이 사용자가 입력한 분할선 부근만을 블록 분할하여, 빠르고 정확하게 차폐 및 노출 영역을 판별할 수 있다.
도 20은 도 19에서 사용자 임의 분할된 프라이버시 마스크(112) 가운데, 감시 대상(5)을 마스킹하는 일부 마스크가 적용되지 않은 영상(111)이 화면부(21)에 디스플레이 되는 모습을 나타낸 도면이다.
사용자가 임의로 프라이버시 마스크(112)를 분할한 후에는, 픽셀 정보 비교부(147)가 분할된 영역의 픽셀 정보를 비교하여 차폐할 영역과 노출할 영역을 판별한다. 이 때, 마스킹 대상(3)에 대한 픽셀 정보를 이용한다.
한편, 마스킹 대상(3)의 일부가 차폐되어 있으므로, 새롭게 추출된 마스킹 대상(3)의 픽셀 정보와 미리 저장되거나 연산된 픽셀 정보가 전부 일치하지 않는다. 따라서, 픽셀 각각의 픽셀 값과 이웃하는 픽셀들 간의 픽셀 값의 차분을 모두 반영하여, 영역 별로 일치율을 판단함으로써 차폐할 영역과 노출할 영역을 판별한다.
구체적으로, 감시 대상(5)이 차폐하지 않은 마스킹 대상(3)의 영역에서는, 새롭게 영상(111)을 통해 추출한 픽셀 정보와 미리 저장되거나 연산된 픽셀 정보의 일치율이 높을 것이다. 이 영역은 프라이버시 마스크(112)로 차폐할 영역이다. 상기 픽셀 정보 비교부(147)는 상기 분할된 영역 가운데, 차폐할 영역에 프라이버시 마스크(112)가 그대로 적용될 것으로 판단한다. 반면에, 감시 대상(5)이 차폐한 마스킹 대상(3)의 영역에서는, 새롭게 영상(111)을 통해 추출한 픽셀 정보와 미리 저장되거나 연산된 픽셀 정보의 일치율이 낮을 것이다. 이 영역은 프라이버시 마스크(112)로 차폐하지 않고 노출할 영역이다. 상기 픽셀 정보 비교부(147)는 상기 분할된 영역 가운데, 노출할 영역에 프라이버시 마스크(112)가 해제될 것으로 판단한다.
나아가, 상기 기술한 바와 같이, 사용자 분할부(1462) 뿐만이 아니라 블록 분할부(1461)도 함께 동작하는 경우, 사용자가 입력한 분할선의 부근에만 블록 분할이 될 수 있다. 그리고 픽셀 정보 비교부(147)는 분할된 블록들에 대하여 차폐 및 노출 여부를 판별한다. 블록 분할이 되지 않은 영역들은, 가장 인접한 블록들로 차폐할 블록이 많다면 차폐할 영역이 되고, 가장 인접한 블록들로 노출할 블록이 많다면 노출할 영역이 된다. 다만, 이에 제한되지 않고 빠르고 용이하게 차폐 및 노출 여부를 판별할 수 있다면 다양한 방법을 사용할 수 있다.
상기 영역마다 차폐 및 노출 여부를 판별하면 픽셀 정보 비교부(147)는 마스크 적용부(144)에 상기 판별 정보를 전송하고, 마스크 적용부(144)는 도 20에 도시된 바와 같이, 상기 정보를 토대로 프라이버시 마스크(112)를 적용한다. 그러면, 마스킹 대상(3) 만이 프라이버시 마스크(112)에 차폐될 수 있고, 감시 대상(5)은 프라이버시 마스크(112)가 해제되어 촬상 장치(1)에 의해 감시될 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 촬상 장치
2: 모니터링 장치
3: 마스킹 대상 4: 곡면
5: 감시 대상 11: 촬상부
12: 통신부 13: 저장부
14: 제어부 111: 영상
112: 프라이버시 마스크 141: 영상 처리부
142: 영상 제어부 143: 객체 판별부
144: 마스크 적용부 145: 정보 관리부
146: 마스크 분할부 147: 픽셀 정보 비교부
1451: 위치 좌표 관리부 1452: 픽셀 정보 관리부
1453: 위치 좌표 추출부 1454: 위치 좌표 연산부
1455: 픽셀 정보 추출부 1456: 픽셀 정보 연산부
1461: 블록 분할부 1462: 사용자 분할부
3: 마스킹 대상 4: 곡면
5: 감시 대상 11: 촬상부
12: 통신부 13: 저장부
14: 제어부 111: 영상
112: 프라이버시 마스크 141: 영상 처리부
142: 영상 제어부 143: 객체 판별부
144: 마스크 적용부 145: 정보 관리부
146: 마스크 분할부 147: 픽셀 정보 비교부
1451: 위치 좌표 관리부 1452: 픽셀 정보 관리부
1453: 위치 좌표 추출부 1454: 위치 좌표 연산부
1455: 픽셀 정보 추출부 1456: 픽셀 정보 연산부
1461: 블록 분할부 1462: 사용자 분할부
Claims (6)
- 촬상부를 통해 획득한 영상으로부터 마스킹 대상을 판별하는 객체 판별부;
상기 영상이 패닝, 틸팅 또는 주밍되면, 상기 마스킹 대상의 위치 좌표의 변화량을 연산하여 최종 위치 좌표를 도출하는 위치 좌표 연산부;
상기 영상이 패닝, 틸팅 또는 주밍되면, 상기 마스킹 대상의 픽셀 정보의 변화량을 연산하여 최종 픽셀 정보를 도출하는 픽셀 정보 연산부;
상기 영상의 상기 최종 위치 좌표의 근방에서, 상기 도출한 최종 픽셀 정보와 픽셀 정보의 일치율이 가장 높은 영역을 찾는 픽셀 정보 비교부; 및
상기 픽셀 정보 비교부가 찾은 상기 영역에 프라이버시 마스크를 적용하는 마스크 적용부를 포함하는 촬상 장치. - 제1항에 있어서,
상기 영상이 패닝, 틸팅 또는 주밍되면,
상기 위치 좌표 연산부는,
상기 영상에 왜곡되어 표시되는 상기 마스킹 대상의 아웃라인 모양을 반영하여 상기 위치 좌표의 변화량을 연산하고,
상기 픽셀 정보 연산부는,
상기 영상에 왜곡되어 표시되는 상기 마스킹 대상의 색채를 반영하여 상기 픽셀 정보의 변화량을 연산하는, 촬상 장치. - 제1항에 있어서,
상기 마스킹 대상의 일부가 감시 대상에 의해 차폐되면,
상기 영상에서 상기 프라이버시 마스크를, 상기 마스킹 대상에 해당하는 영역과 상기 감시 대상에 해당하는 영역으로 분할하는 마스크 분할부를 더 포함하는 촬상 장치. - 제3항에 있어서,
상기 마스크 분할부는,
상기 프라이버시 마스크를 블록으로 분할하는 블록 분할부를 더 포함하는, 촬상 장치. - 제4항에 있어서,
상기 픽셀 정보 비교부는,
상기 영상에서 새롭게 추출된 상기 마스킹 대상의 픽셀 정보와, 미리 저장되거나 연산된 픽셀 정보를 각각 블록 별로 비교하여 일치율을 판단하고,
상기 일치율이 특정 기준값보다 높은 블록은 상기 프라이버시 마스크로 차폐할 블록으로 판별하며,
상기 일치율이 특정 기준값보다 낮은 블록은 상기 프라이버시 마스크를 해제할 블록으로 판별하는, 촬상 장치. - 제3항에 있어서,
상기 마스크 분할부는,
사용자에 의해 입력된 분할선을 기준으로 상기 프라이버시 마스크를 분할하는 사용자 분할부를 더 포함하는, 촬상 장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160101002A KR102474697B1 (ko) | 2016-08-09 | 2016-08-09 | 촬상 장치 및 영상 처리 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160101002A KR102474697B1 (ko) | 2016-08-09 | 2016-08-09 | 촬상 장치 및 영상 처리 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180017329A true KR20180017329A (ko) | 2018-02-21 |
KR102474697B1 KR102474697B1 (ko) | 2022-12-05 |
Family
ID=61524518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160101002A KR102474697B1 (ko) | 2016-08-09 | 2016-08-09 | 촬상 장치 및 영상 처리 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102474697B1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11544878B2 (en) | 2020-10-16 | 2023-01-03 | Axis Ab | Method of encoding an image including a privacy mask |
WO2024071888A1 (ko) * | 2022-09-26 | 2024-04-04 | 한화비전 주식회사 | 감시 장치 및 방법 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002344949A (ja) * | 2001-05-18 | 2002-11-29 | Toshiba Corp | 動画像監視装置 |
KR20060053792A (ko) * | 2004-11-17 | 2006-05-22 | 엘지전자 주식회사 | 가속도 센서를 이용한 마스크 표시 제어장치 및 방법 |
KR20070048841A (ko) * | 2005-11-07 | 2007-05-10 | 엘지전자 주식회사 | 감시용 카메라의 프라이버시 마스크 표시 제어방법 |
KR20110070735A (ko) * | 2009-12-18 | 2011-06-24 | 한국전자통신연구원 | 영상의 프라이버시 마스킹 방법 및 장치 |
KR101215650B1 (ko) * | 2012-06-15 | 2012-12-26 | (주)리얼허브 | 동영상에 포함되는 이동 객체의 프라이버시 정보 보호를 위한 마스킹 처리 장치 및 마스킹 처리 방법 |
KR101237975B1 (ko) | 2011-03-15 | 2013-02-28 | 삼성테크윈 주식회사 | 영상 처리 장치 |
KR20150127498A (ko) | 2014-05-07 | 2015-11-17 | 한화테크윈 주식회사 | 감시 카메라 및 감시 시스템 |
-
2016
- 2016-08-09 KR KR1020160101002A patent/KR102474697B1/ko active IP Right Grant
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002344949A (ja) * | 2001-05-18 | 2002-11-29 | Toshiba Corp | 動画像監視装置 |
KR20060053792A (ko) * | 2004-11-17 | 2006-05-22 | 엘지전자 주식회사 | 가속도 센서를 이용한 마스크 표시 제어장치 및 방법 |
KR20070048841A (ko) * | 2005-11-07 | 2007-05-10 | 엘지전자 주식회사 | 감시용 카메라의 프라이버시 마스크 표시 제어방법 |
KR20110070735A (ko) * | 2009-12-18 | 2011-06-24 | 한국전자통신연구원 | 영상의 프라이버시 마스킹 방법 및 장치 |
KR101237975B1 (ko) | 2011-03-15 | 2013-02-28 | 삼성테크윈 주식회사 | 영상 처리 장치 |
KR101215650B1 (ko) * | 2012-06-15 | 2012-12-26 | (주)리얼허브 | 동영상에 포함되는 이동 객체의 프라이버시 정보 보호를 위한 마스킹 처리 장치 및 마스킹 처리 방법 |
KR20150127498A (ko) | 2014-05-07 | 2015-11-17 | 한화테크윈 주식회사 | 감시 카메라 및 감시 시스템 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11544878B2 (en) | 2020-10-16 | 2023-01-03 | Axis Ab | Method of encoding an image including a privacy mask |
WO2024071888A1 (ko) * | 2022-09-26 | 2024-04-04 | 한화비전 주식회사 | 감시 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR102474697B1 (ko) | 2022-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10339386B2 (en) | Unusual event detection in wide-angle video (based on moving object trajectories) | |
US7366359B1 (en) | Image processing of regions in a wide angle video camera | |
KR101945194B1 (ko) | 화상처리장치, 화상처리방법, 및 프로그램 | |
US20190279019A1 (en) | Method and apparatus for performing privacy masking by reflecting characteristic information of objects | |
CN116018616A (zh) | 保持帧中的目标对象的固定大小 | |
CN108012078B (zh) | 图像亮度处理方法、装置、存储介质和电子设备 | |
US8139896B1 (en) | Tracking moving objects accurately on a wide-angle video | |
CN108141568B (zh) | Osd信息生成摄像机、合成终端设备及共享系统 | |
CN107911682B (zh) | 图像白平衡处理方法、装置、存储介质和电子设备 | |
KR101530255B1 (ko) | 객체 자동 추적 장치가 구비된 cctv 시스템 | |
KR20090062881A (ko) | 이동 로봇 및 그 이동 객체 검출 방법 | |
KR20120070126A (ko) | 객체 영상 획득 장치 및 방법 | |
US11348281B1 (en) | Fixed pattern calibration for multi-view stitching | |
KR20180086048A (ko) | 카메라 및 카메라의 영상 처리 방법 | |
US10127424B2 (en) | Image processing apparatus, image processing method, and image processing system | |
WO2019105304A1 (zh) | 图像白平衡处理方法、计算机可读存储介质和电子设备 | |
KR101630281B1 (ko) | 영상 처리 장치 | |
US20200293767A1 (en) | Method and apparatus for performing privacy asking by reflecting characteristic information of objects | |
KR102474697B1 (ko) | 촬상 장치 및 영상 처리 방법 | |
CN114666492A (zh) | 摄像机和用于促进该摄像机安装的方法 | |
Lin et al. | Large-area, multilayered, and high-resolution visual monitoring using a dual-camera system | |
KR102097908B1 (ko) | 대상체 촬영시스템 | |
KR101619953B1 (ko) | 감시카메라용 자동 다중 추적 영상처리방법 | |
KR100457302B1 (ko) | 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법 | |
TWI448976B (zh) | 超廣角影像處理方法與其系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |