KR101890589B1

KR101890589B1 - 사생활 보호 영상 처리 시스템 및 방법

Info

Publication number: KR101890589B1
Application number: KR1020120091345A
Authority: KR
Inventors: 김준규
Original assignee: 한화에어로스페이스 주식회사
Priority date: 2012-03-12
Filing date: 2012-08-21
Publication date: 2018-09-28
Also published as: KR20130105246A

Abstract

사생활 보호 영상 처리 시스템이 제공된다. 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 시스템은, 제1 영상 데이터를 생성하는 영상촬상부, 상기 제1 영상 데이터의 프라이버시 정보를 설정하는 정보설정부, 및 상기 프라이버시 정보를 기초로 상기 제1 영상 데이터를 편집하여 피사체에 대한 식별을 차단하는 마스크 영역을 생성 또는 해제하여 제2 영상 데이터를 생성하는 영상편집부를 포함하되, 상기 영상편집부는, 소정의 이벤트가 발생하면 이에 대응하여 상기 피사체에 대한 상기 마스크 영역을 생성 또는 해제한다.

Description

사생활 보호 영상 처리 시스템 및 방법{SYSTEM AND METHOD OF PROCESSING IMAGE FOR PRESERVING PRIVATE LIFE}

본 발명은 사생활 보호 영상 처리 시스템 및 방법에 관한 것으로, 더욱 구체적으로 획득한 영상 내의 보호 영역을 정밀하게 프라이버시 마스크 처리를 수행할 수 있는 사생활 보호 영상 처리 시스템 및 방법에 관한 것이다.

방범 또는 보안 등의 목적으로 사용되는 감시용 카메라는, 감시하고자 하는 특정 지역 또는 장소 등에 부착 설치되며, 감시용 카메라에 의해 촬영된 카메라 영상들은, 디지털 비디오 레코더(DVR) 등으로 출력되어, 모니터 화면에 표시되거나, 또는 하드디스크 등과 같은 기록 매체에 녹화된다.

감시용 카메라는 수평 방향으로 회전되거나 수직 방향으로 회전되어 감시 영역을 다른 방향으로 변경시킬 수 있으며, 감시용 카메라 내에 구비된 줌 렌즈 등을 조절하여, 피사체(Object)를 확대 촬영하거나 또는 축소 촬영할 수 있다.

감시용 카메라에서는, 마스크(Mask) 기능이 구비되어 사생활 보호 등이 요구되는 특정 피사체(Object) 위에, 소정 크기의 프라이버시 마스크를 생성 표시하여, 특정 피사체가 감시 영상 내에 노출 표시되지 않도록 한다.

즉, 카메라 영상의 특정 부분에 표시되는 피사체가, 무단으로 노출 표시되는 것을 방지하기 위하여 마스크 생성 모드가 설정되면, 감시용 카메라에서는, 특정 부분에 해당하는 시작 위치 좌표(Xs, Ys)와 끝 위치 좌표(Xe, Ye)에 대응되는 크기의 마스크를 생성하게 된다.

국내특허공개공보 제2009-0040620호 일본특허공개공보 제2010-278548호 한국특허공개공보 제2007-0048841호

위와 같이, 피사체의 프라이버시를 보호하기 위한 종래의 마스크 기법은, 획득된 영상을 2차원 평면으로 취급하기 때문에, 피사체를 보호하기 위해 피사체의 위치에 마스크가 겹쳐지도록 마스크를 배치하여 피사체가 노출되는 것을 차단하게 된다.

이와 같은 평면적인 마스크 기법은, 획득한 영상에 포착된 실제 3차원 상의 공간 및 거리 개념을 고려하고 있지 않으며, 이로 인해 동적인 피사체의 마스크 처리가 원활하지 못하다.

또한, 감시용 카메라로 촬영하고 있는 지역 중에서 특정 구역을 구획하여 일부 구역에는 피사체에 마스크를 생성하고, 다른 구역에는 피사체에 마스크를 생성하지 않도록 구분하여 설정하는 등의 입체적인 활용이 곤란한 측면이 있으며, 2차원 평면적으로 구역을 구획한다고 하더라도 감시용 카메라가 뷰 앵글을 변경하는 경우에는 2차원 평면적으로 구획한 경계의 축이 달라지게 되므로, 매번 새롭게 설정해야 하는 불편함이 따른다.

특히, 소정의 감시 영역에 한 번 진입했던 주요 감시 대상 피사체의 경우에는 감시 영역에서 빠져나온 경우라고 하더라도 지속적으로 모니터링할 필요가 있으며, 보다 체계적인 감시가 가능하도록 감시 영역에 진입하기 전의 영상도 함께 모니터링할 필요가 있다.

본 발명은 이와 같은 점으로부터 착안된 것으로, 본 발명이 해결하려는 과제는 감시용 카메라에 의해 획득한 영상 데이터에 촬상된 피사체에 대한 프라이버시 마스크 처리를 정밀하게 수행할 수 있는 사생활 보호 영상 처리 시스템 및 방법을 제공하고자 하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 감시용 카메라에 의해 획득한 영상 데이터를 실제 촬영된 앵글에 의해 변경된 기준축을 고려한 좌표를 이용하여 피사체의 위치를 결정함으로써 실제 3차원 공간인 감시 영역의 정보를 입체적으로 파악할 수 있는 사생활 보호 영상 처리 시스템 및 방법을 제공하고자 하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는, 소정의 감시 영역에 한 번 진입했던 주요 감시 대상 피사체의 경우에는 감시 영역에서 빠져나온 경우라고 하더라도 마스크를 해제함으로써 지속적으로 모니터링할 수 있도록 하며, 마스크가 없는 로우 데이터(raw data)를 저장하는 버퍼부를 더 구비함으로써, 주요 감시 대상 피사체 예를 들어 범법자 등이 감시 영역에 진입하기 전의 마스크 해제된 영상을 함께 확보할 수 있는 사생활 보호 영상 처리 시스템 및 방법을 제공하고자 하는 것이다.

본 발명이 해결하려는 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 시스템은, 제1 영상 데이터를 생성하는 영상촬상부, 상기 제1 영상 데이터의 프라이버시 정보를 설정하는 정보설정부, 및 상기 프라이버시 정보를 기초로 상기 제1 영상 데이터를 편집하여 피사체에 대한 식별을 차단하는 마스크 영역을 생성 또는 해제하여 제2 영상 데이터를 생성하는 영상편집부를 포함하되, 상기 영상편집부는, 소정의 이벤트가 발생하면 이에 대응하여 상기 피사체에 대한 상기 마스크 영역을 생성 또는 해제한다.

본 발명의 일 실시예에 따른 사생활 보호 영상 처리 방법은, 제1 영상 데이터를 생성하는 단계, 상기 제1 영상 데이터의 프라이버시 정보를 설정하는 단계, 및 상기 프라이버시 정보를 기초로 상기 제1 영상 데이터를 편집하여 피사체에 대한 식별을 차단하는 마스크 영역을 생성 또는 해제하여 제2 영상 데이터를 생성하는 단계를 포함하되, 상기 제2 영상 데이터를 생성하는 단계는, 소정의 이벤트가 발생하면 이에 대응하여 상기 피사체에 대한 상기 마스크 영역을 생성 또는 해제하는 단계를 더 포함한다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 시스템을 나타내는 블록도이다.
도 2는 도 1의 시스템에 의해 획득한 영상 데이터의 일 예를 도시한 도면이다.
도 3은 도 2의 영상 데이터에 좌표 데이터를 적용한 모습을 도시한 도면이다.
도 4는 도 3의 좌표 데이터에 기초하여 소정 범위의 좌표에 존재하는 피사체에 프라이버시 마스크를 설정한 모습을 도시한 도면이다.
도 5는 도 2의 영상 데이터를 복수의 구역으로 구획한 모습을 도시한 도면이다.
도 6은 도 5의 영상 데이터 중 제1 구역에 존재하는 피사체의 PIP 데이터를 나타내는 도면이다.
도 7은 도 5의 영상 데이터 중 제3 구역에 존재하는 피사체에 프라이버시 마스크를 설정한 모습을 도시한 도면이다.
도 8a 및 도 8b는 도 5의 영상 데이터 중 제2 구역의 소정 범위 내에 존재하는 피사체에 프라이버시 마스크를 설정한 모습을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 방법을 나타내는 순서도이다.
도 10은 도 9의 프라이버시 설정 과정을 상세히 설명하는 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면에서 층 및 영역들의 크기 및 상대적인 크기는 설명의 명료성을 위해 과장된 것일 수 있다.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "이루어지다(made of)"는 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 구성 요소들 상호 간의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 도 1 내지 도 4를 참조하여, 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 시스템에 대해 설명한다. 도 1은 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 시스템을 나타내는 블록도이고, 도 2는 도 1의 시스템에 의해 획득한 영상 데이터의 일 예를 도시한 도면이고, 도 3은 도 2의 영상 데이터에 좌표 데이터를 적용한 모습을 도시한 도면이고, 도 4는 도 3의 좌표 데이터에 기초하여 소정 범위의 좌표에 존재하는 피사체에 프라이버시 마스크를 설정한 모습을 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 시스템은, 영상 데이터를 생성하는 영상촬상부(110), 상기 영상 데이터의 프라이버시 정보를 설정하는 정보설정부(120), 및 상기 프라이버시 정보를 기초로 상기 영상 데이터를 편집하여 피사체에 대한 식별을 차단하는 마스크 영역을 생성하는 영상편집부(130)를 포함한다.

몇몇 다른 실시예에서, 상기 프라이버시 정보는 상기 영상 데이터 상에서 범위로 설정된 좌표 데이터를 포함하고, 상기 좌표 데이터는 상기 영상 데이터 상에 존재하는 피사체의 3차원 상의 좌표 정보 또는 거리 정보를 포함할 수 있다.

영상촬상부(110)는 건물 또는 특정 지역의 내부나 외부의 영상을 획득하여 이를 영상 데이터화 한다. 영상촬상부(110)는 실제 영상을 촬영하는 카메라 유닛과, 상기 카메라 유닛에 연결되어 아날로그 또는 디지털 영상 데이터를 생성하는 인코더 유닛과, 상기 영상 데이터를 감지 모니터 등으로 전송하는 송수신 유닛을 포함할 수 있다.

예를 들어, 영상촬상부(110)는 CCTV(closed-circuit television) 일 수 있으나, 이에 한정되는 것은 아니며, 복수의 광학 렌즈, CCD등과 같은 촬상 소자 등으로 구성된 공지의 카메라 유닛을 모두 포함하는 개념일 수 있다.

도 2에 도시된 바와 같이, 영상촬상부(110)는 설치된 지점에서 소정 각도로 일정한 영역의 영상 데이터(200)를 생성할 수 있다. 영상 데이터(200)에는 다양한 피사체가 포함될 수 있으며, 피사체는 사람 이외에도 다양한 물체가 포함될 수 있다. 또한, 영상촬상부(110)는 액추에이터 등의 구동수단을 포함하여, 소정의 회전축을 따라 다른 각도의 영상을 획득할 수 있도록 회전할 수 있다.

일반적으로 영상촬상부(110)는, 방범 또는 보안 등의 목적으로 소정 위치에 설치되어 불법으로 사유지나 사적인 영역을 침범한 침입자나 거동수상자의 이미지를 확보하여 미리 침입에 대비하거나, 도주한 침입자의 인적사항을 파악하기 위해 사용될 수 있다.

다만, 영상촬상부(110)의 촬영 각도에 따라서 타인의 프라이버시 영역의 영상을 획득할 수 있는데, 이와 같은 경우 사생활 침해 등의 문제가 발생할 소지가 있다. 예를 들어, 사용자의 주택 내부와 담 경계선 근방의 영상을 획득하기 위해 영상촬상부(110)를 소정의 위치에 설치한 경우, 담 경계 너머의 주택 외부의 영상이 함께 획득될 수 있으며, 영상촬상부(110)와 지면이 이루는 각도가 낮은 경우에는 원거리의 영상이 함께 포착되므로, 타인의 주택 내부의 영상도 함께 획득될 수 있다.

다시, 도 1을 참조하면, 이와 같은 의도하지 않은 프라이버시 침해를 방지하기 위해, 정보설정부(120)에서 미리 프라이버시 정보를 설정할 수 있으며, 설정된 프라이버시 정보를 기초로 영상편집부(130)에서 영상촬상부(110)에 의해 획득된 영상 데이터를 수정하여 프라이버시 마스크가 설정된 영상 데이터를 사용자에게 제공할 수 있다.

예를 들어, 도 4에 도시된 바와 같이, 자신이 감시하고자 하는 영역 이외에 존재하는 피사체(P1, P2, P3)의 프라이버시를 고려하여, 영상편집부(130)는 영상 데이터(200)를 수정하여 영상 데이터(200) 상의 소정 위치에 프라이버시 마스크(M1, M2, M3)가 오버랩 되도록 설정할 수 있다. 이와 같은 프라이버시 마스크로 인해 피사체(P1, P2, P3)의 식별이 차단되어 의도하지 않은 사생활 침해를 차단할 수 있다.

마스킹 대상이 되는 피사체는 사람이 한정되지 않을 수 있으며, 프라이버시 침해가 우려되는 소정의 영역 예를 들어 영상 데이터(200)에 포착된 타인 주택의 창문 등과 같은 물체가 될 수도 있다. 또한, 피사체가 사람인 경우, 얼굴 영역을 추출하는 소정의 알고리즘을 통해 얼굴 영역을 추출하고 이를 바탕으로 얼굴 영역에만 프라이버시 마스크를 설정할 수도 있다.

얼굴 영역 추출 알고리즘은 다양한 공지의 기법이 사용될 수 있다. 예를 들어, 평면의 단색 배경 이미지를 이용하거나 사전에 정의된 고정 배경 이미지를 이용하여 통제된 배경 이미지 하에서 얼굴을 탐지하는 기법, 전형적인 피부색을 이용하여 얼굴색을 기초로 얼굴을 탐지하는 기법, 영상 데이터 상에서 움직이는 얼굴영역을 단순 추출하는 기법, 통계적 클러스터 정보를 이용하는 신경회로망 접근 기법 등이 사용될 수 있으나 이에 한정되는 것은 아니다.

또한, 프라이버시 마스크는 소정의 영역을 불투명한 색 또는 피사체 식별이 불가능한 색으로 착색할 수 있으나, 이에 한정되는 것은 아니며, 미사체에 대한 모자이크 효과를 적용하여 마스크 영역을 생성할 수도 있다.

영상 편집부(130)는 이벤트 주도 방식(event driven marking system)을 채용할 수 있으며, 소정의 이벤트가 발생하면 이에 대응하여 피사체(P1, P2, P3)에 대한 마스크 영역(M1, M2, M3)을 생성 또는 해제할 수 있다.

일예로, 이벤트는 영상촬상부(110)의 촬영시각이 야간일 경우 발생할 수 있으며, 이때, 영상 편집부(130)는 피사체의 마스크 영역을 해제할 수 있다. 예를 들어, 우범 시간대인 오후 10시부터 오전 4시까지에 찰영된 영상에서는 영역이나 위치에 무관하게 모든 피사체의 마스크 영역이 해제될 수 있으며, 일부 영역에서의 피사체의 마스크 영역이 해제될 수도 있다.

다른 일예로, 이벤트는 피사체가 영상촬상부(110)에 노출되는 시간이 소정 시간단위 이상일 경우 발생할 수 있으며, 이때, 영상편집부(130)는 피사체의 마스크 영역을 해제할 수 있다. 즉, 소정 시간 이상 노출되는 피사체의 경우 특정한 위험 행동을 행할 확률이 증가되는 것으로 인식할 수 있으며, 해당 피사체의 마스크를 해제하여 피사체의 정보를 획득할 수 있다.

또 다른 일예로, 프라이버시 정보는, 감시 대상 구역의 정보 및 프라이버시 보호 구역의 정보를 포함할 수 있으며, 이벤트는 피사체가 감시 대상 구역에 진입한 경우 발생하고, 영상편집부(130)는 피사체의 마스크 영역을 해제할 수 있다. 즉, 후술하는 도 5에서와 같이 영상에서의 구역을 분할하여 특정 구역에 피사체가 진입하는 경우, 해당 피사체의 마스크 영역을 설정하거나 해제할 수 있다.

이때, 영상편집부(130)는, 감시 대상 구역에 진입한 피사체가 프라이버시 보호 구역으로 이동한 경우, 마스크 처리된 제2 영상 데이터 상에서 피사체에 대한 마스크 영역을 해제한 상태를 유지할 수 있다. 즉, 명시적으로 감시 대상 구역을 이탈 후에도 피사체의 마스크 해제 상태를 유지하여 피사체의 감시를 지속적으로 수행할 수 있다.

이와 별도로, 영상촬상부(110)로부터 생성된 마스크 처리되기 전의 로우 데이터(raw data)에 해당하는 제1 영상 데이터를 임시로 저장하는 데이터버퍼부(미도시)를 더 포함할 수 있으며, 이때 영상편집부(130)는, 피사체에 대한 감시 대상 구역에 진입하기 이전의 마스크 처리된 제2 영상 데이터를 동일 시간 구간의 마스크 처리되지 않은 제1 영상 데이터로 대체할 수 있다. 즉, 추후에 관리자 등이 제2 영상 데이터를 모니터링할 때, 이미 위험인물 등으로 판단된 피사체의 전체 경로 및 행동을 추적할 수 있도록, 감시 대상 구역에 진입한 피사체에 대한 감시 대상 구역 진입 전의 마스크 해제된 상태의 로우 데이터(raw data)를 생성할 수 있다.

이에 더 나아가 상기 프라이버시 정보는 선택적 감시 대상 구역의 정보를 더 포함할 수 있으며, 감시 대상 구역의 마스크 영역 및 선택적 감시 대상 구역의 마스크 영역을 서로 다르게 설정할 수 있다. 예를 들어, 앞서 설명한 바와 같이, 촬영시각이 야간인 경우 이벤트가 발생하게 되면, 감시 대상 구역의 피사체에 대해서는 마스크를 설정하고, 선택적 감시 대상 구역의 피사체에 대해서는 마스크를 해제할 수 있다.

또한, 영상편집부(130)는 발생하는 이벤트의 종류에 따라 피사체에 대한 마스크 영역의 농도를 다르게 설정할 수 있다. 예를 들어, 촬영시각이 야간인 경우 발생하는 이벤트의 경우, 이미 촬영된 영상 데이터의 휘도가 낮기 때문에 이에 대응하여 마스크 영역의 농도를 옅게 할 수 있으며, 피사체가 영상촬영부(110)에 소정 시간 이상 예를 들어 5분 이상 노출되는 경우에는 피사체에 형성된 마스크 영역의 농도를 소정 비율 예를 들어 30% 감소하도록 설정할 수 있다. 피사체가 영상촬영부(110)에 노출되는 시간이 늘어날수록 마스크 영역의 농도가 점진적으로 낮아지도록 설정될 수도 있다.

도 3에 도시된 바와 같이, 정보설정부(120)에 의해 설정되는 프라이버시 정보는 영상 데이터(200) 상의 소정 범위로 설정된 좌표 데이터를 포함할 수 있으며, 이와 같은 좌표 데이터는 영상 데이터(200) 상에 존재하는 피사체의 3차원 상의 좌표 정보 또는 거리 정보를 포함할 수 있다.

예를 들어, 프라이버시 정보가 프라이버시 마스크를 설정해야 하는 좌표 데이터로써, X축과 Y축의 1사분면 상에 존재하되 이동하는 피사체를 프라이버시 보호 대상으로 설정한 경우, 1사분면에 존재하는 제1 피사체 내지 제3 피사체(P1, P2, P3)가 프라이버시 보호 대상으로 인식될 수 있다. 영상편집부(130)는 영상 데이터(200)를 구성하는 각 프레임을 분석하여 이동하는 피사체를 검출하고, 이동하는 피사체 중에서 좌표 상의 1사분면에 존재하는 피사체(P1, P2, P3)의 존재 위치에 프라이버시 마스크를 설정할 수 있다.

이를 위해, 영상편집부(130)는 Z축(미도시) 상의 지면을 기준으로 XY평면을 정의할 수 있으며, 영상촬영부(110)의 촬영 각도 정보를 수신하여 영상 데이터 상의 X축과 Y축을 설정할 수 있다.

이를 기준으로 추출된 각 피사체의 좌표는 피사체의 지면 상에서의 중심점을 기준으로 결정될 수 있으나 이에 한정되는 것은 아니며, 피사체의 말단부가 지면보다 높은 위치에 있는 경우에는 Z축 상의 높이 정보를 고려할 수도 있다. 예를 들어, 제2 피사체(P2)의 경우에는 지면과 맞닿아 있기 때문에, Z축의 높이 정보가 생략될 수 있는 반면, 소정의 건물 내부에 위치하는 제1 피사체(P1)의 경우에는 지면 보다 소정 높이에 존재할 수 있으며 이와 같은 경우 Z축 상의 높이를 고려하여 프라이버시 정보가 설정될 수 있다.

몇몇 실시예에서, 제1 피사체(P1)의 위치를 Z=0인 XY평면 상으로 일괄적으로 투영하여 높이를 고려하지 않고 XY평면 상에서의 좌표 정보만을 포함할 수도 있다.

이와 같이, 설정된 프라이버시 정보에 포함된 좌표 데이터를 구성하는, 3차원 상의 좌표 정보는, 영상편집부(130)에 의해 2차원 평면 형태인 영상 데이터와 매핑되어, 정밀한 프라이버시 마스크 작업이 가능하도록 한다.

또한, 영상촬상부(110)의 촬영 앵글이 변할 경우에는, 이에 대응하여, 좌표 데이터가 영상 데이터(200)의 촬상 각도를 기준으로 3차원 좌표의 각 축이 회전될 수 있다.

따라서, 기준선을 중심으로 영상 데이터(200)의 구도 내지 초점이 달라지는 경우에도 이에 대응하여 좌표 데이터를 이루는 축이 회전함으로써 다양한 영상 데이터(200)에 프라이버시 마스크 설정 작업을 정밀하게 수행할 수 있다.

이어서, 도 5 내지 도 8b를 참조하여, 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 시스템에 대해 설명한다. 도 5는 도 2의 영상 데이터를 복수의 구역으로 구획한 모습을 도시한 도면이고, 도 6은 도 5의 영상 데이터 중 제1 구역에 존재하는 피사체의 PIP(Picture In Picture) 데이터를 나타내는 도면이고, 도 7은 도 5의 영상 데이터 중 제3 구역에 존재하는 피사체에 프라이버시 마스크를 설정한 모습을 도시한 도면이고, 도 8a 및 도 8b는 도 5의 영상 데이터 중 제2 구역의 소정 범위 내에 존재하는 피사체에 프라이버시 마스크를 설정한 모습을 도시한 도면이다.

영상 데이터(200)에 대한 프라이버시 정보는 영상 데이터(200) 상에 촬영된 화면을 복수의 구역으로 구획한 구역 정보를 더 포함할 수 있다.

예를 들어, 도 5에 도시된 바와 같이, 영상촬상부(110)에 의해 획득된 영상 데이터(200) 상에서, 경계면(담)을 기준으로 사용자의 주거 영역을 제1 구역(200a)으로 설정하고, 거주 공간 외부에 존재하여 보행자가 이용하는 공용 도로 영역을 제2 구역(200b)으로 설정하고, 공용 도로의 반대측편 타인의 건물 영역을 제3 구역(200c)으로 설정한 후, 각 구역 별로 서로 다른 프라이버시 레벨을 설정할 수 있다.

도 6을 참조하면, 사용자의 주거 영역인 제1 구역(200a)의 경우에는 실제 사용자가 감시하고자 하는 주된 대상 영역이며, 무단으로 침입하지 않는 경우에는 보행자가 포착되지 않는 영역이기 때문에, 제1 구역(200a) 내의 피사체(P4)에 대해서는 감지된 얼굴 영역을 확대한 PIP(Picture In Picture) 데이터(210)를 영상 데이터(200)에 추가하여 사용자가 제1 구역(200a) 내의 피사체의 정보를 확보할 수 있다. 사용자의 설정에 따라, 제1 구역(200a) 내에서 소정 시간단위 동안 피사체(P4)가 감지되는 경우에만 제한적으로 PIP 데이터(210)가 표시되도록 할 수도 있다.

반면, 일반적인 보행자가 이용하는 공용 도로 영역인 제2 구역(200b)의 경우에는 선택적 감시 대상으로서, 설정에 따라 피사체(P2, P3)에 프라이버시 마스크 처리를 수행할수도 수행하지 않을수도 있다. 이와 같은 설정사항은 정보설정부(120)를 통해 사용자가 임의로 설정할 수 있다.

도 7을 참조하면, 타인의 건물 영역인 제3 구역(200c)은 건물 내부의 영상이 확보될 수 있으므로 프라이버시 침해 문제가 발생할 가능성이 높기 때문에, 제3 구역(200c)을 프라이버시 보호 대상으로 설정하여, 제3 구역(200c) 내의 모든 피사체를 식별하지 못하도록 마스크 처리를 수행할 수 있으며, 또는 움직이는 피사체에 한정하여 마스크 처리를 수행할 수도 있다.

이와 같이, 미리 감지 영역을 소정 단위로 구획하여, 각 구역별로 다른 프라이버시 레벨을 설정할 수 있으며, 하나의 구역 내에서도 소정 구간을 나눠서 프라이버시 마스크 설정을 다르게 적용할 수 있다.

예를 들어, 도 8a 및 도 8b를 참조하면, 영상 데이터(200)에 매핑된 좌표 데이터 상에서 제2 구역(200b) 내의 피사체 중에서 Y축을 기준으로 Y1 < Y < Y2 범위에 속한 피사체에만 프라이버시 마스크(M2)가 적용되도록 설정할 수 있다. 따라서, 동일한 제2 구역(200b) 내의 피사체라고 하더라도 해당 Y축 범위를 벗어난 피사체는 프라이버시 마스크가 설정되지 않을 수 있다.

또한, 영상 데이터(200)에 매핑된 좌표 데이터 상에서 제2 구역(200b) 내의 피사체 중에서 X축과 Y축을 기준으로 Y1 < Y < Y2이고, X1 < X < X2 범위에 속한 피사체에만 프라이버시 마스크(M2)가 적용되도록 설정할 수 있다. 따라서, 동일한 제2 구역(200b) 내의 피사체라고 하더라도 해당 X축 및 Y축 범위를 벗어난 피사체는 프라이버시 마스크가 설정되지 않을 수 있다.

몇몇 실시예에서, 피사체가 프라이버시 레벨이 서로 다르게 설정된 구역 사이를 이동하는 경우에, 영상편집부(130)는 이를 감지하여, 피사체에 설정된 프라이버시 마스크를 설정하거나 해제할 수 있다.

예를 들어, 도 7에 도시된 제1 피사체(P1)가 프라이버시 보호 구역인 제3 구역(200c)에서 이탈하여 제2 구역(200b) 또는 제1 구역(200a)으로 진입한 경우에는, 제1 피사체(P1)에 마스킹된 프라이버시 마스크(M1)가 해제되고 제1 피사체(P1)를 식별할 수 있게 된다.

반대로, 도 6에 도시된 바와 같이, 제4 피사체(P4)가 집중 감시 구역인 제1 구역(200a)에 소정 시간 이상 머물다가 제2 구역(200b) 또는 제3 구역(200c)으로 진입한 경우에는, 제4 피사체(P4)를 요주의 인물로 인식하여, 제4 피사체(P4)의 이동 위치가 무관하게 프라이버시 마스크를 해제할 수 있다. 따라서, 제4 피사체(P4)가 프라이버시 보호 구역인 제3 구역(200c)으로 진입하더라도 제4 피사체(P4)에 대해서는 마스크가 설정되지 않는 상태로 유지될 수 있다.

또한, 도 8a에 도시된 바와 같이, 현재 제2 구역(200b) 상의 소정 구역(Y1 < Y < Y2)에 위치하는 제2 피사체(P2)가 이동하여 Y축 좌표가 Y1과 Y2 사이를 벗어난 경우에는 프라이버시 마스크(M2)가 해제될 수 있다.

이와 같이 피사체 특히 사람의 경우에는 대체로 영상 데이터(200) 상에서 시간의 추이에 따라 소정 위치로 이동하기 때문에, 영상 데이터(200)를 구성하는 각 프레임 별로 피사체의 위치를 고려하여 마스크를 설정하거나 해제할 수 있으며, 상황에 따라 다양한 옵션을 설정하여, 각 구역에서의 프라이버시 마스크 설정 여부 및 각 구역 간의 이동시의 프라이버시 마스크 설정 내지 설정해제 여부를 사용자의 편의에 따라 설정할 수 있다.

이하, 도 9 및 도 10을 참조하여, 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 방법에 대해 설명한다. 도 9는 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 방법을 나타내는 순서도이고, 도 10은 도 9의 프라이버시 설정 과정을 상세히 설명하는 순서도이다.

도 9를 참조하면, 본 발명의 일 실시예에 따른 사생활 보호 영상 처리 방법은, 영상 데이터를 촬상하는 단계(S120), 미리 설정된 프라이버시 정보를 로드하는 단계(S130), 상기 프라이버시 정보를 기초로 상기 영상 데이터 상에서 상기 프라이버시 정보와 대응되는 피사체가 존재하는지 판단하는 단계(S140), 및 상기 판단된 피사체에 대한 식별을 차단하는 마스크 영역을 생성하는 단계(S150)를 포함할 수 있다.

몇몇 다른 실시예에서, 상기 프라이버시 정보는 상기 영상 데이터 상에서 범위로 설정된 좌표 데이터를 포함하고, 상기 좌표 데이터는 상기 영상 데이터 상에 존재하는 피사체의 3차원 상의 좌표 정보를 포함할 수도 있다.

도 9 및 도 10을 함께 참조하면, 사용자의 상황에 따라 프라이버시 정보를 설정한다(S110). 프라이버시 정보를 설정하는 단계는 영상 데이터를 촬상하는 단계(S120)전에 수행되는 것으로 도시되어 있으나, 이에 한정되는 것은 아니며, 영상 데이터를 촬상한 후에 수행될 수도 있으며, 별도의 프라이버시 정보가 설정되지 않은 상태에서 감시용 카메라를 작동시키다가 사용 중에 프라이버시 정보를 새롭게 설정 내지 설정 내용을 변경할 수도 있다.

앞서 살펴본 바와 같이, 사용자가 설정한 감시용 카메라의 설치 위치 및 주변 상황 등을 고려하여 감시용 카메라에 의해 획득한 영상 데이터를 복수의 구역으로 구획할 수 있으며(S111), 하나의 구역 내에서도 좌표의 위치를 설정하여 해당 위치의 피사체에 한정하여 프라이버시 마스크가 생성되도록 설정할 수 있다. 복수로 구획된 각 구역은 서로 다른 프라이버시 레벨이 적용되어, 프라이버시 마스크가 생성되거나 PIP 데이터가 생성될 수 있다.

또한, 영상 데이터에 적용되는 좌표의 종류를 설정하는 단계(S112)를 더 포함할 수 있다. 예를 들어, 영상 데이터에 적용되는 좌표는 영상 데이터 내에 존재하는 피사체를 3차원 좌표로 취급할 수 있으며, 이러한 경우에는 지면으로부터의 높이 정보(Z축 좌표)가 함께 고려될 수 있따. 즉, 획득된 영상 데이터의 지면 상태, 건물 배치 상태 등을 분석하여 기준이 되는 3축을 설정할 수 있으며, 3축을 기초로 영상 데이터 내의 피사체의 위치 정보를 정밀하게 추출할 수 있다.

반면, 영상 데이터 내에 존재하는 피사체를 2차원 좌표로 취급할 수도 있다. 이러한 경우에는 피사체 간의 높낮이 차이에 대한 고려 없이 2차원 XY 평면, 예를 들어 지면에 투영하여 각각의 위치 정보 및 거리 정보를 고려할 수 있다.

이와 같이 설정된 좌표 종류를 기준으로 프라이버시 정보에 포함되는 좌표 데이터를 설정할 수 있다(S113). 즉, 영상 데이터 상의 어느 지점에 존재하는 피사체를 마스킹하고, 어느 지점에 존재하는 피사체를 마스킹하지 않을지를 결정하여, 좌표 데이터를 생성할 수 있다. 추후에 이와 같은 좌표 데이터를 기초로 피사체의 프라이버시 마스크 생성여부를 결정할 수 있다.

이와 같은 좌표 데이터는 앞서 설명한 바와 같이, 특정 위치로 설정될 수도 있으며, 구획된 복수의 구역 단위로 설정될 수도 있다.

또한, 프라이버시 정보에 포함되는 구역에 대한 옵션 및/또는 피사체에 대한 옵션을 다양하게 설정할 수 있다(S114). 피사체가 각 구역 간을 이동하거나, 하나의 구역 내에서 피사체가 이동하는 경우, 이를 감지하여 이동하는 위치에 따라 현재 피사체에 설정된 프라이버시 마스크를 생성하거나 해제할 수 있으며, 피사체에 설정되는 마스크의 종류 내지 마스크의 생성 범위(얼굴 또는 몸 전체) 등을 설정할 수 있으며, 해당 구역에 머무르는 시간범위를 설정하여 소정 시간 이상 머무르는 경우 마스크를 설정 또는 해제할 수 있다.

이와 같이 생성된 프라이버시 정보를 저장하고(S115), 추후에 영상 데이터가 확보되면 해당 프라이버시 정보를 로드하여 사생활 보호 정책을 적용할 수 있다.

이어서, 영상촬상부를 동작시켜서 영상 데이터를 촬상하고(S120), 영상 데이터가 확보되면 저장했던 프라이버시 정보를 읽어들인다(S130). 프라이버시 정보는 언제든지 사용자에 따라 변경, 수정 또는 삭제될 수 있다.

영상 데이터를 분석하여 프라이버시 정보와 대응되는 피사체가 존재하는지를 판단한 후(S140), 이에 대응되는 피사체에 대한 프라이버시 마스크를 생성하여 피사체가 식별되지 않도록 보호한다(S150).

앞서 설명한 바와 같이, 영상촬영부에 의해 최초로 획득한 로우 데이터에 해당하는 제1 영상 데이터는 별도로 구비된 버퍼부 등에 의해 별도로 보관 및 관리될 수도 있다.

나머지 언급하지는 않았으나, 본 실시예에 따른 사생활 보호 영상 처리 방법은 이전에 설명한 사생활 보호 영상 처리 시스템의 구성 및 동작원리와 실질적으로 동일할 수 있으며, 중복된 설명은 생략한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

110: 영상촬상부
120: 정보설정부
130: 영상편집부

Claims

제1 영상 데이터를 생성하는 영상촬상부;
상기 제1 영상 데이터의 프라이버시 정보를 설정하는 정보설정부; 및
상기 프라이버시 정보를 기초로 상기 제1 영상 데이터를 편집하여 피사체에 대한 식별을 차단하는 마스크 영역을 생성 또는 해제하여 제2 영상 데이터를 생성하는 영상편집부를 포함하되,
상기 영상편집부는, 소정의 이벤트가 발생하면 이에 대응하여 상기 피사체에 대한 상기 마스크 영역을 생성 또는 해제하고,
상기 프라이버시 정보는 감시 대상인 제1 구역의 정보 및 프라이버시 보호 대상인 제2 구역의 정보를 포함하며,
상기 이벤트는 상기 피사체가 상기 제1 구역에 진입한 경우 발생하고,
상기 영상편집부는 상기 피사체의 상기 마스크 영역을 해제하고, 상기 피사체에 대한 상기 제1 구역에 진입하기 이전의 상기 제2 영상 데이터를 동일 시간 구간의 상기 제1 영상 데이터로 대체하는, 사생활 보호 영상 처리 시스템.
제1항에 있어서,
상기 이벤트는 상기 영상촬상부의 촬영시각이 야간일 경우 발생하고,
상기 영상편집부는 상기 피사체의 상기 마스크 영역을 해제하는, 사생활 보호 영상 처리 시스템.
제1항에 있어서,
상기 이벤트는 상기 피사체가 상기 영상촬상부에 노출되는 시간이 소정 시간단위 이상일 경우 발생하고,
상기 영상편집부는 상기 피사체의 상기 마스크 영역을 해제하는, 사생활 보호 영상 처리 시스템.
삭제
제1항에 있어서,
상기 영상편집부는, 상기 제1 구역에 진입한 상기 피사체가 상기 제2 구역으로 이동한 경우, 상기 제2 영상 데이터 상에서 상기 피사체에 대한 상기 마스크 영역을 해제한 상태를 유지하는, 사생활 보호 영상 처리 시스템.
제1항에 있어서,
상기 영상촬상부로부터 생성된 상기 제1 영상 데이터를 임시로 저장하는 데이터버퍼부를 더 포함하는, 사생활 보호 영상 처리 시스템.
삭제
제1항에 있어서,
상기 영상편집부는,
상기 제1 구역에 소정 시간단위 동안 얼굴 영역을 가지는 상기 피사체가 감지될 경우, 상기 제2 영상 데이터에 상기 얼굴 영역을 확대한 PIP 데이터를 추가하는, 사생활 보호 영상 처리 시스템.
제1항에 있어서,
상기 프라이버시 정보는,
감시 대상인 제1 구역의 정보, 프라이버시 보호 대상인 제2 구역의 정보, 및 선택적 감시 대상인 제3 구역의 정보를 포함하며,
상기 영상편집부는 상기 제2 구역에 진입한 상기 피사체의 상기 마스크 영역과 상기 제3 구역에 진입한 상기 피사체의 상기 마스크 영역을 다르게 설정하는, 사생활 보호 영상 처리 시스템.
제1항에 있어서,
상기 영상편집부는, 상기 이벤트의 종류에 따라 상기 피사체에 대한 상기 마스크 영역의 농도를 다르게 설정하는, 사생활 보호 영상 처리 시스템.
◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈

제1 영상 데이터를 생성하는 단계;
상기 제1 영상 데이터의 프라이버시 정보를 설정하는 단계; 및
상기 프라이버시 정보를 기초로 상기 제1 영상 데이터를 편집하여 피사체에 대한 식별을 차단하는 마스크 영역을 생성 또는 해제하여 제2 영상 데이터를 생성하는 단계를 포함하되,
상기 제2 영상 데이터를 생성하는 단계는, 소정의 이벤트가 발생하면 이에 대응하여 상기 피사체에 대한 상기 마스크 영역을 생성 또는 해제하는 단계를 더 포함하고,
상기 프라이버시 정보는 감시 대상인 제1 구역의 정보 및 프라이버시 보호 대상인 제2 구역의 정보를 포함하며,
상기 이벤트는 상기 피사체가 상기 제1 구역에 진입한 경우 발생하고,
상기 제2 영상 데이터를 생성하는 단계에서, 상기 피사체의 상기 마스크 영역을 해제하며,
상기 제2 영상 데이터를 생성하는 단계에서,
상기 피사체에 대한 상기 제1 구역에 진입하기 이전의 상기 제2 영상 데이터를 동일 시간 구간의 상기 제1 영상 데이터로 대체하는, 사생활 보호 영상 처리 방법.
◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈

제11항에 있어서,
상기 이벤트는 상기 제1 영상 데이터를 생성하는 단계의 촬영시각이 야간일 경우 발생하고,
상기 제2 영상 데이터를 생성하는 단계에서, 상기 피사체의 상기 마스크 영역을 해제하는, 사생활 보호 영상 처리 방법.
◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈

제11항에 있어서,
상기 이벤트는 상기 피사체가 상기 제1 영상 데이터를 생성하는 단계에 노출되는 시간이 소정 시간단위 이상일 경우 발생하고,
상기 제2 영상 데이터를 생성하는 단계에서, 상기 피사체의 상기 마스크 영역을 해제하는, 사생활 보호 영상 처리 방법.
삭제
◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈

제11항에 있어서,
상기 제2 영상 데이터를 생성하는 단계에서, 상기 제1 구역에 진입한 상기 피사체가 상기 제2 구역으로 이동한 경우, 상기 제2 영상 데이터 상에서 상기 피사체에 대한 상기 마스크 영역을 해제한 상태를 유지하는, 사생활 보호 영상 처리 방법.
◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈

제11항에 있어서,
상기 제1 영상 데이터를 생성하는 단계로부터 생성된 상기 제1 영상 데이터를 임시로 저장하는 단계를 더 포함하는, 사생활 보호 영상 처리 방법.
삭제
◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈

제11항에 있어서,
상기 제2 영상 데이터를 생성하는 단계에서,
상기 제1 구역에 소정 시간단위 동안 얼굴 영역을 가지는 상기 피사체가 감지될 경우, 상기 제2 영상 데이터에 상기 얼굴 영역을 확대한 PIP 데이터를 추가하는, 사생활 보호 영상 처리 방법.
◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈

제11항에 있어서,
상기 프라이버시 정보는,
감시 대상인 제1 구역의 정보, 프라이버시 보호 대상인 제2 구역의 정보, 및 선택적 감시 대상인 제3 구역의 정보를 포함하며,
상기 제2 영상 데이터를 생성하는 단계에서, 상기 제2 구역에 진입한 상기 피사체의 상기 마스크 영역과 상기 제3 구역에 진입한 상기 피사체의 상기 마스크 영역을 다르게 설정하는, 사생활 보호 영상 처리 방법.
◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈

제11항에 있어서,
상기 제2 영상 데이터를 생성하는 단계에서, 상기 이벤트의 종류에 따라 상기 피사체에 대한 상기 마스크 영역의 농도를 다르게 설정하는, 사생활 보호 영상 처리 방법.