KR20130047223A - 모니터링 영상 기반의 프라이버시 영역 보호 방법 및 장치 - Google Patents

모니터링 영상 기반의 프라이버시 영역 보호 방법 및 장치 Download PDF

Info

Publication number
KR20130047223A
KR20130047223A KR1020110112116A KR20110112116A KR20130047223A KR 20130047223 A KR20130047223 A KR 20130047223A KR 1020110112116 A KR1020110112116 A KR 1020110112116A KR 20110112116 A KR20110112116 A KR 20110112116A KR 20130047223 A KR20130047223 A KR 20130047223A
Authority
KR
South Korea
Prior art keywords
image
privacy
target object
privacy zone
unit
Prior art date
Application number
KR1020110112116A
Other languages
English (en)
Inventor
유장희
이한성
고종국
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110112116A priority Critical patent/KR20130047223A/ko
Priority to US13/565,347 priority patent/US20130108105A1/en
Publication of KR20130047223A publication Critical patent/KR20130047223A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275—Generation of keying signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/167—Systems rendering the television signal unintelligible and subsequently intelligible

Abstract

본 발명의 실시예에 따른 모니터링 영상 기반의 프라이버시 영역 보호 방법은 영상 수집 장치를 통하여 입력된 영상을 암호화하여 전송 또는 저장하고, 영상의 모니터링을 프라이버시 영역을 보호하는 모니터링 장치로 제한 및 암호화되어 저장된 영상 또한 별도의 접근제어 방법에 의하여 임의 복호화를 제한하도록 하며, 모니터링 장치에서는 대상 객체를 추출하여 상기 추출된 대상 객체에서 사생활 보호 영역을 검출하는 단계; 및 상기 입력된 영상의 원본 이미지에 변형을 가하지 않고 상기 검출된 사생활 보호 영역만을 그래픽 처리하여 상기 대상 객체의 사생활 보호 영역을 엄폐하는 단계를 포함함으로써, 감시 대상 영역의 영상을 모니터링하는 경우에 촬영된 영상의 원본 이미지에 변형을 가하지 않고 사생활 영역을 용이하게 엄폐처리하여 사생활 영역이 노출되지 않도록 할 수 있다.

Description

모니터링 영상 기반의 프라이버시 영역 보호 방법 및 장치{Apparatus and Method for masking privacy region based on monitoring video images}
본 발명은 모니터링 영상 기반의 프라이버시 영역을 보호하는 방법 및 장치에 관한 것이다.
현재 CCTV 환경에서 얼굴 또는 자동차 번호판 등 개인의 주요 정보를 보호하기 위한 다양한 방법들이 개발되고 있으나, 주로 CCTV 영상에서 기존의 객체검출 방법을 이용하여 검출된 객체영역에 암호 키를 이용한 스크램블링(Scrambling) 방법 또는 암호화 하는 방법, 즉 영상에 변형을 가한 후 필요 시 복원하는 방법들이 사용되고 있다.
이와 같은 개인의 주요 정보를 보호하기 위한 방법들은 단 방향의 암호화는 가능하나 암호화 영역에 대한 복호화가 안되거나 또는 복호화를 위하여는 별도의 메타 데이터를 유지해야 하는 문제점을 가지고 있다.
따라서, CCTV 영상에서 검출된 얼굴 또는 자동차 번호판 등 프라이버시와 관련된 중요 영역에 대하여 본래의 영상에 변형을 가하지 않고 보다 효과적으로 프라이버시를 보호할 수 있는 기술의 개발이 필요하다.
본 발명의 목적은, 감시 대상 영역의 영상을 모니터링하는 경우에 촬영된 영상의 원본 이미지에 변형을 가하지 않고 사생활 영역이 노출되지 않도록 프라이버시 영역을 보호하는 방법 및 장치를 제공하는 데 있다.
본 발명의 일시예들에 따른 모니터링 영상 기반의 프라이버시 영역을 보호하는 방법은 영상 수집 장치를 통하여 입력된 영상에서 대상 객체를 추출하여 상기 추출된 대상 객체에서 사생활 보호 영역을 검출하는 단계; 및 상기 입력된 영상의 원본 이미지에 변형을 가하지 않고 상기 검출된 사생활 보호 영역만을 그래픽 처리하여 상기 대상 객체의 사생활 보호 영역을 엄폐하는 단계를 포함한다.
상기 프라이버시 영역을 보호하는 방법은, 상기 입력된 영상의 사생활 보호 영역을 그래픽 처리하기 전에 저장부에 상기 영상 수집 장치의 전송 영상을 저장하는 단계를 더 포함하는 것이 가능하다.
상기 프라이버시 영역을 보호하는 방법은, 상기 영상 수집 장치의 영상을 상기 저장부로 전송하기 전에 암호화하거나 스크램블링(scrambling)하는 영상 암호화 단계를 더 포함하는 것이 가능하다.
상기 프라이버시 영역을 보호하는 방법은, 상기 사생활 보호 영역을 검출하지 전에서 상기 암호화된 영상을 복호화하는 단계를 더 포함하는 것이 가능하다.
상기 사생활 보호 영역을 검출하는 단계에서는, 상기 대상 객체에 정지된 사람의 얼굴이나 차량의 번호판 등의 고정 객체와, 이동중인 차량, 사람 등의 이동 객체를 검출하거나 추적하는 것이 가능하다.
상기 사생활 보호 영역을 엄폐하는 단계에서는, 상기 검출된 대상 객체를 기설정된 기준에 따라 인식 및 분류하고, 그 인식 및 분류 결과에 기초하여 상기 사생활 보호 영역으로 엄폐할 대상의 범위를 결정하는 것이 가능하다.
상기 사생활 보호 영역을 검출하는 단계에서는, 상기 입력된 영상의 모든 프레임에 대해서, Kalman 필터, Particle 필터, Bayesian, 특징추출 등의 객체 추적 알고리즘을 기반으로 상기 대상 객체의 움직임 영역을 예측하여 상기 대상 객체를 추적 및 검출하는 것이 가능하다.
본 발명의 일시예들에 따른 모니터링 영상에서 프라이버시 영역을 보호하는 장치는 영상 수집 장치를 통하여 입력된 비디오 영상(video image)에서 사생활 보호 영역을 검출하는 대상 검출부; 및 상기 입력된 영상의 원본 이미지에 변형을 가하지 않고 상기 사생활 보호 영역만을 그래픽 처리하여 엄폐하는 사생활 영역 보호부를 포함한다.
상기 사생활 보호 영역을 그래픽 처리하기 전에 상기 영상 수집 장치의 출력 영상을 저장하는 저장부를 더 포함하는 것이 가능하다.
상기 입력된 영상은, 상기 영상 수집 장치에서 출력 직후에 암호화부에 의하여 암호화되고, 상기 대상 검출부에 입력되기 전에 복호화부에 의하여 복호화되는 것이 바람직하다.
상기 대상 검출부는 대상 객체로서 정지된 사람의 얼굴이나 차량의 번호판 등의 고정 객체와, 이동중인 차량이나 사람 등의 이동 객체를 검출하는 객체 검출부; 및 상기 대상 객체가 이동 객체인 경우, Kalman 필터, Particle 필터, Bayesian, 특징추출 등의 객체 추적 알고리즘을 기반으로 상기 이동 객체의 움직임 영역을 예측하여 상기 이동 객체를 추적하는 객체 추적부를 포함할 수 있다.
상기 사생활 영역 보호부는, 객체 인식알고리즘에 기반하여 상기 검출된 대상 객체를 인식하고, 상기 인식된 대상 객체를 기설정된 분류 기준에 따라 사생활 보호를 위한 대상 객체로 결정하는 엄폐 대상 설정부; 및 상기 결정된 대상 객체에 대하여, 원본 영상에 변형을 가하지 않고 그래픽처리 기법을 사용하여 사생활 보호 영역을 엄폐하는 엄폐 처리부를 포함할 수 있다.
본 발명의 실시예들에 따른 모니터링 영상에서 프라이버시 영역을 보호하는 방법 및 장치는 영상감시를 위하여 카메라를 통하여 입력되는 영상에서 프라이버시와 관련된 중요영역을 원본 영상에 변형을 가하지 않고 그래픽 기법을 이용하여 용이하게 엄폐 할 수 있는 효과가 있다.
또한, 본 발명의 실시예들에 따른 모니터링 영상에서 프라이버시 영역을 보호하는 방법 및 장치는 영상감시를 위하여 카메라를 통하여 입력되는 영상에서 프라이버시와 관련된 중요영역을 그래픽 기법으로 엄폐함으로써, 부가적인 메타 데이터 파일 생성 과정이나 언매스킹(Unmasking) 과정을 수반하지 않는다.
또한, 본 발명의 실시예들에 따른 모니터링 영상에서 프라이버시 영역을 보호하는 방법 및 장치는 시스템 레벨에서 프라이버시와 관련된 중요영역의 엄폐 처리 단계를 지정할 수 있다.
또한, 본 발명의 실시예들에 따른 모니터링 영상에서 프라이버시 영역을 보호하는 방법 및 장치는 프라이버시와 관련된 중요영역을 엄폐 처리하는 경우에 모니터링 장치 또는 시스템에 대한 보안등급의 설정이 가능하여 효과적으로 개인정보의 보호를 통한 시스템의 효율성을 높이는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 모니터링 영상에서 프라이버시 영역을 보호하는 방법의 순서도이고,
도 2는 본 발명의 일실시예에 따른 모니터링 영상에서 프라이버시 영역을 보호하는 장치의 구성도이고,
도 3은 본 발명의 일실시예의 적용시 모니터링 영상에서 프라이버시 영역이 보호 처리된 예를 도시한 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 제안된 발명은 현재 치안 및 안전을 목적으로 하는 CCTV 영상감시 시스템들이 급속한 속도로 보급 및 설치되고 있고, 이러한 시스템들은 최근 들어 고화질화 및 고 배율화를 통하여 원거리에서도 수집 가능한 물리적 정보 또한 급격히 증가하고 있는 추세이다. 그러나, 고성능 영상감시 환경에서는 개인의 사생활이나 얼굴 및 차량번호 등과 같은 중요한 정보 역시 보다 쉽게 노출될 수 있다는 문제점을 가지고 있다. 본 제안된 발명에서는 이러한 문제를 해결하기 위하여 CCTV 영상감시 시스템에서 영상수집 장치(예: 카메라)를 통하여 입력되는 영상을 암호화하여 전송 및 저장하고, 이의 모니터링은 복호화 과정을 포함하는 프라이버시 영역을 보호하는 장치로 제한 할 수 있도록 하며, 프라이버시 영역을 보호하는 모니터링 장치 또는 시스템에서 감시 영상의 객체를 검출 및 추적하여, 프라이버시 보호가 요구되는 영역을 본래 영상의 변형 없이 그래픽 기법에 의하여 효과적으로 엄폐처리를 수행하고, 저장 시에도 영상의 손상 또는 변형 없이 본래의 영상을 저장하여 언매스킹(Unmasking) 과정 없이도 프라이버시(Privacy) 보호의 목적을 효과적으로 달성할 수 있도록 하고자 한다.
도 1은 본 발명의 일실시예에 따른 모니터링 영상에서 프라이버시 영역을 보호하는 방법의 순서도이고, 도 2는 본 발명의 일실시예에 따른 모니터링 영상에서 프라이버시 영역을 보호하는 장치의 구성도이고, 도 3은 본 발명의 일실시예의 적용 시 모니터링 영상에서 프라이버시 영역이 보호 처리된 예를 도시한 것이다.
이하에서는 도 1 내지 도 3을 참조하면, 본 발명의 실시예에 따른 모니터링 영상에서 프라이버시 영역을 보호하는 방법 및 장치를 상세히 설명하겠다.
우선, 도 2를 참조하면 본 발명의 실시예에 따른 모니터링 영상에서 프라이버시 영역을 보호하는 장치는 영상 수집 장치를 통하여 입력된 영상(image)에서 사생활 보호 영역을 검출하는 대상 검출부(110)와, 상기 입력된 영상의 원본 이미지에 변형을 가하지 않고 상기 사생활 보호 영역만을 그래픽 처리하여 엄폐하는 사생활 영역 보호부(120)를 포함하여 구현될 수 있다.
바람직하게는, 상기 프라이버시 영역을 보호하는 장치는 상기 사생활 보호 영역을 그래픽 처리하기 전에 카메라(160) 등의 영상 수집 장치의 출력 영상을 저장하는 저장부(150)와, 상기 영상 수집 장치의 출력 영상을 암호화하는 암호화부(140)와, 모니터링 장치(100)의 대상 검출부(110)에 입력되기 전에 상기 암호화된 출력 영상을 복호화하는 복호화부(130)를 더 구비할 수 있다.
또한, 저장부(150)에는 엄폐처리 되지 않은 상태의 영상이 저장됨으로써 저장된 영상에 대하여는 접근제어 관리부(170)에 의하여 별도로 저장된 영상에 대한 접근을 관리하도록 효율적인 보안 메커니즘을 설계하는 것이 가능하다.
본 실시예에서는 대상 검출부(110), 사생활 영역 보호부(120), 복호화부(130)는 모니터링 장치(100) 내부에 구비되어 있으나, 이는 일실시예에 불과하며 위 구성 요소들의 위치에 의해서 본 발명이 한정되어서는 안될 것이다.
대상 검출부(110)는 대상 객체로서 정지된 사람의 얼굴이나 차량의 번호판 등의 고정 객체와, 이동중인 차량이나 사람 등의 이동 객체를 검출하는 객체 검출부(111)와, 상기 대상 객체가 이동 객체인 경우, Kalman 필터, Particle 필터, Bayesian, 특징추출 등의 객체 추적 알고리즘을 기반으로 상기 이동 객체의 움직임 영역을 예측하여 상기 이동 객체를 추적하는 객체 추적부(112)를 포함할 수 있다.
사생활 영역 보호부(120)는, 객체 인식알고리즘에 기반하여 상기 검출된 대상 객체를 인식하고, 상기 인식된 대상 객체를 기설정된 분류 기준에 따라 사생활 보호를 위한 대상 객체로 결정하는 엄폐 대상 설정부(121); 및 상기 결정된 대상 객체에 대하여, 원본 영상에 변형을 가하지 않고 그래픽처리 기법을 사용하여 사생활 보호 영역을 엄폐하는 엄폐 처리부(122)를 포함할 수 있다.
본 발명의 실시예에 따른 모니터링 영상에서 프라이버시 영역을 보호하는 방법 및 장치는 CCTV 카메라로부터 입력되는 영상의 안전한 전송 및 관리와 사람의 얼굴영역, 자동차의 번호판 영역, 창문영역 등 객체의 프라이버시 영역을 보호하기 위한 것이다. 즉, 본 발명의 실시예에 따른 모니터링 영상에서 프라이버시 영역을 보호하는 방법 및 장치에서는 CCTV 영상을 모니터링 하는 장치 또는 시스템에서 얼굴영역, 창문영역, 또는 번호판영역 등 프라이버시 보호가 요구되는 영역을 검출 및 추적하여, 영상의 변형 없이 모니터링 장치(110)에서만 그래픽 기법으로 엄폐 처리하고, 저장장치(150)로 전송 및 저장되는 영상에 대하여는 원본 영상의 특성을 변화시키지 않으면서 암호화 방법 등을 적용하여 전송 및 안전하게 저장하도록 하였다.
도 1 및 2를 참조하여, 본 발명의 일시예들에 따른 모니터링 영상에서 프라이버시 영역을 보호하는 장치의 동작과정을 상세히 설명하겠다.
암호화부(140)는 CCTV 또는 카메라(160)와 같은 영상 수집 장치에 의하여 입력된 원본 영상을 안전하게 전송 및 저장하기 위해서 필요에 따라 암호화 과정 또는 스크램블링(Scrambling) 과정을 통하여 수집된 원본 영상을 암호화한다.(S110) 원본 영상의 암호화는 이후 과정으로 전송되는 과정에서 원본 영상이 유출되어 프라이버시 영역이 공개되는 것을 방지 하기 위하여 수행된다.
암호화 단계(S110)에서 원본 영상에 스크램블링(Scrambling) 과정을 수행할 경우에는 스크램블링 키를 이용하여 원본 영상 중에서 상기 프라이버시 영역에 대하여 스크램블링이 수행될 수 있다. 예를 들면, 상기 스크램블링은 y = Kx(여기에서, K는 스크램블링 이전의 영상, y는 스크램블링 키, x는 스크램블링 이후의 영상)를 적용하는 것일 수 있다.
암호화 처리를 거친 원본 영상은 모니터링 장치(100)로 전송되거나 저장 장치(150)로 보내진 후 저장된다.(S120)
복호화부(130)는 암호화부(140)에서 암호화된 영상을 입력받아 이후 과정에서 객체 검출이나 프라이버시 영역의 엄폐처리를 위하여 다시 원본 영상으로 복원된다.(S130)
대상 검출부(110)는 복호화된 원본 영상에서 대상 객체를 추출하여 상기 추출된 대상 객체에서 사생활 보호 영역을 검출하고(S140), 사생활 영역 보호부(120)는 상기 입력된 영상의 원본 이미지에 변형을 가하지 않고 상기 검출된 사생활 보호 영역만을 그래픽 처리하여 상기 대상 객체의 사생활 보호 영역을 엄폐 처리한다.(S150)
상세하게, 객체 검출부(111)는 얼굴, 번호판 등의 영역 검출은 다양한 얼굴검출 알고리즘, 번호판 검출 알고리즘 등 객체검출에 특화된 방법을 사용하여 복호화된 원본 영상에서 프라이버시 영역의 엄폐처리를 위한 얼굴 등 프라이버시 영역에 대한 검출과정을 수행하고, 객체 추적부(112)는 객체 검출 시 대상 객체가 빠르게 움직이거나 급작스러운 행동 등에 의하여 대상 객체를 검출이 곤란한 경우에 이동객체 검출 알고리즘을 사용하여 대상 객체를 추적한다.
객체 추적부(111)는 프라이버시 영역의 엄폐처리시 비디오 영상의 모든 프레임에 대하여 처리를 하여야 함으로 Kalman 필터, Particle 필터, Bayesian, 특징추출 등 다양한 객체 추적 알고리즘을 사용하여 객체의 움직임 영역을 예측하여 객체 탐지에 대한 속도 및 신뢰성을 향상 시킬 수 있다.
엄폐 처리부(121)는 이전 과정을 통하여 검출된 프라이버시 보호가 필요한 영역에 대하여, 원본 영상의 변형을 가하지 않고 별도의 그래픽처리 기법을 사용하여 프라이버시 영역에 대한 엄폐처리를 수행한다.(S150) 또한, 엄폐 대상 설정부(122)에서는 검출되는 객체를 분류하는 알고리즘을 연동하여 선택적으로 검출된 객체의 프라이버시 영역에 대하여 엄폐 처리를 수행할 수 있다.
예를 들어, 사람을 식별할 수 있는 얼굴 및 자동차를 식별할 수 있는 번호판 등이 원본 영상에 포함되어 있는 경우에, 상기 얼굴 및 번호판 영역을 프라이버시 영역의 엄폐 처리를 위하여 검출하는 것일 수 있다. 상기 원본 영상의 에지(edge) 정보, 형태정보, 컬러분포정보 및 상기 프라이버시 영역의 학습정보 중 적어도 하나를 이용하여 상기 프라이버시 영역을 검출하는 것이 가능하다.
즉, 상기 원본 영상에 대한 분석을 통하여 에지 정보를 획득할 수 있으며, 상기 에지 정보를 이용하여 얼굴과 얼굴 이외 부분 사이의 경계를 검출할 수 있을 것이며, 상기 영상에 대한 분석 결과와 얼굴 형태 등에 대한 형태정보를 비교하여 영상 중에서 얼굴이 존재하는지 여부를 판단할 수 있을 것이다. 더불어, 상기 컬러분포정보를 이용하여 얼굴 고유의 컬러분포정보와 비교할 수 있으므로 보다 정확하게 얼굴 영역을 검출할 수 있을 것이다. 추가적으로, Adaboost 학습 기법 등을 포함하는 상기 프라이버시 영역의 학습정보를 이용하여 얼굴 영역을 검출하는 것이 가능하다.
도 3은 모니터링 장치(100) 또는 시스템에서 얼굴검출 및 추적에 의한 엄폐처리의 일예를 도시한 것으로서, 얼굴 등 프라이버시 보호를 위한 중요영역이 설정되면, 설정된 영역을 중심으로 영역의 크기에 따라 다양한 캐릭터와 의미를 갖는 그래픽 심볼을 사용하여 엄폐처리를 적용할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 모니터링 장치 110: 대상 검출부
111: 객체 검출부 112: 객체 추적부
120: 사생활 영역 보호부 121: 엄폐 처리부
122: 엄폐대상 설정부 130: 암호화부
140: 복호화부 150: 저장부
160: 카메라

Claims (12)

  1. 영상 수집 장치를 통하여 입력된 영상에서 대상 객체를 추출하여 상기 추출된 대상 객체에서 사생활 보호 영역을 검출하는 단계; 및
    상기 입력된 영상의 원본 이미지에 변형을 가하지 않고 상기 검출된 사생활 보호 영역만을 그래픽 처리하여 상기 대상 객체의 사생활 보호 영역을 엄폐하는 단계를 포함하는 모니터링 영상 기반의 프라이버시 영역 보호 방법.

  2. 제1항에 있어서,
    상기 프라이버시 영역 보호 방법은,
    상기 입력된 영상의 사생활 보호 영역을 그래픽 처리하기 전에 저장부에 상기 영상 수집 장치의 전송 영상을 저장하는 단계를 더 포함하는 것을 특징으로 하는 모니터링 영상 기반의 프라이버시 영역 보호 방법.
  3. 제2항에 있어서,
    상기 프라이버시 영역 보호 방법은,
    상기 영상 수집 장치의 전송 영상을 상기 저장부로 전송하기 전에 암호화하거나 스크램블링(scrambling)하는 영상 암호화 단계를 더 포함하는 것을 특징으로 하는 모니터링 영상 기반의 프라이버시 영역 보호 방법.
  4. 제3항에 있어서,
    상기 프라이버시 영역 보호 방법은,
    상기 사생활 보호 영역을 검출하지 전에서 상기 암호화된 영상을 복호화하는 단계를 더 포함하는 것을 특징으로 하는 모니터링 영상 기반의 프라이버시 영역 보호 방법.
  5. 제1항에 있어서,
    상기 사생활 보호 영역을 검출하는 단계에서는, 상기 대상 객체에 정지된 사람의 얼굴이나 차량의 번호판 등의 고정 객체와, 이동중인 차량, 사람 등의 이동 객체를 검출하거나 추적하는 것을 특징으로 하는 모니터링 영상 기반의 프라이버시 영역 보호 방법.
  6. 제5항에 있어서,
    상기 사생활 보호 영역을 엄폐하는 단계에서는, 상기 검출된 대상 객체를 기설정된 기준에 따라 인식 및 분류하고, 그 인식 및 분류 결과에 기초하여 상기 사생활 보호 영역으로 엄폐할 대상의 범위를 결정하는 것을 특징으로 하는 모니터링 영상 기반의 프라이버시 영역 보호 방법.
  7. 제5항에 있어서,
    상기 사생활 보호 영역을 검출하는 단계에서는, 상기 입력된 영상의 모든 프레임에 대해서, Kalman 필터, Particle 필터, Bayesian, 특징추출 등의 객체 추적 알고리즘을 기반으로 상기 대상 객체의 움직임 영역을 예측하여 상기 대상 객체를 추적 및 검출하는 것을 특징으로 하는 모니터링 영상 기반의 프라이버시 영역 보호 방법.
  8. 영상 수집 장치를 통하여 입력된 비디오 영상(video image)에서 사생활 보호 영역을 검출하는 대상 검출부; 및
    상기 입력된 영상의 원본 이미지에 변형을 가하지 않고 상기 사생활 보호 영역만을 그래픽 처리하여 엄폐하는 사생활 영역 보호부를 포함하는 모니터링 영상 기반의 프라이버시 영역 보호 장치.

  9. 제8항에서,
    상기 사생활 보호 영역을 그래픽 처리하기 전에 상기 영상 수집 장치의 출력 영상을 저장하는 저장부를 더 포함하는 것을 특징으로 하는 모니터링 영상 기반의 프라이버시 영역 보호 장치.

  10. 제9항에 있어서,
    상기 입력된 영상은, 상기 영상 수집 장치에서 출력 직후에 암호화부에 의하여 암호화되고, 상기 대상 검출부에 입력되기 전에 복호화부에 의하여 복호화되는 것을 특징으로 하는 모니터링 영상 기반의 프라이버시 영역 보호 장치.
  11. 제10항에 있어서,
    상기 대상 검출부는
    대상 객체로서 정지된 사람의 얼굴이나 차량의 번호판 등의 고정 객체와, 이동중인 차량이나 사람 등의 이동 객체를 검출하는 객체 검출부; 및
    상기 대상 객체가 이동 객체인 경우, Kalman 필터, Particle 필터, Bayesian, 특징추출 등의 객체 추적 알고리즘을 기반으로 상기 이동 객체의 움직임 영역을 예측하여 상기 이동 객체를 추적하는 객체 추적부를 포함하는 것을 특징으로 하는 모니터링 영상 기반의 프라이버시 영역 보호 장치.

  12. 제11항에 있어서,
    상기 사생활 영역 보호부는,
    객체 인식알고리즘에 기반하여 상기 검출된 대상 객체를 인식하고, 상기 인식된 대상 객체를 기설정된 분류 기준에 따라 사생활 보호를 위한 대상 객체로 결정하는 엄폐 대상 설정부; 및
    상기 결정된 대상 객체에 대하여, 원본 영상에 변형을 가하지 않고 그래픽처리 기법을 사용하여 사생활 보호 영역을 엄폐하는 엄폐 처리부를 포함하는 것을 특징으로 하는 모니터링 영상 기반의 프라이버시 영역 보호 장치.
KR1020110112116A 2011-10-31 2011-10-31 모니터링 영상 기반의 프라이버시 영역 보호 방법 및 장치 KR20130047223A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110112116A KR20130047223A (ko) 2011-10-31 2011-10-31 모니터링 영상 기반의 프라이버시 영역 보호 방법 및 장치
US13/565,347 US20130108105A1 (en) 2011-10-31 2012-08-02 Apparatus and method for masking privacy region based on monitored video image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110112116A KR20130047223A (ko) 2011-10-31 2011-10-31 모니터링 영상 기반의 프라이버시 영역 보호 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20130047223A true KR20130047223A (ko) 2013-05-08

Family

ID=48172489

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110112116A KR20130047223A (ko) 2011-10-31 2011-10-31 모니터링 영상 기반의 프라이버시 영역 보호 방법 및 장치

Country Status (2)

Country Link
US (1) US20130108105A1 (ko)
KR (1) KR20130047223A (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101695655B1 (ko) 2016-02-23 2017-01-12 이정선 영상 분석 방법 및 장치
KR20170022592A (ko) * 2015-08-21 2017-03-02 삼성전자주식회사 전자 장치 및 이의 콘텐트 변형 방법
KR101881391B1 (ko) * 2018-03-09 2018-07-25 한화에어로스페이스 주식회사 객체의 특성 정보를 반영하여 프라이버시 마스킹을 수행하는 영상 마스킹 장치
KR101998315B1 (ko) * 2018-02-13 2019-07-10 주식회사 유프로텍 객체 추적 알고리즘을 기반으로 한 영상 보호 처리 방법 및 장치
KR20190124600A (ko) * 2018-04-26 2019-11-05 한국전자통신연구원 신경망 학습에 기반한 적층형 다종 영상 객체 보호 장치, 시스템 및 방법
KR20200003971A (ko) * 2018-07-03 2020-01-13 한양대학교 에리카산학협력단 영상의 프라이버시 보호 및 변조 방지를 위한 영상 처리 장치, 영상 검증 장치 및 그 방법
CN112351275A (zh) * 2019-08-06 2021-02-09 浙江宇视科技有限公司 一种基于原始图像的特征区域隐私保护的方法及装置
WO2022050558A1 (ko) * 2020-09-01 2022-03-10 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102473801B1 (ko) * 2021-07-07 2022-12-05 주식회사 딥핑소스 공간 내에서 오브젝트들을 익명화하여 추적하는 방법 및 이를 이용한 익명화 추적 장치
US11748926B2 (en) 2018-03-09 2023-09-05 Hanwha Techwin Co., Ltd. Method and apparatus for performing privacy masking by reflecting characteristic information of objects

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311275B1 (en) 2008-06-10 2012-11-13 Mindmancer AB Selective viewing of a scene
JP4623201B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
EP2727328B8 (en) * 2011-06-28 2020-02-26 NCR Corporation Image processing to prevent access to private information
JP2013031034A (ja) * 2011-07-29 2013-02-07 Sony Corp 画像編集プログラム、画像編集方法、画像編集装置、記録媒体
JP2014078910A (ja) * 2012-10-12 2014-05-01 Sony Corp 画像処理装置、画像処理システム、画像処理方法、及びプログラム
CN104038740B (zh) * 2014-06-17 2017-05-24 武汉烽火众智数字技术有限责任公司 一种遮蔽ptz监控摄像机隐私区域的方法及装置
CN105407261A (zh) * 2014-08-15 2016-03-16 索尼公司 图像处理装置、方法以及电子设备
US9454675B2 (en) * 2015-01-26 2016-09-27 Idis Co., Ltd. Apparatus and method for protecting personal information of recorded image, and computer-readable recording medium having computer program recorded therein
US9684825B2 (en) 2015-04-14 2017-06-20 Microsoft Technology Licensing, Llc Digital image manipulation
DE102015209391A1 (de) * 2015-05-22 2016-11-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Maskierungsvorschrift sowie zum Maskieren einer Bildinformation einer Kamera
WO2017042419A1 (en) * 2015-09-07 2017-03-16 Nokia Technologies Oy Privacy preserving monitoring
KR102460069B1 (ko) * 2015-09-30 2022-10-28 삼성전자주식회사 보안 인증 장치 및 보안 인증 방법
CN106850515A (zh) * 2015-12-07 2017-06-13 中国移动通信集团公司 一种数据处理方法及视频采集装置、解码装置
WO2017111501A1 (en) 2015-12-24 2017-06-29 Samsung Electronics Co., Ltd. Privacy protection method in a terminal device and the terminal device
EP3913591A1 (en) * 2016-01-29 2021-11-24 KiwiSecurity Software GmbH Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
CN106130984A (zh) * 2016-06-29 2016-11-16 努比亚技术有限公司 加密视频分享装置及方法
CN106162091A (zh) * 2016-07-28 2016-11-23 乐视控股（北京）有限公司 一种视频监控方法及装置
EP3526964B1 (en) 2016-10-14 2024-02-21 Genetec Inc. Masking in video stream
CA3045286C (en) * 2016-10-28 2024-02-20 Axon Enterprise, Inc. Systems and methods for supplementing captured data
JP6822851B2 (ja) * 2017-01-06 2021-01-27 東芝テック株式会社 記録装置及びそのプログラム
JP7187154B2 (ja) * 2018-02-05 2022-12-12 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
RU2681364C1 (ru) * 2018-02-16 2019-03-06 ООО "Ай Ти Ви групп" Система и способ сокрытия объектов в видеоархиве по требованию пользователей
US10789690B2 (en) * 2018-03-07 2020-09-29 Adobe Inc. Masking non-public content
GB201804649D0 (en) * 2018-03-23 2018-05-09 Facit Data Systems Ltd Method of processing a video
ES2882403T3 (es) 2018-07-09 2021-12-01 Argo Ai Gmbh Dispositivo sensor para la anonimización de los datos de sensor, dispositivo de supervisión de imágenes y método de funcionamiento de un dispositivo sensor para la anonimización de los datos de sensor
DE102018121881A1 (de) * 2018-09-07 2020-03-12 EnBW Energie Baden-Württemberg AG Verfahren und System zum Verarbeiten von personenbezogenen optischen und/oder akustischen Signalen
KR20200042979A (ko) * 2018-10-16 2020-04-27 전자부품연구원 영상정보기기에서의 개인정보의 비식별화 방법 및 시스템
CN109672822A (zh) * 2018-12-29 2019-04-23 努比亚技术有限公司 一种移动终端的视频处理方法、移动终端及存储介质
KR20200114275A (ko) * 2019-03-28 2020-10-07 삼성전자주식회사 전자 장치 및 이미지에 포함된 개인 정보의 보안 방법
JP7300349B2 (ja) * 2019-09-04 2023-06-29 株式会社デンソーテン 画像記録システム、画像提供装置、および、画像提供方法
KR102314941B1 (ko) 2019-10-08 2021-10-21 한국전자통신연구원 사생활 보호를 위한 카메라 보조 장치 및 이를 이용한 사생활 보호 방법
CN111429330A (zh) * 2020-03-31 2020-07-17 上海兑观信息科技技术有限公司 一种监控视频隐私保护方法和系统
US11463240B2 (en) * 2020-05-21 2022-10-04 Novatek Microelectronics Corp. Methods and image processing devices for encoding and decoding private data
CN112449155A (zh) * 2020-10-21 2021-03-05 苏州怡林城信息科技有限公司 一种保护人员隐私的视频监控方法和系统
CN112927127A (zh) * 2021-03-11 2021-06-08 华南理工大学 一种运行在边缘设备上的视频隐私数据模糊化方法
KR20230023359A (ko) * 2021-08-10 2023-02-17 한화테크윈 주식회사 감시카메라 시스템
CN114339367B (zh) * 2021-12-29 2023-06-27 杭州海康威视数字技术股份有限公司 一种视频帧处理方法、装置及设备
CN114727071B (zh) * 2022-06-08 2022-08-09 中航智能建设(深圳)有限公司 一种智慧园区数据传输方法及系统
WO2023244513A1 (en) * 2022-06-16 2023-12-21 Samsara Inc. Data privacy in driver monitoring system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10158990C1 (de) * 2001-11-30 2003-04-10 Bosch Gmbh Robert Videoüberwachungssystem
US20070201694A1 (en) * 2002-06-18 2007-08-30 Bolle Rudolf M Privacy management in imaging system
US7428314B2 (en) * 2003-12-03 2008-09-23 Safehouse International Inc. Monitoring an environment
US20070116328A1 (en) * 2005-11-23 2007-05-24 Sezai Sablak Nudity mask for use in displaying video camera images
JP5269033B2 (ja) * 2009-12-18 2013-08-21 韓國電子通信研究院 映像のプライバシーマスキング方法及び装置
KR101936802B1 (ko) * 2012-07-20 2019-01-09 한국전자통신연구원 얼굴인식 기반의 개인정보보호 장치 및 방법

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11423168B2 (en) 2015-08-21 2022-08-23 Samsung Electronics Co., Ltd. Electronic apparatus and method of transforming content thereof
KR20170022592A (ko) * 2015-08-21 2017-03-02 삼성전자주식회사 전자 장치 및 이의 콘텐트 변형 방법
KR101695655B1 (ko) 2016-02-23 2017-01-12 이정선 영상 분석 방법 및 장치
KR101998315B1 (ko) * 2018-02-13 2019-07-10 주식회사 유프로텍 객체 추적 알고리즘을 기반으로 한 영상 보호 처리 방법 및 장치
KR101881391B1 (ko) * 2018-03-09 2018-07-25 한화에어로스페이스 주식회사 객체의 특성 정보를 반영하여 프라이버시 마스킹을 수행하는 영상 마스킹 장치
CN110248083A (zh) * 2018-03-09 2019-09-17 韩华泰科株式会社 一种监控设备
US10671877B2 (en) 2018-03-09 2020-06-02 Hanwha Techwin Co., Ltd. Method and apparatus for performing privacy masking by reflecting characteristic information of objects
US11748926B2 (en) 2018-03-09 2023-09-05 Hanwha Techwin Co., Ltd. Method and apparatus for performing privacy masking by reflecting characteristic information of objects
KR20190124600A (ko) * 2018-04-26 2019-11-05 한국전자통신연구원 신경망 학습에 기반한 적층형 다종 영상 객체 보호 장치, 시스템 및 방법
KR20200003971A (ko) * 2018-07-03 2020-01-13 한양대학교 에리카산학협력단 영상의 프라이버시 보호 및 변조 방지를 위한 영상 처리 장치, 영상 검증 장치 및 그 방법
CN112351275A (zh) * 2019-08-06 2021-02-09 浙江宇视科技有限公司 一种基于原始图像的特征区域隐私保护的方法及装置
WO2022050558A1 (ko) * 2020-09-01 2022-03-10 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102473801B1 (ko) * 2021-07-07 2022-12-05 주식회사 딥핑소스 공간 내에서 오브젝트들을 익명화하여 추적하는 방법 및 이를 이용한 익명화 추적 장치

Also Published As

Publication number Publication date
US20130108105A1 (en) 2013-05-02

Similar Documents

Publication Publication Date Title
KR20130047223A (ko) 모니터링 영상 기반의 프라이버시 영역 보호 방법 및 장치
US8929545B2 (en) Surveillance video transmission apparatus and method and surveillance video receiving apparatus and method
KR101378295B1 (ko) 영상의 프라이버시 마스킹 방법 및 장치
KR101936802B1 (ko) 얼굴인식 기반의 개인정보보호 장치 및 방법
US10242282B2 (en) Video redaction method and system
JP5269033B2 (ja) 映像のプライバシーマスキング方法及び装置
Senior et al. Enabling video privacy through computer vision
US10949650B2 (en) Face image de-identification apparatus and method
KR101458136B1 (ko) 영상 처리 방법, 이를 실행하는 영상 처리 서버, 감시 서버, 영상 처리 시스템 및 이를 저장한 기록 매체
CN103152556A (zh) 一种用于隐私保护的监控视频加密方法
KR101746167B1 (ko) 프라이버시 보호를 위한 영상 처리 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
KR101381343B1 (ko) 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법
CN111429330A (zh) 一种监控视频隐私保护方法和系统
KR20120035299A (ko) 프라이버시 보호를 위한 영상 보호처리 장치와, 그를 이용한 영상 보안 시스템 및 그 방법
KR102066778B1 (ko) 사물 인터넷 기반의 영상 송신 장치 및 영상 수신 장치를 포함하는 영상 처리 시스템 및 이를 이용한 영상 처리 방법
KR101446143B1 (ko) Cctv 환경에서의 얼굴 인식 기반 보안 관리 시스템 및 방법
JPWO2009013822A1 (ja) 映像監視装置および映像監視プログラム
KR101951605B1 (ko) 영상의 유출을 방지하기 위한 cctv 영상 보안 시스템
JP2023111974A (ja) 画像マスキング装置及び画像マスキング方法
Barhm et al. Negotiating privacy preferences in video surveillance systems
CN111526325A (zh) 利用形态保存加密技术的隐私遮蔽方法及记录介质
CN111866600A (zh) 用于保护隐私的方法、装置和系统
CN111931145A (zh) 人脸加密方法、识别方法、装置、电子设备及存储介质
KR101879444B1 (ko) Cctv 구동 방법 및 시스템
KR101487461B1 (ko) 개인영상 정보보호 기능이 탑재된 얼굴인식 보안 관제 시스템

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid