KR20130065567A - 프라이버시 마스킹용 휴먼 추적 시스템 및 방법 - Google Patents

프라이버시 마스킹용 휴먼 추적 시스템 및 방법 Download PDF

Info

Publication number
KR20130065567A
KR20130065567A KR1020120021855A KR20120021855A KR20130065567A KR 20130065567 A KR20130065567 A KR 20130065567A KR 1020120021855 A KR1020120021855 A KR 1020120021855A KR 20120021855 A KR20120021855 A KR 20120021855A KR 20130065567 A KR20130065567 A KR 20130065567A
Authority
KR
South Korea
Prior art keywords
filter
masking
tracking
module
detected
Prior art date
Application number
KR1020120021855A
Other languages
English (en)
Other versions
KR101288248B1 (ko
Inventor
정영규
남미영
Original Assignee
정영규
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정영규 filed Critical 정영규
Publication of KR20130065567A publication Critical patent/KR20130065567A/ko
Application granted granted Critical
Publication of KR101288248B1 publication Critical patent/KR101288248B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region

Abstract

프라이버시 마스킹용 휴먼 추적 시스템 및 방법이 개시된다. 프라이버시 마스킹용 휴먼 추적 시스템은 입력 영상에 포함되는 각각의 객체에 대한 필터를 생성하는 필터 생성부 및 상기 생성된 필터 중 사용자에 의해 선택되는 객체에 해당하는 필터를 이용하여 상기 선택된 객체를 검출하고 상기 검출된 객체를 추적하여 상기 추적된 객체를 마스킹하는 마스킹부를 포함할 수 있다.

Description

프라이버시 마스킹용 휴먼 추적 시스템 및 방법{HUMAN TRACKING SYSTEM AND METHOD FOR PRIVACY MASKING}
본 발명의 실시예들은 사생활 침해를 방지할 수 있는 프라이버시 마스킹용 휴먼 추적 시스템 및 방법에 관한 것이다.
오늘날 산업, 의료, 교통 감시, 방재 등 다양한 용도로 CCTV(Closed Circuit TeleVision)가 각 분야에 보급되어 있다. 이러한 CCTV에 의해서 어느 정도 재해, 범죄 등이 줄어들고 있지만, 다른 한편으로 CCTV로 인한 사생활 침해가 사회 문제화되고 있는 상황이다.
개인정보 보호법에 의해서 공공기관에서 설치된 CCTV인 경우 개인이 원할 경우 촬영된 영상을 요구할 수 있으며, 이 때 촬영된 영상은 사생활 침해를 방지하기 위하여 다른 사람들이 마스킹(masking)된 후 제공되어야 한다.
일 예로, 한국등록특허공보 제10-0877747호(등록일자 2008년 12월 31일) "디지털 비디오 레코더 및 그의 입력 영상 보호 장치 및 방법"에는 카메라로부터 입력되는 영상 데이터를 수신하여 영상 데이터의 고정 좌표값을 이용하여 일부 영역을 추출하고, 추출한 영역을 선택적으로 마스킹하는 것이 기재되어 있다.
그러나 이러한 방법은 영상에서 미리 정해진 영역 또는 미리 정해진 객체의 형태를 추적할 수 있는 있지만, 다중 객체들 사이에서 하나의 객체를 지속적으로 검출하고 추적하기는 어렵다. 따라서, 이러한 방법으로 마스킹하는 경우 마스킹하고자 하는 객체들만을 자동으로 마스킹하는 것은 어렵다는 문제점이 있다.
그러므로, 다양한 환경에 맞추어 객체를 추적하고 추적된 객체의 얼굴 영역 등을 검출한 후 이를 마스킹함으로써 사생활을 보호할 수 있는 기술이 요구되고 있다.
다양한 객체들 중에서 하나의 객체를 선택했을 때 이와 형태가 가장 유사한 객체를 자동으로 선택한 후 정확히 검출하고, 검출된 객체가 이동 중 모양이 변할 경우에도 적응적으로 필터를 변경하여 오랜 시간 추적할 수 있는 프라이버시 마스킹용 휴먼 추적 시스템 및 방법이 제공된다.
어느 한 순간에 복수개의 객체를 선택할 경우에도 개별 객체를 공간에서 독립시킨 후 지속적으로 추적하여 마스킹할 수 있는 프라이버시 마스킹용 휴먼 추적 시스템이 제공된다.
프라이버시 마스킹용 휴먼 추적 시스템은 입력 영상에 포함되는 각각의 객체에 대한 필터를 생성하는 필터 생성부 및 상기 생성된 필터 중 사용자에 의해 선택되는 객체에 해당하는 필터를 이용하여 상기 선택된 객체를 검출하고 상기 검출된 객체를 추적하여 상기 추적된 객체를 마스킹하는 마스킹부를 포함할 수 있다.
일측에 따르면, 상기 필터 생성부는 상기 입력 영상을 전처리하는 전처리 모듈 및 상기 전처리된 입력 영상에서 선택된 객체에 대한 필터를 실시간으로 생성하는 실시간 필터 생성 모듈을 포함할 수 있다.
다른 측면에 따르면, 상기 마스킹부는 상기 선택된 객체와 상기 생성된 필터 간의 유사도를 측정하여 상기 선택된 객체에 해당하는 필터를 자동으로 선택하는 자동 필터 선택 모듈, 상기 선택된 객체의 색상 정보, 형태 정보 및 운동 방향 정보 중 적어도 하나를 기초로 상기 선택된 객체에 대한 프로파일 정보를 생성하는 프로파일 생성 모듈, 상기 선택된 필터를 이용하여 상기 선택된 객체를 검출하는 개별객체 검출 모듈, 상기 검출된 객체를 추적하는 개별객체 추적 모듈, 상기 생성된 프로파일 정보를 이용하여 상기 추적된 객체에서 마스킹할 영역을 검출하는 마스킹 영역 검출 모듈 및 상기 검출된 영역을 마스킹하고 상기 마스킹된 영역을 암호화하는 마스킹 및 암호화 모듈을 포함할 수 있다.
또 다른 측면에 따르면, 상기 자동 필터 선택 모듈은 상기 선택된 객체에 포함되는 영역의 에너지 정도를 나타내는 PSR(Peak to Sidelobe Ratio) 및 블록 엔트로피 중 어느 하나가 기 설정된 값 이하로 측정되는 경우 상기 선택된 객체를 추적하기 위한 적응형 필터를 생성하여 상기 선택한 필터를 갱신하고, 상기 개별객체 추적 모듈은 상기 적응형 필터를 기초로 상기 검출된 객체를 추적할 수 있다. 이때 만약 PSR(Peak to Sidelobe Ratio) 및 블록 엔트로피 중 어느 하나가 설정된 최저값 이하로 측정되는 경우 추적 객체를 읽은 것으로 하여 필터를 갱신하지 않을 수 있다.
또 다른 측면에 따르면, 복수개의 객체가 선택되는 경우 하나의 화면 내에 하나의 객체가 존재하도록 상기 선택된 객체의 수만큼 영상을 생성하는 다중객체 생성 모듈을 더 포함하고, 상기 개별객체 추적 모듈은 상기 선택된 객체의 수만큼 생성된 영상에서 상기 검출된 객체를 추적할 수 있다.
프라이버시 마스킹용 휴먼 추적 방법은 입력 영상에 포함되는 각각의 객체에 대한 필터를 생성하는 단계, 상기 생성된 필터 중 사용자에 의해 선택되는 객체에 해당하는 필터를 이용하여 상기 선택된 객체를 검출하고 상기 검출된 객체를 추적하는 단계 및 상기 추적된 객체를 마스킹하는 단계를 포함할 수 있다.
다양한 객체들 중에서 하나의 객체를 선택했을 때 이와 형태가 가장 유사한 객체를 자동으로 선택한 후 정확히 검출하고, 검출된 객체가 이동 중 모양이 변할 경우에도 적응적으로 필터를 변경하여 장시간 추적할 수 있기 때문에 CCTV에 노출된 개인이 자신의 영상을 요구할 때나 TV 매체 등에 노출을 원하지 않는 개인의 사생활을 보호할 수 있다.
어느 한 순간에 복수개의 객체를 선택할 경우에도 하나의 화면 내에 하나의 객체가 존재하도록 선택된 객체의 수만큼 영상을 생성함으로써 개별 객체를 공간에서 독립시킨 후 각각의 객체를 지속적으로 추적할 수 있고, 마스킹된 영상을 암호화함으로써 허가되지 않은 사람이 영상을 복원할 수 없도록 할 수 있기 때문에 보다 강력한 사생활 보호가 가능하도록 하는 효과가 있다.
도 1은 본 발명의 일실시예에 있어서, 프라이버시 마스킹용 휴먼 추적 시스템을 나타내는 블록도이다.
도 2는 본 발명의 일실시예에 있어서, 각 객체의 형태에 생성된 필터의 형상을 나타내는 예시도이다.
도 3은 본 발명의 일실시예에 있어서, 입력 영상을 마스킹하는 과정을 설명하기 위한 도면이다.
도 4은 본 발명의 일실시예에 있어서, 프라이버시 마스킹용 휴먼 추적 방법을 나타내는 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 있어서, 프라이버시 마스킹용 휴먼 추적 시스템을 나타내는 블록도이다.
도면을 참조하면, 프라이버시 마스킹용 휴먼 추적 시스템은 필터 생성부(110) 및 마스킹부(120)를 포함한다.
본 발명에 따른 프라이버시 마스킹용 휴먼 추적 시스템은 개인의 사생활 보호를 위하여 카메라 등을 통하여 촬영된 정지 영상, CCTV 등을 통하여 촬영된 동영상 등과 같은 영상을 입력 받아, 입력 받은 영상에서 마스킹하고자 하는 객체를 지속적으로 추적하는 한편, 추적된 객체를 마스킹한다.
이를 위하여 필터 생성부(110)는 입력 영상에 포함되는 각각의 객체에 대한 필터를 생성하고, 마스킹부(120)는 필터 생성부(120)에서 생성된 필터 중 사용자에 의해 선택되는 객체에 해당하는 필터를 이용하여 사용자에 의해 선택된 객체를 검출하고 검출된 객체를 추적하여 마스킹한다.
보다 구체적으로, 상기 필터 생성부(110)는 전처리 모듈(112) 및 실시간 필터 생성 모듈(114)을 포함할 수 있다.
전처리 모듈(112)은 입력 영상에 포함된 객체의 형태를 필터로 생성하기 위하여 입력 영상에 대한 전처리를 수행한다.
그리고, 실시간 필터 생성 모듈(114)은 전처리 모듈(112)에서 전처리된 입력 영상에서 선택된 객체에 대한 필터를 실시간으로 생성한다.
예를 들어, 필터 생성부(110)에 동영상이 입력되는 경우, 전처리 모듈(112)은 입력된 동영상에서 사람의 형태를 보다 정확하게 필터로 생성하기 위하여, 배경에 해당하는 영역은 블러링 처리하고 사람에 해당하는 영역은 경계 영역 강화를 수행하거나 배경에 해당하는 영역을 어둡게 처리하고 사람에 해당하는 영역은 밝게 처리하는 등의 전처리를 수행할 수 있다. 이후, 사용자가 마우스 클릭 등을 통하여 소정의 객체를 선택하면 실시간 필터 생성 모듈(114)은 선택된 사람의 형태를 필터로 생성할 수 있다.
도 2는 본 발명의 일실시예에 있어서, 각 객체의 형태에 생성된 필터의 형상을 나타내는 예시도이다.
도 2(a)는 일 예로 입력 영상에서 사람의 정면이 표시되는 경우 필터 생성부(110)를 통해 생성된 필터와 에지(edge)를 나타내고, 도 2(b)로 사람의 측면에 대해 생성된 필터와 에지를 각각 나타낸다.
한편, 마스킹부(120)는 자동 필터 선택 모듈(121), 프로파일 생성 모듈(122), 다중객체 생성 모듈(123), 개별객체 검출 모듈(124), 개별객체 추적 모듈(125), 마스킹 영역 검출 모듈(126) 및 마스킹 및 암호화 모듈(127)을 포함할 수 있다.
자동 필터 선택 모듈(121)은 입력 영상에 포함된 복수개의 객체 중 마스킹하고자 하는 객체를 마우스로 클릭함으로써 사용자에 의해 선택된 객체와 필터 생성부(110)에서 생성된 필터 간의 유사도를 측정하여 상기 선택된 객체에 해당하는 필터를 자동으로 선택한다.
한편, 자동 필터 선택 모듈(121)은 사용자에 의해 선택된 객체를 지속적으로 추적하기 위하여, 유사도 측정을 통해 선택한 필터를 사용자에 의해 선택된 객체에 해당하는 형태로 갱신함으로써 적응형 필터를 생성할 수 있다.
상기 적응형 필터는 다음의 수학식 1을 통해 생성될 수 있다.
Figure pat00001
여기서, G는 주파수 영역에서의 출력 이미지, F는 주파수 영역에서의 입력 이미지, F*는 입력 이미지의 켤레 복소수를 각각 나타낸다.
이와 같은 적응형 필터를 적용할 경우, 유사도 측정을 통해 선택한 필터를 적응형 필터로 갱신할 시점을 판단하는 것은 중요한 요소이다. 따라서, 자동 필터 선택 모듈(121)은 상기 선택된 객체에 포함되는 영역의 에너지 정도를 나타내는 PSR(Peak to Sidelobe Ratio) 또는 블록 엔트로피를 이용하여 적응형 필터의 적용 여부를 결정할 수 있다.
휴먼 추적의 경우에는 비행기, 차량 등의 추적과 달리 객체 추적 시 PSR 또는 블록 엔트로피가 몇 프레임 추적 후 급격히 낮아지는 문제점이 있다. 따라서, 자동 필터 선택 모듈(121)은 PSR 또는r 블록 엔트로피가 기 설정된 값 이하로 측정되는 경우 적응형 필터를 생성하여 유사도 측정을 통해 선택한 필터를 갱신할 수 있다. 이때 만약 PSR(Peak to Sidelobe Ratio) 및 블록 엔트로피 중 어느 하나가 설정된 최저값 이하로 측정되는 경우 추적 객체를 읽은 것으로 하여 필터를 갱신하지 않을 수 있다.
한편, 프로파일 생성 모듈(122)은 사용자에 의해 선택된 객체의 특징을 기초로 상기 선택된 객체에 대한 프로파일 정보를 생성한다.
일 예로, 프로파일 생성 모듈(122)은 선택된 객체의 색상 정보, 형태 정보 및 운동 방향 정보 등을 이용하여 객체의 프로파일 정보를 생성할 수 있는데, 색상 정보는 다음의 수학식 2와 같이 선택된 객체의 RGB(Red, Green, Blue) 색상을 HSV(Hue, Saturation, Value) 색상으로 변환하여 히스토그램을 생성한 후 히스토그램의 개수에 가중치를 곱함으로써 추출될 수 있다.
Figure pat00002
그리고, 운동 방향 정보는 칼만 필터를 이용하여 생성할 수 있다. 칼만 필터는 최소자승법을 사용하는 계산법으로서, 실시간으로 잡음 운동 방정식을 가진 시간에 따른 방향성 추적하는데 효율적이다.
다중객체 생성 모듈(123)은 사용자에 의해 복수개의 객체가 선택되는 경우 하나의 화면 내에 하나의 객체가 존재하도록 선택된 객체의 수만큼 영상을 생성함으로써 보다 정확하게 객체를 추적할 수 있도록 한다. 일 예로, 다중객체 생성 모듈(123)은 사용자가 한 화면에 있는 다양한 객체들을 마우스로 선택하는 경우, 자동 필터 선택 모듈(121)과 프로파일 생성 모듈(122)을 재실행하여 선택된 객체의 수만큼 영상을 생성하여 하나의 영상 내에 단일 객체만이 존재하도록 할 수 있다.
개별객체 검출 모듈(124)은 자동 필터 선택 모듈(121)에서 선택된 필터를 이용하여 사용자에 의해 선택된 객체를 검출한다.
개별객체 추적 모듈(125)은 개별객체 검출 모듈(124)에서 검출된 객체를 추적하는 모듈로서, 사용자에 의해 복수개의 객체가 선택되는 경우 다중객체 생성 모듈(123)를 통해 사용자에 의해 선택된 객체의 수만큼 생성된 영상에서 각각 객체를 추적할 수 있다.
한편, 개별객체 추적 모듈(125)은 자동 마우스 클릭 기능 및 수동 마우스 클릭 기능을 포함할 수 있다. 자동 마우스 클릭 기능은 상기 선택된 객체에 포함되는 영역의 에너지 정도를 나타내는 PSR(Peak to Sidelobe Ratio) 또는 블록 엔트로피를 측정하여 기 설정된 값 이하의 PSR 또는 블록 엔트로피가 감지되면 사용자가 그 영역을 마우스를 클릭한 것과 같이 새로운 필터를 생성하는 기능이고, 수동 마우스 클릭 기능은 개별객체 추적 모듈(125)이 추적하고자 하는 객체를 놓쳤을 때 사용자가 수동으로 마우스를 이용하여 마스킹하고자 하는 객체를 클릭할 수 있도록 하는 기능이다. 따라서, 개별객체 추적 모듈(125)은 자동 마우스 클릭 기능 및 수동 마우스 클릭 기능을 통해서 그 성능을 유지할 수 있다.
마스킹 영역 검출 모듈(126)은 프로파일 생성 모듈(122)에서 생성된 프로파일 정보를 이용하여 개별객체 추적 모듈(125)에서 추적된 객체에서 마스킹할 영역을 검출한다.
마스킹 및 암호화 모듈(127)은 마스킹 영역 검출 모듈(126)에서 검출된 영역을 마스킹하고 마스킹된 영역을 암호화한다. 즉, 마스킹 및 암호화 모듈(127)은 마스킹하고자 하는 영역을 암호화 기술을 이용하여 마스킹함으로써 원본 영상을 복원할 수 없도록 함으로써 보다 강력한 사생활 보호가 가능하도록 할 수 있다.
도 3은 본 발명의 일실시예에 있어서, 입력 영상을 마스킹하는 과정을 설명하기 위한 도면이다.
이하, 도 3을 참조하여 본 발명에 따른 프라이버시 마스킹용 휴먼 추적 시스템이 입력 영상(310)을 처리하는 과정에 대해 설명한다.
프라이버스 마스킹용 휴먼 시스템은 입력 영상(310)에서 마스킹하고자 하는 영역(312) 내에 포함된 객체(314, 316) 중 사용자가 마우스로 클릭함으로써 선택된 객체(314)를 검출하기 위하여, 입력 영상(310)을 전처리함으로써 전처리된 입력 영상(320)을 생성한다. 그리고, 전처리된 입력 영상(320)으로부터 실시간으로 필터(330)를 생성한다.
그리고, 생성된 필터(330)를 이용하여 대상 이미지(340)에서 선택된 객체를 바이너리 화면(350)에 도시된 바와 같이 검출한 뒤 이를 추적하고 마스킹함으로써 사생활이 보호되도록 할 수 있다.
도 4은 본 발명의 일실시예에 있어서, 프라이버시 마스킹용 휴먼 추적 방법을 나타내는 흐름도이다.
프라이버시 마스킹용 휴먼 추적 시스템은 입력 영상에 포함되는 각각의 객체에 대한 필터를 생성하기 위하여 입력 영상을 전처리하여 각각의 객체에 대한 필터를 실시간으로 생성한다(S410).
이후, 사용자가 마우스 클릭 등을 통하여 마스킹하고자 하는 객체를 선택하는 경우 생성된 필터 중 선택된 객체에 해당하는 필터를 사용자에 의해 선택된 객체와 생성된 복수개의 필터 간의 유사도를 기초로 자동으로 선택하고(S420), 선택된 객체를 검출하여 해당 객체를 추적한다.
일 예로, 프라이버시 마스킹용 휴먼 추적 시스템은 선택된 객체에 포함되는 영역의 에너지 정도를 나타내는 PSR 또는 블록 엔트로피가 기 설정된 값 이하로 측정되는 경우 해당 객체를 추적하기 위한 적응형 필터를 생성하여 필터를 갱신하고, 적응형 필터를 이용하여 해당 객체를 추적할 수 있다. 이때 만약 PSR(Peak to Sidelobe Ratio) 및 블록 엔트로피 중 어느 하나가 설정된 최저값 이하로 측정되는 경우 추적 객체를 읽은 것으로 하여 필터를 갱신하지 않을 수 있다.
이 때, 사용자가 복수개의 객체를 선택하는 경우 프라이버시 마스킹용 휴먼 추적 시스템은 하나의 화면 내에 하나의 객체가 존재하도록 선택된 객체의 수만큼 영상을 생성하고(S430), 선택된 객체의 수만큼 생성된 영상에서 해당 객체를 추적할 수도 있다.
한편, 프라이버시 마스킹용 휴먼 추적 시스템은 선택된 객체의 색상 정보, 형태 정보 및 운동 방향 정보 등과 같은 객체의 특징을 기초로 해당 객체에 대한 프로파일 정보를 생성하고, 생성된 프로파일 정보를 이용하여 추적되는 객체에서 마스킹할 영역을 검출한다(S440). 그리고, 검출된 영역을 마스킹하고 암호화함으로써(S450) 개인의 프라이버시가 보호될 수 있도록 한다.
따라서, 본 발명에 따른 프라이버시 마스킹용 휴먼 추적 시스템 및 방법 다양한 객체들 중에서 하나의 객체를 선택했을 때 이와 형태가 가장 유사한 객체를 자동으로 선택한 후 정확히 검출하고 검출된 객체가 이동 중 모양이 변할 경우에도 적응적으로 필터를 변경하여 장시간 추적할 수 있기 때문에, CCTV 등에 노출된 개인이 자신의 영상을 요구할 때나 TV 매체 등에 노출을 원하지 않는 개인의 사생활을 보호할 수 있다.
또한, 어느 한 순간에 사용자가 복수개의 객체를 선택할 경우에도 하나의 화면 내에 하나의 객체가 존재하도록 선택된 객체의 수만큼 영상을 생성함으로써 개별 객체를 공간에서 독립시킨 후 각각의 객체를 지속적으로 추적할 수 있고, 마스킹된 영상을 암호화함으로써 허가되지 않은 사람이 영상을 복원할 수 없도록 할 수 있기 때문에 보다 강력하게 사생활을 보호할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (11)

  1. 입력 영상에 포함되는 각각의 객체에 대한 필터를 생성하는 필터 생성부; 및
    상기 생성된 필터 중 사용자에 의해 선택되는 객체에 해당하는 필터를 이용하여 상기 선택된 객체를 검출하고 상기 검출된 객체를 추적하여 상기 추적된 객체를 마스킹하는 마스킹부
    를 포함하는 프라이버시 마스킹용 휴먼 추적 시스템.
  2. 제1항에 있어서,
    상기 필터 생성부는,
    상기 입력 영상을 전처리하는 전처리 모듈; 및
    상기 전처리된 입력 영상에서 선택된 객체에 대한 필터를 실시간으로 생성하는 실시간 필터 생성 모듈
    을 포함하는 것을 특징으로 하는 프라이버시 마스킹용 휴먼 추적 시스템.
  3. 제1항에 있어서,
    상기 마스킹부는,
    상기 선택된 객체와 상기 생성된 필터 간의 유사도를 측정하여 상기 선택된 객체에 해당하는 필터를 자동으로 선택하는 자동 필터 선택 모듈;
    상기 선택된 객체의 색상 정보, 형태 정보 및 운동 방향 정보 중 적어도 하나를 기초로 상기 선택된 객체에 대한 프로파일 정보를 생성하는 프로파일 생성 모듈;
    상기 선택된 필터를 이용하여 상기 선택된 객체를 검출하는 개별객체 검출 모듈;
    상기 검출된 객체를 추적하는 개별객체 추적 모듈;
    상기 생성된 프로파일 정보를 이용하여 상기 추적된 객체에서 마스킹할 영역을 검출하는 마스킹 영역 검출 모듈; 및
    상기 검출된 영역을 마스킹하고 상기 마스킹된 영역을 암호화하는 마스킹 및 암호화 모듈
    을 포함하는 것을 특징으로 하는 프라이버시 마스킹용 휴먼 추적 시스템.
  4. 제3항에 있어서,
    상기 자동 필터 선택 모듈은,
    상기 선택된 객체에 포함되는 영역의 에너지 정도를 나타내는 PSR(Peak to Sidelobe Ratio) 및 블록 엔트로피 중 어느 하나가 기 설정된 값 이하로 측정되는 경우 상기 선택된 객체를 추적하기 위한 적응형 필터를 생성하여 상기 선택한 필터를 갱신하되, 만약 PSR(Peak to Sidelobe Ratio) 및 블록 엔트로피 중 어느 하나가 설정된 최저값 이하로 측정되는 경우 추적 객체를 잃은 것으로 판단하여 필터를 갱신하지 않고,
    상기 개별객체 추적 모듈은,
    상기 적응형 필터를 기초로 상기 검출된 객체를 추적하는 것을 특징으로 하는 프라이버시 마스킹용 휴먼 추적 시스템.
  5. 제3항에 있어서,
    복수개의 객체가 선택되는 경우 하나의 화면 내에 하나의 객체가 존재하도록 상기 선택된 객체의 수만큼 영상을 생성하는 다중객체 생성 모듈을 더 포함하고,
    상기 개별객체 추적 모듈은,
    상기 선택된 객체의 수만큼 생성된 영상에서 상기 검출된 객체를 추적하는 것을 특징으로 하는 프라이버시 마스킹용 휴먼 추적 시스템.
  6. 입력 영상에 포함되는 각각의 객체에 대한 필터를 생성하는 단계;
    상기 생성된 필터 중 사용자에 의해 선택되는 객체에 해당하는 필터를 이용하여 상기 선택된 객체를 검출하고 상기 검출된 객체를 추적하는 단계; 및
    상기 추적된 객체를 마스킹하는 단계
    를 포함하는 프라이버시 마스킹용 휴먼 추적 방법.
  7. 제6항에 있어서,
    상기 필터를 생성하는 단계는,
    상기 입력 영상을 전처리하는 단계; 및
    상기 전처리된 입력 영상에서 선택된 객체에 대한 필터를 실시간으로 생성하는 단계
    를 포함하는 것을 특징으로 하는 프라이버시 마스킹용 휴먼 추적 방법.
  8. 제6항에 있어서,
    상기 검출된 객체를 추적하는 단계는,
    상기 선택된 객체와 상기 생성된 필터 간의 유사도를 측정하여 상기 선택된 객체에 해당하는 필터를 자동으로 선택하고, 상기 선택된 필터를 이용하여 상기 검출된 객체를 추적하는 단계인 것을 특징으로 하는 프라이버시 마스킹용 휴먼 추적 방법.
  9. 제6항에 있어서,
    상기 검출된 객체를 추적하는 단계는,
    상기 선택된 객체에 포함되는 영역의 에너지 정도를 나타내는 PSR(Peak to Sidelobe Ratio) 및 블록 엔트로피 중 어느 하나가 기 설정된 값 이하로 측정되는 경우 상기 선택된 객체를 추적하기 위한 적응형 필터를 생성하여 상기 선택한 필터를 갱신하되, 만약 PSR(Peak to Sidelobe Ratio) 및 블록 엔트로피 중 어느 하나가 설정된 최저값 이하로 측정되는 경우 추적 객체를 잃은 것으로 하여 필터를 갱신하지 않고,
    상기 적응형 필터를 기초로 상기 검출된 객체를 추적하는 단계인 것을 특징으로 하는 프라이버시 마스킹용 휴먼 추적 방법.
  10. 제6항에 있어서,
    상기 추적된 객체를 마스킹하는 단계는,
    상기 선택된 객체의 색상 정보, 형태 정보 및 운동 방향 정보 중 적어도 하나를 기초로 상기 선택된 객체에 대한 프로파일 정보를 생성하는 단계;
    상기 생성된 프로파일 정보를 이용하여 상기 추적된 객체에서 마스킹할 영역을 검출하는 단계; 및
    상기 검출된 영역을 마스킹하고 상기 마스킹된 영역을 암호화하는 단계
    를 포함하는 것을 특징으로 하는 프라이버시 마스킹용 휴먼 추적 방법.
  11. 제6항에 있어서,
    복수개의 객체가 선택되는 경우 하나의 화면 내에 하나의 객체가 존재하도록 상기 선택된 객체의 수만큼 영상을 생성하는 단계를 더 포함하고,
    상기 검출된 객체를 추적하는 단계는,
    상기 선택된 객체의 수만큼 생성된 영상에서 상기 검출된 객체를 추적하는 단계인 것을 특징으로 하는 프라이버시 마스킹용 휴먼 추적 방법.
KR1020120021855A 2011-12-09 2012-03-02 프라이버시 마스킹용 휴먼 추적 시스템 및 방법 KR101288248B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110131442 2011-12-09
KR20110131442 2011-12-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020130067934A Division KR101292907B1 (ko) 2013-06-13 2013-06-13 프라이버시 마스킹용 휴먼 추적 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20130065567A true KR20130065567A (ko) 2013-06-19
KR101288248B1 KR101288248B1 (ko) 2013-07-26

Family

ID=48862135

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120021855A KR101288248B1 (ko) 2011-12-09 2012-03-02 프라이버시 마스킹용 휴먼 추적 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101288248B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101881391B1 (ko) * 2018-03-09 2018-07-25 한화에어로스페이스 주식회사 객체의 특성 정보를 반영하여 프라이버시 마스킹을 수행하는 영상 마스킹 장치
KR102473801B1 (ko) * 2021-07-07 2022-12-05 주식회사 딥핑소스 공간 내에서 오브젝트들을 익명화하여 추적하는 방법 및 이를 이용한 익명화 추적 장치
US11748926B2 (en) 2018-03-09 2023-09-05 Hanwha Techwin Co., Ltd. Method and apparatus for performing privacy masking by reflecting characteristic information of objects

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8599267B2 (en) * 2006-03-15 2013-12-03 Omron Corporation Tracking device, tracking method, tracking device control program, and computer-readable recording medium
KR101378295B1 (ko) * 2009-12-18 2014-03-27 한국전자통신연구원 영상의 프라이버시 마스킹 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101881391B1 (ko) * 2018-03-09 2018-07-25 한화에어로스페이스 주식회사 객체의 특성 정보를 반영하여 프라이버시 마스킹을 수행하는 영상 마스킹 장치
US10671877B2 (en) 2018-03-09 2020-06-02 Hanwha Techwin Co., Ltd. Method and apparatus for performing privacy masking by reflecting characteristic information of objects
US11748926B2 (en) 2018-03-09 2023-09-05 Hanwha Techwin Co., Ltd. Method and apparatus for performing privacy masking by reflecting characteristic information of objects
KR102473801B1 (ko) * 2021-07-07 2022-12-05 주식회사 딥핑소스 공간 내에서 오브젝트들을 익명화하여 추적하는 방법 및 이를 이용한 익명화 추적 장치

Also Published As

Publication number Publication date
KR101288248B1 (ko) 2013-07-26

Similar Documents

Publication Publication Date Title
JP7278735B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN107077602B (zh) 用于活性分析的系统及方法
Calderara et al. Reliable background suppression for complex scenes
KR101984496B1 (ko) 물체 영역에 근거하여 화상을 처리하는 장치 및 그 방법
Yin et al. The infrared moving object detection and security detection related algorithms based on W4 and frame difference
JP2020078058A (ja) 画像処理装置、監視システム、画像処理方法、及びプログラム
JP6469975B2 (ja) 映像監視装置、映像監視システムおよび映像監視方法
Ibrahim et al. Speed Detection Camera System using Image ProcessingTechniques on Video Streams
US10235607B2 (en) Control device, control method, and computer program product
Singh et al. Detection and localization of copy-paste forgeries in digital videos
JP7419080B2 (ja) コンピュータシステムおよびプログラム
JP5489340B2 (ja) 顔マスキング装置及び方法
Beghdadi et al. Towards the design of smart video-surveillance system
KR101288248B1 (ko) 프라이버시 마스킹용 휴먼 추적 시스템 및 방법
CN111488779A (zh) 视频图像超分辨率重建方法、装置、服务器及存储介质
KR101292907B1 (ko) 프라이버시 마스킹용 휴먼 추적 시스템 및 방법
Bashier et al. Graphical password: Pass-images Edge detection
JP6540445B2 (ja) 同一判定プログラム、同一判定装置、および同一判定方法
Kaur Background subtraction in video surveillance
KR20220027769A (ko) 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법
Ammar et al. MPEG-4 AVC stream-based saliency detection. Application to robust watermarking
Mahmoud A novel image fusion scheme using wavelet transform for concealed weapon detection
Ciurapiński et al. Data fusion concept in multispectral system for perimeter protection of stationary and moving objects
Wang et al. Visual bubble: Protecting privacy in wearable cameras
Hoo et al. Skin-based privacy filter for surveillance systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160708

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170619

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180515

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190618

Year of fee payment: 7