KR101381343B1 - 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법 - Google Patents

얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법 Download PDF

Info

Publication number
KR101381343B1
KR101381343B1 KR1020130110754A KR20130110754A KR101381343B1 KR 101381343 B1 KR101381343 B1 KR 101381343B1 KR 1020130110754 A KR1020130110754 A KR 1020130110754A KR 20130110754 A KR20130110754 A KR 20130110754A KR 101381343 B1 KR101381343 B1 KR 101381343B1
Authority
KR
South Korea
Prior art keywords
face
masking
image
face area
video
Prior art date
Application number
KR1020130110754A
Other languages
English (en)
Inventor
홍승권
Original Assignee
주식회사 코어셀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코어셀 filed Critical 주식회사 코어셀
Priority to KR1020130110754A priority Critical patent/KR101381343B1/ko
Application granted granted Critical
Publication of KR101381343B1 publication Critical patent/KR101381343B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법에 관한 것으로서, 보다 상세하게는 블랙박스 또는 CCTV 등과 같은 영상처리기기에 녹화된 영상물을 발췌 내지 이동 저장할 경우, 일반 재생 프로그램에서 재생이 불가능한 보안성 있는 특수 확장자명으로 전환되어 저장되게 하여 무단 유포 등에 기인한 개인 프라이버시 침해 문제를 미연에 방지함과 아울러, 얼굴인식기반의 얼굴영역 추적 툴을 이용하여 영상물에 포함된 얼굴영역을 추적 내지 인식하게 하고, 그 인식된 2D 상태의 얼굴영역에 대응하는 스킨 레이어에 3D 타입으로 마스킹 처리함으로써 원본 변형/훼손 없이 얼굴영역만 마스킹 처리된 영상물을 시청 또는 다운로드 받을 수 있도록 해 주고, 나아가 증거자료 또는 범인색출 등을 위해 특정 구간 또는 인물에 대한 마스킹 해제가 필요할 경우, 해당 구간 또는 인물의 얼굴영역에 대하여 스킨 레이어에서 3D 타입으로 마스킹 처리된 것을 마스킹 해제하여 시청 또는 다운로드 받을 수 있도록 해 주는 영상물 마스킹 방법에 관한 것이다.

Description

얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법{The method for appling the masking for the protection of privacy to the face area detected by using face recognition technology}
본 발명은 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법에 관한 것으로서, 보다 상세하게는 블랙박스 또는 CCTV 등과 같은 영상처리기기에 녹화된 영상물을 발췌 내지 이동 저장할 경우, 일반 재생 프로그램에서 재생이 불가능한 보안성 있는 특수 확장자명으로 전환되어 저장되게 하여 무단 유포 등에 기인한 개인 프라이버시 침해 문제를 미연에 방지함과 아울러, 얼굴인식기반의 얼굴영역 추적 툴을 이용하여 영상물에 포함된 얼굴영역을 추적 내지 인식하게 하고, 그 인식된 2D 상태의 얼굴영역에 대응하는 스킨 레이어에 3D 타입으로 마스킹 처리함으로써 원본 변형/훼손 없이 얼굴영역만 마스킹 처리된 영상물을 시청 또는 다운로드 받을 수 있도록 해 주고, 나아가 증거자료 또는 범인색출 등을 위해 특정 구간 또는 인물에 대한 마스킹 해제가 필요할 경우, 해당 구간 또는 인물의 얼굴영역에 대하여 스킨 레이어에서 3D 타입으로 마스킹 처리된 것을 마스킹 해제하여 시청 또는 다운로드 받을 수 있도록 해 주는 영상물 마스킹 방법에 관한 것이다.
현재 블랙박스 또는 CCTV에서 녹화된 영상물이 그대로 유포될 경우 사람 얼굴 등과 같이 개인 프라이버시와 관련된 정보가 그대로 노출됨으로 인한 프라이버시 침해 문제가 사회적으로 이슈가 되고 있다.
특히, 최근들어 블랙박스가 대부분의 차량에 급속히 장착/보급되고 있는 실정이며 택시의 경우 법제로 블랙박스 설치가 의무화되고 있고, 나아가 범죄예방을 위하여 모든 건물 내부는 물론 도로에까지도 CCTV 설치 대수는 기하급수적으로 증대되고 있다.
이와 같은 추세는 블랙박스 또는 CCTV 등의 설치로 교통사고 또는 범죄 발생시 증거자료 등으로 유용하게 활용할 수 있는 장점 때문일 것이다. 그러나, 엄밀히 블랙박스 또는 CCTV에서 촬영되는 영상물은 촬영되는 대상 인물의 사전 동의없이 광범위하게 촬영되고 있는 실정이기에, 최근들어 불특정 다수를 대상으로 촬영되는 영상물이 개인 프라이버시와 관련된 얼굴영역을 그대로 노출시켜 개개인의 프라이버시를 침해하는 문제가 제기되고 있다.
한편, 이와 같이 촬영된 영상물은 별도의 영상보안 및 유출방지 장치가 없기에, 촬영한 사람에 의해 인터넷 등을 통하여 무단으로 유포되어 특정 개인의 명예와 인격을 침해하는 사회적 문제로 대두되고 있다.
이와 같은 문제를 해결하기 위한 종래 방법으로는, 블랙박스 또는 CCTV에서 영상을 전송하기 전에 영상에서 사전 설정된 특정 영역을 가린 후 전송하는 방법이 일반적이다. 이러한 방법을 프라이버시 마스킹(privacy masking)이라고 하며, 이렇게 전송된 영상을 경찰서 또는 보안 관제 센터 등에서 재생 시 프라이버시에 민감한 정보가 가려지도록 함으로써 프라이버시 침해 문제가 해결될 수 있도록 하고 있다.
그러나, 최근의 비디오 인코딩(video encoding) 표준을 이용하여 인코딩된 영상을 마스킹할 경우에 프라이버시 정보를 숨길 수 있지만, 그 외의 영상 정보도 훼손되는 문제가 있다. 즉, 현재 사용 중인 카메라에는 비디오 코덱(video codec)이 이미 포함되어 있어서 이미 설치된 코덱에 마스킹 기능을 추가하기 어렵고, 코덱별로 마스킹 기능을 각각 추가하는 것도 현실적으로 불가능하기 때문에 인코딩되어 나온 비트스트림(bit stream)에 마스킹을 적용하게 된다. 하지만, 최신 비디오 인코딩 표준인 H.264 또는 MPEG4로 인코딩된 비트스트림에서는 마스킹 영역에 해당하는 일부만을 변경하더라도 디코딩(decoding)을 하면 선택한 영역 외의 영상도 왜곡되는 문제가 발생한다. 이는 최근의 비디오 코덱이 압축률을 높이기 위해서 데이터 각각을 독립적으로 인코딩하지 않고 상호 참조하도록 하여 인코딩하기 때문이다. 또한, 영상 전체를 암호화하지 않고 프라이버시에 민감한 부분만 마스킹하는 이유는 개인 프라이버시를 보호하면서 프라이버시에 민감하지 않은 영상 정보는 활용할 수 있도록 한 것인데, 의도하지 않은 영역의 영상이 깨져 보인다면 마스킹 본래의 목적에 부합하지 않게 된다.
이에, 본 발명자는 얼굴인식 기반의 동영상물 얼굴영역 추적 툴을 개발함과 동시에, 그러한 얼굴영역 추적 툴을 활용하여 얼굴인식기반의 얼굴영역 추적 툴을 이용하여 영상물에 포함된 얼굴영역을 추적 내지 인식하게 하고, 그 인식된 2D 상태의 얼굴영역에 대응하는 스킨 레이어에 3D 타입으로 마스킹 처리함으로써 원본 변형/훼손 없이 얼굴영역만 마스킹 처리된 영상물을 시청 또는 다운로드 받을 수 있도록 해 주고, 나아가 증거자료 또는 범인색출 등을 위해 특정 구간 또는 인물에 대한 마스킹 해제가 필요할 경우, 해당 구간 또는 인물의 얼굴영역에 대하여 스킨 레이어에서 3D 타입으로 마스킹 처리된 것을 마스킹 해제하여 시청 또는 다운로드 받을 수 있도록 해 주는 영상물 마스킹 방법을 개발하기에 이르른 것이다.
-공개특허 10-2005-0048781 -등록특허 10-1215948
본 발명의 목적은 상기와 같은 종래의 문제점을 해소시키기 위한 것으로서, 얼굴인식 기반의 동영상물 얼굴영역 추적 툴을 활용하여 영상물에 포함된 얼굴영역을 추적 내지 인식하게 하고, 그 인식된 2D 상태의 얼굴영역에 대응하는 스킨 레이어에 3D 타입으로 마스킹 처리함으로써 원본 변형/훼손 없이 얼굴영역만 마스킹 처리된 영상물을 시청 또는 다운로드 받을 수 있도록 해 주는 영상물 마스킹 방법을 제공하는 것에 있다.
또한, 본 발명의 목적은 증거자료 또는 범인색출 등을 위해 특정 구간 또는 인물에 대한 마스킹 해제가 필요할 경우, 해당 구간 또는 인물의 얼굴영역에 대하여 스킨 레이어에서 3D 타입으로 마스킹 처리된 것을 마스킹 해제하여 시청 또는 다운로드 받을 수 있도록 함으로써, 촬영된 영상물을 증거자료 또는 범인색출 등에 활용할 수 있도록 해 주는 것에 있다.
한편, 본 발명의 목적은 블랙박스 또는 CCTV 등과 같은 영상처리기기에 녹화된 영상물을 발췌 내지 이동 저장할 경우, 일반 재생 프로그램에서 재생이 불가능한 보안성 있는 특수 확장자명으로 전환되어 저장되게 하여 무단 유포 등에 기인한 개인 프라이버시 침해 문제를 미연에 방지하는 것에 있다.
나아가, 본 발명의 목적은 특정 코덱으로 촬영된 영상물에서 얼굴영역 추적 툴에 의해 얼굴영역으로 인식된 2D 영역에 대응하는 스킨 레이어(Skin Layer) 상단에서 3D 타입으로 마스킹 처리함으로써, 얼굴영역 이외의 영상정보의 왜곡, 변형, 손상 없이 마스킹 처리를 할 수 있고, 나아가 스킨 레이어에 3D 타입으로 처리된 마스킹을 해제함으로써 원본 영상물의 훼손 없이 마스킹을 해제할 수 있도록 하는 것에 있다.
상기와 같은 목적을 달성하기 위하여 본 발명은, 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법에 있어서, 영상처리기기로부터 발췌 내지 이동 저장됨과 동시에, 일반 재생 프로그램에서 재생이 불가능한 보안성 있는 특수 확장자명으로 전환되어 저장되게 하는 단계; 영상처리기기로부터 발췌 내지 저장된 영상물 파일이 마스킹 서비스 제공 서버에 업로드되게 하는 단계; 상기 서버에 구비된 얼굴인식기반의 얼굴영역 추적 툴에 의해 상기 업로드된 영상물로부터 얼굴영역을 추적하게 하는 단계; 상기 얼굴영역 추적 툴에 의해 얼굴영역으로 인식된 해당 얼굴영역을 마스킹 처리하여 얼굴영역만 마스킹된 영상물로 처리하는 단계; 및 상기 얼굴영역만 마스킹된 영상물을 시청 또는 다운로드 받을 수 있도록 하는 단계를 포함하도록 구성된다.
바람직하게는, 상기 얼굴영역 추적 툴은, 얼굴영역 인식의 최소범위를 픽셀 사이즈로 특정한 상태에서, 촬영된 영상물에서 영상의 사이즈에 맞추어 픽셀 단위로 횡으로 이동하면서 얼굴영역을 인식하기 위한 활동을 전개하는 단계 A; A 단계를 지속적으로 반복하면서 상기 특정 픽셀 사이즈에 얼굴영역이 검출이 안될 경우, 픽셀 사이즈를 점진적으로 증가시키면서 얼굴영역 추적 동작을 반복하게 하는 단계 B; 및 상기 단계 B에서 얼굴영역으로 인식된 해당 얼굴영역의 픽셀 위치 정보를 제공하는 단계 C를 포함하도록 구성된다.
보다 바람직하게는, 상기 A 단계에서 상기 얼굴영역 인식의 최소 범위를 30×30 픽셀 사이즈로 특정하고, 상기 B 단계에서 30×30 픽셀 사이즈에서 얼굴영역이 검출되지 않을 경우, 31×31 픽셀 사이즈, 32×32 픽셀 사이즈로 증가시켜가면서 얼굴 추적 동작을 반복 진행하도록 구성된다.
가장 바람직하게는, 상기 해당 얼굴영역을 마스킹 처리하는 방법은 얼굴영역으로 인식된 2D 영역에 대응하는 스킨 레이어(Skin Layer) 상단에서 3D 타입으로 마스킹 처리되게 함으로써, 원본 영상물의 왜곡, 변형, 손상 없이 마스킹 처리를 하는 것을 특징으로 한다.
바람직하게는, 영상물의 특정 구간 또는 특정 인물의 얼굴에 대한 마스킹 해제 요청이 있을 경우, 상기 영상물에서 마스킹 해제 요청된 구간 또는 인물의 얼굴영역을 식별하고, 해당 얼굴영역에 대하여 스킨 레이어에서 3D 타입으로 마스킹 처리된 것을 마스킹 해제하고, 상기 마스킹 해제 처리된 영상물을 시청 또는 다운로드받을 수 있도록 한다.
보다 바람직하게는, 상기 얼굴영역만 마스킹된 영상물 또는 마스킹 해제 처리된 영상물은 일반 재생 프로그램에서도 실행될 수 있는 확장자명으로 전환되어 저장되게 한다.
본 발명에 의하면, 다음과 같은 효과를 가진다.
첫째, 얼굴인식 기반의 동영상물 얼굴영역 추적 툴을 활용하여 영상물에 포함된 얼굴영역을 추적 내지 인식하게 하고, 그 인식된 2D 상태의 얼굴영역에 대응하는 스킨 레이어에 3D 타입으로 마스킹 처리함으로써 원본 변형/훼손 없이 얼굴영역만 마스킹 처리된 영상물을 시청 또는 다운로드 받을 수 있는 장점이 있다.
둘째, 증거자료 또는 범인색출 등을 위해 특정 구간 또는 인물에 대한 마스킹 해제가 필요할 경우, 해당 구간 또는 인물의 얼굴영역에 대하여 스킨 레이어에서 3D 타입으로 마스킹 처리된 것을 마스킹 해제하여 시청 또는 다운로드 받을 수 있도록 함으로써, 촬영된 영상물을 증거자료 또는 범인색출 등에 활용할 수 있는 효과가 있다.
세째, 블랙박스 또는 CCTV 등과 같은 영상처리기기에 녹화된 영상물을 발췌 내지 이동 저장할 경우, 일반 재생 프로그램에서 재생이 불가능한 보안성 있는 특수 확장자명으로 전환되어 저장되게 하여 무단 유포 등에 기인한 개인 프라이버시 침해 문제를 미연에 방지하는 효과가 있다.
네째, 특정 코덱으로 촬영된 영상물에서 얼굴영역 추적 툴에 의해 얼굴영역으로 인식된 2D 영역에 대응하는 스킨 레이어(Skin Layer) 상단에서 3D 타입으로 마스킹 처리함으로써, 얼굴영역 이외의 영상정보의 왜곡, 변형, 손상 없이 마스킹 처리를 할 수 있고, 나아가 스킨 레이어에 3D 타입으로 처리된 마스킹을 해제함으로써 원본 영상물의 훼손 없이 마스킹을 해제할 수 있는 이점이 있다.
도 1 및 도 2는 본 발명에 따라 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법에 대한 구성도 및 흐름도이다.
도 3은 얼굴인식기술을 이용하여 촬영된 영상물의 얼굴영역을 검출한 상태를 표시해 주는 화면예시도이다.
도 4는 본 발명에 따른 마스킹 제공 방법에 의해 얼굴영역이 마스킹 처리된 상태를 표시해 주는 화면예시도이다.
도 5는 본 발명에 따라 특정 인물에 대하여 마스킹 해제 처리된 상태를 표시해 주는 화면예시도이다.
이하, 본 발명의 바람직한 실시 예를 도면을 참조하여 보다 상세히 설명한다.
도 1 및 도 2는 본 발명에 따라 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법에 대한 구성도 및 흐름도이다.
도 1 및 도 2에 도시된 바와 같이, 본 발명은 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법에 관한 것으로서, 본 발명에 따른 방법은 블랙박스 또는 CCTV 등과 같은 영상처리기기로부터 발췌 내지 이동 저장됨과 동시에, 일반 재생 프로그램에서 재생이 불가능한 보안성 있는 특수 확장자명으로 전환되어 저장되게 하는 단계, 영상처리기기로부터 발췌 내지 저장된 영상물 파일이 마스킹 서비스 제공 서버에 업로드되게 하는 단계, 상기 서버에 구비된 얼굴인식기반의 얼굴영역 추적 툴에 의해 상기 업로드된 영상물로부터 얼굴영역을 추적하게 하는 단계, 상기 얼굴영역 추적 툴에 의해 얼굴영역으로 인식된 해당 얼굴영역을 마스킹 처리하여 얼굴영역만 마스킹된 영상물로 처리하는 단계 및 상기 얼굴영역만 마스킹된 영상물을 시청 또는 다운로드 받을 수 있도록 하는 단계로 이루어진다.
먼저, 본 발명에 따른 방법은 CCTV, 블랙박스 등과 같은 영상물을 녹화할 수 있는 영상처리기기로부터 촬영된 영상물이 발췌 내지 이동 저장됨과 동시에, 일반 재생 프로그램에서 재생이 불가능한 보안성 있는 특수 확장자명으로 전환되어 저장되게 된다. 이는 촬영된 영상물이 무단으로 유포되어 해당 영상물에 포함된 불특정 개인의 프라이버시가 침해되는 것을 미연에 방지하기 위함이다.
그 다음, 영상처리기기로부터 발췌 내지 이동 저장된 영상물 파일이 마스킹 서비스 제공 서버에 업로드되게 한다. 예컨대, 본 발명에 따른 마스킹 서비스를 제공하는 웹 사이트에 로그인한 상태에서, 해당 서버로 마스킹 서비스 요청과 함께 영상물 파일이 업로드되게 한다. 이 경우, 선택적으로 상기 특수 확장자명은 업로드와 동시에 서버측의 얼굴영역 추적 툴이 재생 및/또는 분석할 수 있는 형태의 확장자명으로 변환되게 할 수 있다.
그 다음, 상기 서버에 구비된 얼굴인식기반의 얼굴영역 추적 툴에 의해 상기 업로드된 영상물로부터 얼굴영역을 추적하게 되는데, 도 3은 불특정 다수 인물을 촬영한 영상물로부터 얼굴영역을 검출한 상태를 나타낸다.
이와 같은 얼굴영역 추적 툴은 얼굴영역 인식의 최소범위를 픽셀 사이즈로 특정한 상태에서, 촬영된 영상물에서 영상의 사이즈에 맞추어 픽셀 단위로 횡으로 이동하면서 얼굴영역을 인식하기 위한 활동을 전개하는 단계 A, 상기 A 단계를 지속적으로 반복하면서 상기 특정 픽셀 사이즈에 얼굴영역이 검출이 안될 경우, 픽셀 사이즈를 점진적으로 증가시키면서 얼굴영역 추적 동작을 반복하게 하는 단계 B, 및 상기 단계 B에서 얼굴영역으로 인식된 해당 얼굴영역의 픽셀 위치 정보를 제공하는 단계 C로 이루어진다. 바람직하게는, 상기 A 단계에서 상기 얼굴영역 인식의 최소 범위를 30×30 픽셀 사이즈로 특정하고, 상기 B 단계에서 30×30 픽셀 사이즈에서 얼굴영역이 검출되지 않을 경우, 31×31 픽셀 사이즈, 32×32 픽셀 사이즈로 증가시켜가면서 얼굴 검출 동작을 반복 진행한다.
그 다음, 상기 얼굴영역 추적 툴에 의해 얼굴영역으로 인식된 해당 얼굴영을 마스킹 처리하여 얼굴영역만 마스킹된 영상물로 처리한다. 이 경우, 얼굴영역으로 인식된 2D 영역에 대응하는 스킨 레이어(Skin Layer) 상단에서 3D 타입으로 마스킹 처리되게 함으로써, 원래의 영상물의 왜곡, 변형, 손상 없이 마스킹 처리를 할 수 있다. 예컨대 도 4와 같이 영상물에 포함된 모든 인물의 얼굴영역을 추적하여 마스킹 처리하게 된다.
그 다음, 상기 얼굴영역만 마스킹된 영상물을 시청 또는 다운로드 받을 수 있도록 한다. 이 경우, 마스킹된 영상물은 이미 얼굴영역이 모두 마스킹 처리되어 있기에, 일반 재생 프로그램에 의해서도 실행될 수 있는 확장자명으로 전환되어 저장되게 하고, 그렇게 저장된 파일을 별도로 다운로드 받을 수 있도록 한다.
한편, 증거자료로 활용 또는 범인 식별/색출을 위한 인물 확인 등이 필요한 경우, 촬영된 영상물의 특정 구간 또는 특정 인물의 마스킹 해제가 가능하도록 구성할 수 있는데, 이와 같이 마스킹 처리된 영상물의 특정 구간 또는 특정 인물의 얼굴에 대한 마스킹 해제 요청이 있을 경우, 상기 영상물에서 마스킹 해제 요청된 구간 또는 인물의 얼굴영역을 식별하고, 해당 얼굴영역에 대하여 스킨 레이어에서 3D 타입으로 마스킹 처리된 것을 마스킹 해제하고, 상기 마스킹 해제 처리된 영상물을 시청 또는 다운로드받을 수 있도록 한다. 예컨대, 도 5에 표시되는 바와 같이 특정 인물에 대해서만 선택적으로 마스킹 해제 처리를 할 수 있다. 이 경우에도 증거자료로의 활용 등을 위하여 일반 재생 프로그램에 의해서도 실행될 수 있는 확장자명으로 전환되어 저장될 수 있도록 한다.
본 발명은 상기에서 도면을 참조하여 특정 실시 예에 관련하여 상세히 설명하였지만 본 발명은 이와 같은 특정 구조에 한정되는 것은 아니다. 당 업계의 통상의 지식을 가진 자라면 이하의 특허청구범위에 기재된 본 발명의 기술 사상 및 권리범위를 벗어나지 않고서도 본 발명을 다양하게 수정 또는 변경시킬 수 있을 것이다. 따라서, 당업자들이 본 발명을 통해서 쉽게 구현할 수 있는 단순한 설계적인 수정 또는 변형 구조, 또는 프로그램상의 작동 순서 변경등은 모두 명백하게 본 발명의 권리범위 내에 속하게 됨을 미리 밝혀 두고자 한다.

Claims (6)

  1. 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법에 있어서,
    영상처리기기로부터 발췌 내지 이동 저장됨과 동시에, 일반 재생 프로그램에서 재생이 불가능한 보안성 있는 특수 확장자명으로 전환되어 저장되게 하는 단계;
    영상처리기기로부터 발췌 내지 저장된 영상물 파일이 마스킹 서비스 제공 서버에 업로드되게 하는 단계;
    상기 서버에 구비된 얼굴인식기반의 얼굴영역 추적 툴에 의해 상기 업로드된 영상물로부터 얼굴영역을 추적하게 하는 단계;
    상기 얼굴영역 추적 툴에 의해 얼굴영역으로 인식된 해당 얼굴영역을 마스킹 처리하여 얼굴영역만 마스킹된 영상물로 처리하는 단계; 및
    상기 얼굴영역만 마스킹된 영상물을 시청 또는 다운로드 받을 수 있도록 하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서, 상기 얼굴영역 추적 툴은,
    얼굴영역 인식의 범위를 픽셀 사이즈로 특정한 상태에서, 촬영된 영상물에서 영상의 사이즈에 맞추어 픽셀 단위로 횡으로 이동하면서 얼굴영역을 인식하기 위한 활동을 전개하는 단계 A;
    A 단계를 지속적으로 반복하면서 상기 특정 픽셀 사이즈에 얼굴영역이 검출이 안될 경우, 픽셀 사이즈를 점진적으로 증가시키면서 얼굴영역 추적 동작을 반복하게 하는 단계 B; 및
    상기 단계 B에서 얼굴영역으로 인식된 해당 얼굴영역의 픽셀 위치 정보를 제공하는 단계 C;
    를 포함하는 것을 특징으로 하는 방법.
  3. 제 2 항에 있어서, 상기 A 단계에서 상기 얼굴영역 인식의 범위를 30×30 픽셀 사이즈로 특정하고, 상기 B 단계에서 30×30 픽셀 사이즈에서 얼굴영역이 검출되지 않을 경우, 31×31 픽셀 사이즈, 32×32 픽셀 사이즈로 증가시켜가면서 얼굴 추적 동작을 반복 진행하는 것을 특징으로 하는 방법.
  4. 제 1 항에 있어서, 상기 해당 얼굴영역을 마스킹 처리하는 방법은 얼굴영역으로 인식된 2D 영역에 대응하는 스킨 레이어(Skin Layer) 상단에서 3D 타입으로 마스킹 처리되게 함으로써, 원본 영상물의 왜곡, 변형, 손상 없이 마스킹 처리를 하는 것을 특징으로 하는 방법.
  5. 제 4 항에 있어서, 영상물의 특정 구간 또는 특정 인물의 얼굴에 대한 마스킹 해제 요청이 있을 경우, 상기 영상물에서 마스킹 해제 요청된 구간 또는 인물의 얼굴영역을 식별하고, 해당 얼굴영역에 대하여 스킨 레이어에서 3D 타입으로 마스킹 처리된 것을 마스킹 해제하고, 상기 마스킹 해제 처리된 영상물을 시청 또는 다운로드받을 수 있도록 하는 것을 특징으로 하는 방법.
  6. 제 1 항 또는 제 5 항에 있어서, 상기 얼굴영역만 마스킹된 영상물 또는 마스킹 해제 처리된 영상물은 일반 재생 프로그램에서도 실행될 수 있는 확장자명으로 전환되어 저장되게 하는 것을 특징으로 하는 방법.

KR1020130110754A 2013-09-14 2013-09-14 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법 KR101381343B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130110754A KR101381343B1 (ko) 2013-09-14 2013-09-14 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130110754A KR101381343B1 (ko) 2013-09-14 2013-09-14 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법

Publications (1)

Publication Number Publication Date
KR101381343B1 true KR101381343B1 (ko) 2014-04-04

Family

ID=50656516

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130110754A KR101381343B1 (ko) 2013-09-14 2013-09-14 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법

Country Status (1)

Country Link
KR (1) KR101381343B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101859433B1 (ko) * 2017-02-14 2018-05-21 에스케이텔레콤 주식회사 영상 모자이크 처리 방법 및 이를 위한 장치
CN109064489A (zh) * 2018-07-17 2018-12-21 北京新唐思创教育科技有限公司 用于人脸追踪的方法、装置、设备和介质
KR101972428B1 (ko) 2018-10-11 2019-04-25 주식회사 사라다 개인 정보 보호를 위한 모드 설정이 가능한 영상 처리 장치 및 방법
KR20190120663A (ko) * 2018-04-16 2019-10-24 주식회사 아이에이 영상수신장치, 영상수신장치의 영상 복원 방법, 및 영상 시스템의 영상 마스킹 및 복원 방법
CN110781714A (zh) * 2018-07-30 2020-02-11 丰田自动车株式会社 图像处理装置、图像处理方法
CN113222809A (zh) * 2021-05-21 2021-08-06 支付宝(杭州)信息技术有限公司 实现隐私保护的图片处理方法及装置
KR102444070B1 (ko) * 2022-04-05 2022-09-19 윤예영 이미지 검열장치 및 그 방법
KR20230045495A (ko) * 2021-09-28 2023-04-04 주식회사 넷온 엣지 컴퓨팅 기술을 이용하여 실시간 모자이킹이 가능한 인공지능 카메라

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100134079A (ko) * 2008-03-31 2010-12-22 구글 인코포레이티드 이미지 내의 자동 얼굴 검출 및 식별 마스킹, 및 그 응용
KR20110038839A (ko) * 2009-10-09 2011-04-15 한국전자통신연구원 감시영상의 프라이버시 정보 보호 장치 및 방법
KR20110090731A (ko) * 2010-02-04 2011-08-10 한국전자통신연구원 위조 영상 판별 장치 및 그 방법
KR20120061032A (ko) * 2010-09-30 2012-06-12 애플 인크. 이미지 신호 처리 시스템에서 오디오 및 비디오 데이터를 동기화하기 위한 기술들

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100134079A (ko) * 2008-03-31 2010-12-22 구글 인코포레이티드 이미지 내의 자동 얼굴 검출 및 식별 마스킹, 및 그 응용
KR20110038839A (ko) * 2009-10-09 2011-04-15 한국전자통신연구원 감시영상의 프라이버시 정보 보호 장치 및 방법
KR20110090731A (ko) * 2010-02-04 2011-08-10 한국전자통신연구원 위조 영상 판별 장치 및 그 방법
KR20120061032A (ko) * 2010-09-30 2012-06-12 애플 인크. 이미지 신호 처리 시스템에서 오디오 및 비디오 데이터를 동기화하기 위한 기술들

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101859433B1 (ko) * 2017-02-14 2018-05-21 에스케이텔레콤 주식회사 영상 모자이크 처리 방법 및 이를 위한 장치
KR20190120663A (ko) * 2018-04-16 2019-10-24 주식회사 아이에이 영상수신장치, 영상수신장치의 영상 복원 방법, 및 영상 시스템의 영상 마스킹 및 복원 방법
KR102090696B1 (ko) * 2018-04-16 2020-04-23 주식회사 아이에이 영상수신장치, 영상수신장치의 영상 복원 방법, 및 영상 시스템의 영상 마스킹 및 복원 방법
CN109064489A (zh) * 2018-07-17 2018-12-21 北京新唐思创教育科技有限公司 用于人脸追踪的方法、装置、设备和介质
CN110781714A (zh) * 2018-07-30 2020-02-11 丰田自动车株式会社 图像处理装置、图像处理方法
CN110781714B (zh) * 2018-07-30 2023-08-18 丰田自动车株式会社 图像处理装置、图像处理方法
KR101972428B1 (ko) 2018-10-11 2019-04-25 주식회사 사라다 개인 정보 보호를 위한 모드 설정이 가능한 영상 처리 장치 및 방법
CN113222809A (zh) * 2021-05-21 2021-08-06 支付宝(杭州)信息技术有限公司 实现隐私保护的图片处理方法及装置
KR20230045495A (ko) * 2021-09-28 2023-04-04 주식회사 넷온 엣지 컴퓨팅 기술을 이용하여 실시간 모자이킹이 가능한 인공지능 카메라
KR102568495B1 (ko) * 2021-09-28 2023-08-22 주식회사 넷온 엣지 컴퓨팅 기술을 이용하여 실시간 모자이킹이 가능한 인공지능 카메라
KR102444070B1 (ko) * 2022-04-05 2022-09-19 윤예영 이미지 검열장치 및 그 방법

Similar Documents

Publication Publication Date Title
KR101381343B1 (ko) 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법
US8929545B2 (en) Surveillance video transmission apparatus and method and surveillance video receiving apparatus and method
KR101641646B1 (ko) 동영상 마스킹 처리방법 및 장치
Padilla-López et al. Visual privacy protection methods: A survey
US10297126B2 (en) Privacy masking video content of alarm exceptions and mask verification
US9288451B2 (en) Image processing apparatus and image processing method
US10964182B2 (en) Methods and devices for encoding and decoding a sequence of image frames in which the privacy of an object is protected
US20170039387A1 (en) Method and system for differentiated privacy protection
US20110085035A1 (en) Apparatus and method for protecting privacy information of surveillance image
KR20130047223A (ko) 모니터링 영상 기반의 프라이버시 영역 보호 방법 및 장치
KR101626546B1 (ko) 개인정보 보호를 지원하는 영상정보 처리기기 및 방법
IL249739A (en) Secure video acquisition and verification system and method
US20210233371A1 (en) Automatic video privacy
JPWO2009013822A1 (ja) 映像監視装置および映像監視プログラム
US9928352B2 (en) System and method for creating, processing, and distributing images that serve as portals enabling communication with persons who have interacted with the images
KR101951605B1 (ko) 영상의 유출을 방지하기 위한 cctv 영상 보안 시스템
KR101648188B1 (ko) 개별 객체 프라이버시 보호를 위한 영상 처리 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
KR101621723B1 (ko) 얼굴 인식 기반 프라이버시 보호를 위한 영상 처리 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
Dufaux et al. Video surveillance using JPEG 2000
KR20140144398A (ko) Cctv영상자료 외부제공시스템 및 외부제공방법
Ruchaud et al. Privacy protecting, intelligibility preserving video surveillance
Chattopadhyay Developing an Innovative Framework for Design and Analysis of Privacy Enhancing Video Surveillance
Piatrik et al. The privacy challenges of in-depth video analytics
Kobayashi et al. Surveillance camera system to achieve privacy protection and crime prevention
Gulzar et al. Surveillance privacy protection

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170616

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee