KR101381343B1 - 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법 - Google Patents
얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법 Download PDFInfo
- Publication number
- KR101381343B1 KR101381343B1 KR1020130110754A KR20130110754A KR101381343B1 KR 101381343 B1 KR101381343 B1 KR 101381343B1 KR 1020130110754 A KR1020130110754 A KR 1020130110754A KR 20130110754 A KR20130110754 A KR 20130110754A KR 101381343 B1 KR101381343 B1 KR 101381343B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- masking
- image
- face area
- video
- Prior art date
Links
- 230000000873 masking effect Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000000694 effects Effects 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 abstract description 3
- 230000004048 modification Effects 0.000 abstract description 3
- 230000009545 invasion Effects 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/10—Selection of transformation methods according to the characteristics of the input images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
본 발명은 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법에 관한 것으로서, 보다 상세하게는 블랙박스 또는 CCTV 등과 같은 영상처리기기에 녹화된 영상물을 발췌 내지 이동 저장할 경우, 일반 재생 프로그램에서 재생이 불가능한 보안성 있는 특수 확장자명으로 전환되어 저장되게 하여 무단 유포 등에 기인한 개인 프라이버시 침해 문제를 미연에 방지함과 아울러, 얼굴인식기반의 얼굴영역 추적 툴을 이용하여 영상물에 포함된 얼굴영역을 추적 내지 인식하게 하고, 그 인식된 2D 상태의 얼굴영역에 대응하는 스킨 레이어에 3D 타입으로 마스킹 처리함으로써 원본 변형/훼손 없이 얼굴영역만 마스킹 처리된 영상물을 시청 또는 다운로드 받을 수 있도록 해 주고, 나아가 증거자료 또는 범인색출 등을 위해 특정 구간 또는 인물에 대한 마스킹 해제가 필요할 경우, 해당 구간 또는 인물의 얼굴영역에 대하여 스킨 레이어에서 3D 타입으로 마스킹 처리된 것을 마스킹 해제하여 시청 또는 다운로드 받을 수 있도록 해 주는 영상물 마스킹 방법에 관한 것이다.
Description
본 발명은 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법에 관한 것으로서, 보다 상세하게는 블랙박스 또는 CCTV 등과 같은 영상처리기기에 녹화된 영상물을 발췌 내지 이동 저장할 경우, 일반 재생 프로그램에서 재생이 불가능한 보안성 있는 특수 확장자명으로 전환되어 저장되게 하여 무단 유포 등에 기인한 개인 프라이버시 침해 문제를 미연에 방지함과 아울러, 얼굴인식기반의 얼굴영역 추적 툴을 이용하여 영상물에 포함된 얼굴영역을 추적 내지 인식하게 하고, 그 인식된 2D 상태의 얼굴영역에 대응하는 스킨 레이어에 3D 타입으로 마스킹 처리함으로써 원본 변형/훼손 없이 얼굴영역만 마스킹 처리된 영상물을 시청 또는 다운로드 받을 수 있도록 해 주고, 나아가 증거자료 또는 범인색출 등을 위해 특정 구간 또는 인물에 대한 마스킹 해제가 필요할 경우, 해당 구간 또는 인물의 얼굴영역에 대하여 스킨 레이어에서 3D 타입으로 마스킹 처리된 것을 마스킹 해제하여 시청 또는 다운로드 받을 수 있도록 해 주는 영상물 마스킹 방법에 관한 것이다.
현재 블랙박스 또는 CCTV에서 녹화된 영상물이 그대로 유포될 경우 사람 얼굴 등과 같이 개인 프라이버시와 관련된 정보가 그대로 노출됨으로 인한 프라이버시 침해 문제가 사회적으로 이슈가 되고 있다.
특히, 최근들어 블랙박스가 대부분의 차량에 급속히 장착/보급되고 있는 실정이며 택시의 경우 법제로 블랙박스 설치가 의무화되고 있고, 나아가 범죄예방을 위하여 모든 건물 내부는 물론 도로에까지도 CCTV 설치 대수는 기하급수적으로 증대되고 있다.
이와 같은 추세는 블랙박스 또는 CCTV 등의 설치로 교통사고 또는 범죄 발생시 증거자료 등으로 유용하게 활용할 수 있는 장점 때문일 것이다. 그러나, 엄밀히 블랙박스 또는 CCTV에서 촬영되는 영상물은 촬영되는 대상 인물의 사전 동의없이 광범위하게 촬영되고 있는 실정이기에, 최근들어 불특정 다수를 대상으로 촬영되는 영상물이 개인 프라이버시와 관련된 얼굴영역을 그대로 노출시켜 개개인의 프라이버시를 침해하는 문제가 제기되고 있다.
한편, 이와 같이 촬영된 영상물은 별도의 영상보안 및 유출방지 장치가 없기에, 촬영한 사람에 의해 인터넷 등을 통하여 무단으로 유포되어 특정 개인의 명예와 인격을 침해하는 사회적 문제로 대두되고 있다.
이와 같은 문제를 해결하기 위한 종래 방법으로는, 블랙박스 또는 CCTV에서 영상을 전송하기 전에 영상에서 사전 설정된 특정 영역을 가린 후 전송하는 방법이 일반적이다. 이러한 방법을 프라이버시 마스킹(privacy masking)이라고 하며, 이렇게 전송된 영상을 경찰서 또는 보안 관제 센터 등에서 재생 시 프라이버시에 민감한 정보가 가려지도록 함으로써 프라이버시 침해 문제가 해결될 수 있도록 하고 있다.
그러나, 최근의 비디오 인코딩(video encoding) 표준을 이용하여 인코딩된 영상을 마스킹할 경우에 프라이버시 정보를 숨길 수 있지만, 그 외의 영상 정보도 훼손되는 문제가 있다. 즉, 현재 사용 중인 카메라에는 비디오 코덱(video codec)이 이미 포함되어 있어서 이미 설치된 코덱에 마스킹 기능을 추가하기 어렵고, 코덱별로 마스킹 기능을 각각 추가하는 것도 현실적으로 불가능하기 때문에 인코딩되어 나온 비트스트림(bit stream)에 마스킹을 적용하게 된다. 하지만, 최신 비디오 인코딩 표준인 H.264 또는 MPEG4로 인코딩된 비트스트림에서는 마스킹 영역에 해당하는 일부만을 변경하더라도 디코딩(decoding)을 하면 선택한 영역 외의 영상도 왜곡되는 문제가 발생한다. 이는 최근의 비디오 코덱이 압축률을 높이기 위해서 데이터 각각을 독립적으로 인코딩하지 않고 상호 참조하도록 하여 인코딩하기 때문이다. 또한, 영상 전체를 암호화하지 않고 프라이버시에 민감한 부분만 마스킹하는 이유는 개인 프라이버시를 보호하면서 프라이버시에 민감하지 않은 영상 정보는 활용할 수 있도록 한 것인데, 의도하지 않은 영역의 영상이 깨져 보인다면 마스킹 본래의 목적에 부합하지 않게 된다.
이에, 본 발명자는 얼굴인식 기반의 동영상물 얼굴영역 추적 툴을 개발함과 동시에, 그러한 얼굴영역 추적 툴을 활용하여 얼굴인식기반의 얼굴영역 추적 툴을 이용하여 영상물에 포함된 얼굴영역을 추적 내지 인식하게 하고, 그 인식된 2D 상태의 얼굴영역에 대응하는 스킨 레이어에 3D 타입으로 마스킹 처리함으로써 원본 변형/훼손 없이 얼굴영역만 마스킹 처리된 영상물을 시청 또는 다운로드 받을 수 있도록 해 주고, 나아가 증거자료 또는 범인색출 등을 위해 특정 구간 또는 인물에 대한 마스킹 해제가 필요할 경우, 해당 구간 또는 인물의 얼굴영역에 대하여 스킨 레이어에서 3D 타입으로 마스킹 처리된 것을 마스킹 해제하여 시청 또는 다운로드 받을 수 있도록 해 주는 영상물 마스킹 방법을 개발하기에 이르른 것이다.
본 발명의 목적은 상기와 같은 종래의 문제점을 해소시키기 위한 것으로서, 얼굴인식 기반의 동영상물 얼굴영역 추적 툴을 활용하여 영상물에 포함된 얼굴영역을 추적 내지 인식하게 하고, 그 인식된 2D 상태의 얼굴영역에 대응하는 스킨 레이어에 3D 타입으로 마스킹 처리함으로써 원본 변형/훼손 없이 얼굴영역만 마스킹 처리된 영상물을 시청 또는 다운로드 받을 수 있도록 해 주는 영상물 마스킹 방법을 제공하는 것에 있다.
또한, 본 발명의 목적은 증거자료 또는 범인색출 등을 위해 특정 구간 또는 인물에 대한 마스킹 해제가 필요할 경우, 해당 구간 또는 인물의 얼굴영역에 대하여 스킨 레이어에서 3D 타입으로 마스킹 처리된 것을 마스킹 해제하여 시청 또는 다운로드 받을 수 있도록 함으로써, 촬영된 영상물을 증거자료 또는 범인색출 등에 활용할 수 있도록 해 주는 것에 있다.
한편, 본 발명의 목적은 블랙박스 또는 CCTV 등과 같은 영상처리기기에 녹화된 영상물을 발췌 내지 이동 저장할 경우, 일반 재생 프로그램에서 재생이 불가능한 보안성 있는 특수 확장자명으로 전환되어 저장되게 하여 무단 유포 등에 기인한 개인 프라이버시 침해 문제를 미연에 방지하는 것에 있다.
나아가, 본 발명의 목적은 특정 코덱으로 촬영된 영상물에서 얼굴영역 추적 툴에 의해 얼굴영역으로 인식된 2D 영역에 대응하는 스킨 레이어(Skin Layer) 상단에서 3D 타입으로 마스킹 처리함으로써, 얼굴영역 이외의 영상정보의 왜곡, 변형, 손상 없이 마스킹 처리를 할 수 있고, 나아가 스킨 레이어에 3D 타입으로 처리된 마스킹을 해제함으로써 원본 영상물의 훼손 없이 마스킹을 해제할 수 있도록 하는 것에 있다.
상기와 같은 목적을 달성하기 위하여 본 발명은, 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법에 있어서, 영상처리기기로부터 발췌 내지 이동 저장됨과 동시에, 일반 재생 프로그램에서 재생이 불가능한 보안성 있는 특수 확장자명으로 전환되어 저장되게 하는 단계; 영상처리기기로부터 발췌 내지 저장된 영상물 파일이 마스킹 서비스 제공 서버에 업로드되게 하는 단계; 상기 서버에 구비된 얼굴인식기반의 얼굴영역 추적 툴에 의해 상기 업로드된 영상물로부터 얼굴영역을 추적하게 하는 단계; 상기 얼굴영역 추적 툴에 의해 얼굴영역으로 인식된 해당 얼굴영역을 마스킹 처리하여 얼굴영역만 마스킹된 영상물로 처리하는 단계; 및 상기 얼굴영역만 마스킹된 영상물을 시청 또는 다운로드 받을 수 있도록 하는 단계를 포함하도록 구성된다.
바람직하게는, 상기 얼굴영역 추적 툴은, 얼굴영역 인식의 최소범위를 픽셀 사이즈로 특정한 상태에서, 촬영된 영상물에서 영상의 사이즈에 맞추어 픽셀 단위로 횡으로 이동하면서 얼굴영역을 인식하기 위한 활동을 전개하는 단계 A; A 단계를 지속적으로 반복하면서 상기 특정 픽셀 사이즈에 얼굴영역이 검출이 안될 경우, 픽셀 사이즈를 점진적으로 증가시키면서 얼굴영역 추적 동작을 반복하게 하는 단계 B; 및 상기 단계 B에서 얼굴영역으로 인식된 해당 얼굴영역의 픽셀 위치 정보를 제공하는 단계 C를 포함하도록 구성된다.
보다 바람직하게는, 상기 A 단계에서 상기 얼굴영역 인식의 최소 범위를 30×30 픽셀 사이즈로 특정하고, 상기 B 단계에서 30×30 픽셀 사이즈에서 얼굴영역이 검출되지 않을 경우, 31×31 픽셀 사이즈, 32×32 픽셀 사이즈로 증가시켜가면서 얼굴 추적 동작을 반복 진행하도록 구성된다.
가장 바람직하게는, 상기 해당 얼굴영역을 마스킹 처리하는 방법은 얼굴영역으로 인식된 2D 영역에 대응하는 스킨 레이어(Skin Layer) 상단에서 3D 타입으로 마스킹 처리되게 함으로써, 원본 영상물의 왜곡, 변형, 손상 없이 마스킹 처리를 하는 것을 특징으로 한다.
바람직하게는, 영상물의 특정 구간 또는 특정 인물의 얼굴에 대한 마스킹 해제 요청이 있을 경우, 상기 영상물에서 마스킹 해제 요청된 구간 또는 인물의 얼굴영역을 식별하고, 해당 얼굴영역에 대하여 스킨 레이어에서 3D 타입으로 마스킹 처리된 것을 마스킹 해제하고, 상기 마스킹 해제 처리된 영상물을 시청 또는 다운로드받을 수 있도록 한다.
보다 바람직하게는, 상기 얼굴영역만 마스킹된 영상물 또는 마스킹 해제 처리된 영상물은 일반 재생 프로그램에서도 실행될 수 있는 확장자명으로 전환되어 저장되게 한다.
본 발명에 의하면, 다음과 같은 효과를 가진다.
첫째, 얼굴인식 기반의 동영상물 얼굴영역 추적 툴을 활용하여 영상물에 포함된 얼굴영역을 추적 내지 인식하게 하고, 그 인식된 2D 상태의 얼굴영역에 대응하는 스킨 레이어에 3D 타입으로 마스킹 처리함으로써 원본 변형/훼손 없이 얼굴영역만 마스킹 처리된 영상물을 시청 또는 다운로드 받을 수 있는 장점이 있다.
둘째, 증거자료 또는 범인색출 등을 위해 특정 구간 또는 인물에 대한 마스킹 해제가 필요할 경우, 해당 구간 또는 인물의 얼굴영역에 대하여 스킨 레이어에서 3D 타입으로 마스킹 처리된 것을 마스킹 해제하여 시청 또는 다운로드 받을 수 있도록 함으로써, 촬영된 영상물을 증거자료 또는 범인색출 등에 활용할 수 있는 효과가 있다.
세째, 블랙박스 또는 CCTV 등과 같은 영상처리기기에 녹화된 영상물을 발췌 내지 이동 저장할 경우, 일반 재생 프로그램에서 재생이 불가능한 보안성 있는 특수 확장자명으로 전환되어 저장되게 하여 무단 유포 등에 기인한 개인 프라이버시 침해 문제를 미연에 방지하는 효과가 있다.
네째, 특정 코덱으로 촬영된 영상물에서 얼굴영역 추적 툴에 의해 얼굴영역으로 인식된 2D 영역에 대응하는 스킨 레이어(Skin Layer) 상단에서 3D 타입으로 마스킹 처리함으로써, 얼굴영역 이외의 영상정보의 왜곡, 변형, 손상 없이 마스킹 처리를 할 수 있고, 나아가 스킨 레이어에 3D 타입으로 처리된 마스킹을 해제함으로써 원본 영상물의 훼손 없이 마스킹을 해제할 수 있는 이점이 있다.
도 1 및 도 2는 본 발명에 따라 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법에 대한 구성도 및 흐름도이다.
도 3은 얼굴인식기술을 이용하여 촬영된 영상물의 얼굴영역을 검출한 상태를 표시해 주는 화면예시도이다.
도 4는 본 발명에 따른 마스킹 제공 방법에 의해 얼굴영역이 마스킹 처리된 상태를 표시해 주는 화면예시도이다.
도 5는 본 발명에 따라 특정 인물에 대하여 마스킹 해제 처리된 상태를 표시해 주는 화면예시도이다.
도 3은 얼굴인식기술을 이용하여 촬영된 영상물의 얼굴영역을 검출한 상태를 표시해 주는 화면예시도이다.
도 4는 본 발명에 따른 마스킹 제공 방법에 의해 얼굴영역이 마스킹 처리된 상태를 표시해 주는 화면예시도이다.
도 5는 본 발명에 따라 특정 인물에 대하여 마스킹 해제 처리된 상태를 표시해 주는 화면예시도이다.
이하, 본 발명의 바람직한 실시 예를 도면을 참조하여 보다 상세히 설명한다.
도 1 및 도 2는 본 발명에 따라 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법에 대한 구성도 및 흐름도이다.
도 1 및 도 2에 도시된 바와 같이, 본 발명은 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법에 관한 것으로서, 본 발명에 따른 방법은 블랙박스 또는 CCTV 등과 같은 영상처리기기로부터 발췌 내지 이동 저장됨과 동시에, 일반 재생 프로그램에서 재생이 불가능한 보안성 있는 특수 확장자명으로 전환되어 저장되게 하는 단계, 영상처리기기로부터 발췌 내지 저장된 영상물 파일이 마스킹 서비스 제공 서버에 업로드되게 하는 단계, 상기 서버에 구비된 얼굴인식기반의 얼굴영역 추적 툴에 의해 상기 업로드된 영상물로부터 얼굴영역을 추적하게 하는 단계, 상기 얼굴영역 추적 툴에 의해 얼굴영역으로 인식된 해당 얼굴영역을 마스킹 처리하여 얼굴영역만 마스킹된 영상물로 처리하는 단계 및 상기 얼굴영역만 마스킹된 영상물을 시청 또는 다운로드 받을 수 있도록 하는 단계로 이루어진다.
먼저, 본 발명에 따른 방법은 CCTV, 블랙박스 등과 같은 영상물을 녹화할 수 있는 영상처리기기로부터 촬영된 영상물이 발췌 내지 이동 저장됨과 동시에, 일반 재생 프로그램에서 재생이 불가능한 보안성 있는 특수 확장자명으로 전환되어 저장되게 된다. 이는 촬영된 영상물이 무단으로 유포되어 해당 영상물에 포함된 불특정 개인의 프라이버시가 침해되는 것을 미연에 방지하기 위함이다.
그 다음, 영상처리기기로부터 발췌 내지 이동 저장된 영상물 파일이 마스킹 서비스 제공 서버에 업로드되게 한다. 예컨대, 본 발명에 따른 마스킹 서비스를 제공하는 웹 사이트에 로그인한 상태에서, 해당 서버로 마스킹 서비스 요청과 함께 영상물 파일이 업로드되게 한다. 이 경우, 선택적으로 상기 특수 확장자명은 업로드와 동시에 서버측의 얼굴영역 추적 툴이 재생 및/또는 분석할 수 있는 형태의 확장자명으로 변환되게 할 수 있다.
그 다음, 상기 서버에 구비된 얼굴인식기반의 얼굴영역 추적 툴에 의해 상기 업로드된 영상물로부터 얼굴영역을 추적하게 되는데, 도 3은 불특정 다수 인물을 촬영한 영상물로부터 얼굴영역을 검출한 상태를 나타낸다.
이와 같은 얼굴영역 추적 툴은 얼굴영역 인식의 최소범위를 픽셀 사이즈로 특정한 상태에서, 촬영된 영상물에서 영상의 사이즈에 맞추어 픽셀 단위로 횡으로 이동하면서 얼굴영역을 인식하기 위한 활동을 전개하는 단계 A, 상기 A 단계를 지속적으로 반복하면서 상기 특정 픽셀 사이즈에 얼굴영역이 검출이 안될 경우, 픽셀 사이즈를 점진적으로 증가시키면서 얼굴영역 추적 동작을 반복하게 하는 단계 B, 및 상기 단계 B에서 얼굴영역으로 인식된 해당 얼굴영역의 픽셀 위치 정보를 제공하는 단계 C로 이루어진다. 바람직하게는, 상기 A 단계에서 상기 얼굴영역 인식의 최소 범위를 30×30 픽셀 사이즈로 특정하고, 상기 B 단계에서 30×30 픽셀 사이즈에서 얼굴영역이 검출되지 않을 경우, 31×31 픽셀 사이즈, 32×32 픽셀 사이즈로 증가시켜가면서 얼굴 검출 동작을 반복 진행한다.
그 다음, 상기 얼굴영역 추적 툴에 의해 얼굴영역으로 인식된 해당 얼굴영을 마스킹 처리하여 얼굴영역만 마스킹된 영상물로 처리한다. 이 경우, 얼굴영역으로 인식된 2D 영역에 대응하는 스킨 레이어(Skin Layer) 상단에서 3D 타입으로 마스킹 처리되게 함으로써, 원래의 영상물의 왜곡, 변형, 손상 없이 마스킹 처리를 할 수 있다. 예컨대 도 4와 같이 영상물에 포함된 모든 인물의 얼굴영역을 추적하여 마스킹 처리하게 된다.
그 다음, 상기 얼굴영역만 마스킹된 영상물을 시청 또는 다운로드 받을 수 있도록 한다. 이 경우, 마스킹된 영상물은 이미 얼굴영역이 모두 마스킹 처리되어 있기에, 일반 재생 프로그램에 의해서도 실행될 수 있는 확장자명으로 전환되어 저장되게 하고, 그렇게 저장된 파일을 별도로 다운로드 받을 수 있도록 한다.
한편, 증거자료로 활용 또는 범인 식별/색출을 위한 인물 확인 등이 필요한 경우, 촬영된 영상물의 특정 구간 또는 특정 인물의 마스킹 해제가 가능하도록 구성할 수 있는데, 이와 같이 마스킹 처리된 영상물의 특정 구간 또는 특정 인물의 얼굴에 대한 마스킹 해제 요청이 있을 경우, 상기 영상물에서 마스킹 해제 요청된 구간 또는 인물의 얼굴영역을 식별하고, 해당 얼굴영역에 대하여 스킨 레이어에서 3D 타입으로 마스킹 처리된 것을 마스킹 해제하고, 상기 마스킹 해제 처리된 영상물을 시청 또는 다운로드받을 수 있도록 한다. 예컨대, 도 5에 표시되는 바와 같이 특정 인물에 대해서만 선택적으로 마스킹 해제 처리를 할 수 있다. 이 경우에도 증거자료로의 활용 등을 위하여 일반 재생 프로그램에 의해서도 실행될 수 있는 확장자명으로 전환되어 저장될 수 있도록 한다.
본 발명은 상기에서 도면을 참조하여 특정 실시 예에 관련하여 상세히 설명하였지만 본 발명은 이와 같은 특정 구조에 한정되는 것은 아니다. 당 업계의 통상의 지식을 가진 자라면 이하의 특허청구범위에 기재된 본 발명의 기술 사상 및 권리범위를 벗어나지 않고서도 본 발명을 다양하게 수정 또는 변경시킬 수 있을 것이다. 따라서, 당업자들이 본 발명을 통해서 쉽게 구현할 수 있는 단순한 설계적인 수정 또는 변형 구조, 또는 프로그램상의 작동 순서 변경등은 모두 명백하게 본 발명의 권리범위 내에 속하게 됨을 미리 밝혀 두고자 한다.
Claims (6)
- 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법에 있어서,
영상처리기기로부터 발췌 내지 이동 저장됨과 동시에, 일반 재생 프로그램에서 재생이 불가능한 보안성 있는 특수 확장자명으로 전환되어 저장되게 하는 단계;
영상처리기기로부터 발췌 내지 저장된 영상물 파일이 마스킹 서비스 제공 서버에 업로드되게 하는 단계;
상기 서버에 구비된 얼굴인식기반의 얼굴영역 추적 툴에 의해 상기 업로드된 영상물로부터 얼굴영역을 추적하게 하는 단계;
상기 얼굴영역 추적 툴에 의해 얼굴영역으로 인식된 해당 얼굴영역을 마스킹 처리하여 얼굴영역만 마스킹된 영상물로 처리하는 단계; 및
상기 얼굴영역만 마스킹된 영상물을 시청 또는 다운로드 받을 수 있도록 하는 단계;
를 포함하는 것을 특징으로 하는 방법. - 제 1 항에 있어서, 상기 얼굴영역 추적 툴은,
얼굴영역 인식의 범위를 픽셀 사이즈로 특정한 상태에서, 촬영된 영상물에서 영상의 사이즈에 맞추어 픽셀 단위로 횡으로 이동하면서 얼굴영역을 인식하기 위한 활동을 전개하는 단계 A;
A 단계를 지속적으로 반복하면서 상기 특정 픽셀 사이즈에 얼굴영역이 검출이 안될 경우, 픽셀 사이즈를 점진적으로 증가시키면서 얼굴영역 추적 동작을 반복하게 하는 단계 B; 및
상기 단계 B에서 얼굴영역으로 인식된 해당 얼굴영역의 픽셀 위치 정보를 제공하는 단계 C;
를 포함하는 것을 특징으로 하는 방법. - 제 2 항에 있어서, 상기 A 단계에서 상기 얼굴영역 인식의 범위를 30×30 픽셀 사이즈로 특정하고, 상기 B 단계에서 30×30 픽셀 사이즈에서 얼굴영역이 검출되지 않을 경우, 31×31 픽셀 사이즈, 32×32 픽셀 사이즈로 증가시켜가면서 얼굴 추적 동작을 반복 진행하는 것을 특징으로 하는 방법.
- 제 1 항에 있어서, 상기 해당 얼굴영역을 마스킹 처리하는 방법은 얼굴영역으로 인식된 2D 영역에 대응하는 스킨 레이어(Skin Layer) 상단에서 3D 타입으로 마스킹 처리되게 함으로써, 원본 영상물의 왜곡, 변형, 손상 없이 마스킹 처리를 하는 것을 특징으로 하는 방법.
- 제 4 항에 있어서, 영상물의 특정 구간 또는 특정 인물의 얼굴에 대한 마스킹 해제 요청이 있을 경우, 상기 영상물에서 마스킹 해제 요청된 구간 또는 인물의 얼굴영역을 식별하고, 해당 얼굴영역에 대하여 스킨 레이어에서 3D 타입으로 마스킹 처리된 것을 마스킹 해제하고, 상기 마스킹 해제 처리된 영상물을 시청 또는 다운로드받을 수 있도록 하는 것을 특징으로 하는 방법.
- 제 1 항 또는 제 5 항에 있어서, 상기 얼굴영역만 마스킹된 영상물 또는 마스킹 해제 처리된 영상물은 일반 재생 프로그램에서도 실행될 수 있는 확장자명으로 전환되어 저장되게 하는 것을 특징으로 하는 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130110754A KR101381343B1 (ko) | 2013-09-14 | 2013-09-14 | 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130110754A KR101381343B1 (ko) | 2013-09-14 | 2013-09-14 | 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101381343B1 true KR101381343B1 (ko) | 2014-04-04 |
Family
ID=50656516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130110754A KR101381343B1 (ko) | 2013-09-14 | 2013-09-14 | 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101381343B1 (ko) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101859433B1 (ko) * | 2017-02-14 | 2018-05-21 | 에스케이텔레콤 주식회사 | 영상 모자이크 처리 방법 및 이를 위한 장치 |
CN109064489A (zh) * | 2018-07-17 | 2018-12-21 | 北京新唐思创教育科技有限公司 | 用于人脸追踪的方法、装置、设备和介质 |
KR101972428B1 (ko) | 2018-10-11 | 2019-04-25 | 주식회사 사라다 | 개인 정보 보호를 위한 모드 설정이 가능한 영상 처리 장치 및 방법 |
KR20190120663A (ko) * | 2018-04-16 | 2019-10-24 | 주식회사 아이에이 | 영상수신장치, 영상수신장치의 영상 복원 방법, 및 영상 시스템의 영상 마스킹 및 복원 방법 |
CN110781714A (zh) * | 2018-07-30 | 2020-02-11 | 丰田自动车株式会社 | 图像处理装置、图像处理方法 |
CN113222809A (zh) * | 2021-05-21 | 2021-08-06 | 支付宝(杭州)信息技术有限公司 | 实现隐私保护的图片处理方法及装置 |
KR102444070B1 (ko) * | 2022-04-05 | 2022-09-19 | 윤예영 | 이미지 검열장치 및 그 방법 |
KR20230045495A (ko) * | 2021-09-28 | 2023-04-04 | 주식회사 넷온 | 엣지 컴퓨팅 기술을 이용하여 실시간 모자이킹이 가능한 인공지능 카메라 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100134079A (ko) * | 2008-03-31 | 2010-12-22 | 구글 인코포레이티드 | 이미지 내의 자동 얼굴 검출 및 식별 마스킹, 및 그 응용 |
KR20110038839A (ko) * | 2009-10-09 | 2011-04-15 | 한국전자통신연구원 | 감시영상의 프라이버시 정보 보호 장치 및 방법 |
KR20110090731A (ko) * | 2010-02-04 | 2011-08-10 | 한국전자통신연구원 | 위조 영상 판별 장치 및 그 방법 |
KR20120061032A (ko) * | 2010-09-30 | 2012-06-12 | 애플 인크. | 이미지 신호 처리 시스템에서 오디오 및 비디오 데이터를 동기화하기 위한 기술들 |
-
2013
- 2013-09-14 KR KR1020130110754A patent/KR101381343B1/ko not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100134079A (ko) * | 2008-03-31 | 2010-12-22 | 구글 인코포레이티드 | 이미지 내의 자동 얼굴 검출 및 식별 마스킹, 및 그 응용 |
KR20110038839A (ko) * | 2009-10-09 | 2011-04-15 | 한국전자통신연구원 | 감시영상의 프라이버시 정보 보호 장치 및 방법 |
KR20110090731A (ko) * | 2010-02-04 | 2011-08-10 | 한국전자통신연구원 | 위조 영상 판별 장치 및 그 방법 |
KR20120061032A (ko) * | 2010-09-30 | 2012-06-12 | 애플 인크. | 이미지 신호 처리 시스템에서 오디오 및 비디오 데이터를 동기화하기 위한 기술들 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101859433B1 (ko) * | 2017-02-14 | 2018-05-21 | 에스케이텔레콤 주식회사 | 영상 모자이크 처리 방법 및 이를 위한 장치 |
KR20190120663A (ko) * | 2018-04-16 | 2019-10-24 | 주식회사 아이에이 | 영상수신장치, 영상수신장치의 영상 복원 방법, 및 영상 시스템의 영상 마스킹 및 복원 방법 |
KR102090696B1 (ko) * | 2018-04-16 | 2020-04-23 | 주식회사 아이에이 | 영상수신장치, 영상수신장치의 영상 복원 방법, 및 영상 시스템의 영상 마스킹 및 복원 방법 |
CN109064489A (zh) * | 2018-07-17 | 2018-12-21 | 北京新唐思创教育科技有限公司 | 用于人脸追踪的方法、装置、设备和介质 |
CN110781714A (zh) * | 2018-07-30 | 2020-02-11 | 丰田自动车株式会社 | 图像处理装置、图像处理方法 |
CN110781714B (zh) * | 2018-07-30 | 2023-08-18 | 丰田自动车株式会社 | 图像处理装置、图像处理方法 |
KR101972428B1 (ko) | 2018-10-11 | 2019-04-25 | 주식회사 사라다 | 개인 정보 보호를 위한 모드 설정이 가능한 영상 처리 장치 및 방법 |
CN113222809A (zh) * | 2021-05-21 | 2021-08-06 | 支付宝(杭州)信息技术有限公司 | 实现隐私保护的图片处理方法及装置 |
KR20230045495A (ko) * | 2021-09-28 | 2023-04-04 | 주식회사 넷온 | 엣지 컴퓨팅 기술을 이용하여 실시간 모자이킹이 가능한 인공지능 카메라 |
KR102568495B1 (ko) * | 2021-09-28 | 2023-08-22 | 주식회사 넷온 | 엣지 컴퓨팅 기술을 이용하여 실시간 모자이킹이 가능한 인공지능 카메라 |
KR102444070B1 (ko) * | 2022-04-05 | 2022-09-19 | 윤예영 | 이미지 검열장치 및 그 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101381343B1 (ko) | 얼굴인식기술을 이용하여 영상처리기기에서 촬영된 영상물로부터 얼굴영역을 검출하여 개인 프라이버시 보호를 위한 마스킹을 제공하는 방법 | |
US8929545B2 (en) | Surveillance video transmission apparatus and method and surveillance video receiving apparatus and method | |
KR101641646B1 (ko) | 동영상 마스킹 처리방법 및 장치 | |
Padilla-López et al. | Visual privacy protection methods: A survey | |
US10297126B2 (en) | Privacy masking video content of alarm exceptions and mask verification | |
US9288451B2 (en) | Image processing apparatus and image processing method | |
US10964182B2 (en) | Methods and devices for encoding and decoding a sequence of image frames in which the privacy of an object is protected | |
US20170039387A1 (en) | Method and system for differentiated privacy protection | |
US20110085035A1 (en) | Apparatus and method for protecting privacy information of surveillance image | |
KR20130047223A (ko) | 모니터링 영상 기반의 프라이버시 영역 보호 방법 및 장치 | |
KR101626546B1 (ko) | 개인정보 보호를 지원하는 영상정보 처리기기 및 방법 | |
IL249739A (en) | Secure video acquisition and verification system and method | |
US20210233371A1 (en) | Automatic video privacy | |
JPWO2009013822A1 (ja) | 映像監視装置および映像監視プログラム | |
US9928352B2 (en) | System and method for creating, processing, and distributing images that serve as portals enabling communication with persons who have interacted with the images | |
KR101951605B1 (ko) | 영상의 유출을 방지하기 위한 cctv 영상 보안 시스템 | |
KR101648188B1 (ko) | 개별 객체 프라이버시 보호를 위한 영상 처리 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 | |
KR101621723B1 (ko) | 얼굴 인식 기반 프라이버시 보호를 위한 영상 처리 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 | |
Dufaux et al. | Video surveillance using JPEG 2000 | |
KR20140144398A (ko) | Cctv영상자료 외부제공시스템 및 외부제공방법 | |
Ruchaud et al. | Privacy protecting, intelligibility preserving video surveillance | |
Chattopadhyay | Developing an Innovative Framework for Design and Analysis of Privacy Enhancing Video Surveillance | |
Piatrik et al. | The privacy challenges of in-depth video analytics | |
Kobayashi et al. | Surveillance camera system to achieve privacy protection and crime prevention | |
Gulzar et al. | Surveillance privacy protection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170616 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |