KR101567366B1

KR101567366B1 - 얼굴을 검출하여 마스킹 하는 장치 및 방법

Info

Publication number: KR101567366B1
Application number: KR1020140078979A
Authority: KR
Inventors: 배영훈; 강도원; 조한진
Original assignee: 아이브스테크놀러지(주)
Priority date: 2014-06-26
Filing date: 2014-06-26
Publication date: 2015-11-10

Abstract

본 발명에 따른 마스킹 장치는 입력되는 영상에서 시간의 흐름에 대응하여 배경 영상을 갱신함으로써 최신 배경 영상을 생성하는 배경 영상 생성부, 현재 영상과 상기 최신 배경 영상의 변화가 기정해진 임계 값 이상인지 여부를 기반으로 영상에서 움직임 객체를 추출하는 움직임 객체 추출부, 상기 추출된 움직임 객체에 대응되는 픽셀들을 대상으로 하여 기정해진 복수개의 픽셀 조건을 만족하는지 여부를 기반으로 최종 움직임 객체를 추출하는 최종 움직임 객체 추출부 및 상기 추출된 최종 움직임 객체에서 추출된 중심점과 복수개의 특징점 간의 거리 및 기정해진 HSV(Hue Saturation Value) 판단 기준을 기반으로 상기 최종 움직임 객체에서 얼굴 영역을 검출하여 마스킹 하는 얼굴 영역 검출부를 포함한다.

Description

얼굴을 검출하여 마스킹 하는 장치 및 방법{MASKING APPARATUS AND METHOD FOR DETECTING FACE}

본 발명은, 얼굴 검출 장치 및 방법에 관한 것이다. 더욱 상세하게는 입력되는 영상에서 배경 영상과 현재 영상과의 차영상 기법을 통하여 이동된 움직임 객체를 추출하고 추출된 움직임 객체를 대상으로 기정해진 복수개의 픽셀 조건 및 HSV(Hue Saturation Value) 기준을 기반으로 사람의 얼굴을 정확하게 검출하여, 마스킹하는 장치 및 방법에 관한 것이다.

얼굴 검출 기술은 연속된 영상 스트림에서 사용자의 위치 및 존재를 검출하는 기술로서 사람 추적, 사람 신원 인식, 제스처 인식 등, 보안 감시 및 지능형 로봇 분야에서의 여러 응용기술의 개발을 위해 필수적으로 요구되는 핵심기술이다.

카메라 등으로부터 획득되는 입력 영상에서의 사람 또는 얼굴 검출의 가장 간단한 형태는 CCTV 등에서 많이 사용하는, 배경으로부터 움직이는 물체를 분리하는 배경 차영상 방법(Background substration)이다.

다만, 배경 차영상 방법은 움직이는 물체의 실루엣을 추출하기에 매우 효과적이긴 하나, 이러한 방법만으로는 움직이는 객체 중 사람의 얼굴을 정확하게 검출하는 것에 한계가 있다.

따라서, 입력되는 영상에서 배경 영상과 현재 영상과의 차영상 기법을 통하여 이동된 움직임 객체를 추출하고 추출된 움직임 객체를 대상으로 기정해진 복수개의 픽셀 조건 및 HSV(Hue Saturation Value) 기준을 기반으로 사람의 얼굴을 정확하게 검출하는 얼굴 검출 장치 및 방법이 필요한 실정이다. 관련기술로는 한국공개특허 제2014-0042024호가 존재한다.

본 발명의 목적은, 상기 문제점을 해결하기 위한 것으로, 입력되는 영상에서 이동하는 움직임 객체를 단계적으로 추출하고, 추출된 움직임 객체를 대상으로 기정해진 복수개의 픽셀 조건 및 HSV 판단기준을 적용함으로서 사람의 얼굴을 정확하게 검출하여 마스킹 하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 마스킹 장치 및 방법은, 영상에서 사람의 얼굴을 검출하는 장치에 있어서, 입력되는 영상에서 시간의 흐름에 대응하여 배경 영상을 갱신함으로써 최신 배경 영상을 생성하는 배경 영상 생성부; 현재 영상과 상기 최신 배경 영상의 변화가 기정해진 임계 값 이상인지 여부를 기반으로 영상에서 움직임 객체를 추출하는 움직임 객체 추출부; 상기 추출된 움직임 객체에 대응되는 픽셀들을 대상으로 하여 기정해진 복수개의 픽셀 조건을 만족하는지 여부를 기반으로 최종 움직임 객체를 추출하는 최종 움직임 객체 추출부; 및 상기 추출된 최종 움직임 객체에서 추출된 중심점과 복수개의 특징점 간의 거리 및 기정해진 HSV(Hue Saturation Value) 판단 기준을 기반으로 상기 최종 움직임 객체에서 얼굴 영역을 검출하여 마스킹 하는 얼굴 영역 검출부를 포함한다.

이 때, 상기 배경 영상 생성부는, 상기 입력되는 영상에서 가장 오래된 픽셀을 빼고 새로운 픽셀을 추가함으로써 배경 영상을 갱신할 수 있다.

이 때, 상기 추출된 움직임 객체에 대응되는 픽셀들은, 스레스홀드(Threshold) 된 이미지이며, 픽셀 값을 0으로 하며 움직임이 발생한 검은 픽셀; 및 픽셀 값을 1로 하며 움직임이 발생하지 않은 하얀 픽셀로 구분될 수 있다.

이 때, 상기 최종 움직임 객체 추출부는, 상기 추출된 움직임 객체에서 상기 기정해진 복수개의 픽셀 조건을 만족하는 픽셀들을 삭제함에 따라 최종 움직임 객체를 추출할 수 있다.

이 때, 상기 기정해진 복수개의 픽셀 조건은, 상기 추출된 움직임 객체에 대응되는 픽셀들 중 가운데 위치한 중심 픽셀과, 상기 중심 픽셀 주변에 위치한 주변 픽셀들 간의 연결성(Connectivity)은 1의 값을 가져야 하는 제 1 조건; 상기 주변 픽셀들 중 검은 픽셀의 개수는 2개 내지 6개이어야 하는 제 2 조건; 및 3 X 3 픽셀을 기준으로 상기 중심 픽셀 아래에 위치한 주변 픽셀들 중 적어도 하나는 하얀 픽셀이어야 하는 제 3 조건일 수 있다.

이 때, 상기 얼굴 영역 검출부는, 상기 최종 움직임 객체의 전체 영역에서 1/2에 해당되는 영역에 위치하는 중심점을 추출하는 중심점 추출부; 상기 최종 움직임 객체의 전체 영역에서 최상단에 위치하는 복수개의 최상단 좌표들, 최하단에 위치하는 최하단 좌표 및 상기 최상단 좌표에서 상기 최하단 좌표까지의 거리의 1/3에 해당되는 위치인 기준 위치를 복수개의 특징점으로 추출하는 특징점 추출부; 및 상기 복수개의 최상단 좌표들 중 상기 중심점에 가장 근접한 좌표에 대응되는 픽셀을 사람 얼굴 영역을 구성하는 얼굴 구성 픽셀로 판단하는 구성 판단부를 포함할 수 있다.

이 때, 상기 얼굴 영역 검출부는, 상기 구성 판단부에 의하여 판단된 상기 얼굴 구성 픽셀의 합집합을 대상으로 하여 상기 기정해진 HSV 판단 기준을 기반으로 색상을 판별함으로써 얼굴 영역을 검출하여 마스킹하는 최종 검출부를 더 포함할 수 있다.

이 때, 상기 HSV 판단 기준은, V는 40 이상의 값을 가져야 한다는 제 1 기준; S는 0.2 내지 0.6의 값을 가져야 한다는 제 2 기준; 및 V는 0 내지 25 또는 335 내지 360의 값을 가져야 한다는 제 3 기준을 포함할 수 있다.

또한, 상기한 목적을 달성하기 위한 본 발명에 따른 얼굴 검출 방법은, 영상에서 사람의 얼굴을 검출하는 방법에 있어서,0 배경 영상 생성부에 의하여, 입력되는 영상에서 시간의 흐름에 대응하여 배경 영상을 갱신함으로써 최신 배경 영상을 생성하는 배경 영상 생성 단계; 움직임 객체 추출부에 의하여, 현재 영상과 상기 최신 배경 영상의 변화가 기정해진 임계 값 이상인지 여부를 기반으로 영상에서 움직임 객체를 추출하는 움직임 객체 추출 단계; 최종 움직임 객체 추출부에 의하여, 상기 추출된 움직임 객체에 대응되는 픽셀들을 대상으로 하여 기정해진 복수개의 픽셀 조건을 만족하는지 여부를 기반으로 최종 움직임 객체를 추출하는 최종 움직임 객체 추출 단계; 얼굴 영역 검출부에 의하여, 상기 추출된 최종 움직임 객체에서 추출된 중심점과 복수개의 특징점 간의 거리 및 기정해진 HSV(Hue Saturation Value) 판단 기준을 기반으로 상기 최종 움직임 객체에서 얼굴 영역을 검출하는 얼굴 영역 검출 단계; 및 상기 얼굴 영역 검출부에 의하여 검출된 얼굴 영역을 마스킹하는 단계를 포함한다.

이 때, 상기 배경 영상 생성 단계는, 상기 입력되는 영상에서 가장 오래된 픽셀을 빼고 새로운 픽셀을 추가함으로써 배경 영상을 갱신할 수 있다.

이 때, 상기 최종 움직임 객체 추출 단계는, 상기 추출된 움직임 객체에서 상기 기정해진 복수개의 픽셀 조건을 만족하는 픽셀들을 삭제함에 따라 최종 움직임 객체를 추출할 수 있다.

이 때, 상기 얼굴 영역 검출 단계는, 중심점 추출부에 의하여, 상기 최종 움직임 객체의 전체 영역에서 1/2에 해당되는 영역에 위치하는 중심점을 추출하는 중심점 추출 단계; 특징점 추출부에 의하여, 상기 최종 움직임 객체의 전체 영역에서 최상단에 위치하는 복수개의 최상단 좌표들, 최하단에 위치하는 최하단 좌표 및 상기 최상단 좌표에서 상기 최하단 좌표까지의 거리의 1/3에 해당되는 위치인 기준 위치를 복수개의 특징점으로 추출하는 특징점 추출 단계; 및 구성 판단부에 의하여, 상기 복수개의 최상단 좌표들 중 상기 중심점에 가장 근접한 좌표에 대응되는 픽셀을 사람 얼굴 영역을 구성하는 얼굴 구성 픽셀로 판단하는 구성 판단 단계를 포함할 수 있다.

이 때, 상기 얼굴 영역 검출 단계는, 상기 구성 판단 단계에서 판단된 상기 얼굴 구성 픽셀의 합집합을 대상으로 하여 상기 기정해진 HSV 판단 기준을 기반으로 색상을 판별함으로써 얼굴 영역을 검출하는 최종 검출 단계를 더 포함할 수 있다.

본 발명에 의하면, 입력되는 영상에서 이동하는 움직임 객체를 단계적으로 추출하고, 추출된 움직임 객체를 대상으로 기정해진 복수개의 픽셀 조건 및 HSV 판단기준을 적용함으로서 사람의 얼굴을 정확하게 검출할 수 있다.

또한 본 발명의 의하면, 얼굴로 검출된 영역을 마스킹하여, 영상 또는 이미지의 편집 등 에서 발생하는 초상권 문제를 해결할 수도 있다.

도 1은 본 발명에 따른 얼굴 검출 장치의 블록도이다.
도 2는 본 발명에 따른 얼굴 검출 장치의 얼굴 영역 검출부의 실시예를 설명하기 위한 도면이다.
도 3은 움직임 객체를 추출하는 모습을 설명하기 위한 도면이다.
도 4 내지 도 7은 복수개의 픽셀 조건을 설명하기 위한 도면이다.
도 8은 추출된 움직임 객체를 나타낸 도면이다.
도 9는 중심점과 복수개의 특징점들을 활용하여 얼굴 영역을 검출하는 모습을 설명하기 위한 도면이다.
도 10은 영상에서 얼굴을 검출한 결과를 나타낸 도면이다.
도 11은 본 발명에 따른 얼굴 검출 방법의 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

이하, 도면을 참조하여 본 발명에 따른 얼굴 검출 장치에 대하여 설명하도록 한다.

도 1은 본 발명에 따른 얼굴 검출 장치의 블록도이다. 도 2는 본 발명에 따른 얼굴 검출 장치의 얼굴 영역 검출부의 실시예를 설명하기 위한 도면이다.

도 1을 참조하여 설명하면, 본 발명에 따른 얼굴 검출 장치(100)는 배경 영상 생성부(110), 움직임 객체 추출부(120), 최종 움직임 객체 추출부(130) 및 얼굴 영역 검출부(140)를 포함한다.

보다 구체적으로, 상기 배경 영상 생성부(110)는 입력되는 영상에서 시간의 흐름에 대응하여 배경 영상을 갱신함으로써 최신 배경 영상을 생성하는 기능을 수행한다.

이 때, 상기 배경 영상 생성부(100)는 상기 입력되는 영상에서 가장 오래된 픽셀을 빼고 새로운 픽셀을 추가함으로써 배경 영상을 갱신할 수 있다.

실시간 영상을 처리하는 것이 아니라 녹화된 영상 저장 파일을 이용하는 것이기 때문에 많은 시간을 요구하는 배경 모델 생성 방법이 제시되어야 한다.

배경 영상 갱신은 물체가 주위 환경에 대한 영향을 최소화해야 할 목적을 가지고 있다. 이 때, 참조 배경 영상을 이용하여 차영상을 통하여 물체를 검출하기 때문에 실시간으로 배경 영상 갱신 중요성을 가지고 있는 것이다.

이동 평균(Moving Average)은 시간의 흐름에 따라 가장 오래된 변수를 빼고 새로운 변수를 추가하여 구한 평균을 구하는 방법으로서, 이 방법을 이용하여 현재 영상 픽셀에서 시간이 지남에 따라 오래된 픽셀을 빼고 새로운 픽셀을 배경 영상에 갱신하게 되는 것이다.

상기 최신 배경 영상이라 함은 현재까지 갱신된 최근의 배경 영상이라고 이해될 것이다.

상기와 같이 배경 영상을 갱신하는 구체적인 방법으로는 아래의 수학식 1에 의하는 것이 바람직하다.

상기 수학식 1에서 BackFrame은 지난 시간의 배경 영상을 의미하고, 상기 CurrentFrame은 현재의 영상을 의미하는 것이다.

상기 움직임 객체 추출부(120)는 현재 영상과 상기 최신 배경 영상의 변화가 기정해진 임계 값 이상인지 여부를 기반으로 영상에서 움직임 객체를 추출하는 기능을 수행한다.

물체를 검출하기 위해서는 현재 영상과 참조 배경 영상을 이용하여 차영상 기법을 수행하는데 이 때, 차영상에는 움직임 픽셀과 그렇지 않는 픽셀을 구분하기 위하여 실험치에 의해서 얻어진 임계 값으로 수행하게 된다.

도 3을 참조하면 움직임 객체를 추출하는 모습을 확인할 수 있다.

또한, 상기 최종 움직임 객체 추출부(130)는 상기 추출된 움직임 객체에 대응되는 픽셀들을 대상으로 하여 기정해진 복수개의 픽셀 조건을 만족하는지 여부를 기반으로 최종 움직임 객체를 추출하는 기능을 수행한다.

이 때, 상기 추출된 움직임 객체에 대응되는 픽셀들은, 스레스홀드(Threshold) 된 이미지이며, 픽셀 값을 0으로 하며 움직임이 발생한 검은 픽셀 및 픽셀 값을 1로 하며 움직임이 발생하지 않은 하얀 픽셀로 구분될 수 있다. 이때, 스레스홀드(Threshold)된 이미지는 흑과 백으로만 구성된 이미지이다.

이 때, 상기 추출된 움직임 객체에서 상기 기정해진 복수개의 픽셀 조건을 만족하는 픽셀들을 삭제함에 따라 최종 움직임 객체를 추출할 수 있으며, 상기 기정해진 복수개의 픽셀 조건은, 상기 추출된 움직임 객체에 대응되는 픽셀들 중 가운데 위치한 중심 픽셀과, 상기 중심 픽셀 주변에 위치한 주변 픽셀들 간의 연결성(Connectivity)은 1의 값을 가져야 하는 제 1 조건, 상기 주변 픽셀들 중 검은 픽셀의 개수는 2개 내지 6개이어야 하는 제 2 조건 및 3 X 3 픽셀을 기준으로 상기 중심 픽셀 아래에 위치한 주변 픽셀들 중 적어도 하나는 하얀 픽셀이어야 하는 제 3 조건일 수 있다.

도 4 내지 도 7을 참조하면 중심 픽셀(4,5,6,7)이 존재하는데 상기의 3가지 조건을 모두 만족하고 있다.

다만, 상기 움직임 객체를 대상으로 하였을 때, 상기의 3가지 조건 중 어느 하나라도 만족하지 못하는 경우에는 최종 움직임 객체로 추출되지 못하는 것이다.

또한, 상기 얼굴 영역 검출부(140)는, 상기 최종 움직임 객체의 전체 영역에서 1/2에 해당되는 영역에 위치하는 중심점을 추출하는 중심점 추출부(141), 상기 최종 움직임 객체의 전체 영역에서 최상단에 위치하는 복수개의 최상단 좌표들, 최하단에 위치하는 최하단 좌표 및 상기 최상단 좌표에서 상기 최하단 좌표까지의 거리의 1/3에 해당되는 위치인 기준 위치를 복수개의 특징점으로 추출하는 특징점 추출부(142) 및 상기 복수개의 최상단 좌표들 중 상기 중심점에 가장 근접한 좌표에 대응되는 픽셀을 사람 얼굴 영역을 구성하는 얼굴 구성 픽셀로 판단하는 구성 판단부(143)를 포함하여 구성될 수 있다.

본 발명의 일 실시예에 따르면, 얼굴 영역 검출부(140)는 상기 구성 판단부(143)에 의하여 판단된 상기 얼굴 구성 픽셀의 합집합을 대상으로 하여 상기 기정해진 HSV 판단 기준을 기반으로 색상을 판별함으로써 얼굴 영역을 검출하여 마스킹 하는 최종 검출부(144)를 더 포함할 수 있다.

도 9를 참조하여 설명하면, 복수개의 최상단 좌표들(a,b,c)가 존재하며 최상단 좌표들과 최하단 좌표들이 존재하며, 1/3 지점과 중심점(P)이 존재함을 확인할 수 있다.

이 때, 복수개의 최상단 좌표들(a,b,c) 중에서 중심점(P)과 가장 가까운 좌표에 대응되는 픽셀이 사람 얼굴 영역을 구성하는 얼굴 픽셀로 판단하게 되는 것이다.

이와 같이, 상기 구성 판단부에 의하여 판단된 상기 얼굴 구성 픽셀의 합집합을 대상으로 하여 상기 기정해진 HSV 판단 기준을 기반으로 색상을 판별함으로써 얼굴 영역을 검출하게 되는 것이다.

상기 HSV 판단 기준은 V는 40 이상의 값을 가져야 한다는 제 1 기준, S는 0.2 내지 0.6의 값을 가져야 한다는 제 2 기준 및 V는 0 내지 25 또는 335 내지 360의 값을 가져야 한다는 제 3 기준을 포함할 수 있다.

원칙적으로 상기 제 1 기준 내지 제 3 기준을 모두 만족하여야 얼굴로 판단될 수 있는 것이다.

도 10을 참조하면, 입력 영상에서 최종적으로 사람 얼굴이 검출된 모습을 확인할 수 있다.

이하, 본 발명에 따른 얼굴 검출 방법에 대하여 설명하도록 한다. 상기 살펴본 바와 같이 본 발명에 따른 얼굴 검출 장치와 동일한 기술내용에 대한 설명은 생략하도록 한다.

도 11을 참조하여 설명하면, 본 발명에 따른 얼굴 검출 방법은, 배경 영상 생성부에 의하여, 입력되는 영상에서 시간의 흐름에 대응하여 배경 영상을 갱신함으로써 최신 배경 영상을 생성하는 배경 영상 생성 단계(S100), 움직임 객체 추출부에 의하여, 현재 영상과 상기 최신 배경 영상의 변화가 기정해진 임계 값 이상인지 여부를 기반으로 영상에서 움직임 객체를 추출하는 움직임 객체 추출 단계(S110), 최종 움직임 객체 추출부에 의하여, 상기 추출된 움직임 객체에 대응되는 픽셀들을 대상으로 하여 기정해진 복수개의 픽셀 조건을 만족하는지 여부를 기반으로 최종 움직임 객체를 추출하는 최종 움직임 객체 추출 단계(S120) 및 얼굴 영역 검출부에 의하여, 상기 추출된 최종 움직임 객체에서 추출된 중심점과 복수개의 특징점 간의 거리 및 기정해진 HSV(Hue Saturation Value) 판단 기준을 기반으로 상기 최종 움직임 객체에서 얼굴 영역을 검출하는 얼굴 영역 검출 단계(s130), 얼굴 영역 검출부에 의하여 검출된 얼굴 영역을 마스킹하는 단계(s140)를 포함한다.

본 발명의 실시예에 따르면 얼굴 영역 검출부는 검출된 얼굴 영역을 자동 또는 수동으로 마스킹 할 수도 있다.

본 발명의 일 실시예에 따르면 얼굴 영역 검출부에 의하여 검출된 얼굴 영역을 마스킹하는 단계는 마스킹 장치(100)에 얼굴 영역 마스킹에 대응하는 사용자 입력이 입력된 경우 수행될 수도 있다. 또한 얼굴 영역 마스킹에 대응하는 사용자 입력이 없는 경우에는 얼굴 영역 검출부는 검출된 얼굴 영역을 마스킹하지 않을 수도 있다. 이 경우 얼굴 영역 검출 마스킹에 대응하는 사용자 입력은 별도로 구비된 입력부(미도시)를 통해 입력될 수도 있다.

또한 얼굴 영역 검출부는 검출된 얼굴 영역 중 특정 얼굴에 대하여만 마스킹 할 수도 있다. 이 경우, 마스킹 할 얼굴의 특정은 사용자 입력에 의해 결정될 수도 있다.

본 발명의 또 다른 실시예에 따르면 얼굴 영역 검출부는 검출된 얼굴 영역을 별도의 외부 입력 없이, 자동으로 마스킹할 수도 있다. 이 경우 얼굴 영역 검출부는 검출된 얼굴 영역 중 특정 얼굴을 마스킹 하지 않을 수도 있다. 이 경우, 마스킹 하지 않을 얼굴의 특정은 사용자 입력에 의해 결정될 수도 있다.

이상에서와 같이 본 발명에 따른 얼굴 검출 장치(100) 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

100: 마스킹 장치
110: 배경 영상 생성부
120: 움직임 객체 추출부
130: 최종 움직임 객체 추출부
140: 얼굴 영역 검출부

Claims

영상에서 얼굴을 검출하여 마스킹 하는 장치에 있어서,
입력되는 영상에서 시간의 흐름에 대응하여 배경 영상을 갱신함으로써 최신 배경 영상을 생성하는 배경 영상 생성부;
현재 영상과 상기 최신 배경 영상의 변화가 기정해진 임계 값 이상인지 여부를 기반으로 영상에서 움직임 객체를 추출하는 움직임 객체 추출부;
상기 추출된 움직임 객체에 대응되는 픽셀들을 대상으로 하여 기정해진 복수개의 픽셀 조건을 만족하는지 여부를 기반으로 최종 움직임 객체를 추출하는 최종 움직임 객체 추출부; 및
상기 추출된 최종 움직임 객체에서 추출된 중심점과 복수개의 특징점 간의 거리 및 기정해진 HSV(Hue Saturation Value) 판단 기준을 기반으로 상기 최종 움직임 객체에서 얼굴 영역을 검출하여 마스킹하는 얼굴 영역 검출부를 포함하고,
상기 얼굴 영역 검출부는,
상기 최종 움직임 객체의 전체 영역에서 1/2에 해당되는 영역에 위치하는 중심점을 추출하는 중심점 추출부;
상기 최종 움직임 객체의 전체 영역에서 최상단에 위치하는 복수개의 최상단 좌표들, 최하단에 위치하는 최하단 좌표 및 상기 최상단 좌표에서 상기 최하단 좌표까지의 거리의 1/3에 해당되는 위치인 기준 위치를 복수개의 특징점으로 추출하는 특징점 추출부; 및
상기 복수개의 최상단 좌표들 중 상기 중심점에 가장 근접한 좌표에 대응되는 픽셀을 사람 얼굴 영역을 구성하는 얼굴 구성 픽셀로 판단하는 구성 판단부를 포함하는 것을 특징으로 하는 마스킹 장치.
청구항 1에 있어서,
상기 배경 영상 생성부는,
상기 입력되는 영상에서 가장 오래된 픽셀을 빼고 새로운 픽셀을 추가함으로써 배경 영상을 갱신하는 것을 특징으로 하는 마스킹 장치.
청구항 1에 있어서,
상기 추출된 움직임 객체에 대응되는 픽셀들은,
스레스홀드(Threshold) 된 이미지이며,
픽셀 값을 0으로 하며 움직임이 발생한 검은 픽셀; 및
픽셀 값을 1로 하며 움직임이 발생하지 않은 하얀 픽셀로 구분되는 것을 특징으로 하는 마스킹 장치.
청구항 3에 있어서,
상기 최종 움직임 객체 추출부는,
상기 추출된 움직임 객체에서 상기 기정해진 복수개의 픽셀 조건을 만족하는 픽셀들을 삭제함에 따라 최종 움직임 객체를 추출하는 것을 특징으로 하는 마스킹 장치.
청구항 4에 있어서,
상기 기정해진 복수개의 픽셀 조건은,
상기 추출된 움직임 객체에 대응되는 픽셀들 중 가운데 위치한 중심 픽셀과, 상기 중심 픽셀 주변에 위치한 주변 픽셀들 간의 연결성(Connectivity)은 1의 값을 가져야 하는 제 1 조건;
상기 주변 픽셀들 중 검은 픽셀의 개수는 2개 내지 6개이어야 하는 제 2 조건; 및
3 X 3 픽셀을 기준으로 상기 중심 픽셀 아래에 위치한 주변 픽셀들 중 적어도 하나는 하얀 픽셀이어야 하는 제 3 조건인 것을 특징으로 하는 마스킹 장치.
삭제
청구항 1에 있어서,
상기 얼굴 영역 검출부는,
상기 구성 판단부에 의하여 판단된 상기 얼굴 구성 픽셀의 합집합을 대상으로 하여 상기 기정해진 HSV 판단 기준을 기반으로 색상을 판별함으로써 얼굴 영역을 검출하여 마스킹 하는 최종 검출부를 더 포함하는 것을 특징으로 하는 마스킹 장치.
청구항 7에 있어서,
상기 HSV 판단 기준은,
V는 40 이상의 값을 가져야 한다는 제 1 기준;
S는 0.2 내지 0.6의 값을 가져야 한다는 제 2 기준; 및
V는 0 내지 25 또는 335 내지 360의 값을 가져야 한다는 제 3 기준을 포함하는 것을 특징으로 하는 마스킹 장치.
영상에서 얼굴을 검출하여 마스킹 하는 방법에 있어서 배경 영상 생성부에 의하여, 입력되는 영상에서 시간의 흐름에 대응하여 배경 영상을 갱신함으로써 최신 배경 영상을 생성하는 배경 영상 생성 단계;
움직임 객체 추출부에 의하여, 현재 영상과 상기 최신 배경 영상의 변화가 기정해진 임계 값 이상인지 여부를 기반으로 영상에서 움직임 객체를 추출하는 움직임 객체 추출 단계;
최종 움직임 객체 추출부에 의하여, 상기 추출된 움직임 객체에 대응되는 픽셀들을 대상으로 하여 기정해진 복수개의 픽셀 조건을 만족하는지 여부를 기반으로 최종 움직임 객체를 추출하는 최종 움직임 객체 추출 단계;
얼굴 영역 검출부에 의하여, 상기 추출된 최종 움직임 객체에서 추출된 중심점과 복수개의 특징점 간의 거리 및 기정해진 HSV(Hue Saturation Value) 판단 기준을 기반으로 상기 최종 움직임 객체에서 얼굴 영역을 검출하는 얼굴 영역 검출 단계; 및
상기 얼굴 영역 검출부에 의하여, 검출된 얼굴 영역을 마스킹하는 단계를 포함하고,
상기 얼굴 영역 검출 단계는,
중심점 추출부에 의하여, 상기 최종 움직임 객체의 전체 영역에서 1/2에 해당되는 영역에 위치하는 중심점을 추출하는 중심점 추출 단계;
특징점 추출부에 의하여, 상기 최종 움직임 객체의 전체 영역에서 최상단에 위치하는 복수개의 최상단 좌표들, 최하단에 위치하는 최하단 좌표 및 상기 최상단 좌표에서 상기 최하단 좌표까지의 거리의 1/3에 해당되는 위치인 기준 위치를 복수개의 특징점으로 추출하는 특징점 추출 단계; 및
구성 판단부에 의하여, 상기 복수개의 최상단 좌표들 중 상기 중심점에 가장 근접한 좌표에 대응되는 픽셀을 사람 얼굴 영역을 구성하는 얼굴 구성 픽셀로 판단하는 구성 판단 단계를 포함하는 것을 특징으로 하는 마스킹 방법.
청구항 9에 있어서,
상기 배경 영상 생성 단계는,
상기 입력되는 영상에서 가장 오래된 픽셀을 빼고 새로운 픽셀을 추가함으로써 배경 영상을 갱신하는 것을 특징으로 하는 마스킹 방법.
청구항 9에 있어서,
상기 추출된 움직임 객체에 대응되는 픽셀들은,
스레스홀드(Threshold) 된 이미지이며,
픽셀 값을 0으로 하며 움직임이 발생한 검은 픽셀; 및
픽셀 값을 1로 하며 움직임이 발생하지 않은 하얀 픽셀로 구분되는 것을 특징으로 하는 마스킹 방법.
청구항 11에 있어서,
상기 최종 움직임 객체 추출 단계는,
상기 추출된 움직임 객체에서 상기 기정해진 복수개의 픽셀 조건을 만족하는 픽셀들을 삭제함에 따라 최종 움직임 객체를 추출하는 것을 특징으로 하는 마스킹 방법.
청구항 12에 있어서,
상기 기정해진 복수개의 픽셀 조건은,
상기 추출된 움직임 객체에 대응되는 픽셀들 중 가운데 위치한 중심 픽셀과, 상기 중심 픽셀 주변에 위치한 주변 픽셀들 간의 연결성(Connectivity)은 1의 값을 가져야 하는 제 1 조건;
상기 주변 픽셀들 중 검은 픽셀의 개수는 2개 내지 6개이어야 하는 제 2 조건; 및
3 X 3 픽셀을 기준으로 상기 중심 픽셀 아래에 위치한 주변 픽셀들 중 적어도 하나는 하얀 픽셀이어야 하는 제 3 조건인 것을 특징으로 하는 마스킹 방법.
삭제
청구항 9에 있어서,
상기 얼굴 영역 검출 단계는,
상기 구성 판단 단계에서 판단된 상기 얼굴 구성 픽셀의 합집합을 대상으로 하여 상기 기정해진 HSV 판단 기준을 기반으로 색상을 판별함으로써 얼굴 영역을 검출하는 최종 검출 단계를 더 포함하는 것을 특징으로 하는 마스킹 방법.
청구항 15에 있어서,
상기 HSV 판단 기준은,
V는 40 이상의 값을 가져야 한다는 제 1 기준;
S는 0.2 내지 0.6의 값을 가져야 한다는 제 2 기준; 및
V는 0 내지 25 또는 335 내지 360의 값을 가져야 한다는 제 3 기준을 포함하는 것을 특징으로 하는 마스킹 방법.