KR100903816B1

KR100903816B1 - 정지영상에서의 얼굴추출시스템과 그 방법

Info

Publication number: KR100903816B1
Application number: KR1020070135566A
Authority: KR
Inventors: 성정곤; 윤덕근; 김문기; 김태정; 이수암
Original assignee: 한국건설기술연구원; 인하대학교 산학협력단
Priority date: 2007-12-21
Filing date: 2007-12-21
Publication date: 2009-06-24

Abstract

본 발명은 영상 특히 도로를 따라 취득한 정지된 영상에서 비교적 정확하게 사람 얼굴을 추출하는 것은 물론 추출된 얼굴을 모자이크 처리함으로써 개인의 사생활을 보호하면서도 취득한 영상을 정보 제공이나 홍보 등에 원활히 활용할 수 있게 한 얼굴추출시스템과 그 방법에 관한 것이다.

본 발명의 정지영상에서의 얼굴추출시스템은, 영상데이터가 저장되는 영상저장모듈; 피부색에 해당하는 색상조건이 설정되며 영상데이터에서 색상조건에 해당하는 부분을 얼굴후보지역으로 검출하는 후보지역검출모듈; 상기 얼굴후보지역을 색상차이로서 구분하면서 얼굴후보구역으로 분할하는 후보지역분할모듈; 제1얼굴특성조건이 설정되며 상기 얼굴후보구역에서 제1얼굴특성조건에 해당하는 부분을 얼굴후보영역으로 추출하는 후보영역추출모듈; 및, 제2얼굴특성조건이 설정되며 상기 얼굴후보영역에서 제2얼굴특성조건에 해당하는 부분을 얼굴영역으로 결정하는 얼굴결정모듈;를 포함하여 구성되는 것을 특징으로 한다.

정지영상, 얼굴추출, 도로, 얼굴특징

Description

정지영상에서의 얼굴추출시스템과 그 방법{System and Human face detection system and method in an image using fuzzy color information and multi-neural network}

본 발명은 정지영상에서의 얼굴추출시스템과 그 방법에 관한 것으로, 더욱 상세하게는 영상 특히 도로를 따라 취득한 정지된 영상에서 비교적 정확하게 사람 얼굴을 추출하는 것은 물론 추출된 얼굴을 모자이크 처리함으로써 개인의 사생활을 보호하면서도 취득한 영상을 정보 제공이나 홍보 등에 원활히 활용할 수 있게 한 얼굴추출시스템과 그 방법에 관한 것이다.

도로 및 시가지 등 주변 정보를 제공하기 위해 도로를 따라 촬영하여 취득한 영상데이터를 이용하는 경우가 많은데, 이 경우 영상데이터에는 보행자 등 사람 얼굴이 포함되어 그대로 사용하는 경우 초상권 등의 문제가 발생할 수 있다. 이와 같은 문제를 해결하기 위해 영상에서의 얼굴을 자동적으로 인식하여 추출한 후 모자이크 처리하는 각종 방안이 제안되고 있는 상황이다.

지금까지 제안된 얼굴추출방법은 주로 동영상 등에서 이동하는 사람을 인식하는 기술이 주류를 이루고 있었는데, 동영상에서 움직이는 대상을 사람으로 추정하여 사람의 얼굴을 추적(tracking)하는 방식이다. 물론, 정지영상에서 사람의 얼굴을 추적하는 방법도 제안되었으나, 대부분 얼굴이 크거나 명확히 나온 영상을 그 대상으로 하기 때문에, 종래의 방법으로는 도로 노면에서 촬영된 영상과 같이 얼굴이 작거나 정면으로 바라보지 않게 나타나는 영상에서 해당 얼굴을 정확하게 추추출할 수 없었다.

본 발명은 상기한 종래의 문제를 개선하고자 안출된 것으로서, 영상 특히 도로를 따라 취득한 정지된 영상에서 비교적 정확하게 사람 얼굴을 추출하는 것은 물론 추출된 얼굴을 모자이크 처리함으로써 개인의 사생활을 보호하면서도 취득한 영상을 정보 제공이나 홍보 등에 원활히 활용할 수 있게 한 얼굴추출시스템과 그 방법을 제공하는데 기술적 과제가 있다.

상기한 기술적 과제를 해결하기 위해 본 발명은 정지된 영상에서 사람의 얼굴을 추출하기 위한 시스템으로서,

영상데이터가 저장되는 영상저장모듈; 피부색에 해당하는 색상조건이 설정되며 영상데이터에서 색상조건에 해당하는 부분을 얼굴후보지역으로 검출하는 후보지역검출모듈; 상기 얼굴후보지역을 색상차이로서 구분하면서 얼굴후보구역으로 분할하는 후보지역분할모듈; 제1얼굴특성조건이 설정되며 상기 얼굴후보구역에서 제1얼굴특성조건에 해당하는 부분을 얼굴후보영역으로 추출하는 후보영역추출모듈; 및, 제2얼굴특성조건이 설정되며 상기 얼굴후보영역에서 제2얼굴특성조건에 해당하는 부분을 얼굴영역으로 결정하는 얼굴결정모듈;를 포함하여 구성되되,

상기 후보지역검출모듈에서 설정되는 색상조건은 HSI모델과 YCrCb모델에 따른 요소의 임계조건을 포함하며, 상기 후보영역추출모듈에서 설정되는 제1얼굴특성조건은 얼굴후보구역에 대한 픽셀개수조건, 얼굴후보구역에 대한 면적조건, 얼굴후보구역에 대한 가로와 세로의 비율조건, 얼굴후보구역에 대한 타원조건 중 하나 이상을 포함하며, 상기 얼굴결정모듈에서 설정되는 제2얼굴특성조건은 얼굴후보영역에 대한 이진화 영상의 흑백비율조건을 포함하는 것을 특징으로 하는 정지영상에서의 얼굴추출시스템을 제공한다.

또한, 본 발명은 정지된 영상에서 사람의 얼굴을 추출하기 위한 방법으로서,

(a)HSI모델과 YCrCb모델에 따른 요소의 임계조건을 포함하는 조건을 피부색에 해당하는 색상조건으로 설정하고, 영상데이터에서 색상조건에 해당하는 부분을 얼굴후보지역으로 검출하는 단계; (b)상기 얼굴후보지역을 색상차이로서 구분하여 얼굴후보구역으로 분할하는 단계; (c)얼굴후보구역에 대한 가로와 세로의 비율조 건, 얼굴후보구역에 대한 픽셀개수조건, 얼굴후보구역에 대한 면적조건, 얼굴후보구역에 대한 타원조건 중 하나 이상을 포함하는 조건을 제1얼굴특성조건으로 설정하고, 상기 얼굴후보구역에서 제1얼굴특성조건에 해당하는 부분을 얼굴후보영역으로 추출하는 단계; 그리고, (d)얼굴후보영역에 대한 이진화 영상의 흑백비율조건을 제2얼굴특성조건으로 설정하며, 상기 얼굴후보영역에서 제2얼굴특성조건에 해당하는 부분을 얼굴영역으로 결정하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 정지영상에서의 얼굴추출방법을 제공한다.

본 발명에 따르면, 피부색과 얼굴의 형태 특성을 동시에 고려하기 추출하기 때문에 도로 노면에서 촬영된 영상과 같이 복잡한 배경을 가지면서 사람 얼굴이 작거나 정면으로 나타나지 않은 영상에서도 비교적 정확하게 얼굴을 추출할 수 있게 되며, 그 결과 추출된 얼굴의 모자이크 처리를 통해 개인의 사생활을 보호하는 한편 취득한 영상을 정보 제공이나 홍보 등에 유용하게 활용할 수 있게 된다.

이하, 첨부한 도면 및 바람직한 실시예에 따라 본 발명을 상세히 설명한다.

도 1은 본 발명에 따른 정지영상에서의 얼굴추출시스템의 개요도이고, 도 2는 본 발명에 따른 정지영상에서의 얼굴추출방법의 순서도로서, 도시하고 있는 바 와 같이 본 발명의 얼굴추출방법은 얼굴추출시스템을 단계적으로 수행하는 과정이라 할 수 있으므로, 이하부터는 얼굴추출시스템과 얼굴추출방법을 함께 설명한다.

본 발명은 도로를 따라 촬영된 도로 노면의 영상데이터에서 얼굴을 추출하기 위한 개발목적에서 출발하였으나, 기타 다른 영상데이터에서 얼굴을 추출하는 데에도 활용할 수 있을 것이다. 다만, 하기와 같이 도로 노면의 영상데이터에서 얼굴을 추출하는 과정으로 본 발명을 상세히 설명한다.

(1)영상저장모듈/단계

영상저장모듈/단계에서는 영상데이터가 저장된다. 도 3은 도로 주행중의 차량에서 도로 노면을 촬영한 CCD 영상데이터를 보여주며, AI 사의 CV M9, M7 카메라를 사용하여 획득한 1380*1030 픽셀 영상데이터이다. 주행중의 차량에서 도로 노면을 촬영하는 관계로 보행자가 주변 배경과 함께 촬영될 것이고, 이때 보행자의 얼굴은 일정 크기 이하로 촬영될 것이다.

(2)영상보정모듈/단계

영상보정모듈/단계에서는 영상데이터에 대하여 히스토그램 평활화를 수행함으로써 영상데이터가 보정된다. 획득된 영상의 경우 취득 당시의 환경(건물이나 자동차에 의한 그림자, 또한 햇빛의 영향 등)에 따라 영상의 밝기가 다르게 나타나는데, 이러한 이유로 취득 영상이 어둡게 나타날 경우 인식률이 떨어져 정확한 사물의 추출이 어려울 수 있는 바, 본 발명에서는 영상보정모듈/단계를 추가적인 구 성으로 마련하고 있다.

히스토그램 평활화를 통한 영상보정은 밝기 분포가 특정한 부분으로 치우친 것을 좀 더 넓은 밝기 영역에 걸쳐 분포가 존재하도록 전체적으로 히스토그램을 펼쳐준 것이므로, 영상보정 결과 영상 전체의 대비가 증가하여 인식률이 높아지는 효과를 기대할 수 있게 된다. 다만, 흑백영상은 어두운 값, 밝은 값, 중간 값의 밝기만을 갖는 영상이므로 히스토그램 평활화도 문제없이 수행할 수 있을 것이나, 칼라영상은 일반적으로 R,G,B 성분의 조합으로 이루어져 있어 그대로 평활화시킬 경우 색 정보가 변질되는 문제가 발생하기 때문에 이를 고려하여 히스토그램 평활화를 수행해야 할 것이다. 즉, 칼라영상의 경우 색 정보는 변하지 않으면서 명도 값만 바꿔줄 수 있어야 할 것인데, 이를 위한 가장 적합한 색 모델이 색상, 채도, 명도로 구성된 HSI모델이므로 HSI모델로서 히스토그램 평활화를 수행하는 것이다.

도 4(a)는 도 3(a)의 칼라영상을 보정하는 과정을 보여주는데, 먼저 칼라영상을 영상의 명도값으로 제작된 영상(흑백영상)으로 변환한 다음 히스토그램 평활화를 수행하고 이어 히스토그램 평활화 수행결과 새로 구해진 명도값에 원래 칼라영상에서의 색상(Hue)와 채도(Saturation)를 혼합하면 히스토그램 평활화가 수행된 칼라영상으로 보정된다. 도 4(b)는 도 3(b)의 영상데이터를 같은 방법으로 히스토그램 평활화를 수행하여 보정한 결과를 보여준다. 히스토그램 평활화를 수행한 결과 대체로 어두웠던 기존의 영상에 비해 사물의 형태 및 색상이 더 선명하게 나타남을 확인할 수 있다.

(3)후보지역검출모듈/단계

후보지역검출모듈/단계에서는 피부색에 해당하는 색상조건이 설정되며, 영상데이터에서 색상조건에 해당하는 부분을 얼굴후보지역으로 검출하게 된다. 영상데이터가 히스토그램 평활화가 수행되어 보정되었다면 보정된 영상데이터에서 얼굴후보지역을 검출하게 된다.

피부색에 해당하는 색상조건을 설정하기 위해서는 각 칼라 모델별로 피부색에 적합한 범위를 찾아야 하는데, 본 발명에서는 도로 노면의 영상데이터에서 더욱 유리하게 얼굴을 추출하기 위해 HSI모델과 YCrCb모델의 칼라모델을 채택하였다. 두개의 칼라모델을 사용한 이유는 두 모델에서의 공통된 부분을 피부색으로 설정함으로써 더욱 정확한 피부색 범위를 결정하기 위함이다. 특히, HSI모델과 YCrCb모델은 영상에 들어오는 빛의 세기를 다른 요소와 분리하여 처리하는 모델인 만큼 도로 노면의 영상데이터에서 피부색을 추출하는데 더욱 유리한 칼라모델이 될 것이다. 물론, 칼라모델로 RGB모델도 있으나, 이 모델은 조명에 따라 그 값의 차이가 크게 발생하기 때문에 조명의 변화가 없는 실내에서의 얼굴추출에는 가능하지만 햇빛 등의 외적 요인이 많은 도로 노변 영상의 추출에는 적합하지 않은 관계로 배제하였다.

도 5는 도로 노변 영상에 적합한 적절한 피부색의 범위를 찾기 위해 도로 노변 영상들에서 피부색에 해당하는 샘플로서, 이 자료를 바탕으로 이들을 최대한 인식할 수 있는 임계치를 결정할 수 있다. 최대한 많은 영역을 추출하기 위해 각 모델별로 임계값은 최대한 넓은 범위로 지정하는 것이 바람직하며, 도 5의 피부색 샘 플을 바탕으로 구한다면 칼라모델 요소별 범위는 다음의 수식과 같다.

HSI모델: 80 < H < 230, 30 < S < 190, 30 < I < 250

YCrCb모델: 125 < Cr < 170 90 < Cb < 135

다만, 위 칼라모델 요소별 임계값은 보정 이후 적용된 임계값이며, 만약 색보정이 이루어지지 않을 경우 그 임계값은 바뀔 수 있다. 특히, YCrCb에서 Y요소는 사용하지 않았는데, 밝기정보인 Y는 조명의 영향을 받기 때문에 사용하지 않고 조명 변화에 비교적 영향을 받지 않는 Cb와 Cr만을 이용한 것이다. 물론, HSI모델에서도 밝기정보인 I를 고려하지 않을 수도 있다.

위의 임계조건을 영상데이터에 적용함으로써 피부색에 상응하는 얼굴후보지역을 선정하게 되며, 도 6은 도 4의 보정된 영상데이터에 대해 얼굴후보지역을 검출한 결과이다. 도 6에서 보는 바와 같이, HSI모델과 YCrCb모델을 동시에 적용한 결과가 하나씩 사용해서 피부색 범위를 추출했을 때보다 그 성능이 향상됨을 확인할 수 있다.

(4)후보지역분할모듈/단계

후보지역분할모듈/단계에서는 얼굴후보지역이 색상차이로서 구분되면서 얼굴후보구역으로 분할된다. 사람이 피부색과 비슷한 색의 옷을 입었거나 촬영된 사람의 주위에 피부색과 비슷한 색을 가진 물체가 있을 경우라면 하나의 얼굴후보지역은 얼굴과 배경이 혼합되어 있는 영상으로 검출되는데, 이로 인하여 발생하는 문제를 해결하기 위해 본 발명에서는 얼굴후보지역을 색상성분을 이용하여 얼굴후보구 역으로 분리하고 있다.

얼굴후보구역으로의 분할은 구체적으로, 얼굴후보지역을 순차 연결성분 알고리즘에 따라 같은 연결성분에 속하는 픽셀끼리 클러스터링한 후 얼굴후보지역에 대해 설정된 클러스터분할조건에 따라 재차 클러스터링하여 얼굴후보구역으로 분할하는 과정으로 이루어진다. 물론, 이러한 과정을 얼굴추출시스템에 구현한다면 후보지역분할모듈은, 순차 연결성분 알고리즘이 구현되며 얼굴후보지역에 순차 연결성분 알고리즘을 적용하여 같은 연결성분에 속하는 픽셀끼리 클러스터링하는 클러스터처리부;와. 클러스터분할조건이 설정되며 상기 클러스터처리부에서 클러스터링된 얼굴후보지역의 각 클러스터에 대해 클러스터분할조건을 적용하여 클러스터링하면서 얼굴후보구역으로 분할하는 클러스터분할처리부;를 포함하도록 구성될 것이다.

상기와 같이 후보지역을 후보구역으로 분할하는 것은 하나의 얼굴후보지역에 대한 클러스터를 세분화함으로써 얼굴후보구역에 대한 클러스터를 다수 생성하는 것이라고 할 수 있다. 다만, 클러스터분할조건을 적용하더라도 클러스터분할조건에 부합하는 경우가 없다면 하나의 얼굴후보지역이 그대로 하나의 얼굴후보구역으로 완료될 수도 있다.

클러스터링은 연결성분끼리 동일한 번호를 부여하는 라벨링(Labeling)작업으로 이루어지며, 분할조건이 적용되어 이루어지는 클러스터링은 이미 부여된 번호를 그대로 유지하거나 새로운 번호로 변경하는 작업으로 이루어진다.

특히, 본 발명에서는 클러스터 분할을 위한 클러스터분할조건으로 얼굴후보 지역에 대한 이웃하는 픽셀 간의 색상차이조건 또는 얼굴후보지역에 대한 히스토그램의 피크구역조건을 제안한다.

픽셀 간의 색상차이조건은 연결된 이웃한 픽셀들의 R,G,B 값의 차이에 대한 임계조건으로 설정할 수 있으며, 그 결과 픽셀이 서로 연결되어 있더라도 임계조건을 벗어나는 경우 새로운 라벨을 부여하는 방법으로 분할을 실행할 수 있게 된다. 도 7은 색상차이조건에 따라 얼굴후보지역이 얼굴후보구역으로 분할되는 과정을 보여주는데, 도시하고 있는 바와 같이 하나로 이어져 있는 중간부분이 분할과정 후에는 나뉘어져 있음을 확인할 수 있다.

히스토그램의 피크구역조건은 하나의 얼굴후보지역의 히스토그램에서 피크점 주위의 임계 피크구역으로 설정할 수 있으며, 그 결과 픽셀이 서로 연결되어 있더라도 임계 피크구역을 벗어나는 경우 새로운 라벨을 부여하는 방법으로 분할을 실행할 수 있게 된다. 도 8은 Cr히스토그램을 이용하여 피크구역조건을 설정하는 방법을 보여주는데, 최빈값을 가지는 픽셀 값(135, 피크점)을 기준으로 이 점에서 일정 범위만큼 떨어진 값(140)을 임계값으로 하여 임계 피크구역을 설정함으로써 이분화하고 있다. 이와 같은 Cr히스토그램을 이용한 방식은 하나의 얼굴후보지역에 얼굴과 배경이 혼합되어 있을 경우 배경이 더 많은 수의 픽셀을 가진다는 가정에서 출발한 것으로, 이는 도로 노면의 영상데이터의 경우 일반적으로 사람 얼굴보다는 배경이 더 크게 차지할 것이라는 점을 감안한 것이다. 물론, 히스토그램은 Cr성분 대신 다른 요소를 이용할 수도 있으며, 히스토그램 생성결과 피크점이 다수 있다면 피크점의 분포에 따라 삼원화 또는 그 이상으로 분할하는 것도 가능할 것이다.

한편, 도 9는 클러스터분할조건으로 색상차이조건을 채택하여 도 6과 같이 검출된 얼굴후보지역을 색상차이조건에 따라 얼굴후보구역으로 분할한 결과를 보여준다.

(5)후보영역추출모듈/단계

후보영역추출모듈/단계에서는 제1얼굴특성조건이 설정되며, 얼굴후보구역에서 제1얼굴특성조건에 해당하는 부분이 얼굴후보영역으로 추출된다. 피부색의 추출을 통해 얼굴후보지역을 검출하고 이를 얼굴후보구역으로 분할하고 나면 다수의 얼굴후보구역이 생기게 된다. 다수의 얼굴후보구역에서 얼굴로 특징지을 수 있는 구역만을 선별해야 하는데, 본 발명에서는 선별조건으로 얼굴후보구역에 대한 픽셀개수조건, 얼굴후보구역에 대한 면적조건, 얼굴후보구역에 대한 가로와 세로의 비율조건, 얼굴후보구역에 대한 타원조건 중 하나 이상을 포함하는 제1얼굴특성조건을 제안한다. 특히, 도 2에서는 얼굴후보구역에 대한 픽셀개수조건, 얼굴후보구역에 대한 면적조건, 얼굴후보구역에 대한 가로와 세로의 비율조건, 얼굴후보구역에 대한 타원조건을 모두 포함하면서 이들 조건들을 순차적으로 진행하고 있다. 다만, 도로 노면의 영상데이터에서 얼굴을 추출하는 경우에는 얼굴후보구역에 대한 픽셀개수조건과 얼굴후보구역에 대한 타원조건은 반드시 포함하도록 하는 것이 바람직하겠다.

얼굴후보구역에 대한 픽셀개수조건과 면적조건은 얼굴후보구역이 일정 이상 또는 이하의 픽셀수 내지 면적을 가진다면 얼굴이 아니라고 판단하는 조건이다. 일정 이하의 픽셀수 내지 면적을 가지는 경우는 얼굴이라 하더라도 식별이 불가능한 얼굴일 것이 상당하고, 일정 이상의 픽셀수 내지 면적을 가진다는 배경으로 보는 것이 상당할 것이다. 이때, 픽셀의 개수는 클러스터링 과정을 거친 경우 라벨의 개수와 같을 것이므로 쉽게 구할 수 있을 것이고, 면적은 얼굴후보구역을 포함하는 직사각형의 면적으로 결정하면 족할 것이다. 도 10은 도 8과 같이 분할이 완성된 얼굴후보구역에서 픽셀개수조건을 적용하여 1차로 얼굴후보영역을 추출한 결과 보여주며, 도 11은 도 10과 추출된 1차 얼굴후보영역에 대하여 면적조건을 적용하여 2차로 얼굴후보영역을 추출한 결과를 보여준다.

얼굴후보구역에 대한 가로와 세로의 비율조건은 얼굴후보구역을 포함하는 직사각형의 가로와 세로 비율이 일정 조건을 만족시키지 않으면 얼굴이 아니라고 판단하는 조건이다. 일반적으로 얼굴의 비율은

가 가장 이상적인 비율로 알려져 있으나, 노변에서 촬영된 사람 영상의 경우 피부색이 동일한 목 부분이 얼굴과 함께 추출되는 경우가 많기 때문에 가로와 세로의 비율조건은 2이하로 결정하는 것이 바람직하다. 도 12는 도 11과 같이 추출된 2차 얼굴후보영역에 대하여 가로와 세로의 비율조건을 적용하여 3차로 얼굴후보영역을 추출한 결과를 보여준다.

얼굴후보구역에 대한 타원조건은 사람의 얼굴이 타원형인 것을 고려하여 비교하는 조건이다. 얼굴후보구역을 포함하는 직사각형에 내접하는 타원을 제작한 후 그 타원 안에 들어가는 픽셀들의 개수가 일정 값 이상인 경우 얼굴후보영역으로 결정하게 된다. 도 13은 도 12과 같이 추출된 3차 얼굴후보영역에 대하여 타원조 건을 적용하여 4차로 얼굴후보영역을 추출한 결과를 보여준다.

(6)얼굴결정모듈/단계

얼굴결정모듈/단계에서는 제2얼굴특성조건이 설정되며, 얼굴후보영역에서 제2얼굴특성조건에 해당하는 부분이 얼굴영역으로 결정된다. 얼굴후보영역에서 최종적으로 얼굴영역으로 결정하기 위해, 본 발명에서는 얼굴후보영역에 대한 이진화 영상의 흑백비율조건을 제2얼굴특성조건으로 제안한다.

이진화 영상의 흑백비율조건은 얼굴후보영역을 임계값을 적용하여 이진화하면 얼굴의 부분영역인 눈, 코, 입 등이 흑색으로 표현되면서 나머지 부분은 백색으로 표현될 것인데, 얼굴에서 부분적인 눈, 코, 입은 전체 얼굴에 비해 최소 5%이상을 차지하므로 이를 임계조건으로 결정하여 만약 흑색부분이 이보다 적은 값을 가질 경우 이를 얼굴이 아닌 다른 신체 부위나, 배경이라고 판단하는 조건이다. 이때, 이진화를 위해 제작되는 임계값은 영상데이터의 해상도에 따라 그 값이 변화될 수 있으며, 이에 적합한 임계값을 찾는 과정 또한 중요할 것이다. 도 14는 도 13과 같이 추출된 최종 얼굴후보영역에 대하여 이진화 영상의 흑백비율조건을 적용하여 최종적으로 얼굴영역을 추출한 결과를 보여준다.

(7)얼굴모자이크처리모듈/단계

얼굴모자이크처리모듈/단계에서는 결정된 얼굴영역에 대하여 모자이크 처리된다. 모자이크 처리로서 초상권 침해 문제를 해소할 수 있다.

모자이크는 추출된 얼굴영역을 흐리게 표현(Blur)하거나 자잘한 점(Sparkle) 또는 하나의 색으로 칠하는 방법으로 처리할 수 있다. 이때 Blur 방법에는 통상적인 영상처리분야에서 사용하는 Low-Level 필터(mean , gaussian 등)를 적용할 수 있으며, Sparkle 방법에는 한 픽셀 걸러 하나씩 하얀색 점을 찍는 방법을 적용할 수 있다. 또한, 모자이크는 추출된 얼굴영역을 추출된 얼굴영역보다 작거나 큰 원, 사각형 등으로 처리할 수도 있으며, 도 15는 도 3의 영상데이터를 모자이크 처리한 결과로서 도 14의 최종 추출된 얼굴영역 결과를 토대로 모자이크 처리한 결과를 보여준다.

이상에서 본 발명은 기재된 실시예를 참조하여 상세히 설명되었으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 상기에서 설명된 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 부가 및 변형이 가능할 것임은 당연한 것으로, 이와 같은 변형된 실시 형태들 역시 아래에 첨부한 특허청구범위에 의하여 정하여지는 본 발명의 보호 범위에 속하는 것으로 이해되어야 할 것이다.

도 1은 본 발명에 따른 정지영상에서의 얼굴추출시스템의 블록도이다.

도 2는 본 발명에 따른 정지영상에서의 얼굴추출방법의 순서도이다.

도 3은 얼굴을 추출할 도로 노면의 영상데이터를 보여준다.

도 4는 도 3의 영상데이터에 대하여 히스토그램 평활화를 수행한 결과를 보여준다.

도 5는 피부색 색상조건을 설정하기 위한 피부색 샘플을 보여준다.

도 6은 영상데이터에 대하여 얼굴후보지역을 검출한 결과를 보여준다.

도 7 내지 도 9는 후보지역분할모듈을 통한 분할과정을 보여준다.

도 10 내지 도 13은 얼굴후보구역에 대하여 제1얼굴특징조건을 적용하여 얼굴후보영역으로 추출한 결과를 보여준다.

도 14는 얼굴후보영역에 대하여 제2얼굴특징조건을 적용하여 얼굴영역으로 결정된 결과를 보여준다.

도 15는 결정된 얼굴영역을 모자이크 처리한 결과를 보여준다.

Claims

정지된 영상에서 사람의 얼굴을 추출하기 위한 시스템으로서,

영상데이터가 저장되는 영상저장모듈;

피부색에 해당하는 색상조건이 설정되며, 영상데이터에서 색상조건에 해당하는 부분을 얼굴후보지역으로 검출하는 후보지역검출모듈;

상기 얼굴후보지역을 색상차이로서 구분하면서 얼굴후보구역으로 분할하는 후보지역분할모듈;

제1얼굴특성조건이 설정되며, 상기 얼굴후보구역에서 제1얼굴특성조건에 해당하는 부분을 얼굴후보영역으로 추출하는 후보영역추출모듈; 및,

제2얼굴특성조건이 설정되며, 상기 얼굴후보영역에서 제2얼굴특성조건에 해당하는 부분을 얼굴영역으로 결정하는 얼굴결정모듈;

를 포함하여 구성되되,

상기 후보지역검출모듈에서 설정되는 색상조건은 HSI모델과 YCrCb모델에 따른 요소의 임계조건을 포함하며,

상기 후보영역추출모듈에서 설정되는 제1얼굴특성조건은 얼굴후보구역에 대한 픽셀개수조건, 얼굴후보구역에 대한 면적조건, 얼굴후보구역에 대한 가로와 세로의 비율조건, 얼굴후보구역에 대한 타원조건 중 하나 이상을 포함하며,

상기 얼굴결정모듈에서 설정되는 제2얼굴특성조건은 얼굴후보영역에 대한 이진화 영상의 흑백비율조건을 포함하는 것을 특징으로 하는 정지영상에서의 얼굴추 출시스템.
제1항에서,

상기 후보지역분할모듈은

순차 연결성분 알고리즘이 구현되며, 상기 후보지역검출모듈에서 검출된 얼굴후보지역에 순차 연결성분 알고리즘을 적용하여 같은 연결성분에 속하는 픽셀끼리 클러스터링하는 클러스터처리부;

클러스터분할조건이 설정되며, 상기 클러스터처리부에서 클러스터링된 얼굴후보지역의 각 클러스터에 대해 클러스터분할조건을 적용하여 클러스터링하면서 얼굴후보구역으로 분할하는 클러스터분할처리부;를 포함하여 구성되되,

상기 클러스터분할처리부에서 설정되는 클러스터분할조건은 얼굴후보지역에 대한 이웃하는 픽셀 간의 색상차이조건 또는 얼굴후보지역에 대한 히스토그램의 피크구역조건임을 특징으로 하는 정지영상에서의 얼굴추출시스템.
제1항에서,

상기 영상저장모듈에 저장된 영상데이터에 대하여 히스토그램 평활화를 수행하는 영상보정모듈;을 더 포함하여 구성되며,

상기 후보지역검출모듈은 상기 영상보정모듈을 통해 히스토그램 평활화가 수행된 영상데이터에서 얼굴후보지역을 검출하는 것임을 특징으로 하는 정지영상에서의 얼굴추출시스템.
제1항 또는 제2항에서,

상기 얼굴결정모듈에서 결정된 얼굴영역에 대하여 모자이크 처리하는 얼굴모자이크처리모듈;을 더 포함하여 구성되는 것을 특징으로 하는 정지영상에서의 얼굴추출시스템.
정지된 영상에서 사람의 얼굴을 추출하기 위한 방법으로서,

(a)HSI모델과 YCrCb모델에 따른 요소의 임계조건을 포함하는 조건을 피부색에 해당하는 색상조건으로 설정하고, 영상데이터에서 색상조건에 해당하는 부분을 얼굴후보지역으로 검출하는 단계;

(b)상기 얼굴후보지역을 색상차이로서 구분하여 얼굴후보구역으로 분할하는 단계;

(c)얼굴후보구역에 대한 가로와 세로의 비율조건, 얼굴후보구역에 대한 픽셀개수조건, 얼굴후보구역에 대한 면적조건, 얼굴후보구역을 대한 타원조건 중 하나 이상을 포함하는 조건을 제1얼굴특성조건으로 설정하고, 상기 얼굴후보구역에서 제1얼굴특성조건에 해당하는 부분을 얼굴후보영역으로 추출하는 단계; 그리고,

(d)얼굴후보영역에 대한 이진화 영상의 흑백비율조건을 제2얼굴특성조건으로 설정하며, 상기 얼굴후보영역에서 제2얼굴특성조건에 해당하는 부분을 얼굴영역으로 결정하는 단계;

를 포함하여 이루어지는 것을 특징으로 하는 정지영상에서의 얼굴추출방법.
제5항에서,

상기 (b)단계는,

(b-1)얼굴후보지역을 순차 연결성분 알고리즘에 따라 같은 연결성분에 속하는 픽셀끼리 클러스터링하는 단계;

(b-2)얼굴후보지역에 대한 이웃하는 픽셀 간의 색상차이조건 또는 얼굴후보지역에 대한 히스토그램의 피크구역조건으로 클러스터분할조건을 설정하고, 얼굴후보지역의 각 클러스터를 클러스터분할조건에 따라 클러스터링하여 얼굴후보구역으로 분할하는 단계;

를 포함하여 이루어지는 것을 특징으로 하는 정지영상에서의 얼굴추출방법.
제6항에서,

상기 (b-2)단계는 RGB모델에서 각 요소의 임계조건을 색상차이조건으로 설정하여 이루어지거나 YCrCb모델의 Cr성분을 이용한 히스토그램에서 최빈값을 기준으 로 한 임계조건을 피크구역조건으로 설정하여 이루어지는 것을 특징으로 하는 정지영상에서의 얼굴추출방법.
제5항 내지 제7항 중 어느 한 항에서,

상기 (a)단계는 영상데이터에 대하여 히스토그램 평활화를 수행한 후에 보정된 영상데이터에서 얼굴후보지역을 검출하는 단계로 이루어지는 것을 특징으로 하는 정지영상에서의 얼굴추출방법.
제5항 내지 제7항 중 어느 한 항에서,

상기 (d)단계는 결정된 얼굴영역에 대하여 모자이크 처리하는 단계가 더 포함하여 이루어지는 것을 특징으로 하는 정지영상에서의 얼굴추출방법.