KR20050014072A - 색분포 학습을 통한 얼굴영역 추출 방법 - Google Patents

Abstract

본 발명은 색분포 학습을 통한 얼굴영역 추출 방법에 관한 것으로, 입력하는 영상 신호를 단위 프레임별로 분류하고, 분류한 단위 프레임을 기준으로, 해당 색상을 나타내는 픽셀이 화면을 점유하는 개수와 얼굴 영역을 점유하는 개수의 비율로 얼굴색 유사도를 산출한 후, 산출한 얼굴색 유사도를 색상에 대응시켜 얼굴색유사도테이블을 채우며, 상기 얼굴색유사도테이블로부터 해당 단위 프레임의 각 얼굴색 유사도를 읽어들여 그레이 영상을 구성하고, 구성된 그레이 영상을 기반으로 각 픽셀의 색상 데이터를 이진화 및 타원 근사로 얼굴영역을 분류한 후 추출한다.

본 발명에 따르면, 한 프레임별로 각 색상에 대한 얼굴 유사도를 산출하고, 이를 학습시켜 조명에 의한 얼굴색 편차, 사람마다의 얼굴색 편차 등과 같이 스킨 칼라의 변화에 대응하여 얼굴 영역을 추출할 수 있으며, 얼굴 영역 추출을 위해 많은 데이터 처리를 필요하지 않으므로 실시간 얼굴 영역 추출을 요하는 곳에 적용할 수 있는 효과가 있다.

Description

색분포 학습을 통한 얼굴영역 추출 방법{Method for extraction region of face with learning colors distribution of a frame image}

본 발명은 영상신호로부터 얼굴영역을 추출하는 영상신호처리방법에 관한 것으로, 특히, 한 프레임별로 분포된 색 분포 정보를 학습시켜 얼굴 유사도 색을 파악하고 파악된 얼굴 유사도 색을 이용하여 얼굴영역을 추출하는 방법에 관한 것이다.

일반적으로, 얼굴영역 추출기술은 VOD(Video On Demand) 또는 PVR(Personal Video Recorder) 등의 동영상 처리 관련 시스템이나 화상 통신 시스템 및 음성인식장치 등에 이용되고 있다.

음성인식장치를 일예로 보면, 현재 개발되고 음성인식장치는 얼굴영역을 추출한 후, 추출된 얼굴영역을 기반으로 입술 위치를 검출하고, 입술의 특징을 분석하여 음성을 파악하고 있는데, 이때 사용되는 얼굴영역 추출방법은 영상으로부터 윤곽선을 추출하여 추출한 윤곽선과 기준 도형을 비교하고, 얼굴 템플릿을 구한 후에 얼굴 템플릿의 색을 얼굴 기준색과 비교하여 얼굴영역을 추출하는 방법을 사용하였다.

그리고, 얼굴영역 추출방법의 다른 예를 보면, 얼굴의 스킨(skin) 칼라를 이용하는 방법이 있는데, 이 방법은 영상정보 중 살색을 갖는 픽셀들만을 찾고 이렇게 찾은 픽셀들을 추출하여 얼굴 영역으로 추출하는 방법이 있다.

또 다른 예를 보면, 얼굴 스킨 칼라를 이용하는데 있어서 기 설정된 얼굴 색상 범위를 지정한 테이블을 이용하는데, 영상정보로부터 스킨칼라를 얻으면 스킨칼라를 기 설정된 테이블의 얼굴색 정보와 비교하여 얼굴색 범위에 포함되면 얼굴색으로 파악하여 얼굴영역을 추출하는 방법이 있다.

그러나, 첫 번째 얼굴영역 추출 방법은 얼굴 영역을 추출하기 위해 많은 데이터 처리가 필요하고 그 처리 시간이 길어 실시간 처리를 요구하는 상황에 적합하지 않은 문제점이 있다. 그리고, 두 번째 얼굴영역 추출 방법은 조명에 의해 살색이 일정한 색으로 표현되지 않고 사람마다 살색이 다르기 때문에 정확한 얼굴 영역을 추출하지 못하는 문제점이 있다. 세 번째 얼굴영역 추출 방법은 설정된 얼굴색 범위를 미리 지정함으로써 빠른 얼굴 영역 추출이 가능한 장점이 있으나, 상기 조명에 의한 살색의 편차 등을 고려하기 위해서는 얼굴색 범위를 넓게 하여야 하지만 그 얼굴색 범위를 넓게 하면 촬영된 영상의 색상 중 얼굴색과 유사한 색을 얼굴색으로 오인하여 추출하게 되고 너무 좁게 하면 얼굴영역을 추출하지 못하게 되는 문제가 발생한다.

본 발명은 상기한 종래의 문제점을 해결하기 위한 것으로, 빠른 데이터 처리가 가능하면서도 실시간으로 정확한 얼굴영역을 추출할 수 있게 하는 것을 목적으로 한다.

또한, 본 발명은 조명, 사람마다의 얼굴색 등으로 인해 촬영되는 얼굴색의 변화가 생기더라도 이러한 요소에 영향을 받지 않고 정확한 얼굴영역을 추출하는 것을 목적으로 한다.

도 1은 본 발명을 위한 얼굴영역 추출 시스템의 블록 구성도이다.

도 2는 본 발명의 실시예에 따른 색분포 학습을 통한 얼굴영역 검출방법을 보인 순서도이다.

도 3은 본 발명의 실시예에 따른 HS 색상들을 가우시안 컨볼루션하여 평균화한 것을 보인 도면이다.

도 4는 본 발명의 실시예에 따른 얼굴색 유사도를 기반으로 그레이 영상을 구성한 것을 보인 도면이다.

도 5는 본 발명의 실시예에 따른 타원 근사로 얼굴 영역을 분리하는 것을 보인 도면이다.

상기한 기술적 과제를 달성하기 위한 본 발명은 촬영된 얼굴색의 변화에 영향을 주는 요소를 학습을 통해 극복하고, 학습된 결과를 이용하여 이후의 얼굴 영역 추출에 이용하는 것을 특징으로 한다.

이러한 본 발명의 특징을 달성하는 본 발명에 따른 색분포 학습을 통한 얼굴영역 검출 방법은 입력하는 영상 신호를 단위 프레임별로 분류하고 디스플레이하는제1 단계와, 사용자에 의해 지정된 얼굴 영역 범위 정보에 따라 단위 프레임을 기준으로, 영상 전체에서 특정 색상의 관찰 빈도수와 상기 특정 색상이 얼굴에 속한 분류 빈도수의 비로 얼굴색 유사도를 산출하는 제2 단계와, 산출한 얼굴색 유사도를 색상에 대응시켜 얼굴색유사도테이블을 채우는 제3 단계와, 상기 얼굴색유사도테이블로부터 해당 단위 프레임의 각 얼굴색 유사도를 읽어들여 그레이 영상을 구성하는 제4 단계와, 구성된 그레이 영상을 기반으로 각 픽셀의 색상 데이터를 이진화하고, 타원 근사로 얼굴영역을 분류한 후 추출하는 제5 단계를 포함하여 달성된다.

바람직하게, 상기 제3 단계는 상기 얼굴색유사도테이블에 저장되는 색상 정보를 HS 값으로 바꾸어 저장시키는 것이 양호하다.

바람직하게, 상기 제3 단계는 HS값의 색상 정보들을 가우시안 레볼루션하여 색상 평균화를 수행하고, 상기 색상 평균화를 통해 얻어진 새로운 HS값의 색상 정보를 상기 얼굴색유사도테이블을 채우는 것이 양호하다.

그리고, 상기 얼굴색유사도테이블에 모든 색상에 대한 상기 얼굴색 유사도가 채워지면, 상기 제2 단계와 상기 제3 단계를 수행하지 않고, 바로 단위 프레임의 색상을 파악한 후 상기 제4 단계를 수행하는 것이 양호하다.

이하, 첨부한 도면을 참조로 하여 본 발명의 실시예에 따른 색분포 학습을 통한 얼굴영역 검출 방법을 설명한다.

도 1은 본 발명을 위한 얼굴영역 검출 시스템의 블록 구성도이다. 도 1에 도시된 바와 같이, 본 발명을 위한 얼굴영역 검출 시스템은 영상획득장치(10), 영상신호처리장치(20)와, 디스플레이 장치(30)로 이루어진다.

영상획득장치(10)는 피사체를 촬영하여 영상 신호를 생성하는 장치로서, CCD(Charge Coupled Device) 카메라 또는 디지털 카메라, 또는 동영상 처리 장치 등이 이에 해당한다.

영상신호처리장치(20)는 영상획득장치(10)에서 제공하는 영상 신호를 신호 처리하여 얼굴 영역을 검출하는 장치로서, 영상프레임 획득부(21), 얼굴색분포 모델학습부(22), 저장부(23), 얼굴유사도 산출부(24), 얼굴영역 검출부(25)와 제어부(26)를 포함한다.

상기 영상프레임 획득부(21)는 영상획득장치(10)로부터 입력되는 영상 신호를 한 프레임씩 분리하고, 얼굴색분포 모델학습부(22)는 프레임별 각 픽셀들의 RGB 색상을 파악하고, 각 픽셀들의 RGB 색상을 HSV(Hue-Saturation-Value) 색상계에서 HS값으로 변환시킨다. 상기와 같이 HSV 색상 공간의 HS(Hue/Saturation) 색상으로 변환시키는 것은 이 색상 공간이 다른 색상 공간에 비해 얼굴색과 입술색을 비교적 잘 분류해주기 때문으로, 이후 본 발명의 방법에 의해 검출된 얼굴영역 정보가 음성인식장치 등에 이용될 경우에 유용하게 사용될 수 있게 하기 위한 것이다.

상기 RGB 색상을 HS 색상으로 변환시키는 과정은 옵션 사항으로, 본 발명이 적용되는 분야에 따라 수행되지 않을 수 있다.

얼굴색분포 모델학습부(22)는 HS 색상값으로 각 픽셀의 색을 변환시키면, HS 색상값을 바탕으로 각 색상에 대한 얼굴색 유사도를 산출한다. 즉, 얼굴색분포모델학습부(24)는 색상 c1에 대하여 다음의 수학식 1과 같이 얼굴색 유사도(P_F(c1))를 산출한다.

상기 F_F(c1)은 색상 c1의 분류 빈도수이고, F_B(c1)은 관찰 빈도수이다.

분류 빈도수란 한 프레임에서 얼굴 영역을 구성하는 픽셀 중에서 해당 색상을 가지는 픽셀의 개수이고, 관찰 빈도수란 한 프레임의 전체 영역을 구성하는 픽셀 중 해당 색상을 가지는 픽셀의 개수이다.

얼굴색분포 모델학습부(22)는 사용자가 지정한 단위 프레임의 해당 영역에 대하여 각 색상의 얼굴색 유사도를 산출한 후, 산출한 색상에 대한 얼굴색 유사도가 매칭(matching)된 얼굴색유사도테이블에 채운다. 이때, 얼굴색유사도테이블의 색인은 색상으로 하며, 상기 색상 색인은 HS 색상으로 표현된다.

저장부(23)는 프레임별 영상 신호 정보를 저장하며, 얼굴색유사도테이블(25)을 저장한다. 얼굴유사도 파악부(24)는 얼굴색분포 모델학습부(24)에 저장된 얼굴색유사도테이블에 저장된 얼굴 유사도 정보를 파악하여 현재 프레임의 모든 픽셀의 얼굴색 유사도를 계산한다.

얼굴영역 추출부(25)는 얼굴유사도 파악부(24)에 의해 파악한 각 픽셀의 얼굴색 유사도를 기반으로 그레이 영상을 구성하고, 그레이 영상을 이진화 및 타원 근사를 통해 얼굴의 위치와 크기를 한정하여 얼굴영역을 추출한다.

제어부(25)는 장치의 전반적인 동작을 제어하며, 디스플레이 장치(30)는 상기 영상신호처리장치(20)의 각 구성에 의해 처리된 결과를 디스플레이한다.

이하, 도 2를 참조로 하여 본 발명의 실시예에 따른 색분포 학습을 통한 얼굴영역 검출 방법을 설명한다. 도 2는 본 발명의 실시예에 따른 색분포 학습을 통한 얼굴영역 검출방법을 보인 순서도로서, 얼굴색 분포모델 학습을 수행한 후 얼굴 영역을 추출하는 것을 보인 순서도이다.

본 발명은 얼굴색 분포모델 학습 명령을 사용자로부터 입력받지 않으면, 저장된 얼굴색유사도테이블을 근거로 하여 입력되는 프레임 단위별로 각 색상의 유사도를 파악하고, 얼굴 영역을 추출한다. 그러나, 본 발명은 얼굴색 분포모델 학습 명령을 사용자로부터 입력받으면 다음과 같이 얼굴색분포 모델 학습 동작을 수행하여 얼굴색유사도테이블을 업데이트시킨 후 얼굴 영역을 추출한다.

그 과정을 보면, 얼굴영역을 검출하기 위해 영상획득장치(10)를 이용하여 사람 얼굴을 촬영하고, 촬영된 영상 신호는 영상프레임 분류부(21)에 제공된다(S210). 영상프레임 분류부(21)에 제공된 영상 신호는 프레임 단위로 분류되어(S211), 얼굴색분포 모델학습부(22)에 제공된다.

이때, 프레임 단위로 분류된 영상을 디스플레이 장치(30)에 디스플레이되면 사용자는 디스플레이 된 영역에서 얼굴영역을 임의로 지정한다. 이렇게 사용자가 지정한 얼굴영역 범위 정보는 얼굴색분포 모델학습부(22)에 제공된다.

그러면, 얼굴색분포 모델학습부(22)는 영상프레임 분류부(21)에서 제공하는단위 프레임별 영상 정보에서 단위 프레임별로 각 픽셀의 RGB 색상을 파악하고(S212), RGB 색상을 HS 색상으로 변환시키고(S214), 얼굴색분포 모델학습부(22)는 얼굴색분포 모델학습을 수행할 단위 프레임 영상 전체에서 각각 해당 색상을 나타내는 픽셀의 수를 파악한다(S213).

상기 과정(S213)을 수행하면, 상기 수학식 1을 이용하여 각 색상별로 얼굴색 유사도를 산출한다(S215).

상기 얼굴색 유사도를 산출하는 것은 어떠한 색상이 단위 프레임에서 얼굴색상으로 많이 나타났는지, 어떤 색상이 얼굴색상으로 적게 나타났는지를 파악하기 위한 것이다. 실제로 사람의 얼굴을 대상으로 영상획득장치(10)를 통해 촬영하였다면, 촬영된 영상을 디스플레이하게 되면 얼굴색상유사도 값이 높은 색상의 픽셀은 대부분 얼굴에 위치하게 된다. 따라서 픽셀의 HS값을 인덱스로 하여 얼굴색유사도테이블로부터 얼굴색 유사도를 계산하면 그 값이 높을수록 그 픽셀이 얼굴 영역에 있다고 판단할 수 있는 것이다.

얼굴색분포 모델학습부(22)는 얼굴색 유사도를 산출한 후 HS를 인덱스로하는 테이블을 구성한다. 그리고, 얼굴색분포 모델학습부(22)는 도 3에 도시된 바와 같이 얼굴색 모델로 판단한 HS 색상을 가우시안 콘볼루션(Gaussian convolution) 과정을 수행하여 색상에 대한 평균화가 이루어지게 한다(S216).

여기서, 학습된 얼굴색 모델은 도 3의 a와 같이 디스크리트(discrete)하다. 이렇게 학습된 얼굴색 모델이 디스크리트한 것은 관찰 경험에 제약이 따르기 때문이다. 즉, 미처 관찰하지 못한 경우에 대해서나 관찰하였으나 편향된(bias) 관찰경험을 가지기 때문이다. 따라서, 도 3의 a와 같이 디스크리트한 얼굴색 모델을 가우시안 콘볼루션하게 되면 도 3의 b와 같이 얼굴색 모델이 선형적으로 채워지게 되어 마치 모든 상황에 대해서 관찰한 것과 같이 된다.

상기와 같이 평균화가 이루어지면, 얼굴색분포 모델학습부(22)는 HS값을 색인으로 하고, 얼굴색으로 판단한 색상과 얼굴색 유사도를 매칭시켜 얼굴색유사도테이블에 저장시킨다(S217).

상기와 같은 얼굴색분포 모델학습부(22)의 학습 동작에 의해 얼굴색유사도테이블은 점차적으로 얼굴색상에 대한 색상유사도 정보를 누적하여 보유하게 된다. 이는 어떠한 색이 얼굴색인지를 점차적으로 학습하는 것과 같다. 상기 얼굴색유사도테이블에 저장된 얼굴색상은 촬영시의 조명을 반영한 색상이고, 사람마다 각기 다른 스킨 칼라가 반영된 색상이므로, 얼굴색유사도테이블은 조명이나 스킨 칼라에 영향을 받지 않고 얼굴영역을 파악할 수 있는 유용한 자료로서 이용된다.

얼굴유사도 파악부(24)는 얼굴색유사도테이블을 읽어들여 현재 프레임에서 색상유사도가 높은 색상을 파악하여 얼굴색으로 결정한다(S218). 그러면, 얼굴영역 추출부(25)는 색상유사도를 기반으로 도 4에 도시된 바와 같이 현재 프레임의 영상을 그레이 영상으로 구성하고, 이진화 및 타원 근사를 통해 영굴 영역을 분할하고, 분할한 얼굴영역을 추출한다(S219, S220).

즉, 얼굴영역 추출부(25)는 그레이 영상을 통해 각 픽셀의 색상을 이진화시킨다. 그런데 이진화된 영상은 다소의 잡영이 들어 있으므로, 얼굴영역 추출부(25)는 다음의 수학식 2, 수학식 3과 수학식 4를 이용하여 무게중심과 모멘트 계산을하고 이를 통해 타원으로 얼굴 영역을 근사하여 얼굴 부분을 추출한다.

상기 무게중심과 모멘트 계산을 통해 얼굴의 타원 영역을 추출하는 수학식 2는 다음과 같은데, 수학식 2에서 영상의 y방향으로의 이차 모멘트를 μ_yy, 2차 혼합 모멘트를 μ_xy, x방향으로의 2차 모멘트를 μ_xx라고 한다.

,

상기 A는 얼굴 영역으로 되어 있는 픽셀의 개수이고, R은 타원 함수이다.

타원의 영역을 나타내는 부등식을 다음의 수학식 3과 같다고 하면, 타원의 식을 구성하는 계수 d, e, f는 다음의 수학식 4와 같다.

R={(x,y) | d{x}^{2}+2exy+f{y}^{2} = 1}

얼굴영역 추출부(25)는 타원의 식을 구한 후, 타원의 내부의 점을 얼굴영역으로 삼아 얼굴영역을 추출한다.

상술한 본 발명에서 얼굴색 학습은 사용자의 요구가 있을 때에 수행되며, 사용자가 얼굴색 학습을 요구하지 않으면 수행하지 않는다.

즉, 사용자가 얼굴색 학습을 요구하지 않으면 본 발명은 입력되는 영상의 각 픽셀이 나타내는 색상을 파악한 후 기 저장된 얼굴색유사도테이블을 이용하여 얼굴색을 파악한 후, 얼굴영역을 분할하고 추출한다.

상술한 동작을 수행한 본 발명에 의해 추출된 얼굴영역이 원하는 결과를 만족시키지 못하게 되면 본 발명은 사용자 요구에 따라 다시 한번 얼굴색 학습을 하게 된다. 상기 원하는 결과를 만족하지 못하였다는 것은 얼굴색유사도테이블에 저장된 정보가 현재 입력된 영상으로부터 얼굴색 영역을 추출한 정도의 신뢰도를 가지지 못한다는 것을 의미하며, 이는 곧 학습을 하여야 한다는 것을 의미한다.

이상에서 본 발명에 대한 기술사상을 첨부도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

본 발명은 한 프레임별로 각 색상에 대한 얼굴 유사도를 산출하고, 이를 학습시켜 조명에 의한 얼굴색 편차, 사람마다의 얼굴색 편차 등과 같이 스킨 칼라의 변화에 대응하여 얼굴 영역을 추출할 수 있으며, 얼굴 영역 추출을 위해 많은 데이터 처리를 필요하지 않으므로 실시간 얼굴 영역 추출을 요하는 곳에 적용할 수 있는 효과가 있다.

Claims (6)

1. 입력하는 영상 신호를 단위 프레임별로 분류하고 디스플레이하는 제1 단계;

   사용자에 의해 지정된 얼굴 영역 범위 정보에 따라 단위 프레임을 기준으로, 영상 전체에서 특정 색상의 관찰 빈도수와 상기 특정 색상이 얼굴에 속한 분류 빈도수의 비로 얼굴색 유사도를 산출하는 제2 단계;

   산출한 얼굴색 유사도를 색상에 대응시켜 얼굴색유사도테이블을 채우는 제3 단계;

   상기 얼굴색유사도테이블로부터 해당 단위 프레임의 각 얼굴색 유사도를 읽어들여 그레이 영상을 구성하는 제4 단계; 및

   구성된 그레이 영상을 기반으로 각 픽셀의 색상 데이터를 이진화하고, 타원 근사로 얼굴영역을 분류한 후 추출하는 제5 단계를 포함하는 색분포 학습을 통한 얼굴영역 추출 방법.
2. 청구항 1에 있어서,

   상기 제2 단계는 다음의 수학식으로 해당 색상에 대한 얼굴색 유사도를 산출하는 것을 특징으로 하는 색분포 학습을 통한 얼굴영역 추출 방법.

   상기 F_F(c1)은 색상 c1의 분류 빈도수이고, F_B(c1)은 관찰 빈도수.
3. 청구항 1에 있어서,

   상기 제3 단계는 상기 얼굴색유사도테이블에 저장되는 색상 정보를 HS 값으로 바꾸어 저장시키는 것을 특징으로 하는 색분포 학습을 통한 얼굴영역 추출 방법.
4. 청구항 1 또는 청구항 3에 있어서,

   상기 제3 단계는 HS값의 색상 정보들을 가우시안 콘볼루션하여 색상 평균화를 수행하고, 상기 색상 평균화를 통해 얻어진 새로운 HS값의 색상 정보를 상기 얼굴색유사도테이블을 채우는 것을 특징으로 하는 색분포 학습을 통한 얼굴영역 추출 방법.
5. 청구항 1에 있어서,

   상기 얼굴색유사도테이블에 모든 색상에 대한 상기 얼굴색 유사도가 채워지면, 상기 제2 단계와 상기 제3 단계를 수행하지 않고, 바로 단위 프레임의 색상을 파악한 후 상기 제4 단계를 수행하는 것을 특징으로 하는 색분포 학습을 통한 얼굴색영역 추출 방법.
6. 컴퓨터에,

   입력하는 영상 신호를 단위 프레임별로 분류하는 제1 단계;

   분류한 단위 프레임을 기준으로, 해당 색상을 나타내는 픽셀이 화면을 점유하는 비율로 얼굴색 유사도를 산출하는 제2 단계;

   산출한 얼굴색 유사도를 색상에 대응시켜 얼굴색유사도테이블을 채우는 제3 단계;

   상기 얼굴색유사도테이블로부터 해당 단위 프레임의 각 얼굴색 유사도를 읽어들여 그레이 영상을 구성하는 제4 단계; 및

   구성된 그레이 영상을 기반으로 각 픽셀의 색상 데이터를 이진화하고, 타원 근사로 얼굴영역을 분류한 후 추출하는 제5 단계를 실행시킬 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.