KR101672814B1 - 랜덤 포레스트를 이용한 성별인식 방법 - Google Patents

Abstract

본 발명은 상점, CCTV, 휴대폰 등의 카메라로부터 얻어지는 영상으로부터 고객 또는 사용자의 성별을 실시간으로 판별하는 방법에 관한 것으로, 얼굴영상을 입력받는 단계; 상기 얼굴영상에서 2 이상으로 구성된 다중영역영상을 생성하는 단계; 상기 다중영역영상 각각에 대한HOG 영상을 생성하는 단계; 상기 HOG 영상을 기반으로 특징벡터를 생성하는 단계; 상기 학습된 랜덤 포레스트에 상기 특징벡터를 입력하고, 상기 학습된 랜덤 포레스트에 포함된 복수의 트리로부터 얻은 출력값을 기반으로 성별을 판별하는 단계;를 포함하며, 다양한 각도, 해상도, 조명, 포즈 등을 포함하는 다양한 입력영상에 대하여 뛰어난 인식 성능을 제공하며 실시간 처리가 가능함으로써, 매장 출입 고객의 통계를 내는데 사용하거나 고객의 성별에 따른 자동 서비스 제공을 위한 시스템으로 적용되어 리테일 솔루션을 제공할 수 있다.

Description

랜덤 포레스트를 이용한 성별인식 방법{METHOD FOR RECOGNIZING GENDER USING RANDOM FOREST}

본 발명은 컴퓨터 비젼 기반의 성별인식 기술에 관한 것으로, 보다 상세하게는 상점, CCTV, 휴대폰 등의 카메라로부터 얻어지는 영상으로부터 고객 또는 사용자의 성별을 실시간으로 판별하는 방법에 관한 것이다.

컴퓨터 비전 기반의 성별인식은 얼굴인식과 함께 활발한 연구가 이루어지고 있는 분야로, 2013년부터는 미국 NIST 주관 FRVT(Face vendor recognition test)에서 얼굴인식 기술의 성능 측정을 위한 하나의 항목으로 추가되었으며, 이러한 성별인식 기술은 성별에 따른 차별화된 서비스, 출입고객 통계 등의 리테일(retail) 솔루션을 제공할 수 있는 주요한 기술 중 하나이다.

종래에 성별인식을 위해 제안된 방법들은 픽셀값, LBP(Local Binary Pixel) histogram, SIFT (Scale Invariant Feature Transform), Gabor 등의 방법을 이용하여 특징을 추출하고, PCA, Bayesian model, Adaboost, SVM (Support Vector Machine) 등을 이용하여 분류기를 학습하여 성별 인식을 시도하였다.

그러나, 이러한 방법들은 실시간으로 작동하기에 어렵거나 조명, 해상도 등의 변화에 민감한 방법들이다. 또한 대부분의 방법들은 얼굴 안쪽 정보만을 사용함으로써, 성별 판별에 있어서 중요한 역할을 하는 헤어스타일, 얼굴 윤곽 등의 중요한 정보를 사용할 수 없으며, 몇몇 방법에서 얼굴 안쪽 외에 머리카락, 옷 등을 추가적으로 사용하도록 제안하였으나 세그멘테이션(segmentation) 등의 추가적인 특징 검출기가 별도로 필요하므로 실환경에서의 효용성이 떨어지는 문제가 있다.

본 발명은 상술한 실정을 감안하여 안출된 것으로, 본 발명이 해결하고자 하는 기술적 과제는 다양한 실환경 변화에 강인하고 얼굴 전체 형태에 대한 정보를 사용하며 실시간 구동이 가능한 성별인식 방법을 제공하는데 있다.

상술한 기술적 과제를 해결하기 위한 본 발명에 따른 성별인식 방법은, 학습된 렌덤 포레스트를 이용하여 성별을 인식하는 성별인식 방법으로써, 얼굴영상을 입력받는 단계; 상기 얼굴영상에서 2 이상의 다중영역영상을 생성하는 단계; 상기 다중영역영상 각각에 대한HOG 영상을 생성하는 단계; 상기 HOG 영상을 기반으로 특징벡터를 생성하는 단계; 상기 학습된 랜덤 포레스트에 상기 특징벡터를 입력하고, 상기 학습된 랜덤 포레스트에 포함된 복수의 트리로부터 얻은 출력값을 기반으로 성별을 판별하는 단계;를 포함하며,

상기 성별을 판별하는 단계는 상기 복수의 트리로부터 얻은 출력값에 대한 가중치의 합으로 남자 또는 여자일 확률을 계산하는 단계를 포함할 수 있다.

상기 다중영역영상은 눈, 코, 입 등의 얼굴 내부만을 포함하는 영상과 머리카락, 턱선을 포함하는 영상을 포함하여 구성될 수 있으며, 상기 특징벡터는 HOG영상들의 전체 블록에서 설정된 인덱스에 따라 일정 개수의 블록을 선택하고, 상기 선택된 블록의 특징값을 벡터로 구성함으로써 생성될 수 있다.

상기 생성된 특징벡터에 의해 계산된 아래 수학식 1의 Err(S) 값이 기 설정된 임계값보다 작은 경우, 블록을 재선택하여 특정벡터를 다시 생성할 수 있으며,

[수학식 1]

상기 수학식 1에서, S는 선택된 L개의 인덱스를, Ix는 M개의 학습영상 중에서 x번째 영상을 의미하고, f는 특징벡터를 추출하는 함수를, C는 트리의 분기노드에서 결정함수로 사용되는 함수를 나타내며, yi는 Ix의 실제 정답(남=1, 여=0)을 의미한다.

본 발명에 의하면, 다중영역영상을 사용함으로써 얼굴 안쪽 정보와 바깥쪽 정보를 함께 사용할 수 있게 되며, HOG영상의 부분 영역을 선택함으로써 국부적인 변화에 강인한 특징을 추출할 수 있다.

이로써, 다양한 각도, 해상도, 조명, 포즈 등을 포함하는 다양한 입력영상에 대하여 뛰어난 인식 성능과 실시간 처리가 가능하게 되어, 매장 출입 고객의 통계를 내는데 사용하거나 고객의 성별에 따른 자동 서비스 제공을 위한 시스템에 적용되어 리테일 솔루션을 제공할 수 있다.

도 1은 본 발명에 따른 성별인식 방법에 있어 학습 단계의 흐름도이다
도 2는 본 발명에 따른 트리 생성을 위한 각 단계에서의 영상을 나타낸 도면이다.
도 3은 본 발명에 따른 성별인식 방법에 있어 테스트 단계의 흐름도이다.

본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하였으며, 명세서 전체를 통하여 동일한 부분에 대해서는 동일한 도면 부호를 사용한다.

그리고, 본 명세서에서 사용되는 용어들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참고하여 상세하게 설명한다.

본 발명에 따른 성별인식 방법은 랜덤 포레스트(Random Forest)를 학습하고, 이를 이용하여 입력된 얼굴영상의 성별을 판단하는 것으로, 학습 단계(S1100)와 테스트 단계(S1200)로 구분하여 설명하기로 한다.

도 1은 본 발명에 따른 성별인식 방법에 있어 학습 단계의 흐름도이고, 도 2는 본 발명에 따른 트리 생성을 위한 각 단계에서의 영상을 나타낸 도면이다.

도 1을 참조하면, 학습 단계는 주어진 학습영상 데이터로부터 학습된 렌덤 포레스트를 형성하는 단계로서, 학습영상 데이터를 N개의 부분집합으로 나누는 단계(S110)와 각각의 부분집합의 데이터에 대하여 트리를 생성하는 단계(S120)로 구분할 수 있다.

학습영상 데이터는 얼굴 내부뿐 만 아니라 헤어스타일, 얼굴윤곽을 포함하는 얼굴영상들로 구성되며, 남자 또는 여자 중 어느 클래스(class)에 속하는지 알고 있는 데이터들을 사용한다.

준비된 학습영상 데이터들은 단계(S110)에서 N개의 부분집합으로 나뉘어지게 되는데, 이때 각각의 부분집합은 반드시 서로소(Disjoint set)일 필요는 없으며 각 부분집합에 공통된 학습영상 데이터가 존재하여도 무방하다.

학습영상 데이터가 복수의 부분집합으로 분류되고 나면, 각각의 분류된 데이터를 기초로 단계 S120을 통해 랜덤 포레스트를 구성하는 복수의 트리(tree)가 생성되며, 단계 S120은 다중영역영상 생성 단계(S130), HOG영상 생성 단계(S140), 특징벡터 생성 단계(S150), 트리 학습 단계(S160)를 포함하여 구성된다.

일반적으로 랜덤 포레스트는 무작위성이 포함된 의사결정 트리 여러 개로 동작하며, 입력된 학습영상 데이터들은 의사결정 트리의 각 분기 노드(branch node)에 무작위로 할당된 질문들을 거치며 특정한 종단 노드(leaf node)에 도달하게 되면서 각 종단 노드마다 그 분포 내지는 확률을 형성하게 된다.

먼저, 단계 S130에서는 입력된 학습영상에서 다중영역영상(Multi-Regional Image)을 생성한다. 여기서 다중영역영상은 학습영상에서 영역, 크기 및 모양 중에서 적어도 어느 하나를 달리하여 추출한 2이상의 얼굴영상을 말한다.

예를 들어, 도 2에 도시된 바와 같이 학습영상(a)에서 양 눈 사이의 거리를 D라고 할 때, 가로 2*D 및 세로 3*D 영역의 얼굴 내부만을 포함하는 얼굴영상(b1)과 가로 2.5*D 및 세로 3*D 영역의 머리카락 등을 포함하는 얼굴영상(b2)을 각각 추출함으로써, 두 개의 다중영역영상(b1, b2)을 생성할 수 있다.

이때, 두 영상 (b1) 및 (b2)의 해상도를 달리하여 각 영상의 특성이 다르게 반영되도록 할 수 있다. 즉, 얼굴 내부만을 포함하는 얼굴영상(b1)의 해상도는 높게 하여 얼굴 요소 특징을 부각시키는 한편, 머리카락 등을 포함하는 얼굴영상(b2)의 해상도는 낮게 하여 전체적인 윤곽선 특징이 부각되도록 할 수 있다.

이렇게 2이상의 다중영역영상을 생성함으로써, 얼굴 내부뿐 만 아니라 헤어스타일, 턱선 등의 정보를 추가적으로 사용할 수 있게 된다.

단계 S140에서는 각각의 다중영역영상에 대한 HOG(Histogram of Oriented Gradient) 영상을 생성한다.

HOG는 얼굴영상의 에지(edge) 정보를 나타낼 수 있는 머리 스타일, 눈의 모양, 턱선 등의 객체 모양의 특징을 추출하기 위해 사용되는 것으로, 국소영역에서 근접화소들 간의 밝기 차이를 이용해 기울기와 방향성을 구하고, 히스토그램을 구성하여 벡터로 나타낼 수 있다. HOG는 국소영역의 화소 분포를 히스토그램으로 구성함으로써 조명의 영향에 민감하지 않고, 기하학적 변화에 강건한 특징을 가진다.

기울기 값은 각 픽셀의 밝기 영상으로부터 x축과 y축의 변화에 대한 분포의 크기와 변화의 방향을 이용하여 각각 계산한다. 이후 계산된 변화에 대한 밝기영상분포의 크기 변화와 방향을 이용하여 일정한 픽셀 크기를 하나의 셀(cell)로 나타내고, 이 셀 내부의 밝게 변화에 대한 방향에 대해 히스토그램을 작성하여 셀을 벡터화 한다. 검출된 크기와 방향 히스토그램을 셀단위로 영상을 구분하여 값을 누적하는 것은 영상에서 에지(edge)성분이 분포하는 영역을 구별하기 위함이다.

이와 같은 셀의 벡터화 이후, 부분적인 조명의 차이, 각종 잡음의 영향을 줄이기 위해 각 셀에서 작성된 밝기에 대한 방향 히스토그램을 일정 크기의 셀을 하나의 블록(block)으로 하는 정규화를 실시한다. 도 2에서 (c1) 및 (c2)는 이러한 기울기 계산, 셀의 벡터화 및 블록의 정규화 과정을 통해 얻어진 다중영역영상(b1, b2)에 대한 HOG영상을 나타낸다.

단계 50에서는 생성된 HOG 영상에서 각 트리의 분기 노드(branch node)의 입력으로 들어가는 특징벡터를 생성한다.

구체적으로, HOG 영상은 그 정의에 따라서 p개의 블록(block)들로 나누어지고 각 블록은 q개의 셀(cell)로 나뉘어 진다. 이 때 HOG 영상들의 전체 블록을 원소로 가지는 집합을 B라고 하면, 특징벡터는 집합 B에서 선택된 임의의 L개의 원소로부터 생성된다.

예를 들어, 도 2에서, 다중영역 영상(b1, b2)으로부터 생성된 HOG 영상(c1, c2)이 있고, 각각은 p1, p2 개의 블록들로 나누어진다고 할 때, 블록들의 전체 집합 B는 P=(p1 + p2) 개의 블록을 원소로 가지게 된다. 여기에서 L( < P )개의 임의의 인덱스를 선택하고, 해당하는 블록들을 벡터로 구성함으로써 특징벡터를 생성한다. 즉, 본 발명은 특징벡터를 얻기 위해 임의의 차원을 선택하고 있으며, 특히 한번에 하나의 차원이 아니라 블록의 집합을 선택하고 있다는 데 특징이 있다.

도 2의 (d)의 'feature vector at node #k'는 k 번째 분기노드에서 사용되는 특징벡터를 나타낸 것으로, 빨간색으로 표시된 영역들이 선택된 블록을 나타낸다. 그리고 도 2의 실시예에서는 4개의 블록을 선택하였지만, 구현에 있어서는 반복 실험을 거쳐 1~P개까지의 값 중에서 좋은 성능을 보이는 개수를 설정할 수 있다. 또한, 임의로 선택된 블록의 집합이 성별을 구별하기에 좋지 않은 특징일 수도 있으므로, 선택된 특징벡터를 테스트해보고 좋지 않다면 다시 선택할 수 있다. 이때, 좋고 나쁨의 판단은 아래의 수학식 1을 이용하여 판단한다.

[수학식 1]

여기서, S는 임의로 선택한 L개의 인덱스를, Ix는 M개의 학습영상 중에서 x번째 영상을 나타낸다. 그리고 f는 영상 Ix에서 다중영역영상을 구하고 HOG 영상을 생성하는 과정을 통해 특징벡터를 추출하는 함수를 의미하며, C는 0과 1을 출력으로 하는 간단한 약분류기로써, 트리의 분기노드에서 결정함수로 사용되는 함수이다. yi는 Ix의 실제 정답(남=1, 여=0)을 나타낸다.

이때, Err(S) 값이 임계값 보다 작으면, 좋지 않은 특징벡터를 의미하므로 S를 재선택하여 특정벡터를 다시 생성한다. 임계값은 0.5에서 1사이의 임의의 값을 사용할 수 있다.

단계 60에서 트리 학습은 생성된 각각의 트리 별로 독립적으로 학습되며, 종래의 트리 학습과 유사한 방법으로 수행될 수 있다. 다만, 각 분기 노드에서 결정함수의 특징벡터로서 단계 50에서 생성된 특징벡터를 사용하며, 결정함수로는 CCA(canonical correlation analysis), 2-class 분류기 등을 사용하여 구현할 수 있다.

학습 결과로 각 트리의 종단 노드(leaf node)는 각 클래스(남자 또는 여자)일 확률 값(posteriror probability)이 산출된다. 한편, 각 분기 노드는 특징벡터를 생성하기 위해 사용된 블록의 인덱스들과 약분류기를 가지고 있다.

도 3은 본 발명에 따른 성별인식 방법에 있어 테스트 단계의 흐름도를 나타낸다. 도 3을 참조하면, 테스트 단계(S200)는 학습 단계(S100)를 통해 얻어진 랜덤 포레스트를 이용하여 입력된 임의의 얼굴영상의 성별을 판단하는 단계로서, 입력영상에서 얼굴을 검출하는 단계(S210), 다중영역영상을 생성하는 단계(S220), HOG영상을 생성하는 단계(S230), 학습된 랜덤 포레스트의 각 트리를 순행하는 단계(S240), 각 트리의 종단 노드에서의 출려값에 대한 가중치 합을 계산하는 단계(S250) 및 검출된 얼굴의 성별을 판단하는 단계(S260)를 포함하여 구성된다.

검출된 얼굴로부터 다중영역영상을 생성하는 S220 단계 및 HOG영상을 생성하는 S230 단계는 앞서 학습 단계(S100)에서의 단계 S130및 단계 S140과 동일하다.

단계 S240에서 트리 순행은 종래의 방법들을 이용하여 수행되며, 각각의 분기 노드에서는 학습 단계(S100)의 단계 S150에서 얻어진 블록의 인덱스를 이용하여 특징 벡터를 추출하고 약분류기를 통해서 분기 방향을 결정하게 된다.

각 트리에서의 순행 결과, 단계 S250에서는 하나의 출력값, 즉 남자 또는 여자일 확률을 얻게되므로, N개의 트리로부터 총 N개의 출력값을 얻게 된다. N개의 출력값에서 아래의 수학식 2를 이용하여 가중치의 합으로 남/여 일 확률값을 계산한다. 수학식 2는 남자일 확률을 구하는 수식으로, 수학식 3에서와 같이 그 값이 0.5 보다 크면 '남자'로 작으면 '여자'로 판별한다.

[수학식 2]

[수학식 3]

수학식 2에서 I는 입력 영상을, w는 각 트리의 가중치를 나타내는 것으로, 가중치의 전체 합은 1이 된다. 한편, 가중치는 학습 단계에서 데이터 유효성에 대하여 테스트하고, 각 트리의 분류성능으로부터 설정될 수 있으며, 유효 데이터가 없을 시에는 모든 가중치를 동일하게 설정하여 계산할 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위 뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (5)

1. 학습된 렌덤 포레스트를 이용하여 성별을 인식하는 성별인식 방법에 있어서,
   얼굴영상을 입력받는 단계;
   상기 얼굴영상에서 2 이상으로 구성된 다중영역영상을 생성하는 단계;
   상기 다중영역영상 각각에 대한 HOG 영상을 생성하는 단계;
   상기 HOG 영상을 기반으로 특징벡터를 생성하는 단계;
   상기 학습된 랜덤 포레스트에 상기 특징벡터를 입력하고, 상기 학습된 랜덤 포레스트에 포함된 복수의 트리로부터 얻은 출력값을 기반으로 성별을 판별하는 단계;를 포함하고,
   상기 얼굴영상에서 2 이상으로 구성된 다중영역영상을 생성하는 단계는,
   상기 얼굴영상에서 눈, 코, 입이 포함된 얼굴 내부만을 포함하는 얼굴영상(b1) 및 머리카락, 턱선을 포함하는 얼굴영상(b2)을 각각 추출하고, 상기 추출된 얼굴 내부만을 포함하는 얼굴영상(b1) 및 상기 머리카락, 턱선을 포함하는 얼굴영상(b2)의 해상도를 다르게 하여 두 개의 다중영역영상을 생성하고,
   상기 특징벡터는 HOG 영상들의 전체 블록에서 설정된 인덱스에 따라 일정 개수의 블록을 선택하고, 상기 선택된 블록의 특징값을 벡터로 구성함으로써 생성되고,
   상기 생성된 특징벡터에 의해 계산된 아래 수학식 1의 Err(S) 값이 기 설정된 임계값보다 작은 경우, 블록을 재선택하여 특정벡터를 다시 생성하며,
   [수학식 1]
   

   

   
   상기 수학식 1에서, S는 선택된 L개의 인덱스를, Ix는 M개의 학습영상 중에서 x번째 영상을 의미하고, f는 특징벡터를 추출하는 함수를, C는 트리의 분기노드에서 결정함수로 사용되는 함수를 나타내며, yi는 Ix의 실제 정답(남=1, 여=0)을 의미하는 것을 특징으로 하는 성별인식 방법.
2. 제1항에 있어서,
   상기 성별을 판별하는 단계는 상기 복수의 트리로부터 얻은 출력값에 대한 가중치의 합으로 남자 또는 여자일 확률을 계산하는 단계를 포함하는 것을 특징으로 하는 성별인식 방법.
3. 삭제
4. 삭제
5. 삭제

Images