KR101796027B1 - 얼굴 영상 기반 성별 인식 방법 및 장치 - Google Patents

얼굴 영상 기반 성별 인식 방법 및 장치 Download PDF

Info

Publication number
KR101796027B1
KR101796027B1 KR1020150046716A KR20150046716A KR101796027B1 KR 101796027 B1 KR101796027 B1 KR 101796027B1 KR 1020150046716 A KR1020150046716 A KR 1020150046716A KR 20150046716 A KR20150046716 A KR 20150046716A KR 101796027 B1 KR101796027 B1 KR 101796027B1
Authority
KR
South Korea
Prior art keywords
local
feature vector
local regions
sex
sub
Prior art date
Application number
KR1020150046716A
Other languages
English (en)
Other versions
KR20160118502A (ko
Inventor
박강령
조소라
뉴엔치엔잣
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020150046716A priority Critical patent/KR101796027B1/ko
Publication of KR20160118502A publication Critical patent/KR20160118502A/ko
Application granted granted Critical
Publication of KR101796027B1 publication Critical patent/KR101796027B1/ko

Links

Images

Classifications

    • G06K9/00221—
    • G06K9/00268—
    • G06K9/00281—

Landscapes

  • Image Analysis (AREA)

Abstract

컴퓨터 시스템에 의해 처리되는 성별 인식 방법으로서, (a) 입력된 얼굴 영상으로부터 복수의 국부 영역을 검출하는 단계-여기서, 상기 복수의 국부 영역은 얼굴 영역, 눈 영역, 머리카락을 포함한 얼굴 영역 중 적어도 2개를 포함함-; (b) 상기 복수의 국부 영역 각각에 대하여, 각 국부 영역 내의 하위 블록 별로 단위 특징 벡터를 획득하고, 상기 획득된 블록 별 단위 특징 벡터를 결합하여 상기 복수의 국부 영역 각각에 대한 통합 히스토그램 특징 벡터를 생성하는 단계; 및 (c) 미리 지정된 기계 학습 알고리즘을 이용하여 상기 통합 히스토그램 특징 벡터에 상응하는 성별 스코어를 산출하고, 상기 복수의 국부 영역 각각에 관하여 산출된 성별 스코어를 결합하여 성별 판정 결과를 출력하는 단계를 포함하는 성별 인식 방법이 제공된다.

Description

얼굴 영상 기반 성별 인식 방법 및 장치{METHOD AND COMPUTING DEVICE FOR GENDER RECOGNITION BASED ON FACIAL IMAGE}
본 발명은 성별 인식 방법에 관한 것으로서, 보다 구체적으로는 얼굴 영상에서 얼굴 영역, 눈 영역, 머리카락이 포함된 얼굴 영역을 검출하고 이들의 국부적 특징을 이용하여 성별 인식을 수행하는 방법 및 장치에 관한 것이다.
최근 영상 인식 기술을 통하여 방문객수, 성별, 체류시간 등을 측정하고, 이를 저장 및 분석하여 마케팅 데이터 및 얼굴 인식 포토앨범, 출입통제, 범죄자 추적, 비디오 해석으로 활용하기 위한 연구가 활발히 진행되고 있다.
기존의 성별 인식 기술은 입력된 얼굴 영상에서 단일 얼굴 영역을 검출하여 인식에 사용한다. 하지만 성별을 구분 짓는 특징은 얼굴뿐만 아니라 메이크업, 헤어스타일, 액세서리와 같은 부수적인 요소에도 포함되어 있다. 그러나 기존의 성별 인식 기술에 의하면 이러한 다양한 요소들을 고려하지 않아 성별 인식의 정확도가 좋지 못한 문제점이 있었다.
본 발명은 입력된 얼굴 영상에서 얼굴 영역뿐만 아니라 머리카락이 포함된 얼굴 영역과 눈 영역을 추가적으로 검출하여 각각의 국부 영역에서의 성별을 구분 짓는 특징을 추출하고, 이로부터 산출된 각각의 성별 스코어 값을 결합하여 성별 인식(판정)을 할 수 있는 성별 인식 방법 및 장치를 제공하고자 한다.
본 발명의 일 측면에 따르면, 컴퓨터 시스템에 의해 처리되는 성별 인식 방법으로서, (a) 입력된 얼굴 영상으로부터 복수의 국부 영역을 검출하는 단계-여기서, 상기 복수의 국부 영역은 얼굴 영역, 눈 영역, 머리카락을 포함한 얼굴 영역 중 적어도 2개를 포함함-; (b) 상기 복수의 국부 영역 각각에 대하여, 각 국부 영역 내의 하위 블록 별로 단위 특징 벡터를 획득하고, 상기 획득된 블록 별 단위 특징 벡터를 결합하여 상기 복수의 국부 영역 각각에 대한 통합 히스토그램 특징 벡터를 생성하는 단계; 및 (c) 미리 지정된 기계 학습 알고리즘을 이용하여 상기 통합 히스토그램 특징 벡터에 상응하는 성별 스코어를 산출하고, 상기 복수의 국부 영역 각각에 관하여 산출된 성별 스코어를 결합하여 성별 판정 결과를 출력하는 단계를 포함하는 성별 인식 방법이 제공된다.
일 실시예에서, 상기 (a) 단계는,
에이다부스트(Adaboost) 알고리즘을 통한 특징 영역의 검출 결과에 기반하여, 입력된 얼굴 영상에서 상기 복수의 국부 영역 각각을 사전 정의된 비율에 따라 검출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (b) 단계는,
(b1) 사전 정의된 기준에 따라, 상기 복수의 국부 영역 영상 각각에 관하여 상기 하위 블록의 분할 수준(level)을 달리하는 복수의 영상 분할 레벨을 결정하는 단계; (b2) 상기 영상 분할 레벨 별로 정의되는 하위 블록마다 사전 지정된 사이즈의 국부 이진 패턴(Local Binary Pattern) 마스크를 적용하여 상기 하위 블록 별로 상기 단위 특징 벡터를 획득하는 단계; (b3) 상기 하위 블록 별로 획득된 특징 벡터를 결합하여, 영상 분할 레벨 별로 상기 국부 영역 각각에 대한 결합 특징 벡터를 생성하는 단계; 및 (b4) 상기 영상 분할 레벨 별로 생성된 각각의 결합 특징 벡터를 결합하여, 상기 복수의 국부 영역 각각에 대한 단일의 상기 통합 히스토그램 특징 벡터를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (b2) 단계는,
상기 사전 지정된 사이즈의 국부 이진 패턴 마스크에 해당하는 영역 내의 중심 픽셀과 상기 중심 픽셀의 주변에 위치하는 복수의 주변 픽셀 간의 그레이 레벨(gray level)의 픽셀 값의 대소(大小) 관계에 의해 결정되는 국부 이진 패턴을 획득하는 단계; 상기 획득된 국부 이진 패턴을 해당 이진 패턴이 갖는 규칙성에 근거하여 사전 정의된 개수의 특징 코드 중 어느 하나로 분류시키는 단계; 및 특징 코드의 분류 개수를 카운팅하고, 상기 특징 코드 별 카운팅 개수를 표현하는 단위 특징 벡터를 상기 하위 블록 별로 획득하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (c) 단계는,
상기 복수의 국부 영역 각각에 대하여 생성된 통합 히스토그램 특징 벡터와 SVM(Support Vector Machine)에 의해 기계 학습된 각 국부 영역의 성별 히스토그램 특징 벡터 데이터 간을 대조하여, 상기 복수의 국부 영역 각각에 관한 성별 스코어를 산출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (c) 단계는,
상기 복수의 국부 영역에 관하여 산출된 각각의 성별 스코어를 최소값 선택 룰, 최대값 선택 룰, 스코어 곱 룰, 스코어 합산 룰, 스코어 가중치 합산 룰 중 어느 하나에 따른 스코어 레벨 결합을 적용하는 단계; 및 상기 스코어 레벨 결합 결과를 사전 지정된 임계치와 비교하여 성별 판정 결과를 출력하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 얼굴 영상을 수신하는 데이터 입력 인터페이스; 하나 이상의 프로세서; 메모리; 및 상기 메모리에 저장되며 상기 하나 이상의 프로세서에 의해 실행되도록 구현된 하나 이상의 프로그램을 포함하는 성별 인식 장치로서,
상기 프로그램은, 입력된 얼굴 영상으로부터 복수의 국부 영역을 검출하고-여기서, 상기 복수의 국부 영역은 얼굴 영역, 눈 영역, 머리카락을 포함한 얼굴 영역 중 적어도 2개를 포함함-; 상기 복수의 국부 영역 각각에 대하여, 각 국부 영역 내의 하위 블록 별로 단위 특징 벡터를 획득하고, 상기 획득된 블록 별 단위 특징 벡터를 결합하여 상기 복수의 국부 영역 각각에 대한 통합 히스토그램 특징 벡터를 생성하고; 미리 지정된 기계 학습 알고리즘을 이용하여 상기 통합 히스토그램 특징 벡터에 상응하는 성별 스코어를 산출하고, 상기 복수의 국부 영역 각각에 관하여 산출된 성별 스코어를 결합하여 성별 판정 결과를 출력하는 명령어들을 포함하는, 성별 인식 장치가 제공된다.
본 발명의 실시예에 의하면, 입력된 얼굴 영상에서 얼굴 영역뿐만 아니라, 머리카락이 포함된 얼굴 영역, 눈 영역에 관한 국부적 성별 특징을 추가적으로 추출하고, 성별을 보다 정확히 추정하기 위하여 스코어 레벨 결합 방법을 적용함으로써 헤어스타일, 메이크업, 액세서리 착용과 같은 요소에도 강인한 성별 인식이 가능하다.
도 1은 본 발명의 실시예에 따른 가시광선 영상과 열 영상에 기반한 성별 인식 방법에 관한 순서도.
도 2는 멀티 레벨 국부 이진 패턴(MLBP) 방식을 이용할 때, 특정 레벨의 히스토그램 특징 벡터 생성 예시.
도 3 및 도 4는 국부 이진 패턴 생성 방식 및 그에 따른 특징 코드를 설명하기 위한 예시 도면.
도 5는 레벨 별 히스토그램 특징 벡터를 결합한 통합 히스토그램 특징 벡터를 설명하기 위한 예시 도면.
도 6은 본 발명의 실시예에 따른 성별 인식 방법에 적용 가능한 스코어 레벨 결합 방법을 설명하기 위한 도면.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 가시광선 영상과 열 영상에 기반한 성별 인식 방법에 관한 순서도이다. 이하, 본 발명의 실시예를 설명하는 과정에서 도 2 ~ 도 6의 도면을 함께 참조한다. 여기서, 도 2는 멀티 레벨 국부 이진 패턴(MLBP) 방식을 이용할 때, 특정 레벨의 히스토그램 특징 벡터 생성 예시이고, 도 3 및 도 4는 국부 이진 패턴 생성 방식 및 그에 따른 특징 코드를 설명하기 위한 예시 도면이며, 도 5는 레벨 별 히스토그램 특징 벡터를 결합한 통합 히스토그램 특징 벡터를 설명하기 위한 예시 도면이고, 도 6은 본 발명의 실시예에 따른 성별 인식 방법에 적용 가능한 스코어 레벨 결합 방법을 설명하기 위한 도면이다.
도 1의 단계 S110에서, 외부 장치로부터 얼굴 영상을 입력받는다.
도 1의 단계 S115, 단계 S120, 단계 S125에서, 입력받은 얼굴 영상으로부터 얼굴 영역, 눈 영역, 머리카락을 포함한 얼굴 영역을 각각 검출한다. 본 발명의 실시예에서는 얼굴 영역 이외에도 눈 영역과 머리카락을 포함한 얼굴 영역을 추가적으로 검출함으로써, 성별을 구분 짓는 다른 다양한 특성들도 함께 고려하여 보다 강인한 성별 인식이 가능하다.
본 명세서에서는 입력된 얼굴 영상으로부터 검출되는 국부 영역으로서, 얼굴 영역과, 눈 영역, 그리고 머리카락을 포함한 얼굴 영역을 예로 들었지만, 이외에도 다른 특징적 국부 영역이 더 추가될 수도 있다. 또한 위 예시의 3가지 국부 영역을 모두 성별 인식에 이용하는 것 이외에도, 그 중 어느 2가지의 국부 영역을 이용하여 성별 인식에 이용하는 것도 본 발명의 범위에 포함되는 것임은 물론이다. 다만 이하에서는 설명의 집중을 위해 도 1의 순서도에 따라 위 예시의 3가지 국부 영역을 모두 이용하여 성별 인식을 수행하는 경우를 가정한다.
또한 본 단계에서, 입력된 얼굴 영상으로부터 얼굴 영역, 눈 영역, 머리카락을 포함한 얼굴 영역을 검출하는 방식으로는 다양한 방식이 이용될 수 있는 바, 특별한 제한을 둘 필요는 없음은 물론이다. 다만 일 예를 들어 설명하면, 본 발명의 실시예에서, 각 국부 영역은, 에이다부스트(Adaboost) 알고리즘을 통한 특정 특징 영역의 1차적 검출 결과(즉, 대략적인 국부 영역 검출 결과)에 기반하여 각 국부 영역을 사전 정의된 비율에 따라 검출하는 방식이 채용될 수 있다. 여기서, 에이다부스트 알고리즘은 최소 50% 이상의 신뢰도를 갖는 몇 개의 약한 분류기(classifier)에 따른 결과를 조합하여 추정하는 방식이다.
앞선 단계에 따라 얼굴 영역(도 6의 210 참조), 눈 영역(도 6의 230 참조), 머리카락을 포함한 얼굴 영역(도 6의 220 참조)이 검출되면, 도 1의 단계 S130, 단계 S135, 단계 S140에 따라 각 국부 영역 내의 하위 블록 별로 특징 벡터를 획득한다. 그리고 도 1의 단계 S145, 단계 S150, 단계 S155에 따라 블록 별로 획득된 특징 벡터를 결합하여, 각 국부 영역 별로 히스토그램 특징 벡터를 생성한다.
이하 이에 관하여 도 2 ~ 도 5를 참조하여 상세히 설명한다. 여기서, 도 2는 검출된 국부 영역이 얼굴 영역(도 2 및 도 6의 210 참조)인 경우를 가정하여 히스토그램 특징 벡터를 생성하는 과정을 설명하기 위한 도면이다. 다만 이하 설명될 도 2 ~ 도 5의 발명 내용은 눈 영역 및 머리카락을 포함한 얼굴 영역을 대상으로 한 히스토그램 특징 벡터의 생성 과정에서도 그대로 적용될 수 있음은 물론이다.
도 2를 참조하면, 얼굴 영역에 대하여 총 4개의 하위 블록(215, 220, 225, 230)으로 분할하고, 각 블록 별로 히스토그램 특징 벡터(235, 240, 245, 250)를 획득한 후, 이들 각각의 블록 단위의 히스토그램 특징 벡터(235, 240, 245, 250)를 결합한 경우를 예로 들고 있다.
이하, 설명 및 이해의 편의를 위해, 블록 별로 획득되는 히스토그램 특징 벡터(도 2의 235, 240, 245, 250 참조)는 블록 단위의 히스토그램 특징 벡터라는 의미를 축약하여 단위 특징 벡터라 명명한다. 또한, 블록 별로 획득된 단위 특징 벡터들을 결합하여 획득되는 히스토그램 특징 벡터(도 2의 255 참조)는 블록 단위의 히스토그램 특징 벡터를 결합하였다는 의미를 축약하여 결합 특징 벡터라 명명하기로 한다. 이때, 레벨 별 결합 특징 벡터는, 어퍼-레프트(upper-left) 하위 블록을 시작단으로 로어-라이트(lower-right) 하위 블록을 종단으로 하는 순서에 따라, 각 위치의 하위 블록에 관한 단위 특징 벡터를 이어붙이는 방식으로 생성될 수 있다.
앞서 설명한 결합 특징 벡터는 단위 특징 벡터를 기초로 획득(생성)되는 것인 바, 이하에서는 단위 특징 벡터(즉, 블록 단위의 히스토그램 특징 벡터)의 획득 방법에 관하여 설명하기로 한다. 예를 들어, 본 발명의 실시예에서 단위 특징 벡터는 국부 이진 패턴(Local Binary Pattern) 방식에 의해서 획득될 수 있다. 이하, 도 3 및 도 4를 참조하여, LBP 방식에 관하여 설명한다.
LBP 방식은 특정 국부 영역 내의 중심 픽셀(center pixel)과 그 주변 픽셀들(surrounding pixels) 간의 그레이 레벨(gray level 또는 gray scale)의 픽셀 값의 대소(大小) 관계 연산에 따라 국부 이진 패턴을 정의한다. 이를 위한 LBP 연산자는 아래 수학식 1과 같이 정의될 수 있다.
Figure 112015032340204-pat00001
여기서, R은 LBP 서클의 반경(즉, 중심 픽셀과 주변 픽셀 간의 거리)을 나타내고, P는 주변 픽셀의 수를 나타내며,
Figure 112015032340204-pat00002
는 주변 픽셀의 그레이 레벨의 픽셀 값을 나타내고,
Figure 112015032340204-pat00003
는 중심 픽셀의 그레이 레벨의 픽셀 값을 나타내며,
Figure 112015032340204-pat00004
는 문턱 함수(Threshold function)을 나타낸다.
이때, 상술한 LBP 연산자의 R을 1로, P를 8로 하는 3×3 사이즈의LBP 마스크를 적용하여 국부 이진 패턴을 획득한 예가 도 3에 도시되어 있다. 도 4를 참조하면, 하위 블록 내부에 3×3 LBP 마스크를 적용하고, 중심 픽셀의 그레이 레벨의 픽셀 값과 주변 8개 픽셀의 그레이 레벨의 픽셀 값 간을 비교함으로써 특정의 국부 이진 패턴을 획득하고 있다.
상술한 방식으로 획득되는 다양한 국부 이진 패턴들에 대하여 일련의 규칙성을 적용하면, 도 4에 도시된 바와 같이 각각의 국부 이진 패턴들을 사전 정의된 개수의 특징 코드 중 어느 하나로 분류해낼 수 있다. 도 4의 경우, 주변 픽셀의 그레이 레벨의 픽셀 값이 전부 중심 픽셀의 그레이 레벨의 픽셀 값보다 작은 경우를 Decimal Code 0으로 정의하고, 이를 기준으로 이진수 0에서 이진수 1로 전이된 패턴의 상태에 따라 Uniform pattern으로서 Decimal Code 1 ~ 8을 정의하고, 나머지의 Non-uniform pattern을 Decimal Code 9로 정의하고 있다.
위와 같이 3×3 LBP 마스크를 적용한 결과에 따라 획득되는 국부 이진 패턴들을 일련의 규칙성에 따라 특정의 특징 코드와 맵핑시키는 분류 과정이 해당 블록 내의 모든 픽셀에 관하여 수행된 이후에는, 각 특징 코드 별로 분류 개수가 카운팅되고, 그 특징 코드 별 카운팅 개수를 히스토그램으로 표현하면, 앞서 설명한 도 2에서의 단위 특징 벡터가 획득된다. 도 2를 다시 참조할 때, 단위 특징 벡터의 수평축은 Decimal Code 0 ~ 9가 나열되고, 수직축은 카운팅 개수(즉, 해당 특징 코드를 갖는 픽셀 수)가 표시되고 있음을 확인할 수 있다. 상술한 방식에 의해 블록 단위의 단위 특징 벡터가 획득되면 이를 결합함으로써 도 2의 225와 같은 결합 단위 벡터를 획득할 수 있다.
그리고 이상에서 설명한 LBP 방식은 멀티 레벨로 결합됨으로써 MLBP(Multi-level LBP) 방식으로 확장될 수 있다. 본 발명의 실시예에서는 MLBP 방식을 통해서 각 국부 영역에 관한 통합 히스토그램 특징 벡터를 생성하고 이를 성별 인식에 활용한다.
이를 위해서, 본 발명의 실시예에서는 동일한 국부 영역의 영상에 관하여 블록 분할 수준을 달리하는 멀티 레벨의 영상 분할을 수행한 후, 각 레벨에서의 히스토그램 특징 벡터(즉, 앞서 설명한 결합 특징 벡터)를 획득한다. 앞선 도 2는 얼굴 영역 영상을 총 4개의 하위 블록으로 분할한 특정 영상 분할 레벨(편의상 Level 4로 정의함)을 예시한 것이다. 따라서, MLBP 방식에 의할 때, 동일한 얼굴 영역 영상에 관해서, 예를 들어, 그 얼굴 영역 영상을 단일의 블록으로 정의(편의상 Level 1로 정의함)하여 결합 특징 벡터를 획득하고, 얼굴 영역 영상을 2개의 블록으로 분할 정의(편의상 Level 2로 정의함)하여 결합 특징 벡터를 획득하는 등의 방식으로 분할 수준을 각기 달리하여 복수의 영상 분할 레벨 별로의 결합 특징 벡터를 획득할 수 있을 것이다.
이후, 본 발명의 실시예에서는 그 획득된 각 레벨 별 결합 특징 벡터를 다시 결합(병합)하여 얼굴 영역 영상에 관한 단일의 히스토그램 특징 벡터(이하, 이를 통합 히스토그램 특징 벡터라 명명함)를 생성하는 방식을 채용한다. 도 5에는 통합 히스토그램 특징 벡터를 생성하는 방식이 도시되고 있다. 도 5을 참조하면, 레벨 별 결합 특징 벡터를 각각 이어붙이는 방식으로 얼굴 영역 영상에 관한 통합 히스토그램 특징 벡터를 최종적으로 생성하고 있음을 확인할 수 있다.
이상에서 도 2 ~ 도 5를 통해서 상세히 설명한 방법에 의하면, 얼굴 영역에 관한 국부 영상에 관한 통합 히스토그램 특징 벡터(즉, 멀티 레벨의 결합 특징 벡터의 병합)가 생성될 수 있으며, 이와 동일한 방식으로 각각 눈 영역과 머리카락을 포함한 얼굴 영역에 대해서도 통합 히스토그램 특징 벡터가 생성될 수 있다.
이와 같이 각 국부 영역에 관한 각각의 통합 히스토그램 특징 벡터가 생성되면, 도 1의 단계 S160, 단계 S165, 단계 S170에 따라 SVM(Support Vector Machine)을 이용하여 성별 스코어가 산출될 수 있다. 즉, 본 단계에 의하면, 각 국부 영역에 관한 총 3개의 통합 히스토그램 특징 벡터에 따른 성별 스코어가 각각 산출된다(도 6의 S1, S2, S3 참조). 여기서, SVM은 공지의 기계 학습 알고리즘(Machine Learning Algorithm) 중 하나이다. SVM에는 각각의 통합 히스토그램 특징 벡터와 대조할 기준 데이터가 저장될 수 있으며, 이러한 기준 데이터는 미리 학습된 데이터일 수 있다. 본 실시예에서는 SVM을 예로 들었지만, 성별 스코어 산출을 위한 기계 학습 알고리즘으로는 SVM 이외에도 다양한 알고리즘이 채용될 수 있음은 물론이다.
위와 같이 기계 학습 알고리즘을 통해서 각 국부 영역에 관한 성별 스코어(도 6의 S1, S2, S3)가 1차적으로 산출되면, 그 산출된 2개의 성별 스코어를 결합하여 최종 성별 판정 결과를 출력한다[도 1의 단계 S175 및 단계 S180 참조].
이때, 본 발명의 실시예에서는 각각 산출된 총 3개의 성별 스코어(도 6의 S1, S2, S3)의 결합을 수행함에 있어서 스코어 레벨 결합(Score Level Fusion) 방식을 적용한다[도 6의 240 참조]. 이러한 스코어 레벨 결합 방식으로는, 최소값 선택 룰(Min Rule), 최대값 선택 룰(Max Rule), 스코어 곱 룰(Product Rule), 스코어 합산 룰(Sum Rule), 스코어 가중치 합산 룰(Weighted Sum Rule) 중 어느 하나를 이용할 수 있다[도 6의 250, 260, 270, 280, 290 참조]. 즉, 상기 스코어 레벨 결합 결과는 해당 스코어 레벨 결합 방식 별로 사전 지정된 임계치와의 비교를 통해서 성별 판정이 수행될 수 있다.
여기서, Min Rule은 입력된 두 개의 스코어 값 중에서 작은 값을 선택하고, 이와 반대로 Max Rule은 큰 값을 선택한다. Product Rule은 두 스코어 값을 곱하고, Sum Rule은 두 스코어 값의 합을 더하는 방식으로 결합하는 방법이다. Weighted Sum Rule은 단순히 두 스코어 값을 더하지 않고 각각의 스코어에 가중치를 부과하여 결합하는 방법이다. 이러한 스코어 결합 방법을 통해 성별 인식 정확도를 향상시킬 수 있다.
이제까지 설명한 성별 인식 방법은 컴퓨터 시스템에 의해 처리될 수 있다. 이때, 컴퓨터 시스템은, 얼굴 영상을 수신하기 위한 데이터 입력 인터페이스와, 하나 이상의 프로세서와, 메모리와, 메모리에 저장되며 그 하나 이상의 프로세서에 의해 실행되도록 구현된 상술한 성별 인식 방법에 관한 하나 이상의 프로그램을 포함함으로써, 본 발명의 실시예에 따른 성별 인식 방법을 채용하여 성별 인식을 수행할 수 있다.
이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.

Claims (7)

  1. 컴퓨터 시스템에 의해 처리되는 성별 인식 방법으로서,
    (a) 입력된 얼굴 영상으로부터 복수의 국부 영역을 검출하는 단계-여기서, 상기 복수의 국부 영역은 얼굴 영역, 눈 영역, 머리카락을 포함한 얼굴 영역이 포함됨-;
    (b) 상기 복수의 국부 영역 각각에 대하여, 각 국부 영역 내의 하위 블록 별로 단위 특징 벡터를 획득하고, 상기 획득된 블록 별 단위 특징 벡터를 결합하여 상기 복수의 국부 영역 각각에 대한 통합 히스토그램 특징 벡터를 생성하는 단계; 및
    (c) 미리 지정된 기계 학습 알고리즘을 이용하여 상기 통합 히스토그램 특징 벡터에 상응하는 성별 스코어를 산출하고, 상기 복수의 국부 영역에 관하여 각각 산출된 성별 스코어를 결합하여 성별 판정 결과를 출력하는 단계를 포함하고,
    상기 (b) 단계는,
    (b1) 사전 정의된 기준에 따라, 상기 복수의 국부 영역 영상 각각에 관하여 상기 하위 블록의 분할 수준(level)을 달리하는 복수의 영상 분할 레벨을 결정하는 단계;
    (b2) 상기 영상 분할 레벨 별로 정의되는 하위 블록마다 사전 지정된 사이즈의 국부 이진 패턴(Local Binary Pattern) 마스크를 적용하여 상기 하위 블록 별로 상기 단위 특징 벡터를 획득하는 단계;
    (b3) 상기 하위 블록 별로 획득된 특징 벡터를 결합하여, 영상 분할 레벨 별로 상기 국부 영역 각각에 대한 결합 특징 벡터를 생성하는 단계; 및
    (b4) 상기 영상 분할 레벨 별로 생성된 각각의 결합 특징 벡터를 결합하여, 상기 복수의 국부 영역 각각에 대한 단일의 상기 통합 히스토그램 특징 벡터를 생성하는 단계를 포함하고,
    상기 (c) 단계는,
    상기 복수의 국부 영역 각각에 대하여 생성된 통합 히스토그램 특징 벡터와 SVM(Support Vector Machine)에 의해 기계 학습된 각 국부 영역의 성별 히스토그램 특징 벡터 데이터 간을 대조하여, 상기 복수의 국부 영역 각각에 관한 성별 스코어를 산출하는 단계를 포함하는, 성별 인식 방법.
  2. 제1항에 있어서,
    상기 (a) 단계는,
    에이다부스트(Adaboost) 알고리즘을 통한 특징 영역의 검출 결과에 기반하여, 입력된 얼굴 영상에서 상기 복수의 국부 영역 각각을 사전 정의된 비율에 따라 검출하는 단계를 포함하는, 성별 인식 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 (b2) 단계는,
    상기 사전 지정된 사이즈의 국부 이진 패턴 마스크에 해당하는 영역 내의 중심 픽셀과 상기 중심 픽셀의 주변에 위치하는 복수의 주변 픽셀 간의 그레이 레벨(gray level)의 픽셀 값의 대소(大小) 관계에 의해 결정되는 국부 이진 패턴을 획득하는 단계;
    상기 획득된 국부 이진 패턴을 해당 이진 패턴이 갖는 규칙성에 근거하여 사전 정의된 개수의 특징 코드 중 어느 하나로 분류시키는 단계; 및
    특징 코드의 분류 개수를 카운팅하고, 상기 특징 코드 별 카운팅 개수를 표현하는 단위 특징 벡터를 상기 하위 블록 별로 획득하는 단계
    를 포함하는 성별 인식 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 (c) 단계는,
    상기 복수의 국부 영역에 관하여 산출된 각각의 성별 스코어를 최소값 선택 룰, 최대값 선택 룰, 스코어 곱 룰, 스코어 합산 룰, 스코어 가중치 합산 룰 중 어느 하나에 따른 스코어 레벨 결합을 적용하는 단계; 및
    상기 스코어 레벨 결합 결과를 사전 지정된 임계치와 비교하여 성별 판정 결과를 출력하는 단계
    를 포함하는 성별 인식 방법.
  7. 얼굴 영상을 수신하는 데이터 입력 인터페이스; 하나 이상의 프로세서; 메모리; 및 상기 메모리에 저장되며 상기 하나 이상의 프로세서에 의해 실행되도록 구현된 하나 이상의 프로그램을 포함하는 성별 인식 장치로서,
    상기 프로그램은,
    (a) 입력된 얼굴 영상으로부터 복수의 국부 영역을 검출하는 단계-여기서, 상기 복수의 국부 영역은 얼굴 영역, 눈 영역, 머리카락을 포함한 얼굴 영역이 포함됨-;
    (b) 상기 복수의 국부 영역 각각에 대하여, 각 국부 영역 내의 하위 블록 별로 단위 특징 벡터를 획득하고, 상기 획득된 블록 별 단위 특징 벡터를 결합하여 상기 복수의 국부 영역 각각에 대한 통합 히스토그램 특징 벡터를 생성하는 단계;
    (c) 미리 지정된 기계 학습 알고리즘을 이용하여 상기 통합 히스토그램 특징 벡터에 상응하는 성별 스코어를 산출하고, 상기 복수의 국부 영역에 관하여 각각 산출된 성별 스코어를 결합하여 성별 판정 결과를 출력하는 단계에 관한 명령어들을 포함하고,
    상기 (b) 단계는,
    (b1) 사전 정의된 기준에 따라, 상기 복수의 국부 영역 영상 각각에 관하여 상기 하위 블록의 분할 수준(level)을 달리하는 복수의 영상 분할 레벨을 결정하는 단계;
    (b2) 상기 영상 분할 레벨 별로 정의되는 하위 블록마다 사전 지정된 사이즈의 국부 이진 패턴(Local Binary Pattern) 마스크를 적용하여 상기 하위 블록 별로 상기 단위 특징 벡터를 획득하는 단계;
    (b3) 상기 하위 블록 별로 획득된 특징 벡터를 결합하여, 영상 분할 레벨 별로 상기 국부 영역 각각에 대한 결합 특징 벡터를 생성하는 단계; 및
    (b4) 상기 영상 분할 레벨 별로 생성된 각각의 결합 특징 벡터를 결합하여, 상기 복수의 국부 영역 각각에 대한 단일의 상기 통합 히스토그램 특징 벡터를 생성하는 단계에 관한 명령어를 포함하고,
    상기 (c) 단계는,
    상기 복수의 국부 영역 각각에 대하여 생성된 통합 히스토그램 특징 벡터와 SVM(Support Vector Machine)에 의해 기계 학습된 각 국부 영역의 성별 히스토그램 특징 벡터 데이터 간을 대조하여, 상기 복수의 국부 영역 각각에 관한 성별 스코어를 산출하는 단계에 관한 명령어를 포함하는, 성별 인식 장치.
KR1020150046716A 2015-04-02 2015-04-02 얼굴 영상 기반 성별 인식 방법 및 장치 KR101796027B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150046716A KR101796027B1 (ko) 2015-04-02 2015-04-02 얼굴 영상 기반 성별 인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150046716A KR101796027B1 (ko) 2015-04-02 2015-04-02 얼굴 영상 기반 성별 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160118502A KR20160118502A (ko) 2016-10-12
KR101796027B1 true KR101796027B1 (ko) 2017-11-10

Family

ID=57173358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150046716A KR101796027B1 (ko) 2015-04-02 2015-04-02 얼굴 영상 기반 성별 인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101796027B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101998112B1 (ko) 2017-08-09 2019-07-10 한국과학기술연구원 얼굴 특징점 기반 부분 영역 지정을 통한 부분 가림 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
KR102295600B1 (ko) * 2017-12-19 2021-08-31 재단법인대구경북과학기술원 전자 장치 및 제어 방법
KR102181144B1 (ko) 2018-12-04 2020-11-20 엔에이치엔 주식회사 이미지 딥러닝 기반 성별 인식 방법
KR102187232B1 (ko) * 2018-12-06 2020-12-04 함영두 카메라를 통해 인식된 사물의 패턴 생성을 이용하여 사물의 정보를 로딩하는 프로그램
CN113298593A (zh) * 2020-07-16 2021-08-24 阿里巴巴集团控股有限公司 商品推荐及图像检测方法、装置、设备和存储介质
KR102441102B1 (ko) 2020-09-21 2022-09-07 (주) 아하 인공지능을 이용한 안면 인식 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507081B1 (ko) * 2014-05-23 2015-04-01 동국대학교 산학협력단 나이 추정 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507081B1 (ko) * 2014-05-23 2015-04-01 동국대학교 산학협력단 나이 추정 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Bing Lia 외 2명, Gender classification by combining clothing, hair and facial component classifiers, Seventh International Symposium on Neural Networks (ISNN 2010) Volume 76, Issue 1, (2012.01)*

Also Published As

Publication number Publication date
KR20160118502A (ko) 2016-10-12

Similar Documents

Publication Publication Date Title
KR101796027B1 (ko) 얼굴 영상 기반 성별 인식 방법 및 장치
US10423848B2 (en) Method, system, and computer-readable recording medium for long-distance person identification
US9363499B2 (en) Method, electronic device and medium for adjusting depth values
CN106709404B (zh) 图像处理装置及图像处理方法
JP6361387B2 (ja) 識別装置および識別装置の制御方法
US9292745B2 (en) Object detection apparatus and method therefor
US9367758B2 (en) Feature extraction device, feature extraction method, and feature extraction program
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
US9639779B2 (en) Feature point detection device, feature point detection method, and computer program product
US20130163870A1 (en) Feature extraction unit, feature extraction method, feature extraction program, and image processing device
JP7230939B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2016089529A1 (en) Technologies for learning body part geometry for use in biometric authentication
CN110163096B (zh) 人物识别方法、装置、电子设备和计算机可读介质
KR102399025B1 (ko) 개선된 데이터 비교 방법
CN108021847B (zh) 用于识别脸部表情的装置和方法、图像处理装置和系统
KR101865253B1 (ko) Ｒｅｇｉｏｎ－ｓｉｆｔ와 ｄｉｓｃｒｉｍｉｎａｎｔ ｓｖｍ 분류기를 이용한 나이 및 성별 인식 장치 및 그 방법
CN110651300A (zh) 物体检测装置、物体检测方法、以及程序
US20160026857A1 (en) Image processor comprising gesture recognition system with static hand pose recognition based on dynamic warping
JP6784261B2 (ja) 情報処理装置、画像処理システム、画像処理方法及びプログラム
JPWO2013122009A1 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
KR101089847B1 (ko) 얼굴 인식을 위한 ｓｉｆｔ 알고리즘을 이용한 키포인트 매칭 시스템 및 방법
EP2998928B1 (en) Apparatus and method for extracting high watermark image from continuously photographed images
JP2015011526A (ja) 行動認識装置、方法及びプログラム並びに認識器構築装置
KR101521136B1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
KR101756352B1 (ko) 확장성 국부 이진 패턴을 이용한 이미지 내 얼굴의 연령 추정 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant