KR101784418B1 - 적응형 랜덤 포레스트와 피드백 모듈을 이용하여 얼굴 표정을 인식하기 위한 장치 및 그 방법 - Google Patents

Abstract

본 발명에 의한 국소 특징 기반 적응형 결정 포레스트와 피드백 모듈을 이용하여 얼굴 표정을 인식하기 위한 장치 및 그 방법이 개시된다. 본 발명에 따른 얼굴 표정을 인식하기 위한 장치는영상을 입력 받으면, 입력 받은 상기 영상에 포함된 얼굴 영역에서 다수의 국소 영역들을 분할하는 영역 분할부; 분할된 상기 다수의 국소 영역들 각각에서 표정 특징들을 추출하는 특징 추출부; 기 생성된 랜덤 포레스트를 기반으로 상기 추출된 표정 특징을 이용하여 상기 입력받은 영상에서 얼굴 표정을 인식하는 얼굴 인식부; 및 인식된 상기 얼굴 표정에 대한 국소 영역과 회귀 벡터를 이용하여 표정의 유사도를 산출하여 산출된 상기 유사도에 따라 얼굴 표정의 재 인식 여부를 결정하는 피드백부를 포함하되, 여기서, 상기 랜덤 포레스트는 상기 표정 특징의 집합에 대한 다수의 결정 트리로 구성되고, 상기 랜덤 포레스트를 구성하는 각 결정 트리는 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 반복적으로 기 설정된 개수의 얼굴 표정들을 두 개의 부류로 분류하여 그 분류한 결과로 생성된 것을 특징으로 한다.

Description

적응형 랜덤 포레스트와 피드백 모듈을 이용하여 얼굴 표정을 인식하기 위한 장치 및 그 방법{APPARATUS FOR FOR RECOGNIZING FACICAL EXPRESSION USING ADAPTIVE RANDOM FOREST AND FEEDBACK MODULE AND METHOD THEREOF}

본 발명은 얼굴 표정 인식 기술에 관한 것으로서, 특히 적응형 랜덤 포레스트와 피드백 모듈을 이용하여 얼굴의 표정을 인식하기 위한 장치 및 그 방법에 관한 것이다.

일반적으로 얼굴 표정 인식(Facial Expression Recognition) 기술은 사용자 영상에 포함된 얼굴 표정을 분석하여 그 분석한 결과로 특정 감정을 인식해 내는 기술을 일컫는다.

일 예로, 한국공개특허공보 제10-213-0015958호, "얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체"에는 제시된 자극에 대응하여 반응하는 객체의 객체정보를 입력 받아 상기 객체의 얼굴을 인식하고, 인식된 상기 객체의 얼굴요소를 추출한 후 이를 바탕으로 상기 자극에 상응하여 변하는 상기 객체의 얼굴표정 변화를 인식함으로써 상기 객체가 표현하는 감정을 인식하는 것이 개시되어 있다.

이와 같이 얼굴 표정을 인식하기 위해서는 일반적으로 표정 별 얼굴 영상을 획득하고, 획득한 얼굴 영상에서 표정들을 분류할 수 있는 특징을 추출한 후 추출된 특징을 이용하여 표정을 분류하는 과정이 요구된다.

이때, 얼굴 영상을 획득하는 과정은 특징 추출을 위해 입력 영상에서 얼굴 부분만 검출하는 과정이다. 특징을 추출하는 과정은 표정을 잘 분류할 수 있도록 얼굴 부분에서 표정에 특화된 정보를 찾는 과정으로, 얼굴 표정 인식에 있어 중요한 역할을 한다. 표정을 분류하는 과정은 각 얼굴 표정에 대해 추출된 특징을 기반으로 분류 알고리즘을 적용하여 표정 영상들을 특정 감정으로 분류하는 과정이다.

그러나, 이러한 과정이 요구되는 기존의 얼굴 표정 인식 기술들은 각각의 표정마다 정해진 특징으로 모든 얼굴 표정들을 한번에 분류하므로 오인식률이 높다는 문제점이 있다.

한국공개특허공보 제10-213-0015958호, 2013.02.14. 공개

따라서 이러한 종래기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 다수의 얼굴 표정들을 효과적으로 분류할 수 있는 국소 특징 영역을 선택하여 반복적으로 분류함으로써 사람의 표정 인식하는 방법을 제공하는데 있다.

본 발명의 다른 목적은 추출된 국소 특징 영역은 앞서 수행되는 국소 영역 검출 알고리즘에 크게 의존하여 국소 영역 검출 알고리즘의 에러가 높은 경우 잘못된 영역이 분할되어 표정의 오인식률을 높이는 문제가 있으므로 이를 해결하기 위해 피드백 모듈을 이용하여 국소 영역 검출 알고리즘의 정확도를 높여, 표정 인식의 정인식률을 높이는 방법을 제공하는데 있다.

그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 얼굴 표정을 인식하기 위한 장치는 영상을 입력 받으면, 입력 받은 상기 영상에 포함된 얼굴 영역에서 다수의 국소 영역들을 분할하는 영역 분할부; 분할된 상기 다수의 국소 영역들 각각에서 표정 특징들을 추출하는 특징 추출부; 기 생성된 랜덤 포레스트를 기반으로 상기 추출된 표정 특징을 이용하여 상기 입력받은 영상에서 얼굴 표정을 인식하는 얼굴 인식부; 및 인식된 상기 얼굴 표정에 대한 국소 영역과 회귀 벡터를 이용하여 표정의 유사도를 산출하여 산출된 상기 유사도에 따라 얼굴 표정의 재 인식 여부를 결정하는 피드백부를 포함하되, 여기서, 상기 랜덤 포레스트는 상기 표정 특징의 집합에 대한 다수의 결정 트리로 구성되고, 상기 랜덤 포레스트를 구성하는 각 결정 트리는 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 반복적으로 기 설정된 개수의 얼굴 표정들을 두 개의 부류로 분류하여 그 분류한 결과로 생성된 것을 특징으로 한다.

바람직하게, 상기 영역 분할부는 입력 받은 상기 영상에서 얼굴 영역을 검출하고 검출된 상기 얼굴 영역에서 주요 특징점들의 좌표를 검출하여 검출된 상기 주요 특징점들의 좌표를 이용하여 다수의 국소 영역들을 분할하는 것을 특징으로 한다.

바람직하게, 상기 특징 추출부는 LBP(Local Binary Pattern) 알고리즘, LBP 알고리즘인 ULBP(Uniform LBP) 알고리즘, 고유 얼굴(eigenface) 알고리즘 중 어느 하나를 이용하여 다수의 국소 영역들 각각에서 표정 특징을 추출하는 것을 특징으로 한다.

또한, 본 발명에 따른 얼굴 표정을 인식하기 위한 장치는 입력 받은 상기 영상에서 추출된 표정 특징의 집합으로부터 배깅 방법을 이용하여 2개 이상의 기 설정된 수의 표정 특징 집합을 재 생성한 후 각각의 재 생성된 표정 특집 집합에 대한 결정 트리로 구성된 랜덤 포레스트를 생성하는 포레스트 생성부를 더 포함하는 것을 특징으로 한다.

바람직하게, 상기 포레스트 생성부는 상기 표정 특징 집합으로부터 기 설정된 개수의 얼굴 표정들을 두 개의 부류로 분류하는 과정을 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 반복 수행하여 그 수행한 결과로 상기 결정 트리를 생성하는 것을 특징으로 한다.

바람직하게, 상기 포레스트 생성부는 추출된 표정 특징별로 모든 얼굴 표정들을 두 가지의 표정 조합으로 분류하여 상기 분류한 각 표정 조합에 대한 정인식 수를 산출하고, 산출된 상기 정인식 수를 기반으로 얼굴 표정들을 두 개의 부류로 분류하여 그 분류한 해당 부류 각각에 대한 표정 특징을 결정하되, 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 기 설정된 개수의 얼굴 표정들을 두 개의 부류로 분류하는 과정을 반복 수행하는 것을 특징으로 한다.

바람직하게, 상기 포레스트 생성부는 추출된 상기 표정 특징들 각각에서 얼굴 표정 분류에 대한 정인식 여부를 판별하기 위한 판별 특징을 추출하면서 추출된 표정 특징별로 모든 얼굴 표정을 두 가지의 표정 조합으로 분류한 후, 추출된 상기 판별 특징을 기반으로 상기 분류한 각 표정 조합에 대한 정인식 수를 산출하는 것을 특징으로 한다.

바람직하게, 상기 포레스트 생성부는 추출된 표정 특징별로 LDA(Linear Discriminant Analysis), SVM(Support Vector Machine) 중 적어도 하나를 적용하여 상기 판별 특징을 추출하는 것을 특징으로 한다.

바람직하게, 상기 포레스트 생성부는 상기 분류한 각 표정 조합에 대해 산출된 상기 정인식 수의 합의 평균이 최대가 되도록 하는 표정 조합을 찾아 그 찾은 표정 조합을 기반으로 얼굴 표정들을 두 개의 부류로 분류하는 것을 특징으로 한다.

바람직하게, 상기 피드백부는 입력 받은 상기 영상에 포함된 얼굴 영역에서 다수의 국소 영역들을 분할하여 분할된 상기 다수의 국소 영역들 각각에서 표정 특징을 추출하고, 분할된 상기 국소 영역들을 기 생성된 랜덤 포레스트를 구성하는 각 결정 트리로부터 얻은 표정 라벨별로 분류하며, 상기 랜덤 포레스트를 구성하는 결정 트리에 의해 선택된 표정 특징에 상응하는 국소 영역의 조합을 이용하여 국소 영역과 표정 라벨 간 상관관계를 나타내는 회귀 벡터를 생성하는 것을 특징으로 한다.

바람직하게, 상기 얼굴 인식부는 상기 얼굴 표정의 재 인식 결정에 따라 상기 얼굴 영역의 파라미터를 랜덤하게 재 초기화하여 재 검출된 국소 영역을 기반으로 상기 입력 받은 영상에서 얼굴 표정을 재 인식하는 것을 특징으로 한다.

본 발명의 다른 한 관점에 따른 얼굴 표정을 인식하기 위한 방법은 영상을 입력 받으면, 입력 받은 상기 영상에 포함된 얼굴 영역에서 다수의 국소 영역들을 분할하는 영역 분할단계; 분할된 상기 다수의 국소 영역들 각각에서 표정 특징들을 추출하는 특징 추출단계; 기 생성된 랜덤 포레스트를 기반으로 상기 추출된 표정 특징을 이용하여 상기 입력 영상에서 얼굴 표정을 인식하는 얼굴 인식단계; 및 인식된 상기 얼굴 표정에 대한 국소 영역과 회귀 벡터를 이용하여 표정의 유사도를 산출하여 산출된 상기 유사도에 따라 얼굴 표정의 재 인식 여부를 결정하는 피드백 단계를 포함하되, 여기서, 상기 랜덤 포레스트는 상기 표정 특징의 집합에 대한 다수의 결정 트리로 구성되고, 상기 랜덤 포레스트를 구성하는 각 결정 트리는 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 반복적으로 기 설정된 개수의 얼굴 표정들을 두 개의 부류로 분류하여 그 분류한 결과로 생성된 것을 특징으로 한다.

바람직하게, 상기 영역 분할단계는 입력 받은 상기 영상에서 얼굴 영역을 검출하고 검출된 상기 얼굴 영역에서 주요 특징점들의 좌표를 검출하여 검출된 상기 주요 특징점들의 좌표를 이용하여 다수의 국소 영역들을 분할하는 것을 특징으로 한다.

또한, 본 발명에 따른 얼굴 표정을 인식하기 위한 장치는 입력 받은 상기 영상에서 추출된 표정 특징의 집합으로부터 배깅 방법을 이용하여 2개 이상의 기 설정된 수의 표정 특징 집합을 재생성한 후 각각의 재생성된 표정 특집 집합에 대한 결정 트리로 구성된 랜덤 포레스트를 생성하는 포레스트 생성단계를 더 포함하는 것을 특징으로 한다.

바람직하게, 상기 포레스트 생성단계는 상기 표정 특징 집합으로부터 기 설정된 개수의 얼굴 표정들을 두 개의 부류로 분류하는 과정을 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 반복 수행하여 그 수행한 결과로 상기 결정 트리를 생성하는 것을 특징으로 한다.

바람직하게, 상기 포레스트 생성단계는 추출된 표정 특징별로 모든 얼굴 표정들을 두 가지의 표정 조합으로 분류하여 상기 분류한 각 표정 조합에 대한 정인식 수를 산출하고, 산출된 상기 정인식 수를 기반으로 얼굴 표정들을 두 개의 부류로 분류하여 그 분류한 해당 부류 각각에 대한 표정 특징을 결정하되, 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 기 설정된 개수의 얼굴 표정들을 두 개의 부류로 분류하는 과정을 반복 수행하는 것을 특징으로 한다.

바람직하게, 상기 포레스트 생성단계는 추출된 상기 표정 특징들 각각에서 얼굴 표정 분류에 대한 정인식 여부를 판별하기 위한 판별 특징을 추출하면서 추출된 표정 특징별로 모든 얼굴 표정을 두 가지의 표정 조합으로 분류한 후, 추출된 상기 판별 특징을 기반으로 상기 분류한 각 표정 조합에 대한 정인식 수를 산출하는 것을 특징으로 한다.

바람직하게, 상기 포레스트 생성단계는 상기 분류한 각 표정 조합에 대해 산출된 상기 정인식 수의 합의 평균이 최대가 되도록 하는 표정 조합을 찾아 그 찾은 표정 조합을 기반으로 얼굴 표정들을 두 개의 부류로 분류하는 것을 특징으로 한다.

바람직하게, 상기 피드백 단계는 입력 받은 상기 영상에 포함된 얼굴 영역에서 다수의 국소 영역들을 분할하여 분할된 상기 다수의 국소 영역들 각각에서 표정 특징을 추출하고, 분할된 상기 국소 영역들을 기 생성된 랜덤 포레스트를 구성하는 각 결정 트리로부터 얻은 표정 라벨별로 분류하며, 상기 랜덤 포레스트를 구성하는 결정 트리에 의해 선택된 표정 특징에 상응하는 국소 영역의 조합을 이용하여 국소 영역과 표정 라벨 간 상관관계를 나타내는 회귀 벡터를 생성하는 것을 특징으로 한다.

또한, 본 발명에 따른 얼굴 표정을 인식하기 위한 방법은 상기 얼굴 표정의 재 인식 결정에 따라 상기 얼굴 영역의 파라미터를 랜덤하게 재 초기화하여 재 검출된 국소 영역을 기반으로 상기 입력 받은 영상에서 얼굴 표정을 재 인식하는 단계를 더 포함하는 것을 특징으로 한다.

이를 통해, 본 발명은 다수의 얼굴 표정들을 두 개의 부류로 분류하는 과정을 반복 수행하여 그 수행한 결과로 얼굴 표정을 인식하기 위한 다수의 결정 트리로 구성된 랜덤 포레스트를 생성하고 생성된 랜덤 포레스트를 기반으로 입력된 영상에 포함된 얼굴 영역 내 국소 영역에서 추출된 표정 특징에 따라 얼굴 표정을 인식하도록 함으로써, 오인식률을 감소시킬 수 있는 효과가 있다.

또한 본 발명은 배깅(bagging)을 이용하여 임의적으로 재구성된 표정 특징 집합을 이용하여 2개 이상의 기 설정된 수의 결정 트리를 구성하여 표정인식을 하기 때문에 트리를 구성하는 표정 특징 집합으로 편향되어 수렴하는 과적합 문제를 해결할 수 있으며, 결과적으로 표정 인식의 일반화 성능을 향상시킬 수 있는 효과가 있다.

또한 본 발명은 다수의 얼굴 표정들을 두 개의 부류로 분류하는 과정을 반복 수행하여 그 수행한 결과로 생성된 결정 트리를 이용하여 입력 영상으로부터 사용자의 얼굴 표정을 인식하기 때문에 효율적으로 얼굴 표정을 인식할 수 있는 효과가 있다.

또한 본 발명은 적응형 랜덤 포레스트에서 선택된 영역의 조합을 사용함으로써 특징들과 표정들간의 상관관계를 효과적으로 구할 수 있으며, 이러한 상관관계는 얼굴 특징점을 재검출할지 여부를 판단하게 해주어 재검출을 통해 얼굴의 특징점의 에러에 의한 표정 인식 에러를 현저하게 줄여줄 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 얼굴 표정을 인식하기 위한 장치를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 표정 인식 원리를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 랜덤 포레스트를 생성하는 방법을 나타내는 도면이다.
도 4는 얼굴 표정을 두 개씩 분류하는 경우의 표정 조합을 나타내는 도면이다.
도5는 제1 표정과 제2 표정을 분류하는 경우 정인식 수를 나타내는 도면이다.
도 6a 내지 도 6c는 6 가지 얼굴 표정들을 두 개의 부류로 분류하는 경우를 보여주는 도면이다.
도 7은 6 가지의 얼굴 표정을 이용하여 생성된 결정 트리를 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 회귀 벡터를 생성하는 방법을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 얼굴 표정을 인식하기 위한 방법을 나타내는 도면이다.

이하에서는, 본 발명의 실시예에 따른 국소 특징 기반 적응형 랜덤 포레스트를 이용하여 얼굴 표정을 인식하기 위한 장치 및 그 방법을 첨부한 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.

특히, 본 발명에서는 다수의 얼굴 표정들을 두 개의 부류로 분류하는 과정을 반복 수행하여 그 수행한 결과로 얼굴 표정을 인식하기 위한 다수의 결정 트리로 구성된 랜덤 포레스트를 생성하고 생성된 랜덤 포레스트를 기반으로 입력된 영상에 포함된 얼굴 영역 내 국소 영역에서 추출된 표정 특징에 따라 얼굴 표정을 인식하도록 하되피드백 모듈을 이용하여 국소 영역 검출 알고리즘의 정확도를 높여 표정 인식의 정인식률을 높일 수 있는 새로운 방법을 제안한다.

도 1은 본 발명의 일 실시예에 따른 얼굴 표정을 인식하기 위한 장치를 나타내는 도면이다.

도 1에 도시한 바와 같이, 본 발명에 따른 얼굴 표정을 인식하기 위한 장치는 영역 분할부(110), 특징 추출부(120), 포레스트생성부(130), 얼굴 인식부(140), 피드백부(150) 등을 포함하여 구성될 수 있다.

영역 분할부(110)는 기 설정된 파라미터를 기반으로 입력 영상에 포함된 얼굴 영역에서 다수의 국소 영역들 예컨대, 입 영역, 눈 영역, 코 영역, 볼 영역, 미간 영역, 이마 영역 등을 분할할 수 있다. 이때, 분할부(110)는 ASM(Active Shape Model)을 이용하여 얼굴 영역에서 주요 특징점들의 좌표를 검출하여 검출된 좌표를 이용하여 다수의 국소 영역들을 분할하게 된다.

특징 추출부(120)는 분할된 다수의 국소 영역들 각각에서 표정 특징들을 추출할 수 있다. 이때, 추출부(120)는 기 설정된 특징 추출 알고리즘 예컨대, LBP(Local Binary Pattern) 알고리즘, LBP 알고리즘인 ULBP(Uniform LBP) 알고리즘, 고유 얼굴(eigenface) 알고리즘 등을 이용하여 다수의 국소 영역에서 표정 특징을 추출하게 된다.

포레스트 생성부(130)는 추출된 표정 특징들을 기반으로 배깅을 이용하여 2개 이상의 기 설정된 수의 새로운 표정 특징 집합들을 생성하고 각 표정 특징 집합들로부터 결정 트리로 구성된 랜덤 포레스트를 기 생성할 수 있다. 즉, 포레스트 생성부(130)는 각 새로운 표정 특징 집합으로부터 기 설정된 개수의 얼굴 표정 또는 표정 라벨을 두 개의 부류로 분류하는 과정을 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 반복적으로 수행하여 그 수행한 결과로 각 부류에 대한 표정 특징들을 결정함으로써, 얼굴 표정을 인식하기 위한 결정 트리를 생성하게 된다.

다시 말해, 포레스트 생성부(130)는 추출된 표정 특징들을 기반으로 배깅을 이용하여 표정 인식에 효과적인 기 설정된 수의 국소 영역을 선택함에 따라 그 선택된 국소 영역에서 추출된 표정 특징들 기반으로 표정 특징 집합들을 생성한다.

얼굴 인식부(140)는 기 생성된 랜덤 포레스트를 기반으로 입력 영상에서 분할된 다수의 국소 영역들 각각에서 추출된 표정 특징을 이용하여 얼굴 표정을 인식할 수 있다.

이때, 포레스트 생성부(130)는 얼굴 표정을 인식하기 위한 장치 내에 물리적으로 결합된 장치로 구현될 수 있지만, 반드시 이에 한정되지 않고 얼굴 표정을 인식하기 위한 장치와 물리적으로 분리된 장치로 구현되어 필요에 따라 랜덤 포레스트를 생성하여 그 생성된 랜덤 포레스트를 얼굴 표정을 인식하기 위한 장치에 제공할 수 있다.

피드백부(150)는 앞서 생성된 랜덤 포레스트를 기반으로 기 선택된 국소 영역의 조합을 이용하여 국소 영역과 표정 라벨간 상관관계를 표현하는 회귀 벡터를 생성하고 생성된 회귀 벡터를 이용하여 국소 영역을 재검출할지 여부를 결정할 수 있다.

즉, 피드백부(150)는 상기 결정된 결과로 국소 영역을 재검출할지가 결정되면, 얼굴 영역의 파라미터 즉, 좌표를 랜덤하게 재초기화하여 국소 영역을 재 검출하게 한다.

다시 말해, 얼굴 표정 인식의 경우 검출된 얼굴 영역 내에서 특징을 뽑아 얼굴의 국소 특징점의 위치를 찾기 때문에 표정 인식 결과는 얼굴 영역의 크기 및 위치에 따라 다른 결과를 도출하게 된다. 따라서 국소 영역의 위치는 표정 인식의 성능에 크게 좌우되며 잘못 검출된 경우 잘못된 국소 영역을 사용하여 낮은 유사도가 도출되기 때문에 피드백부는 표정 인식 결과가 잘 나올 때까지 피드백을 통해 얼굴 표정 인식을 반복 수행하여 표인 인식 정확도를 보완해주는 역할을 한다.

여기서, 회귀 벡터는 선형 회귀(linear regression), 가우시안 프로세스 회귀(Gaussian process regression), fern regression, 랜덤 트리 회귀(random tree regression) 등의 회귀 방법으로 생성된 벡터를 일컫는데, 본 발명에서는 국소 영역과 표정 라벨 간의 상관 관계를 나타내는 벡터로 정의하여 사용한다.

도 2는 본 발명의 일 실시예에 따른 얼굴 표정 인식 원리를 설명하기 위한 도면이다.

도 2에 도시한 바와 같이, 본 발명에 따른 얼굴 표정을 인식하기 위한 장치(이하 얼굴표정 인식장치라고 한다)는 다수의 결정 트리로 구성된 랜덤 포레스트를 기반으로 표정을 인식한 후 인식된 표정의 국소 영역과 회귀 벡터를 이용하여 유사도를 산출하여 산출된 유사도가 사용자에 의해 설정된 임계치 미만인 경우 얼굴 표정 인식의 정확도가 낮다고 판단하여 국소 영역을 변경하여 얼굴 표정 인식 과정을 반복 수행하게 된다.

여기서, 유사도는 선택된 국소 영역을 벡터화하여 회귀 벡터와 내적한 값을 의미한다.

이러한 얼굴 표정 인식 과정의 반복 수행을 통해 보다 정확한 얼굴 표정의 인식이 가능할 수 있기 때문에 본 발명에서는 이러한 원리를 적용하고자 한다.

도 3은 본 발명의 일 실시예에 따른 랜덤 포레스트를 생성하는 방법을 나타내는 도면이다.

도 3에 도시한 바와 같이, 본 발명에 따른 얼굴 표정을 인식하기 위한 장치(이하, 얼굴표정 인식장치라고 한다)는 입력된 훈련 영상에 포함된 얼굴 영역에서 얼굴 표정들을 잘 분류할 수 있는 다수의 국소 영역들을 분할할 수 있다(S310).

이때, 얼굴표정 인식장치는 ASM을 이용하여 훈련 영상에서 얼굴 영역을 검출하고 그 검출된 얼굴 영역에서 주요 특징점들의 좌표를 검출하여 검출된 주요 특징점들의 좌표를 이용하여 다수의 국소 영역들을 분할하게 된다.

다음으로, 얼굴표정 인식장치는 분할된 다수의 국소 영역들 각각에서 표정 특징을 추출할 수 있다(S320).

다음으로, 얼굴표정 인식장치는 추출된 표정 특징의 집합으로부터 배깅(bagging)을 이용하여 새로운 표정 특징의 집합(이하 표정 특징 집합이라고 한다)을 생성할 수 있다(S330).

다음으로, 얼굴표정 인식장치는 생성된 표정 특징 집합 내 표정 특징별로 모든 얼굴 표정을 두 가지의 표정 조합으로 분류하여 분류한 각 표정 조합에 대한 정인식 수를 산출할 수 있다(S340).

도 4는 얼굴 표정을 두 개씩 분류하는 경우의 표정 조합을 나타내는 도면이다.

도 4에 도시한 바와 같이, 3개의 국소 영역 예컨대, 눈 영역, 코 영역, 입 영역에서 추출된 표정 특징으로 6개의 얼굴 표정 예컨대, 제1 표정, 제2 표정, 제3 표정, 제4 표정, 제5 표정, 제6 표정을 각각 두 개의 표정 조합으로 분류하는 경우 15개의 표정 조합이 존재하는 것을 알 수 있다.

예컨대, 제1 표정을 포함하는 두 개의 표정 조합은 5개의 {제1 표정, 제2 표정}, {제1 표정, 제3 표정}, {제1 표정, 제4 표정}, {제1 표정, 제5 표정}, {제1 표정, 제6 표정}으로 분류되고, 제2 표정을 포함하는 두 개의 표정 조합은 4개의 {제2 표정, 제3 표정}, {제2 표정, 제4 표정}, {제2 표정, 제5 표정}, {제2 표정, 제6 표정}으로 분류되며, 제3 표정을 포함하는 두 개의 표정 조합은 3개의 {제3 표정, 제4 표정}, {제3 표정, 제5 표정}, {제3 표정, 제6 표정}으로 분류되며, 제4 표정을 포함하는 두 개의 표정 조합은 2개의 {제4 표정, 제5 표정}, {제4 표정, 제6 표정}으로 분류되며, 제 5 표정을 포함하는 두 개의 표정 조합은 1개의 {제5 표정, 제6 표정}으로 분류될 수 있다.

이때, 얼굴표정 인식장치는 추출된 표정 특징 각각에서 얼굴 표정 분류에 대한 정인식 여부를 판별하기 위한차원이 축소된 판별 특징을 추출하면서 추출된 표정 특징별로 모든 얼굴 표정을 두 가지의 표정 조합으로 분류한 후 추출된 판별 특징을 기반으로 각 분류 즉, 표정 조합에 대한 정인식 수를 산출할 수 있다.

여기서, 판별 특징은 표정 특징별로 기 설정된 알고리즘 예컨대, LDA(Linear Discriminant Analysis), SVM(Support Vector Machine) 중 적어도 하나의 알고리즘을 이용하여 추출될 수 있다.

도 5는 제1 표정과 제2 표정을 분류하는 경우 정인식 수를 나타내는 도면이다.

도 5에 도시한 바와 같이, 50개의 훈련 영상 각각의 눈 영역에서 추출된 표정 특징으로 제1 표정과 제2 표정을 분류하는 경우 35개가 정인식되어 정인식 수는 35개가 되고, 각각의 코 영역에서 추출된 표정 특징으로 제1 표정과 제2 표정을 분류하는 경우 38개가 정인식되며, 각각의 입 영역에서 추출된 표정 특징으로 제1 표정과 제2 표정을 분류하는 경우 40개가 정인식되는 것을 보여주고 있다.

이러한 정인식 수는 50개의 훈련 영상에 대한 실험 결과를 기반으로 산출된다. 즉, 정인식 수는 기 설정된 개수의 훈련 영상에서 추출된 판별 특징을 기반으로 각 분류에 대한 정인식 여부를 판별하여 그 판별한 결과에 따라 산출될 수 있다.

다음으로, 얼굴표정 인식장치는 산출된 정인식 수를 기반으로 얼굴 표정들을 두 개의 부류로 분류하여 그 분류한 해당 부류 각각에 대한 표정 특징을 결정할 수 있다(S350).

이때, 얼굴표정 인식장치는 산출된 정인식 수의 합의 평균이 최대가 되도록 하는 표정 조합을 찾아 찾은 표정 조합을 기반으로 얼굴 표정들을 두 개의 부류로 분류하게 된다.

도 6a 내지 도 6c는 6 가지 얼굴 표정들을 두 개의 부류로 분류하는 경우를 보여주는 도면이다.

도 6a를 참조하면, 하나의 얼굴 표정과 나머지 다섯 개의 얼굴 표정 예컨대, {제1 표정}, {제2 표정, 제3 표정, 제4 표정, 제5 표정, 제6 표정}으로 분류하는 경우, 총 6가지의 조합이 가능할 수 있다.

도 6b를 참조하면, 두 개의 얼굴 표정과 나머지 네 개의 얼굴 표정 예컨대, {제1 표정, 제2 표정}, {제3 표정, 제4 표정, 제5 표정, 제6 표정}으로 분류하는 경우, 총 15 가지의 조합이 가능할 수 있다.

도 6c를 참조하면, 세 개의 얼굴 표정과 나머지 세 개의 얼굴 표정 예컨대, {제1 표정, 제2 표정, 제3 표정}, {제4 표정, 제5 표정, 제6 표정}으로 분류하는 경우, 총 19 가지의 조합이 가능할 수 있다.

이렇게 6 가지의 얼굴 표정을 두 개의 부류는 분류하는 경우 총 40 가지의 조합의 가능하다.

이때, 입 영역에서 추출된 표정 특징으로 도 5a와 같이 얼굴 표정을 분류하는 경우 정인식 수의 합의 평균값이 32이고, 도 5b와 같이 얼굴 표정을 분류하는 경우 정인식 수의 합의 평균값이 46이며, 도 5c와 같이 얼굴 표정을 분류하는 경우 정인식 수의 합의 평균값이 39이라고 가정하면, 정인식 수의 합의 평균이 최대가 되도록 하는 도 5b를 기반으로 얼굴 표정들을 두 개의 부류로 분류하고, 해당 분류를 위해 사용되는 표정들을 입 영역에서 추출된 표정 특징으로 결정한다.

다음으로, 얼굴표정 인식장치는 분류한 부류 각각에 대하여 해당 부류에 포함된 얼굴 표정의 개수가 하나인지를 확인할 수 있다(S360).

다음으로, 얼굴표정 인식장치는 그 확인한 결과로 해당 부류에 포함된 얼굴 표정의 개수가 하나이면, 모든 부류 각각에 대한 얼굴 표정의 개수가 하나인지를 확인할 수 있다(S370).

반면, 얼굴표정 인식장치는 해당 부류에 포함된 얼굴 표정의 개수가 하나가 아니면, 얼굴 표정을 두 가지의 표정 조합으로 분류하여 분류한 각 표정 조합에 대한 정인식 수를 산출하는 과정(S340)부터 다시 수행할 수 있다.

다음으로, 얼굴표정 인식장치는 그 확인한 결과로 모든 부류 각각에 대한 얼굴 표정의 개수가 하나이면, 얼굴 표정을 인식하기 위한 다수의 결정 트리로 구성된 랜덤 포레스트를 생성할 수 있다(S380).

반면, 얼굴표정 인식장치는 그 확인한 결과로 모든 부류 각각에 대한 얼굴 표정의 개수가 하나가 아니면, 얼굴 표정을 두 가지의 표정 조합으로 분류하여 분류한 각 표정 조합에 대한 정인식 수를 산출하는 과정(S340)부터 다시 수행할 수 있다.

다음으로, 얼굴표정 인식장치는 생성된 랜덤 포레스트를 구성하는 결정 트리의 수가 기 설정한 수와 일치하는지 확인할 수 있다(S390). 즉, 얼굴표정 인식장치는 그 확인 결과로 생성된 결정 트리의 수와 기 설정한 수와 일치하면 결정 트리 생성 과정을 종료하고 그렇지 않으면 표정 특징의 집합으로부터 배깅을 이용하여 새로운 표정 특징 집합을 생성하는 과정(S330)부터 다시 수행한다.

도 7은 6 가지의 얼굴 표정을 이용하여 생성된 결정 트리를 나타내는 도면이다.

도 7에 도시한 바와 같이, 도 5b의 분류 즉, 두 개의 얼굴 표정과 나머지 네 개의 얼굴 표정을 기반으로 결정 트리를 생성하되, 하나의 부류에 하나의 얼굴 표정이 될 때까지 각 부류를 두 개의 부류로 분류하는 과정을 반복하여 수행하게 된다.

예컨대, 6 가지의 얼굴 표정 즉, {제1 표정, 제2 표정, 제3 표정, 제4 표정, 제5 표정, 제6 표정}을 두 개의 부류 즉, {2 표정, 제3 표정}, {제1 표정, 제4 표정, 제5 표정, 제6 표정}으로 분류하고(제1 분류), 각 부류가 하나 이상의 얼굴 표정을 포함하고 있어 각 부류를 다시 분류한다.

여기서, 제1 분류에 따라 생성된 2 개의 부류들 각각에 대한 표정 특징들은 최대 정인식 값을 기반으로 입 영역에서 추출된 표정 특징인 경우가 도시되어 있다.

다시 {제2 표정, 제3 표정}을 두 개의 부류 {제2 표정}, {제3 표정}으로 분류하게 되고(제2 분류), {제1 표정, 제4 표정, 제5 표정, 제6 표정}을 {제1 표정, 제4 표정}, {제5 표정, 제6 표정}으로 분류하게 된다(제3 분류).

여기서, 제2 분류에 따라 생성된 2개의 부류들 각각에 대한 표정 특징들은 최대 정인식 값을 기반으로 입 영역에서 추출된 표정 특징인 경우가 도시되어 있고, 제3 분류에 따라 생성된 2개의 부류들 각각에 대한 표정 특징들은 최대 정인식 값을 기반으로 눈 영역에서 추출된 표정 특징인 경우가 도시되어 있다.

다시 {제1 표정, 제4 표정}을 두 개의 부류 {제1 표정}, {제4 표정}으로 분류하게 되고(제4 분류), {제5 표정, 제6 표정}을 두 개의 부류 {제5 표정}, {제6 표정}으로 분류하게 된다(제5 분류).

여기서, 제4 분류에 따라 생성된 2개의 부류들 각각에 대한 표정 특징들은 최대 정인식 값을 기반으로 눈 영역에서 추출된 표정 특징인 경우가 도시되어 있고, 제5 분류에 따라 생성된 2개의 부류들 각각에 대한 표정 특징들은 최대 정인식 값을 기반으로 미간 영역에서 추출된 표정 특징인 경우가 도시되어 있다.

이렇게 각 부류에 포함된 얼굴 표정이 더 이상 분류되지 않을 때까지 분류 과정을 반복하여 결정 트리의 각 가지의 최하위 부류는 하나의 얼굴 표정을 포함한다.

도 8은 본 발명의 일 실시예에 따른 회귀 벡터를 생성하는 방법을 나타내는 도면이다.

도 8에 도시한 바와 같이, 본 발명에 따른 얼굴 표정을 인식하기 위한 장치(이하, 얼굴표정 인식장치라고 한다)는 훈련 영상에 포함된 얼굴 영역에서 얼굴 표정들을 잘 분류할 수 있는 다수의 국소 영역들을 분할할 수 있다(S810).

다음으로, 얼굴표정 인식장치는 분할된 다수의 국소 영역들 각각에서 표정 특징을 추출할 수 있다(S820).

다음으로, 얼굴표정 인식장치는 각 훈련 영상의 국소 영역들을 기 생성된 랜덤 포레스트를 구성하는 각 결정 트리로부터 얻은 표정 라벨별로 분류할 수 있다(S830).

다음으로, 얼굴표정 인식장치는 결정트리에 의해 선택된 국소 영역의 조합을 이용하여 국소 영역과 표정 라벨간 상관관계를 나타내는 회귀 벡터를 생성할 수 있다(S840).

이때, 얼굴표정 인식장치는 결정트리의 각 표정별로 회귀 벡터를 생성한다.

이러한 회귀 벡터를 생성하기 위한 방법으로 linear regression과 같은 회귀 최적화 방법을 이용하여 국소 영역의 조합과 표정간의 유사도를 구할 수 있다.

다음으로, 얼굴표정 인식장치는 생성된 회귀 벡터의 수가 모든 결정 트리의 각 표정별로 생성되었는지를 확인할 수 있다(S850).

이때, 회귀 벡터의 수는 (결정 트리의 수 × 표정의 수)로 정의될 수 있다.

즉, 얼굴표정 인식장치는 회귀 벡터의 수가 모든 결정 트리의 각 표정별로 생성되었으면 과정을 종료하게 되고 모든 결정 트리의 각 표정별로 생성되지 않았으면 다른 트리를 선택하여 회귀 벡터를 생성하는 과정을 다시 수행하게 된다.

도 9는 본 발명의 일 실시예에 따른 얼굴 표정을 인식하기 위한 방법을 나타내는 도면이다.

도 9에 도시한 바와 같이, 본 발명에 따른 얼굴 표정을 인식하기 위한 장치(이하, 얼굴표정 인식장치라고 한다)는 영상을 입력 받으면, 입력 받은 영상에 포함된 얼굴 영역에서 얼굴 표정들을 잘 분류할 수 있는 다수의 국소 영역들을 분할할 수 있다(S910).

다음으로, 얼굴표정 인식장치는 분할된 다수의 국소 영역들 각각에서 표정 특징을 추출할 수 있다(S920).

다음으로, 얼굴표정 인식장치는 기 생성된 랜덤 포레스트를 구성하는 결정 트리를 기반으로 다수의 국소 영역들에서 추출된 표정 특징을 이용하여 입력 받은 영상에서 얼굴 표정을 인식할 수 있다(S930).

다음으로, 얼굴표정 인식장치는 얼굴 표정을 인식하면, 기 생성된 랜덤 포레스트를 기반으로 선택된 국소 영역과 회귀 벡터를 이용하여 국소 영역과 표정 라벨 간 유사도를 산출할 수 있다(S940).

다음으로, 얼굴표정 인식장치는 산출된 국소 영역과 표정 라벨 간의 유사도가 사용자에 의해 미리 설정된 임계치 이상인지를 확인할 수 있다(S950).

다음으로, 얼굴표정 인식장치는 그 확인한 결과로 유사도가 임계치 미만인 경우 얼굴 영역의 파라미터를 랜덤하게 재 초기화함으로써, 이를 기반으로 국소 영역을 재검출한 후 얼굴 표정 인식 과정을 다시 수행할 수 있다(S960).

반면, 얼굴표정 인식장치는 그 확인한 결과로 유사도가 임계치 이상인 경우 상기 인식된 얼굴 표정이 최종 얼굴 표정으로 인식되었다고 판단하여 과정을 종료할 수 있다.

한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

110: 영역 분할부
120: 특징 추출부
130: 포레스트 생성부
140: 얼굴 인식부
150: 피드백부

Claims (20)

1. 영상을 입력받으면, 입력받은 상기 영상에 포함된 얼굴 영역에서 기 설정된 파라미터를 기반으로 다수의 국소 영역들을 분할하는 영역 분할부;
   분할된 상기 다수의 국소 영역들 각각에서 표정 특징들을 추출하는 특징 추출부;
   기 생성된 랜덤 포레스트를 기반으로 상기 추출된 표정 특징을 이용하여 상기 입력받은 영상에서 얼굴 표정을 인식하는 얼굴 인식부; 및
   인식된 상기 얼굴 표정에 대한 국소 영역과 회귀 벡터를 이용하여 표정의 유사도를 산출하여 산출된 상기 유사도에 따라 상기 국소 영역들의 위치를 변경하여 상기 국소 영역들을 재 검출하는 피드백부;
   를 포함하되, 여기서, 상기 랜덤 포레스트는 상기 표정 특징의 집합에 대한 다수의 결정 트리로 구성되고,
   상기 랜덤 포레스트를 구성하는 각 결정 트리는 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 반복적으로 기 설정된 개수의 얼굴 표정들을 두 개의 부류로 분류하여 그 분류한 결과로 생성되며,
   상기 피드백부는,
   입력 받은 상기 영상에 포함된 얼굴 영역에서 다수의 국소 영역들을 분할하여 분할된 상기 다수의 국소 영역들 각각에서 표정 특징을 추출하고,
   분할된 상기 국소 영역들을 기 생성된 랜덤 포레스트를 구성하는 각 결정 트리로부터 얻은 표정 라벨별로 분류하며,
   상기 랜덤 포레스트를 구성하는 결정 트리에 의해 선택된 표정 특징에 상응하는 국소 영역의 조합을 이용하여 상기 국소 영역과 표정 라벨 간 상관관계를 나타내는 회귀 벡터를 생성하며,
   상기 선택된 표정 특징에 상응하는 상기 국소 영역을 벡터화하여 상기 회귀 벡터와 내적한 값인 상기 유사도가 미리 설정된 임계치 미만이면, 상기 얼굴 영역의 상기 파라미터를 초기화하고 상기 국소 영역들의 위치를 변경하여 상기 국소 영역들을 재 검출하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 장치.
2. 삭제
3. 제1 항에 있어서,
   상기 특징 추출부는,
   LBP(Local Binary Pattern) 알고리즘, LBP 알고리즘인 ULBP(Uniform LBP) 알고리즘, 고유 얼굴(eigenface) 알고리즘 중 어느 하나를 이용하여 다수의 국소 영역들 각각에서 표정 특징을 추출하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 장치.
4. 제1 항에 있어서,
   입력 받은 상기 영상에서 추출된 표정 특징의 집합으로부터 배깅 방법을 이용하여 2개 이상의 기 설정된 수의 표정 특징 집합을 재생성한 후 각각의 재생성된 표정 특집 집합에 대한 결정 트리로 구성된 랜덤 포레스트를 생성하는 포레스트 생성부;
   를 더 포함하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 장치.
5. 삭제
6. 제4 항에 있어서,
   상기 포레스트 생성부는,
   추출된 표정 특징별로 모든 얼굴 표정들을 두 가지의 표정 조합으로 분류하여 상기 분류한 각 표정 조합에 대한 정인식 수를 산출하고,
   산출된 상기 정인식 수를 기반으로 얼굴 표정들을 두 개의 부류로 분류하여 그 분류한 해당 부류 각각에 대한 표정 특징을 결정하되, 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 기 설정된 개수의 얼굴 표정들을 두 개의 부류로 분류하는 과정을 반복 수행하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 장치.
7. 제6 항에 있어서,
   상기 포레스트 생성부는,
   추출된 상기 표정 특징들 각각에서 얼굴 표정 분류에 대한 정인식 여부를 판별하기 위한 판별 특징을 추출하면서 추출된 표정 특징별로 모든 얼굴 표정을 두 가지의 표정 조합으로 분류한 후, 추출된 상기 판별 특징을 기반으로 상기 분류한 각 표정 조합에 대한 정인식 수를 산출하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 장치.
8. 제7 항에 있어서,
   상기 포레스트 생성부는,
   추출된 표정 특징별로 LDA(Linear Discriminant Analysis), SVM(Support Vector Machine) 중 적어도 하나를 적용하여 상기 판별 특징을 추출하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 장치.
9. 제6 항에 있어서,
   상기 포레스트 생성부는,
   상기 분류한 각 표정 조합에 대해 산출된 상기 정인식 수의 합의 평균이 최대가 되도록 하는 표정 조합을 찾아 그 찾은 표정 조합을 기반으로 얼굴 표정들을 두 개의 부류로 분류하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 장치.
10. 삭제
11. 삭제
12. 영상을 입력받으면, 입력받은 상기 영상에 포함된 얼굴 영역에서 기 설정된 파라미터를 기반으로 다수의 국소 영역들을 분할하는 영역 분할단계;
    분할된 상기 다수의 국소 영역들 각각에서 표정 특징들을 추출하는 특징 추출단계;
    기 생성된 랜덤 포레스트를 기반으로 상기 추출된 표정 특징을 이용하여 상기 입력 영상에서 얼굴 표정을 인식하는 얼굴 인식단계; 및
    인식된 상기 얼굴 표정에 대한 국소 영역과 회귀 벡터를 이용하여 표정의 유사도를 산출하여 산출된 상기 유사도에 따라 상기 국소 영역들의 위치를 변경하여 상기 국소 영역들을 재 검출하는 피드백 단계;
    를 포함하되, 여기서, 상기 랜덤 포레스트는 상기 표정 특징의 집합에 대한 다수의 결정 트리로 구성되고,
    상기 랜덤 포레스트를 구성하는 각 결정 트리는 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 반복적으로 기 설정된 개수의 얼굴 표정들을 두 개의 부류로 분류하여 그 분류한 결과로 생성되며,
    상기 피드백 단계는,
    입력 받은 상기 영상에 포함된 얼굴 영역에서 다수의 국소 영역들을 분할하여 분할된 상기 다수의 국소 영역들 각각에서 표정 특징을 추출하고,
    분할된 상기 국소 영역들을 기 생성된 랜덤 포레스트를 구성하는 각 결정 트리로부터 얻은 표정 라벨별로 분류하며,
    상기 랜덤 포레스트를 구성하는 결정 트리에 의해 선택된 표정 특징에 상응하는 국소 영역의 조합을 이용하여 상기 국소 영역과 표정 라벨 간 상관관계를 나타내는 회귀 벡터를 생성하며,
    상기 선택된 표정 특징에 상응하는 상기 국소 영역을 벡터화하여 상기 회귀 벡터와 내적한 값인 상기 유사도가 미리 설정된 임계치 미만이면, 상기 얼굴 영역의 상기 파라미터를 초기화하고 상기 국소 영역들의 위치를 변경하여 상기 국소 영역들을 재 검출하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 방법.
13. 삭제
14. 제12 항에 있어서,
    입력 받은 상기 영상에서 추출된 표정 특징의 집합으로부터 배깅 방법을 이용하여 2개 이상의 기 설정된 수의 표정 특징 집합을 재생성한 후 각각의 재생성된 표정 특집 집합에 대한 결정 트리로 구성된 랜덤 포레스트를 생성하는 포레스트 생성단계;
    를 더 포함하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 방법.
15. 삭제
16. 제14 항에 있어서,
    상기 포레스트 생성단계는,
    추출된 표정 특징별로 모든 얼굴 표정들을 두 가지의 표정 조합으로 분류하여 상기 분류한 각 표정 조합에 대한 정인식 수를 산출하고,
    산출된 상기 정인식 수를 기반으로 얼굴 표정들을 두 개의 부류로 분류하여 그 분류한 해당 부류 각각에 대한 표정 특징을 결정하되, 하나의 부류에 하나의 얼굴 표정이 포함될 때까지 기 설정된 개수의 얼굴 표정들을 두 개의 부류로 분류하는 과정을 반복 수행하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 방법.
17. 제16 항에 있어서,
    상기 포레스트 생성단계는,
    추출된 상기 표정 특징들 각각에서 얼굴 표정 분류에 대한 정인식 여부를 판별하기 위한 판별 특징을 추출하면서 추출된 표정 특징별로 모든 얼굴 표정을 두 가지의 표정 조합으로 분류한 후, 추출된 상기 판별 특징을 기반으로 상기 분류한 각 표정 조합에 대한 정인식 수를 산출하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 방법.
18. 제16 항에 있어서,
    상기 포레스트 생성단계는,
    상기 분류한 각 표정 조합에 대해 산출된 상기 정인식 수의 합의 평균이 최대가 되도록 하는 표정 조합을 찾아 그 찾은 표정 조합을 기반으로 얼굴 표정들을 두 개의 부류로 분류하는 것을 특징으로 하는 얼굴 표정을 인식하기 위한 방법.
19. 삭제
20. 삭제

Images