KR20170090872A

KR20170090872A - 표정 및 동작을 이용한 사용자 인식 장치 및 방법

Info

Publication number: KR20170090872A
Application number: KR1020160011804A
Authority: KR
Inventors: 이인재; 김현철; 서정일; 이희경; 황인욱
Original assignee: 한국전자통신연구원
Priority date: 2016-01-29
Filing date: 2016-01-29
Publication date: 2017-08-08

Abstract

본 발명은 표정 및 동작을 이용한 사용자 인식 장치로, 표정 및 동작을 이용한 사용자 인식 장치는 크게 사용자 영상 및 기준 영상을 비교하여 사용자별로 특화된 표정 및 동작의 특징 정보를 미리 획득하는 개인 특화 정보 결정부와, 입력되는 사용자 영상을 상기 미리 획득된 사용자별로 특화된 표정 및 동작의 특징 정보와 비교하여 사용자를 인식해내는 사용자 인식부를 포함한다.

Description

표정 및 동작을 이용한 사용자 인식 장치 및 방법{Apparatus and Method for Recognizing User using Expression and Motion}

본 발명은 영상 인식 기술에 관한 것으로, 특히 사용자를 인식하는 장치 및 방법에 관한 것이다.

최근 들어 사용자의 감성 정보에 기반한 맞춤형 서비스에 대한 관심이 증가하고 있다. 일 예로, 커피자판기에 표정인식 기능을 탑재하여 졸린 표정을 짓는 사람에게 커피를 제공한다거나, 사진 촬영시 웃거나 눈을 깜빡이는 표정을 지었을 때 이를 찾아 적절한 동작을 해주는 단편적인 서비스들이 상용화되었다.

그런데 시장의 수요에도 불구하고 표정 인식 기술이 아직 단편적인 서비스에 그치고 활성화되지 못하고 있다. 그러한 이유들 중 하나는 동일 감정이라도 사람들마다 표정이 상이하므로, 표정을 인식하는데 정확도가 떨어질 수 있다는 데 있다.

본 발명은 사람들마다 동일한 감정이라 할지라도 그것을 표현하는 표정에 있어 개인 차이가 존재한다는 사실에 기반하여 개인별로 특징적인 표정과 더불어 특징적인 동작을 추가적으로 인식함으로써 사용자 인식률을 높일 수 있는 표정 및 동작을 이용한 사용자 인식 장치 및 방법을 제공한다.

본 발명에 따라, 개인별로 특화된 표정을 검출해 내고 이를 기반으로 동작 인식과 결합하여 사용자의 특징적인 표정과 특징적인 동작을 추가적으로 인식함으로써 사용자 인식률을 높일 수 있다.

예컨대, 현재 은행에 로그인할 때도 2가지 이상의 인증방법을 수행하도록 하는데, 사용자 인식을 위해 1차적으로 얼굴인식을 수행하고 이를 통과할 경우 2차적으로 설정해 둔 표정 및 동작 인식을 행해 사용자를 최종 인식해 줌으로써 인식률을 높여줄 수 있다.

또한 개인의 표정은 개인의 얼굴 근육에 따라 독특한 형태를 띨 경우 모방이 쉽지 않다는 장점도 있다.

도 1은 본 발명의 일 실시 예에 따른 표정 및 동작을 이용한 사용자 인식 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 개인 특화 정보 결정부의 상세 구성도이다.
도 3은 감정별로 기준이 되는 표정 영상의 일 예를 도시한 도면이다.
도 4는 얼굴의 특정 부분의 특징을 추출한 일 예를 도시한 도면이다.
도 5 내지 도 7은 기준 표정 영상과 개인 표정 영상을 비교하는 예들을 도시한 도면이다.
도 8은 사용자 인식을 위해 개인별로 특화된 동작의 예들이 도시된 도면이다.
도 9는 본 발명의 일 실시 예에 따른 사용자 인식부의 상세 구성도이다.
도 10은 본 발명의 일 실시 예에 따른 표정 및 동작을 이용한 사용자 인식 방법을 설명하기 위한 순서도이다.
도 11은 본 발명의 일 실시 예에 따른 개인 특화 정보 결정 단계를 설명하기 위한 순서도이다.
도 12는 본 발명의 일 실시 예에 따른 사용자 인식 단계를 설명하기 위한 순서도이다.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시 예에 따른 표정 및 동작을 이용한 사용자 인식 장치의 블록 구성도이다.

도 1을 참조하면, 표정 및 동작을 이용한 사용자 인식 장치는 크게 사용자 영상 및 기준 영상을 비교하여 사용자별로 특화된 표정 및 동작의 특징 정보를 미리 획득하는 개인 특화 정보 결정부(100)와, 입력되는 사용자 영상을 상기 미리 획득된 사용자별로 특화된 표정 및 동작의 특징 정보와 비교하여 사용자를 인식해내는 사용자 인식부(120)를 포함한다.

도 2는 본 발명의 일 실시 예에 따른 개인 특화 정보 결정부의 상세 구성도이다.

도 2를 참조하면, 개인 특화 정보 결정부(100)은 상세하게는 기준 표정 영상 선정부(110), 개인 표정 영상 처리부(120), 표정 영상 비교부(130), 개인별 표정 영상 선정부(140) 및 개인별 동작 결정부(150)을 포함한다.

기준 표정 영상 선정부(110)는 감정별로 기준이 되는 표정 영상을 선정한다. 즉, 감정에 따라 지표가 될 수 있는 표정 영상을 결정하는 것이다.

도 3은 감정별로 기준이 되는 표정 영상의 일 예를 도시하고, 하기의 <표 1>은 기준이 되는 표정 영상에 대한 특징을 설명하고 있다.

<표 1>

도 3 및 <표 1>을 참조하면, '놀람'의 경우 '눈이 커지고 눈썹이 올라가며 입이 벌어진다'라는 기본적 지표가 있고, '기쁨'의 경우 '눈꺼풀이 쳐져 눈꼬리가 내려가고 입꼬리가 올라간다'는 등의 기본적인 지표가 있을 수 있다. 따라서 감정별로 다양한 사람들의 영상을 수집하여 평균 영상을 구하거나, FACS(Facial Action Coding System)에서 기술하고 있는 내용을 기반으로 표정 영상을 선정하는 등 감정별로 기준이 될 표정 영상을 결정한다.

개인 표정 영상 처리부(120)는 감정별 개인 표정 영상을 수집하여, 수집된 개인 표정 영상의 특징을 분석한다. 우선, 인식할 대상이 되는 사용자의 감정별 표정 영상이 수집한다. 예컨대, 가장 기본이 되는 감정은 평온, 기쁨, 슬픔, 분노, 놀람, 혐오 등이 있는데, 각각의 감정에 따른 개인의 표정 영상을 수집한다.

다음으로, 개인 표정 영상 처리부(120)는 개인의 표정 영상에서 감정별로 표정의 상대적인 변위를 계산한다. 즉, 개인의 평온 영상을 기준으로 기쁨, 슬픔, 분노 등의 감정이 나타날 때 눈썹, 눈, 코, 입 등 얼굴 주요 부위의 크기는 상대적으로 얼마나 커지는지 작아지는지, 위치는 얼마나 어디로 이동되는지 계산한다.

이를 위해서는 얼굴의 특정 부분의 특징을 추출한 일 예를 도시한 도 3과 같이 AAM과 같이 눈썹, 눈, 코, 입 등 얼굴의 특정 부분의 landmark points를 추출해 내는 기하학적 특징(geometry feature) 검출 방법을 사용할 수 있다.

개인 표정 영상 처리부(120)는 도 4에 도시된 바와 같은 정보를 통해 감정에 따라 상대적으로 변이가 큰 부위를 찾아내고, 상대적인 변이가 큰 부위를 많이 포함하고 있는 표정의 종류도 알아낸다. 또한 상대적으로 변이가 큰 영역은 외모 특징(appearnce feature)를 검출해 별도로 저장한다. 이러한 외모 특징(appearnce feature) 정보를 통해 주름 등의 텍스처 정보를 알 수 있으며, LBP, MCT 등의 수동적인 검출 방법이나 딥 러닝(deep learning) 등의 자동 검출 방법을 사용해 줄 수 있다. 이를 통하여 사용자의 표정 중 가장 기본이 되는 평온의 표정과 비교하여 변화가 가장 큰 표정의 종류 및 변이가 큰 부위를 알아내어 향후 사용자 인식에 활용한다.

표정 영상 비교부(130)는 감정별 기준 표정 영상과 개인 표정 영상을 비교한다. 개인에 따라 감정을 나타내는 표정에 차이가 있다. 예컨대, 기쁨을 표현할 때 어떤 사람은 입을 벌리지 않고 웃고, 어떤 사람은 윗니가 드러나게, 또 어떤 사람은 윗니, 아랫니 모두 드러나게 웃을 수 있다. 또한 어떤 사람은 눈동자가 보이지 않을 정도로 감기고 반달 모양이 될 수도 있다. 어떤 사람은 웃을 때 눈썹이 팔자 형태로 내려가기도 한다. 분노 또한 어떤 이는 입을 있는 힘껏 다물고 있을 수 있고 어떤 이는 입을 크게 벌릴 수 있으며, 어떤 이는 이빨을 맞붙여 다물고 있을 수 있다. 이와 같이 표정별로 개인차가 존재한다는 점에 기반하여 표정 영상 비교부(130)는 감정별로 기준이 되는 표준 표정 영상과 개인의 표정 영상을 비교하여 눈, 코, 입, 눈썹 등의 얼굴 주요 부위별로 차이를 비교한다.

표정 영상 비교부(130)는 기하학적(geometry) 검출 기법을 이용하여 landmark points의 차이를 비교하고, 차이가 일정 임계치(threshold) 이상 발생하는 개인의 표정 영역에 대해 외모(appearance) 검출 기법을 적용하여 해당 영역의 텍스처 특징을 개인 표정 영상의 특징으로 삼아 향후 사용자 인식시 반영할 수 있도록 한다. 기준 표정 영상과 개인 표정 영상 차이를 비교하여 차이가 큰 영상을 선별해낸다.

도 5 내지 도 7은 기준 표정 영상과 개인 표정 영상을 비교하는 예들을 도시한 도면이다.

도 5를 참조하면, (a)의 기준 표정 영상과 (b)의 개인 표정 영상의 차이가 크지 않아, 사용자 인식을 위한 개인 표정 영상으로 선정되지 않을 수 있다. 그런데 도 6 및 도 7을 참조하면, (a)의 기준 표정 영상과 (b)의 개인 표정 영상의 차이가 커서, 사용자 인식을 위한 개인 표정 영상으로 선정될 수 있다.

개인별 표정 영상 선정부(140)는 사용자 인식을 위해 개인별로 특화된 표정을 결정한다. 즉, 기준 표정 영상과 개인 표정 영상 간에 차이가 크다는 것은 해당 감정을 표현하는 개인의 표정이 남들과는 다른 고유한 특징을 가지고 있어 사용자 인식을 위한 특징적인 표정 영상으로 활용될 가능성이 높음을 의미한다. 따라서 기준 표정 영상과 차이가 큰 개인 표정 영상들을 선별하여 사용자 인식을 위한 표정으로 추천해 준다. 이때 기준 표정 영상과 개인 표정 영상 간에 차이가 유사한 대상이 다수 존재할 경우 개인 표정 영상 처리부(120)에서 추출한 개인 표정 내에서 변이가 큰 표정 영상의 순위를 더 높게 반영한다.

개인별 동작 결정부(150)는 사용자 인식을 위해 개인별로 특화된 동작을 결정한다. 즉, 표정과 함께 특이한 동작을 결합시켜 사용자 인식시 2가지 조건을 동시 체크한다면 사용자 인식의 정확도를 향상시킬 수 있다. 특히 새로이 출시된 키넥트 2의 경우 가위, 바위, 보 등 손가락도 인식해 내므로 손의 위치와 손가락의 개수 등을 조합한 동작을 선정한다. 도 8은 사용자 인식을 위해 개인별로 특화된 동작의 예들이 도시된 도면이다.

도 9는 본 발명의 일 실시 예에 따른 사용자 인식부의 상세 구성도도이다.

도 9를 참조하면, 사용자 인식부(200)는 사용자 영상 설정부(210), 사용자 1차 인식부(220) 및 사용자 2차 인식부(230)를 포함한다.

사용자 영상 설정부(210)는 미리 사용자로부터 개인에 특화된 표정을 추천받아 결정하고 특화된 동작을 결정해 이를 본인 인증을 위한 방법으로 선정한다.

사용자 1차 인식부(220)는 사용자 영상이 입력됨에 따라, 사용자 영상으로부터 사용자 표정 종류 및 사용자 동작을 인식하여 사용자 표정 종류 및 동작이 사용자 영상 설정부(210)에 의해 설정된 표정 및 동작과 일치하는지 판단한다. 예컨대, 사용자가 "기쁨 + 이마 위에 가위"로 선정한 경우, 이후 사용자 영상이 입력으로 들어오면 사용자 표정의 종류와 동작을 구분해 낸다. 또한, 표정의 종류를 인식할 때는 사용자의 표정 영상을 비롯하여 다양한 사람들의 표정을 포함하고 있는 DB를 활용하여 딥 러닝(deep learning) 등의 기계학습 알고리즘을 사용할 수 있다. 즉 범용적인 표정 인식 DB에 사용자 표정을 추가 학습시켜 표정의 종류를 선별하는데 사용될 수 있다.

사용자 2차 인식부(230)는 사용자 1차 인식부(220)에 의해 사용자의 표정의 종류와 동작이 일치하면, 사용자의 주요 부위의 기하학적(geometry) 정보를 이용하여 눈썹이 팔자로 내려갔는지 입을 벌리고 있는지 다물고 있는지 등의 개인 특징을 비교 매칭시켜보고, 이를 통과하면 외모(appearance) 정보를 비교하여 눈가에는 주름이 있는지 이빨이 위아래 다 보이는지 등의 개인 특징을 비교 매칭시켜 이를 모두 통과할 경우 해당 사용자로 인식한다.

도 10은 본 발명의 일 실시 예에 따른 표정 및 동작을 이용한 사용자 인식 방법을 설명하기 위한 순서도이다.

도 10을 참조하면, 표정 및 동작을 이용한 사용자 인식 방법은 크게 사용자 영상 및 기준 영상을 비교하여 사용자별로 특화된 표정 및 동작의 특징 정보를 미리 획득하는 단계(S1100, 도 11 참조)와, 입력되는 사용자 영상을 상기 미리 획득된 사용자별로 특화된 표정 및 동작의 특징 정보와 비교하여 사용자를 인식해내는 단계(S1200, 도 12 참조)를 포함한다.

도 11은 본 발명의 일 실시 예에 따른 개인 특화 정보 결정 단계를 설명하기 위한 순서도이다.

도 11을 참조하면, 표정 및 동작을 이용한 사용자 인식 장치(이하 '장치'라 기재함)는 감정별로 기준이 되는 표정 영상을 선정한다(S1110). 즉, 감정에 따라 지표가 될 수 있는 표정 영상을 결정하는 것이다. 따라서 감정별로 다양한 사람들의 영상을 수집하여 평균 영상을 구하거나, FACS(Facial Action Coding System)에서 기술하고 있는 내용을 기반으로 표정 영상을 선정하는 등 감정별로 기준이 될 표정 영상을 결정한다.

장치는 감정별 개인 표정 영상을 수집하여, 수집된 개인 표정 영상의 특징을 분석한다(S1120~S1140). 우선, 장치는 인식할 대상이 되는 사용자의 감정별 표정 영상이 수집한다(S120). 예컨대, 가장 기본이 되는 감정은 평온, 기쁨, 슬픔, 분노, 놀람, 혐오 등이 있는데, 각각의 감정에 따른 개인의 표정 영상을 수집한다.

다음으로, 장치는 개인의 표정 영상에서 감정별로 표정의 상대적인 변위를 계산한다(S1130). 즉, 개인의 평온 영상을 기준으로 기쁨, 슬픔, 분노 등의 감정이 나타날 때 눈썹, 눈, 코, 입 등 얼굴 주요 부위의 크기는 상대적으로 얼마나 커지는지 작아지는지, 위치는 얼마나 어디로 이동되는지 계산한다. 이를 위해서는 AAM과 같이 눈썹, 눈, 코, 입 등 얼굴의 특정 부분의 landmark points를 추출해 내는 기하학적 특징(geometry feature) 검출 방법을 사용할 수 있다.

또한, 장치는 감정에 따라 상대적으로 변이가 큰 부위를 찾아내고, 상대적인 변이가 큰 부위를 많이 포함하고 있는 표정의 종류도 알아낸 후, 상대적으로 변이가 큰 영역은 외모 특징(appearnce feature)를 검출해 별도로 저장한다(S1140). 이러한 외모 특징(appearnce feature) 정보를 통해 주름 등의 텍스처 정보를 알 수 있으며, LBP, MCT 등의 수동적인 검출 방법이나 딥 러닝(deep learning) 등의 자동 검출 방법을 사용해 줄 수 있다. 이를 통하여 사용자의 표정 중 가장 기본이 되는 평온의 표정과 비교하여 변화가 가장 큰 표정의 종류 및 변이가 큰 부위를 알아내어 향후 사용자 인식에 활용한다.

장치는 감정별 기준 표정 영상과 개인 표정 영상을 비교한다(S1150~S1160). 즉, 장치는 표정별로 개인차가 존재한다는 점에 기반하여 감정별로 기준이 되는 표준 표정 영상과 개인의 표정 영상을 비교하여 눈, 코, 입, 눈썹 등의 얼굴 주요 부위별로 차이를 비교한다(S1150). 그런 후, 장치는 기하학적(geometry) 검출 기법을 이용하여 landmark points의 차이를 비교하고, 차이가 일정 임계치(threshold) 이상 발생하는 개인의 표정 영역에 대해 외모(appearance) 검출 기법을 적용하여 해당 영역의 텍스처 특징을 개인 표정 영상의 특징으로 삼아 향후 사용자 인식시 반영할 수 있도록 한다. 즉, 기준 표정 영상과 개인 표정 영상 차이를 비교하여 차이가 큰 영상을 선별해낸다(S1160).

장치는 사용자 인식을 위해 개인별로 특화된 표정을 결정한다(S1170). 즉, 기준 표정 영상과 개인 표정 영상 간에 차이가 크다는 것은 해당 감정을 표현하는 개인의 표정이 남들과는 다른 고유한 특징을 가지고 있어 사용자 인식을 위한 특징적인 표정 영상으로 활용될 가능성이 높음을 의미한다. 따라서 기준 표정 영상과 차이가 큰 개인 표정 영상들을 선별하여 사용자 인식을 위한 표정으로 추천해 준다. 이때 기준 표정 영상과 개인 표정 영상 간에 차이가 유사한 대상이 다수 존재할 경우 개인 표정 영상 처리부(120)에서 추출한 개인 표정 내에서 변이가 큰 표정 영상의 순위를 더 높게 반영한다.

또한, 장치는 사용자 인식을 위해 개인별로 특화된 동작을 결정한다(S1180). 즉, 표정과 함께 특이한 동작을 결합시켜 사용자 인식시 2가지 조건을 동시 체크한다면 사용자 인식의 정확도를 향상시킬 수 있다. 특히 새로이 출시된 키넥트 2의 경우 가위, 바위, 보 등 손가락도 인식해 내므로 손의 위치와 손가락의 개수 등을 조합한 동작을 선정한다.

도 12는 본 발명의 일 실시 예에 따른 사용자 인식 단계를 설명하기 위한 순서도이다. 여기서, 미리 사용자로부터 개인에 특화된 표정을 추천받아 결정하고 특화된 동작을 결정해 이를 본인 인증을 위한 방법으로 선정한다.

도 12를 참조하면, 장치는 사용자 영상이 입력됨(S1210)에 따라, 사용자 영상으로부터 사용자 표정 종류 및 사용자 동작을 인식(S1220, S1230)하여 사용자 표정 종류 및 동작이 설정된 표정 및 동작과 일치하는지 판단한다(S1240). 예컨대, 사용자가 "기쁨 + 이마 위에 가위"로 선정한 경우, 이후 사용자 영상이 입력으로 들어오면 사용자 표정의 종류와 동작을 구분해 낸다. 또한, 표정의 종류를 인식할 때는 사용자의 표정 영상을 비롯하여 다양한 사람들의 표정을 포함하고 있는 DB를 활용하여 딥 러닝(deep learning) 등의 기계학습 알고리즘을 사용할 수 있다. 즉 범용적인 표정 인식 DB에 사용자 표정을 추가 학습시켜 표정의 종류를 선별하는데 사용될 수 있다.

S1240에서 사용자의 표정의 종류와 동작이 일치하면, 장치는 사용자의 주요 부위의 기하학적(geometry) 정보를 이용하여 눈썹이 팔자로 내려갔는지 입을 벌리고 있는지 다물고 있는지 등의 개인 특징을 비교 매칭하고(S1250), 이를 통과하면 외모(appearance) 정보를 비교하여 눈가에는 주름이 있는지 이빨이 위아래 다 보이는지 등의 개인 특징을 비교 매칭한다(S1260).

장치는 개인에 특화된 표정 정보가 일치하는지를 판단하여(S1270), 일치할 경우 사용자 일치(1280)로 해당 사용자로 인식한다. 반면, 일치하지 않을 경우, 장치는 해당 사용자와 불일치하는 것으로 판단한다(S1290)

Claims

표정 및 동작을 이용한 사용자 인식 장치는 크게 사용자 영상 및 기준 영상을 비교하여 사용자별로 특화된 표정 및 동작의 특징 정보를 미리 획득하는 개인 특화 정보 결정부와,
입력되는 사용자 영상을 상기 미리 획득된 사용자별로 특화된 표정 및 동작의 특징 정보와 비교하여 사용자를 인식해내는 사용자 인식부를 포함함을 특징으로 하는 표정 및 동작을 이용한 사용자 인식 장치.