KR101159962B1

KR101159962B1 - 표정인식을 이용한 휴대 기기의 상호작용 방법

Info

Publication number: KR101159962B1
Application number: KR1020100048443A
Authority: KR
Inventors: 한헌수; 한영준; 홍용희
Original assignee: 숭실대학교산학협력단
Priority date: 2010-05-25
Filing date: 2010-05-25
Publication date: 2012-06-25
Also published as: KR20110129042A

Abstract

본 발명은 표정인식을 이용한 휴대 기기의 상호작용 방법에 관한 것으로, 더욱 세부적으로는 휴대 기기의 카메라에서 획득된 사용자가 포함된 이미지에서 얼굴의 위치와 크기와 및 표정을 인식하여 휴대 기기와 상호작용하는 표정인식을 이용한 휴대 기기의 상호작용 방법에 관한 것이다. 사용자의 표정을 인식하여 사용자와 휴대기기 간 상호작용하는 방법에 있어서, (a) 상기 휴대기기의 카메라를 통해 사용자 얼굴을 촬영하는 단계; (b) 상기 촬영된 영상으로부터 디스크리트 아다부스트(discrete 아다부스트) 인식 알고리즘을 기반으로 사용자 얼굴의 위치 및 크기를 인식하여 얼굴 영상을 획득하고, 획득된 얼굴 영상을 각 표정 별로 학습된 디스크리트 아다부스트 인식 알고리즘을 통해 산출된 결과값을 학습된 신경망에 입력함으로서 상기 신경망을 통해 사용자 표정을 구분하는 단계; 및 (c) 상기 카메라를 통해 사용자의 표정을 실시간 촬영하면서 상기 신경망을 통해 구분한 사용자 표정을 토대로 상기 휴대기기의 프로그램을 제어하는 단계;를 갖는다. 따라서, 본 발명은 시스템 자원이 부족한 휴대 기기 환경에서 빠르면서도 정확한 표정인식 알고리즘을 이용하여 실시간 표정인식을 할 수 있고, 휴대 기기에서 실시간 표정인식을 바탕으로 프로그램과 사용자간의 친인간적인 상호작용이 가능한 효과가 있다.

Description

표정인식을 이용한 휴대 기기의 상호작용 방법{Facial Expression Recognition Interaction Method between Mobile Machine and Human}

본 발명은 표정인식을 이용한 휴대 기기의 상호작용 방법에 관한 것으로, 더욱 세부적으로는 휴대 기기의 카메라에서 획득된 사용자가 포함된 이미지에서 얼굴의 위치와 크기와 및 표정을 인식하여 휴대 기기와 상호작용하는 표정인식을 이용한 휴대 기기의 상호작용 방법에 관한 것이다.

얼굴 표정의 특징 추출을 기준으로 기존 연구를 분류하면 크게 두 가지 방법인, 모델 기반(model-based) 방법과 영상 기반(image-based) 방법으로 나눌 수 있다.

상기 모델 기반(model-based) 방법으로 삼차원 그물 모양(메시, mesh) 모델을 이차원 얼굴 영상에 맞추어 얼굴 표정을 나타낼 때 근육 움직임의 최대치로 얼굴표정을 구분하는 방법이 있으며, 얼굴을 AAM(Active Appearance Models) 방법을 이용하여 얼굴 조명 변화(facial illumination)와 얼굴 변형(deformation change)과 같은 서로 다른 영역에서 정보를 얻어 얼굴 표정을 구분하는 방법 등이 있다.

상기 영상 기반(image-based) 방법은 전체 얼굴을 하나의 특징으로 사용하여 가버 웨이블릿(gabor wavelet)으로 분류하는 방법이 있으며, 입과 눈 주위의 영역으로부터 얼굴 표정을 추출하여 PCA(Principal Component Analysis)를 이용하는 방법 등이 있다.

그러나, 상기 모델 기반 방법은 가려짐 현상에 강인하지만 얼굴의 특징들을 정합하는 시간과 정밀한 표정을 구분하기 위해 높은 해상도의 입력을 요구하며, 이는 비교적 연산 수행 능력이 떨어지는 휴대 기기에 적용하기에 적합하지 않다.

또한, 기존의 휴대 기기에서는 게임이나 가상 애완 동물 프로그램과 같이 사용자가 기기에 일방적으로 의사 전달하여 진행되는 단점이 있다.

상술한 바와 같은 문제점을 해결하기 위하여, 본 발명에서는 휴대 기기에 부착되어 있는 카메라를 통해 얻은 사용자의 얼굴 이미지에서 실시간이 보장된 Discrete Adaboost와 신경망을 조합하여 실행속도와 정확성을 높인 표정인식 기능을 이용하여 프로그램이 사용자의 상태를 파악하여 사용자 상태에 따라 적합한 질문과 행동과 같은 반응을 하여 사용자와 휴대 기기간의 상호작용이 가능하도록 하는 표정인식을 이용한 휴대 기기의 상호작용 방법을 제공하는데 목적이 있다.

상기의 기술적 과제를 달성하기 위한 본 발명에 따른 사용자의 표정을 인식하여 사용자와 휴대기기 간 상호작용하는 방법에 있어서, (a) 상기 휴대기기의 카메라를 통해 사용자 얼굴을 촬영하는 단계; (b) 상기 촬영된 영상으로부터 디스크리트 아다부스트(discrete 아다부스트) 인식 알고리즘을 기반으로 사용자 얼굴의 위치 및 크기를 인식하여 얼굴 영상을 획득하고, 획득된 얼굴 영상을 각 표정 별로 학습된 디스크리트 아다부스트 인식 알고리즘을 통해 산출된 결과값을 학습된 신경망에 입력함으로서 상기 신경망을 통해 사용자 표정을 구분하는 단계; 및 (c) 상기 카메라를 통해 사용자의 표정을 실시간 촬영하면서 상기 신경망을 통해 구분한 사용자 표정을 토대로 상기 휴대기기의 프로그램을 제어하는 단계;를 갖는다.

상기한 바와 같이, 본 발명은 시스템 자원이 부족한 휴대 기기 환경에서 빠르면서도 정확한 표정인식 알고리즘을 이용하여 실시간 표정인식을 할 수 있고, 휴대 기기에서 실시간 표정인식을 바탕으로 프로그램과 사용자간의 친인간적인 상호작용이 가능한 효과가 있다.

도 1은 본 발명에 따른 휴대 기기를 이용하여 표정인식을 설명하기 위한 실시 예.
도 2는 본 발명에 따른 휴대 기기를 이용한 표정인식 과정을 나타내는 블럭도.
도 3은 본 발명에 따른 사용자 표정인식을 이용한 휴대 기기의 상호작용 방법의 순서도.
도 4는 본 발명에 따른 인식기 및 신경망을 이용하여 사용자 표정을 구분하는 세부 구성도.
도 5는 본 발명에 따른 휴대 기기 프로그램 제어 과정을 나타낸 세부 구성도.

도 1은 본 발명에 따른 휴대 기기를 이용하여 표정인식을 설명하기 위한 실시 예이고, 도 2는 본 발명에 따른 휴대 기기를 이용한 표정인식 과정을 나타내는 블럭도이고, 도 3은 본 발명에 따른 사용자 표정인식을 이용한 휴대 기기의 상호작용 방법의 순서도이고, 도 4는 본 발명에 따른 인식기 및 신경망을 이용하여 사용자 표정을 구분하는 세부 구성도이고, 도 5는 본 발명에 따른 휴대 기기 프로그램 제어 과정을 나타낸 세부 구성도이다.

이하, 도면을 참고로 구성요소를 설명하면 다음과 같다.

본 발명은 영상 기반의 방법으로 Discrete Adaboost와 신경망의 조합을 이용하여 휴대 기기에서 실시간 표정 인식이 가능하게 하며, 실시간 표정인식 결과를 이용하여 휴대 기기와 사용자의 실시간 상호작용이 가능하도록 하는 것으로, 도 1은 본 발명의 휴대 기기를 이용하여 표정인식을 설명하기 위한 실시 예로서, 사용자(10)가 휴대 기기(20)에 구비되는 카메라(21)를 통해 얼굴을 촬영하게 된다.

도 2는 본 발명의 휴대 기기를 이용한 표정인식 과정을 나타내는 블럭도로서, 휴대 기기(20)의 카메라(21)를 통해 입력된 사용자(10) 얼굴 표정은 휴대 기기(20) 내부에 구비되는 인식기(22)와 신경망(24)을 거쳐 휴대 기기(20)의 프로그램(게임이나 가상 애완동물 등) 출력시 촬영된 사용자(10) 얼굴 표정 상태를 반영하여 출력시킨다.

상기와 같이 구성되는 본 발명의 표정인식을 이용한 휴대 기기(20)의 상호 작용 방법을 도 3 내지 도 5를 참고하여 설명하면 다음과 같다.

도 3에서는 사용자(10) 표정인식을 이용한 휴대 기기(20)의 상호작용 방법의 순서도를 나타내는데, 이미지에서 실시간 얼굴 검출 및 인식이 보장된 Adaboost 인식 알고리즘을 기반으로 하는 휴대 기기(20)의 카메라(21)를 통해 사용자(10) 얼굴을 촬영하는 제10단계(S10)와, 상기 촬영된 카메라(21) 영상에서 얼굴의 위치 및 크기 인식 후 얼굴 이미지를 표정별 Adaboost 인식기(22)를 통해 출력된 인식 값을 신경망(24)에 입력하고, 상기 신경망(24)의 출력을 이용하여 최종적으로 사용자(10) 표정을 구분하는 제20단계(S20)와, 상기 카메라(21)를 통해 사용자(10)의 표정을 실시간 촬영하면서 신경망(24) 출력 값을 이용하여 휴대 기기(20) 프로그램의 출력을 제어하는 제30단계(S30)를 포함한다.

상기 인식기(22) 및 신경망(24)을 이용하여 사용자 표정을 구분하는 제20단계(S20)는 도 4와 같이, 휴대 기기(20)의 카메라(21)를 통해 사용자(10)의 얼굴이 포함된 이미지가 인식기(22)로 입력되는 제21단계(S21)와, 상기 인식기(22)에서 Discrete Adaboost 인식 알고리즘을 이용하여 얼굴의 크기와 위치를 파악하는 제22단계(S22)와, 검출된 얼굴 이미지를 획득하는 제23단계(S23)와, 상기 획득한 사용자(10) 얼굴을 각 표정별로 학습된 Discrete Adaboost 알고리즘의 강분류기(23)에 입력하여 각 표정에 해당하는 강분류기(23)의 값을 얻는 제24단계(S24)와, 상기 강분류기(23)에서 얻은 각 표정 강분류기(23) 값을 학습된 신경망(24)에 입력하는 제25단계(S25)와, 상기 신경망(24)을 통해 최종적으로 휴대 기기(20) 사용자(10)의 표정을 인식하는 제26단계(S26)를 포함한다.

상기 강분류기(23)는 행복 Adaboost 강분류기, 슬픔 Adaboost 강분류기, 평온 Adaboost 강분류기, 놀람 Adaboost 강분류기, 화남 Adaboost 강분류기, 역겨움 Adaboost 강분류기, 무서움 Adaboost 강분류기로 구성되고, 상기 신경망(24)을 통해 출력되는 값은 행복, 슬픔, 평온, 놀람, 화남, 역겨움, 무서움 표정인식 중 카메라(21)로 입력되는 사용자(10)의 얼굴 표정과 일치되는 값이 출력된다.

본 발명에서는 실시간이 보장된 Discrete Adaboost 알고리즘을 이용하여 얼굴과 비얼굴을 학습 후 입력된 영상에서 얼굴의 위치와 크기를 찾은 후에 얻어진 얼굴 이미지에 각 표정별로 학습된 Discrete Adaboost 알고리즘의 강분류기(23)를 이용하여 각 표정별로 수치를 얻는다.

상기와 같이 얻은 각 표정별 수치를 신경망(24)에 입력하여 최종적으로 사용자(10)가 어떠한 표정을 짓고 있는지 인식하며, 이때 각 표정별 Discrete Adaboost 알고리즘의 강분류기(23) 출력 값을 신경망(24)의 입력 값으로 이용하게 되면 일반적인 문턱 값을 이용한 방법에 비해 높은 인식 정확성을 확보할 수 있다.

실시간이 보장된 Adaboost 알고리즘의 비중을 늘리고 비교적 느린 신경망(24)의 비중을 줄임으로서 휴대 기기(20)에서도 정확성이 높은 실시간 표정인식 시스템을 구성할 수 있으며, 인식한 얼굴 표정을 바탕으로 사용자(10)에게 적당한 질문과 행동을 프로그램이 실시간으로 취하여 휴대 기기(20)와 사용자(10)간의 상호작용을 가능하게 한다.

상기 휴대 기기(20)의 프로그램 출력을 제어하는 제30단계(S30)는 도 5와 같이, 휴대 기기(20)의 카메라(21)에서 사용자(10)의 얼굴이 포함된 이미지를 획득하는 제31단계(S31)와, Discrete Adaboost 알고리즘과 신경망(24) 알고리즘을 통해 출력된 사용자(10) 표정을 인식하는 제32단계(S32)와, 사용자(10)의 표정인식 결과에 따라 어떠한 질문 및 행동을 할지 결정하는 제33단계(S33)와, 인식된 사용자(10)의 표정에 따라 사용자(10)에게 질문 및 행동을 실행하는 제34단계(S34)와, 사용자(10)의 프로그램 종료 여부 결정에 따라 프로그램을 종료할 것인지 또는 다시 사용자(10)의 표정을 인식하여 그에 따른 질문 및 행동을 취할 것인지 결정하는 제35단계(S35)를 포함한다.

따라서, 본 발명은 휴대 기기(20)에 부착되어 있는 카메라(21)를 통해 얻은 사용자(10)의 얼굴 이미지에서 실시간이 보장된 Discrete Adaboost와 신경망(24)을 조합하여 실행속도와 정확성을 높인 표정인식 기능을 이용하여 프로그램이 사용자(10)의 상태를 파악하여 사용자(10) 상태에 따라 적합한 질문과 행동과 같은 반응을 하여 사용자(10)와 휴대 기기(20)간의 상호작용이 가능하다.

본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 첨부된 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.

10 : 사용자 20 : 휴대 기기
21 : 카메라 22 : 인식기
23 : 강분류기 24 : 신경망

Claims

사용자의 표정을 인식하여 사용자와 휴대기기 간 상호작용하는 방법에 있어서,
(a) 상기 휴대기기의 카메라를 통해 사용자 얼굴을 촬영하는 단계;
(b) 상기 촬영된 영상으로부터 디스크리트 아다부스트(discrete 아다부스트) 인식 알고리즘을 기반으로 사용자 얼굴의 위치 및 크기를 인식하여 얼굴 영상을 획득하고, 획득된 얼굴 영상을 각 표정 별로 학습된 디스크리트 아다부스트 인식 알고리즘을 통해 산출된 결과값을 학습된 신경망에 입력함으로서 상기 신경망을 통해 사용자 표정을 구분하는 단계; 및
(c) 상기 카메라를 통해 사용자의 표정을 실시간 촬영하면서 상기 신경망을 통해 구분한 사용자 표정을 토대로 상기 휴대기기의 프로그램을 제어하는 단계;를 포함하는 것을 특징으로 하는 표정인식을 이용한 휴대기기의 상호작용 방법.
제 1항에 있어서,
상기 (b) 단계는,
(b1) 사용자의 얼굴을 촬영한 영상이 디스크리트 아다부스트 인식기로 입력되어 사용자 얼굴의 위치 및 크기를 인식하여 얼굴 영상을 획득하는 단계;
(b2) 상기 획득한 사용자 얼굴 영상을 각 표정별로 학습된 디스크리트 아다부스트 인식 알고리즘의 강분류기에 입력하여 각 표정에 해당하는 강분류기의 값을 얻는 단계;
(b3) 상기 강분류기에서 얻은 각 표정별 강분류기 값을 학습된 신경망에 입력하는 단계; 및
(b4) 상기 신경망을 통해 사용자의 표정을 인식하는 단계;를 포함하는 것을 특징으로 하는 표정인식을 이용한 휴대기기의 상호작용 방법.
제 2항에 있어서,
상기 강분류기는 행복 아다부스트 강분류기, 슬픔 아다부스트 강분류기, 평온 아다부스트 강분류기, 놀람 아다부스트 강분류기, 화남 아다부스트 강분류기, 역겨움 아다부스트 강분류기, 무서움 아다부스트 강분류기로 구성되는 것을 특징으로 하는 표정인식을 이용한 휴대기기의 상호작용 방법.
제 2항에 있어서,
상기 신경망을 통해 인식되는 사용자의 표정은 행복, 슬픔, 놀람, 화남, 역겨움, 무서움의 표정 중 카메라로 입력되는 사용자의 얼굴표정과 일치되는 표정인 것을 특징으로 하는 표정인식을 이용한 휴대기기의 상호작용 방법.
제 1항에 있어서,
상기 (c) 단계는,
(c1) 휴대기기의 카메라에서 사용자의 얼굴이 포함된 영상을 실시간으로 획득하는 단계;
(c2) 상기 획득된 영상으로부터 디스크리트 아다부스트 인식 알고리즘과 신경망 알고리즘을 통해 사용자 표정을 인식하는 단계;
(c3) 상기 인식된 사용자의 표정에 따라 상기 휴대기기에서 실행중인 프로그램의 질문 및 행동의 종류를 결정하고 실행하는 단계; 및
(c4) 사용자의 상기 프로그램 종료 여부 결정에 따라 상기 프로그램을 종료할 것인지 또는 다시 사용자의 표정을 인식하여 그에 따른 질문 및 행동을 취할 것인지 결정하는 단계;를 포함하는 것을 특징으로 하는 표정인식을 이용한 휴대기기의 상호작용 방법.