KR20160092441A

KR20160092441A - 사용자 표정 인식 방법

Info

Publication number: KR20160092441A
Application number: KR1020150013085A
Authority: KR
Inventors: 이인재; 정희철; 안충현; 김준모; 박선정; 이시행
Original assignee: 한국전자통신연구원
Priority date: 2015-01-27
Filing date: 2015-01-27
Publication date: 2016-08-04

Abstract

본 발명의 일 실시예에 따른 사용자 표정 인식 방법은 사용자들의 표정 영상으로부터 표정 정보를 학습하는 단계, 입력되는 사용자의 얼굴 영상으로부터 사용자를 인식하는 단계, 인식된 사용자의 표정 영상을 저장하는 단계, 및 상기 인식된 사용자의 표정 영상에 가중치를 부여하여 상기 표정 정보를 재학습하는 단계를 포함할 수 있다.

Description

사용자 표정 인식 방법{METHOD FOR RECOGNIZING FACIAL EXPRESSION OF USER}

본 발명은 인식 기술 분야에 관한 것으로, 더욱 상세하게는 사용자 표정 인식 방법에 관한 것이다.

최근 영상 처리 기술의 발달로 사용자의 이미지로부터 얼굴 인식을 수행하는 다양한 기술들이 연구되고 있다. 얼굴 인식은 생체 인식 중 하나로 이미지 중 얼굴 영상만을 검출하고 인식하는 기술이다. 생체 인식 분야 중 지문이나 홍채 인식은 특별한 영상 획득 장치가 필요하지만 얼굴 인식은 얼굴이 존재하는 일반적인 영상에서 인식이 가능하다는 장점이 있다. 이런 장점을 이용하면 얼굴 검출 및 인식 기술을 영상 분석 및 검색에 효과적으로 적용할 수 있다.

최근, 카메라 기술의 발달과 스마트 폰의 확산과 함께 얼굴 인식 기술을 활용한 다양한 프로그램이 상용화되고 있다. 또한, 얼굴 인식 기술의 발전에 따라 표정 인식 기술도 동시에 개발되고 있다. 현재 얼굴 표정 인식 기술은 크게 모델 기반과 외모 기반의 두 가지 주요 분야로 나눌 수 있다. 모델 기반 방법은 얼굴에서 주요한 특징점을 검출하고 얼굴 근육의 움직임을 파악하여 표정을 인식하는 방법으로 높은 성능을 보이는 인식 기법이다. 하지만, 정확한 특징점들의 위치를 찾아야 하며, 이러한 전처리 과정으로 속도가 느려져 실시간 표정 인식에 부적합하다.

반면, 외모 기반 방식은 관심 대상에 대한 구체적 지식에 의존하지 않고 얼굴 영상만 추출하여 표정인식을 수행하는 방법으로, 빠르고 간단하다. 이러한 외모 기반의 얼굴 표정 인식 방법은 학습 데이터와 테스트 데이터가 같은 사람으로부터 추출되어야 높은 성능을 보이는 문제점을 갖고 있다.

본 발명의 일 목적은 사용자의 표정을 보다 정확하게 잘 인식할 수 있는 사용자 표정 인식 방법을 제공하는 데 있다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

일 실시예에서, 상기 표정 정보는 표정 유형 정보를 포함할 수 있다.

일 실시예에서, 상기 사용자들의 표정 영상은 사용자마다 복수의 표정 영상을 포함할 수 있다.

일 실시예에서, 상기 입력되는 사용자의 얼굴 영상으로부터 사용자를 인식하는 단계는 Haar-like 특징을 이용하여 상기 사용자의 얼굴 영상으로부터 얼굴 영역을 검출하고, 검출된 얼굴 영역을 이용하여 사용자를 인식할 수 있다.

일 실시예에서, 입력된 사용자의 얼굴 영상으로부터 사용자를 인식하고, 상기 재학습된 표정 정보를 기초로 사용자의 표정을 인식하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 인식된 사용자의 표정 영상에 가중치를 부여하여 상기 표정 정보를 재학습하는 단계는 상기 인식된 사용자의 표정 영상만을 이용하여 상기 표정 정보를 재학습할 수 있다.

본 발명의 일 실시예에 따른 사용자 표정 인식 방법은 특정 사용자의 얼굴 영상으로부터 인식된 사용자의 표정 영상에 가중치를 부여하여 표정 정보를 재학습함으로써 특정 사용자의 표정을 보다 잘 인식할 수 있다.

도 1은 본 발명의 일 실시예에 따른 사용자 표정 인식 장치를 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 표정 인식 방법을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 표정 인식 방법을 구체적으로 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 사용자 표정 인식 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명의 일 실시예에 따른 사용자 표정 인식 장치를 보여주는 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 사용자 표정 인식 장치(100)는 입력부(110), 사용자 인식부(120), 저장부(130), 표정정보 처리부(140), 및 표정 인식부(150)를 포함할 수 있다.

입력부(110)는 사용자의 얼굴 영상, 사용자의 표정 영상 등을 입력받을 수 있다. 예를 들어, 입력부(110)는 카메라와 같이 영상을 촬영하여 영상 정보를 획득하는 구성을 포함할 수 있다. 또한, 입력부(110)는 사용자의 얼굴 영상, 사용자의 표정 영상 등을 다양한 통신 인터페이스부를 통해 다른 전자기기로부터 전달받도록 구성될 수도 있다.

사용자 인식부(120)는 사용자의 얼굴 영상으로부터 사용자를 인식할 수 있다. 예를 들어, 사용자 인식부(120)는 Haar-like 특징을 이용하여 사용자의 얼굴 영상으로부터 얼굴 영역을 검출하고, 검출된 얼굴 영역을 이용하여 사용자를 인식할 수 있다. 예를 들어, 사용자 인식부(120)는 검출된 얼굴 영역을 저장부(130)에 저장된 사용자 데이터베이스와 비교하여 사용자를 인식할 수 있다.

저장부(130)는 다양한 사용자들의 표정 영상들, 입력부(110)를 통해 입력되는 사용자의 표정 영상, 및/또는 표정 정보를 저장할 수 있다. 예를 들어, 표정 영상들은 사용자마다 매칭되어 저장될 수 있으며, 사용자마다 복수의 표정 영상들이 매칭되어 저장될 수 있다.

예를 들어, 저장부(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 어느 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다. 또한, 저장부(130)는 소프트웨어적으로 데이터를 저장하는 기능 블록으로 구성될 수도 있다.

표정 정보 처리부(140)는 저장부(130)에 저장된 다양한 사용자들의 표정 영상들로부터 표정 정보를 학습할 수 있다. 표정 정보는 표정 유형 정보를 포함할 수 있으며, 표정 유형 정보는 예를 들어, 웃는 표정, 화난 표정, 놀란 표정 등을 포함할 수 있다.

표정 정보 처리부(140)는 입력부(110)를 통해 입력되는 사용자의 얼굴 영상으로부터 인식된 사용자의 표정 영상에 가중치를 부여하여 상기 표정 정보를 재학습할 수 있다. 이러한 재학습 과정을 통해, 표정 인식에 사용되는 파라메터들이 업데이트될 수 있고, 따라서 표정 정보 처리부(140)는 표정 인식부(150)가 특정 사용자의 표정을 더욱 잘 인식할 수 있도록 할 수 있다.

구체적으로, 표정 정보 처리부(140)는 다양한 사용자의 표정 영상들로부터 1차적으로 표정 정보를 학습하고, 특정 사용자들(즉, 사전에 등록된 사용자들)의 표정 영상에 가중치를 부여하여 표정 정보를 재학습함으로써, 표정 인식부(150)가 특정 사용자들의 표정을 잘 인식할 수 있도록 할 수 있다.

또한, 표정 정보 처리부(140)는 상기 인식된 사용자의 표정 영상만을 이용하여 상기 표정 정보를 재학습할 수 있다. 이를 통해, 표정 정보를 재학습하는 처리 시간이 단축될 수 있다.

표정 인식부(150)는 인식된 사용자의 표정을 인식할 수 있다. 예를 들어, 표정 인식부(150)는 재학습된 표정 정보를 기초로, 사용자 인식부(120)를 통해 인식된 사용자의 표정 영상으로부터 표정을 인식할 수 있다.

상술한 바와 같이, 본 발명의 일 실시예에 따른 사용자 표정 인식 장치(100)는 특정 사용자의 얼굴 영상으로부터 인식된 사용자의 표정 영상에 가중치를 부여하여 표정 정보를 재학습함으로써 특정 사용자의 표정을 보다 잘 인식할 수 있다.

도 2는 본 발명의 일 실시예에 따른 사용자 표정 인식 방법을 보여주는 흐름도이다. 도 3은 본 발명의 일 실시예에 따른 사용자 표정 인식 방법을 구체적으로 설명하기 위한 도면이다.

먼저, 도 2를 참조하면, 본 발명의 일 실시예에 따른 사용자 표정 인식 방법은 사용자들의 표정 영상으로부터 표정 정보를 학습하는 단계(S110), 입력되는 사용자의 얼굴 영상으로부터 사용자를 인식하는 단계(S120), 인식된 사용자의 표정 영상을 저장하는 단계(S130), 인식된 사용자의 표정 영상에 가중치를 부여하여 표정 정보를 재학습하는 단계(S140), 및 입력되는 사용자의 얼굴 영상으로부터 사용자를 인식하고, 상기 재학습된 표정 정보를 기초로 사용자의 표정을 인식하는 단계(S150)를 포함할 수 있다.

이하에서, 상술한 S110 단계 내지 S150 단계가 도 1을 참조하여 더욱 구체적으로 설명된다.

S110 단계에서, 표정 정보 처리부(140)는 저장부(130)에 저장된 다양한 사용자들의 표정 영상으로부터 표정 정보를 학습할 수 있다. 예를 들어, 표정 정보의 학습 과정은 다음과 같이 설명될 수 있다.

도 3을 참조하면, 예를 들어, 64 X 64 크기의 표정 영상 데이터(즉, 학습 데이터)를 5 X 5 크기의 32개 필터로 컨볼루션(convolution)하여 60 X 60 크기의 32개 결과물을 출력하고, 이를 3 X 3 max pooling 을 이용하여 30 X 30 크기로 축소시킨다. 30 X 30 크기의 32개 결과물에 다시 5 X 5 크기의 32개 필터로 컨볼루션하고, 다시 3 X 3 max pooling하면 13 X 13 크기의 32개 결과물이 출력된다.

여기에, 5 X 5 크기의 64개 필터를 컨볼루션하면 9 X 9 크기의 64개 결과물이 나오고 경계(boundary)를 0으로 채워 10 X 10으로 만든 후 3 X 3 max pooling을 적용하여 5 X 5 크기의 64개 결과물을 얻는다.

그 후 500개의 뉴런 내적 벡터를 적용해 최종 7개의 출력값을 얻는다. 예를 들어, 최종 출력값의 개수는 얻고자 하는 표정 종류의 개수와 같을 수 있다.

다시 도 2를 참조하면, S120 단계에서, 사용자 인식부(120)는 입력되는 사용자 얼굴 영상으로부터 사용자를 인식할 수 있다. 인식한 사용자에 대한 정보는 저장부(130)의 사용자 데이터베이스에 저장될 수 있다.

S130 단계에서, 저장부(130)는 인식된 사용자의 표정 영상을 입력받아 저장할 수 있다.

예를 들어, S120 단계 및 S130 단계는 특정 사용자(들)의 얼굴 영상 및 표정 영상을 사전에 등록하는 과정으로 이해될 수 있다.

S140 단계에서, 표정 정보 처리부(140)는 입력부(110)를 통해 입력되는 사용자의 얼굴 영상으로부터 인식된 사용자의 표정 영상에 가중치를 부여하여 상기 표정 정보를 재학습할 수 있다.

S150 단계에서, 표정 인식부(150)는 인식된 사용자의 표정을 인식할 수 있다. 예를 들어, 표정 인식부(150)는 재학습된 표정 정보를 기초로, 사용자 인식부(120)를 통해 인식된 사용자의 표정 영상으로부터 표정을 인식할 수 있다. 예를 들어, S150 단계는 표정 정보의 재학습 과정이 완료된 후에, 입력되는 사용자의 영상 정보를 통해 인식된 사용자의 표정을 인식하는 과정으로 이해될 수 있다.

상술한 바와 같이, 본 발명의 일 실시예에 따른 사용자 표정 인식 방법은 특정 사용자의 얼굴 영상으로부터 인식된 사용자의 표정 영상에 가중치를 부여하여 표정 정보를 재학습함으로써 특정 사용자의 표정을 보다 잘 인식할 수 있다.

도 4는 본 발명의 일 실시예에 따른 사용자 표정 인식 방법을 실행하는 컴퓨팅 시스템을 보여주는 블록도이다.

도 4를 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.

프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.

따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다.

예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 사용자 표정 인식 장치
110: 입력부
120: 사용자 인식부
130: 저장부
140: 표정 정보 처리부
150: 표정 인식부

Claims

사용자들의 표정 영상으로부터 표정 정보를 학습하는 단계;
입력되는 사용자의 얼굴 영상으로부터 사용자를 인식하는 단계;
인식된 사용자의 표정 영상을 저장하는 단계; 및
상기 인식된 사용자의 표정 영상에 가중치를 부여하여 상기 표정 정보를 재학습하는 단계를 포함하는 사용자 표정 인식 방법.