KR20190008036A - 안드로이드 로봇의 얼굴 표정 생성 시스템 및 방법 - Google Patents

Abstract

본 발명은 안드로이드 로봇의 얼굴 표정 생성 시스템에 관한 것으로서, 이 시스템은 로봇의 얼굴과 관련된 영상을 입력받아 상기 로봇의 얼굴을 검출하고 상기 검출된 얼굴의 감정을 인식하여 상기 로봇이 표현하고자 하는 감정에 대한 유사도를 의미하는 확률 값을 출력하는 얼굴 검출 및 감정 인식부, 그리고 상기 확률 값에 따라 상기 로봇의 표현하고자 하는 감정에 대한 유사도가 커지도록 상기 로봇의 얼굴 표정을 변경하도록 상기 로봇에 포함되어 있는 모터를 제어하는 얼굴 표정 생성부를 포함한다.

Description

안드로이드 로봇의 얼굴 표정 생성 시스템 및 방법 {SYSTEM AND METHOD FOR GENERATING FACIAL EXPRESSION OF ANDROID ROBOT}

본 발명은 안드로이드 로봇의 표정 생성 시스템 및 방법에 관한 것으로서 더욱 상세하게는 Convolution Neural Network 기반 얼굴 검출 및 감정 인식 기술을 활용한 안드로이드 로봇의 얼굴 표정 생성 시스템 및 방법에 관한 것이다.

종래에는 안드로이드 로봇의 얼굴 표정을 목표로 하는 표정으로 만들기 위하여 로봇 설계자가 얼굴 표정 생성 시스템을 이용하여 로봇의 얼굴 표정을 생성한 후 설문 조사를 통해 안드로이드 로봇의 감정 표현력을 평가받고, 이를 토대로 얼굴 표정 생성 시스템을 재조정하는 과정을 반복함으로써 목표하는 표정으로 접근하는 방법을 사용해왔다.

이와 같이 로봇의 얼굴 표정을 평가하는 데 설문에 의존할 수밖에 없는 것은 생성된 얼굴 표정을 평가할 수 있는 척도가 없기 때문이다. 그러나 설문 조사에는 많은 시간과 비용이 소요되기 때문에 즉각적이고 반복적인 수정을 통해 로봇 얼굴표정을 생성하는 데 어려움이 크다. 또한 사람들의 주관적인 판단으로 로봇의 얼굴 표정을 평가하므로 로봇의 최종 얼굴 표정이 반드시 목표하는 얼굴 표정이라고 할 수도 없다.

따라서 본 발명이 해결하고자 하는 과제는 객관적인 근거에 따라 안드로이드 로봇의 얼굴 표정을 인식하고 이에 따라 목표하는 표정으로 안드로이드 로봇의 얼굴 표정을 생성할 수 있는 안드로이드 로봇의 얼굴 표정 생성 시스템 및 방법을 제공하는 것이다.

본 발명의 한 실시예에 따른 로봇 얼굴 표정 생성 시스템은 로봇의 얼굴과 관련된 영상을 입력받아 상기 로봇의 얼굴을 검출하고 상기 검출된 얼굴의 감정을 인식하여 상기 로봇이 표현하고자 하는 감정에 대한 유사도를 의미하는 확률 값을 출력하는 얼굴 검출 및 감정 인식부, 그리고 상기 확률 값에 따라 상기 로봇의 표현하고자 하는 감정에 대한 유사도가 커지도록 상기 로봇의 얼굴 표정을 변경하도록 상기 로봇에 포함되어 있는 모터를 제어하는 얼굴 표정 생성부를 포함한다.

본 발명에 의하면, 안드로이드 로봇의 얼굴 표정 생성 시스템은 딥러닝을 이용한 객체 인식 기술에 기반을 두고, 실시간으로 영상 내부의 안드로이드 로봇의 얼굴 검출 및 검출된 얼굴의 감정 인식을 동시에 수행하며, 얼굴 검출 및 감정 인식 결과를 이용하여 얼굴 표정 생성 시스템 결과를 정량화하고 피드백할 수 있으므로 따라서 안드로이드 얼굴 표정을 어떤 감정 상태인지 정량화할 수 있고 안드로이드 로봇의 얼굴 표정을 객관적으로 파악할 수 있으며 빠른 시간 내에 목표하는 표정으로 만들 수 있다.

도 1은 본 발명의 실시예에 따른 안드로이드 로봇의 얼굴 표정 생성 시스템을 도시한 블록도이다.
도 2는 안드로이드 로봇의 얼굴 표정 생성 시스템을 개략적으로 도시한 도면이다.
도 3은 이러한 얼굴 표정 생성 시스템에 의하여 생성된 안드로이드 로봇의 다양한 얼굴 표정을 나타내는 도면이다.
도 4는 감정 인식을 위한 얼굴 특징 요소의 예를 도시한 도면이다.
도 5는 CNN을 이용한 얼굴 검출 및 감정 인식부를 나타낸 블록도이다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 안드로이드 로봇의 얼굴 표정 생성 시스템을 도시한 블록도이다.

도 1을 참고하면, 본 발명의 실시예에 따른 안드로이드 로봇의 얼굴 표정 생성 시스템은 얼굴 표정 생성 시스템과 얼굴 검출 및 감정 인식부를 포함한다.

얼굴 표정 생성 시스템은 안드로이드 로봇의 얼굴 표정을 생성하기 위해서 안드로이드 로봇의 얼굴의 눈과 입 주변의 인공 피부에 연결되어 피부를 당길 수 있는 복수의 모터를 포함한다. 얼굴 표정 생성 시스템은 인간의 얼굴 피부 아래에 있는 근육을 모방한 시스템으로 각 얼굴 부위에 연결된 모터들을 개별 제어하여 눈과 입 모양을 만들어 줌으로써 얼굴 표정을 생성할 수 있다.

도 2는 안드로이드 로봇의 얼굴 표정 생성 시스템을 개략적으로 도시한 도면이다. 도 2를 참고하면 안드로이드 로봇의 눈썹, 눈꺼풀, 안구, 볼, 위/아래 입술, 턱, 혀 등에 모터가 장착되어 눈 모양과 입 모양 등을 결정함으로써 얼굴 표정을 결정할 수 있다.

이를 위하여 각 모터를 제어하는 제어부가 있으며 로봇 설계자 등의 외부 입력이나 얼굴 검출 및 감정 인식부의 피드백에 따라 각 모터를 제어함으로써 안드로이드 로봇의 얼굴 표정을 생성할 수 있다.

도 3은 이러한 얼굴 표정 생성 시스템에 의하여 생성된 안드로이드 로봇의 다양한 얼굴 표정을 보여준다.

얼굴 검출 및 감정 인식부는 안드로이드 로봇의 얼굴을 카메라로 찍거나 아니면 별도로 안드로이드 로봇의 얼굴 영상을 입력받아 이를 분석하여 안드로이드 로봇의 얼굴 표정을 인식한다.

얼굴 검출 및 감정 인식부는 얼굴 검출을 위하여 얼굴 특징으로서 영상 속 얼굴의 강도(intensity)를 이용할 수 있다. 또한 인종, 조명 등에 따라 성능이 좌우되지 않도록 이에 무관한 특징을 사용할 수도 있는데, Viola & Jones는 하르 유사 특징(Haar-like feature)을 사용할 수도 있고, Local Binary Pattern(LBP), Modified Census Transform 등의 특징을 사용할 수도 있다.

한편, 얼굴 검출 및 감정 인식부는 얼굴 검출을 위하여 신경망을 이용한 분류기를 사용할 수도 있고, 다수의 분류기를 결합한 아다부스트(AdaBoost)를 사용할 수도 있다.

얼굴 검출 및 감정 인식부는 감정 인식을 위하여 눈썹, 눈, 코, 입 등을 특징 요소로 사용하여 얼굴의 표정을 구분 지을 수 있다. 이러한 얼굴 특징 요소를 이용한 감정 인식 방법으로 광학적 흐름 분석(optical flow analysis)과 홀리스틱 분석(holistic analysis) 등을 사용할 수 있다. 광학적 흐름 분석은 감정 인식을 위해 얼굴 움직임의 광학적 흐름을 분석하는 것이고, 흘리스틱 분석 방법은 PCA(principal component analysis), LFA(Local Feature Analysis), LDA(Linear Discriminant Analysis), ICA(Independent Component Analysis) 등을 사용하여 감정을 인식하는 것이다.

도 4는 감정 인식을 위한 얼굴 특징 요소의 예를 도시한 도면이다.

지금까지 설명한 것과 다르게, 얼굴 검출 및 감정 인식부는 딥러닝 아키텍처를 사용하여 영상 내 얼굴 검출 및 감정 인식을 수행할 수 있다.

딥러닝 아키텍처에는 특징 선정 및 추출 과정이 컨볼루션(Convolution) 연산을 통해 이루어지므로 설계자에 의한 주관적인 특징 선정이 요구되지 않는다. 또한 인식 에러가 최소가 되도록 컨볼루션(Convolution) 연산을 위한 파라미터가 역전파(Backpropagation) 알고리즘을 통해 학습되므로 특징 선정 및 추출 과정을 최적화할 수 있다.

또한, Faster RCNN, YOLO 등과 같은 딥러닝 아키텍처는 이미지로부터 물체가 어디에 있는지를 찾는 Localization 문제와 물체가 무엇인지를 찾는 Classification 문제를 하나의 회귀 분석 문제(Single Regression Problem)로 재정의하므로, 딥러닝 기반 감정 인식 기술은 하나의 분류기를 이용하여 얼굴 검출과 감정 인식을 동시에 수행할 수 있다. 도 5는 CNN을 이용한 얼굴 검출 및 감정 인식을 나타내고 있다.

그리고 제안하는 딥러닝 아키텍처는 입력영상을 N*N개의 그리드 셀로 나누고 각 셀별로 사전에 정의된 크기로 복수 개의 바운딩 박스를 생성한다. 그런 후 검출하고자 하는 물체가 있을 만한 바운딩 박스를 다수 선정한 후 각 바운딩 박스 내의 물체가 무엇인지 인식하는 구조이므로 복수 개의 물체 인식이 가능하다.

따라서 복수의 얼굴이 검출된 경우에도 얼굴 수만큼의 감정 인식 분류기가 추가로 요구되지 않으며, 검출된 복수의 얼굴에 대한 바운딩 박스에 대해 각각의 개별 감정 상태 인식이 가능하다. 즉 물체 위치와 물체 인식용 딥러닝 아키텍처를 얼굴 위치와 얼굴 표정 인식용으로 활용할 수 있다.

안드로이드 로봇 얼굴이 포함된 단일 입력 영상에 대한 얼굴 검출 및 감정 인식 결과는 각 감정에 대한 유사도(likelihood)를 의미하는 확률 값으로 정량화할 수 있다. 로봇 얼굴에 표현하고자 하는 감정 상태가 정량적으로 수치화되기 때문에, 실시간으로 확인을 하면서 수동 또는 자동으로 원하는 표정의 확률 값을 증가시키는 방향으로 얼굴 표정 생성 시스템을 제어할 수 있다.

이와 같이 본 발명에 따른 안드로이드 로봇의 얼굴 표정 생성 시스템은 딥러닝을 이용한 객체 인식 기술에 기반을 두고, 실시간으로 영상 내부의 안드로이드 로봇의 얼굴 검출 및 검출된 얼굴의 감정 인식을 동시에 수행하며, 얼굴 검출 및 감정 인식 결과를 이용하여 얼굴 표정 생성 시스템 결과를 정량화하고 피드백할 수 있다. 따라서 안드로이드 얼굴 표정을 어떤 감정 상태인지 정량화할 수 있으므로 안드로이드 로봇의 얼굴 표정을 객관적으로 파악할 수 있으며 빠른 시간 내에 목표하는 표정으로 만들 수 있다.

본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 지금까지 설명한 안드로이드 로봇의 얼굴 표정 생성 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100: 안드로이드 로봇의 얼굴 표정 생성 시스템

Claims (1)

1. 로봇의 얼굴과 관련된 영상을 입력받아 상기 로봇의 얼굴을 검출하고 상기 검출된 얼굴의 감정을 인식하여 상기 로봇이 표현하고자 하는 감정에 대한 유사도를 의미하는 확률 값을 출력하는 얼굴 검출 및 감정 인식부, 그리고
   상기 확률 값에 따라 상기 로봇의 표현하고자 하는 감정에 대한 유사도가 커지도록 상기 로봇의 얼굴 표정을 변경하도록 상기 로봇에 포함되어 있는 모터를 제어하는 얼굴 표정 생성부
   를 포함하는 로봇 얼굴 표정 생성 시스템.

Images