KR102102685B1 - 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법 - Google Patents

로봇의 인간 얼굴 표정 학습 및 표정 구현 방법 Download PDF

Info

Publication number
KR102102685B1
KR102102685B1 KR1020180044995A KR20180044995A KR102102685B1 KR 102102685 B1 KR102102685 B1 KR 102102685B1 KR 1020180044995 A KR1020180044995 A KR 1020180044995A KR 20180044995 A KR20180044995 A KR 20180044995A KR 102102685 B1 KR102102685 B1 KR 102102685B1
Authority
KR
South Korea
Prior art keywords
robot
human
emotion
face
deriving
Prior art date
Application number
KR1020180044995A
Other languages
English (en)
Other versions
KR20190130190A (ko
Inventor
윤한얼
이동욱
형현준
이덕연
최동운
허만홍
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020180044995A priority Critical patent/KR102102685B1/ko
Priority to JP2018212977A priority patent/JP6684887B2/ja
Priority to US16/205,139 priority patent/US11185990B2/en
Publication of KR20190130190A publication Critical patent/KR20190130190A/ko
Application granted granted Critical
Publication of KR102102685B1 publication Critical patent/KR102102685B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015Face robots, animated artificial faces for imitating human expressions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 인간의 감정지표와 로봇의 서보모터 파라미터 값의 차원을 일치시켜 자동으로 인간의 표정을 기계 학습하여 모사할 수 있도록 한 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법에 관한 것이다. 본 발명은 a) 미리 설정된 인간 감정 지표에 따라 인간 얼굴 근육의 EES(Epidermal Electric Sensor) 신호를 측정하여, 상기 인간 감정 지표에 대응되는 복수개의 사람얼굴모터유닛을 도출하는 단계; b) 사람의 얼굴 근육에 대응되도록 설치된 서보모터를 바탕으로, 상기 사람얼굴모터유닛과 대응되도록 복수개의 로봇얼굴모터유닛을 도출하는 단계; c) 상기 인간 감정 지표를 표현하도록 상기 복수개의 로봇얼굴모터유닛과 기본계수를 조합하여 로봇 얼굴 제어신호로 도출하는 단계; d) 상기 로봇 얼굴 제어신호에 따라 로봇의 얼굴 표정을 표현하고 로봇 감정 지표를 도출하는 단계; e) 상기 인간 감정 지표와 상기 로봇 감정 지표의 차이인 차이 감정 지표를 도출하는 단계; f) 상기 차이 감정 지표로부터 상기 로봇얼굴모터유닛의 보정계수를 연산하는 단계; g) 상기 기본계수와 상기 보정계수를 합산하여 새로운 기본계수를 도출하는 단계; h) 상기 복수개의 로봇얼굴모터유닛과 상기 새로운 기본계수를 조합하여 새로운 로봇 얼굴 제어신호를 도출하는 단계를 포함하며, 상기 (e) 단계에서, 상기 차이 감정 지표가 미리 설정된 공차를 만족할 때까지 상기 (d) 내지 (h) 단계를 반복 수행하도록 이루어지는 것을 특징으로 하는 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법을 제공한다.

Description

로봇의 인간 얼굴 표정 학습 및 표정 구현 방법{A METHOD FOR ROBOTIC FACIAL EXPRESSIONS BY LEARNING HUMAN FACIAL DEMONSTRATIONS}
본 발명은 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법에 관한 것으로, 보다 상세하게는 인간의 감정지표와 로봇의 서보모터 파라미터 값의 차원을 일치시켜 자동으로 인간의 표정을 기계 학습하여 모사할 수 있도록 한 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법에 관한 것이다.
종래에는 로봇이 인간의 표정을 모사하도록 하기 위해서, Ekman이 제안한 FAC(Facial Action Coding)에 따라 초기 파라미터를 설정한 뒤 수동으로 계속적인 미세 조정을 거치는 소모적이고 반복적인 방법을 사용했다.
보다 구체적으로, 사람의 감정의 종류에 비해 사람의 감정을 표현하기 위한 서보모터의 개수가 일반적으로 더 많이 필요하다. 그런데, 일반적인 기계학습의 경우, 입력값이 출력값의 개수와 동일하거나 더 많을 때에 적용이 가능하며, 출력값이 입력값보다 많을 경우, 기계학습을 적용하는 것이 불가능하다.
즉, 입력값인 사람의 감정의 종류는 출력값인 서보모터의 개수에 비해 적기 때문에 기계학습을 적용하기 어렵고, 그 결과, 종래에는 수동으로 계속적인 미세 조정을 거치는 방법을 사용하여 로봇이 인간의 얼굴 표정을 모사하도록 했다.
그러나, 이처럼 수동으로 미세 조정을 통해 인간의 얼굴 표정을 모사하도록 하는 종래의 기술은 피드백 제어가 어려워 사람의 느낌에 의지하여 로봇이 인간의 얼굴 표정과 유사한 표정을 짓도록 제어해야 했으며, 시간이 많이 소요되었다.
또한, 종래의 기술로는 사람의 복합적인 감정에 대한 표정의 경우, 사람의 얼굴을 그대로 모방하기 어렵다는 문제점도 있었다.
일본공개특허 제2017-162409호
상기와 같은 문제를 해결하기 위한 본 발명의 목적은 인간의 감정지표와 로봇의 서보모터 파라미터 값의 차원을 일치시켜 자동으로 인간의 표정을 기계 학습하여 모사할 수 있도록 한 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은 a) 미리 설정된 인간 감정 지표에 따라 인간 얼굴 근육의 EES(Epidermal Electric Sensor) 신호를 측정하여, 상기 인간 감정 지표에 대응되는 복수개의 사람얼굴모터유닛을 도출하는 단계; b) 사람의 얼굴 근육에 대응되도록 설치된 서보모터를 바탕으로, 상기 사람얼굴모터유닛과 대응되도록 복수개의 로봇얼굴모터유닛을 도출하는 단계; c) 상기 인간 감정 지표를 표현하도록 상기 복수개의 로봇얼굴모터유닛과 기본계수를 조합하여 로봇 얼굴 제어신호로 도출하는 단계; d) 상기 로봇 얼굴 제어신호에 따라 로봇의 얼굴 표정을 표현하고 로봇 감정 지표를 도출하는 단계; e) 상기 인간 감정 지표와 상기 로봇 감정 지표의 차이인 차이 감정 지표를 도출하는 단계; f) 상기 차이 감정 지표로부터 상기 로봇얼굴모터유닛의 보정계수를 연산하는 단계; g) 상기 기본계수와 상기 보정계수를 합산하여 새로운 기본계수를 도출하는 단계; h) 상기 복수개의 로봇얼굴모터유닛과 상기 새로운 기본계수를 조합하여 새로운 로봇 얼굴 제어신호를 도출하는 단계를 포함하며, 상기 (e) 단계에서, 상기 차이 감정 지표가 미리 설정된 공차를 만족할 때까지 상기 (d) 내지 (h) 단계를 반복 수행하도록 이루어지는 것을 특징으로 하는 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법을 제공한다.
본 발명의 실시예에 있어서, 상기 a) 단계에서, 상기 사람얼굴모터유닛은 인간 얼굴 근육의 EES신호의 벡터값의 시계열 데이터에 음수 미포함 행렬 분해(Non-negative matrix factorization, NMF) 알고리즘을 적용하여 도출된 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 a) 단계에서, 상기 인간 감정 지표는 감정이 표현된 인간 얼굴 표정으로부터 측정되는 EES 신호의 벡터값의 합인 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 b) 단계에서, 상기 로봇얼굴모터유닛은 복수개의 상기 서보모터들의 조합으로 이루어진 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 c) 단계에서, 상기 로봇 얼굴 제어신호는, 복수개의 상기 로봇얼굴모터유닛과 일대일 대응되어 곱해지는 복수개의 기본계수들의 합으로 이루어진 것을 특징으로 할 수 있다.
본 발명의 실시예에 있어서, 상기 d) 단계에서, 상기 로봇 감정 지표는 감정이 표현된 로봇 얼굴 표정으로부터 측정되는 서보모터의 벡터값의 합인 것을 특징으로 할 수 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법을 적용한 로봇을 제공한다.
상기와 같은 구성에 따르는 본 발명의 효과는, 먼저, 사람에 의해 수동적으로 반복 수행되던 작업이 자동화되어 로봇의 인간 얼굴 표정 모사에 소요되는 시간이 단축될 수 있다.
또한, 본 발명은 서보모터의 제어 중 한계치 이상의 입력을 가함으로 인해 과전류가 발생하여 손상되는 문제를 방지할 수 있다.
그리고, 본 발명은 특정한 양적 지표에 대한 각 서보모터의 동작을 찾는 수학적 기반과 알고리즘을 제공함으로써, 보다 정확하고 신속하게 로봇이 사람의 얼굴 표정을 모사하도록 하는 것이 가능하다. 구체적으로, 본 발명은 사람의 감정 지표와 서보모터의 파라미터 값의 차원(dimension)을 일치시키는 수학적 제어 기법을 제공하고, 사람의 표정을 모사하도록 하는 기계학습(machine learning) 기반의 알고리즘을 제공함으로써, 로봇이 사람의 복잡한 감정에 따른 표정을 그대로 모사하도록 할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일실시예에 따른 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법의 순서도이다.
도 2는 본 발명의 일실시예에 따른 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법의 알고리즘 순서도이다.
도 3은 본 발명의 일실시예에 따른 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법의 사람얼굴모터유닛을 도출하는 단계의 예시도이다.
도 4는 본 발명의 일실시예에 따른 로봇 얼굴모터유닛을 도출하는 단계 및 로봇 얼굴 제어신호를 도출하는 단계의 예시도이다.
도 5는 본 발명의 일실시예에 따른 서보모터가 구비된 로봇을 나타낸 사진이다.
도 6은 본 발명의 일실시예에 따른 로봇의 얼굴 표정에 따른 로봇 감정 지표를 나타낸 사진이다.
도 7은 본 발명의 일실시예에 따른 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법의 실시예이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법의 순서도이고, 도 2는 본 발명의 일실시예에 따른 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법의 알고리즘 순서도이다.
그리고, 도 3은 본 발명의 일실시예에 따른 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법의 사람얼굴모터유닛을 도출하는 단계의 예시도이며, 도 4는 본 발명의 일실시예에 따른 로봇 얼굴모터유닛을 도출하는 단계 및 로봇 얼굴 제어신호를 도출하는 단계의 예시도이고, 도 5는 본 발명의 일실시예에 따른 서보모터가 구비된 로봇을 나타낸 사진이다.
도 1 내지 도 5를 참조하면, 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법은 먼저, 미리 설정된 인간 감정 지표에 따라 인간 얼굴 근육의 EES(Epidermal Electric Sensor) 신호를 측정하여, 인간 감정 지표에 대응되는 복수개의 사람얼굴모터유닛을 도출하는 단계(S10)를 수행하도록 마련될 수 있다.
미리 설정된 인간 감정 지표에 따라 인간 얼굴 근육의 EES(Epidermal Electric Sensor) 신호를 측정하여, 인간 감정 지표에 대응되는 복수개의 사람얼굴모터유닛을 도출하는 단계(S10)에서, 사람얼굴모터유닛은 인간 얼굴 근육의 EES신호의 벡터값의 시계열 데이터에 음수 미포함 행렬 분해(Non-negative matrix factorization, NMF) 알고리즘을 적용하여 도출될 수 있다.
일 예로, 도 3에 도시된 것처럼, 먼저, 사람이 행복한 감정의 얼굴 표정을 짓고, 이 상태에서의 안면 근육의 복수의 지점에서 EES 신호를 측정할 수 있다. 그리고, 사람얼굴모터유닛은 복수의 지점에서의 EES신호의 벡터값의 시계열 데이터에 음수 미포함 행렬 분해(Non-negative matrix factorization, NMF) 알고리즘을 적용하여 각 지점에서의 EES 신호를 그룹핑한 형태로 도출될 수 있다.
구체적인 예로, 도 3에 예시적으로 도시된 제1 사람얼굴모터유닛(M1) 및 제2 사람얼굴모터유닛(M2)은 4군데에서 측정된 EES 신호를 각각 그룹핑(Grouping)하여 나타낸 것이다.
그리고, 제1 사람얼굴모터유닛(M1)과 제2 사람얼굴모터유닛(M2)에 각각 계수를 곱하여 합한 값은 각각의 얼굴 근육 지점에서 측정된 EES 신호 값과 일치하도록 마련된다.
또한, 미리 설정된 인간 감정 지표에 따라 인간 얼굴 근육의 EES(Epidermal Electric Sensor) 신호를 측정하여, 인간 감정 지표에 대응되는 복수개의 사람얼굴모터유닛을 도출하는 단계(S10)에서 상기 인간 감정 지표는 감정이 표현된 인간 얼굴 표정으로부터 측정되는 EES 신호의 벡터값의 합인 것을 특징으로 할 수 있다.
구체적으로, 인간의 감정에 따른 표정에 따라 EES 신호의 벡터값이 달라지며, 그 결과, EES 신호의 벡터값의 합은 인간의 감정과 일대일 대응된다. 즉, 인간 감정 지표는 인감의 감정과 일대일 대응되어, 인간 감정 지표를 알면 인간의 감정을 알 수 있으며, 반대로, 인간의 감정을 알면 인간 감정 지표를 알게 될 수 있다.
또한, 사람얼굴모터유닛의 개수는 기설정된 인간 감정 지표의 개수와 동일하게 마련될 수 있다.
미리 설정된 인간 감정 지표에 따라 인간 얼굴 근육의 EES(Epidermal Electric Sensor) 신호를 측정하여, 인간 감정 지표에 대응되는 복수개의 사람얼굴모터유닛을 도출하는 단계(S10) 다음에는, 사람의 얼굴 근육에 대응되도록 설치된 서보모터를 바탕으로, 사람얼굴모터유닛과 대응되도록 복수개의 로봇얼굴모터유닛을 도출하는 단계(S20)가 수행될 수 있다.
사람의 얼굴 근육에 대응되도록 설치된 서보모터를 바탕으로, 사람얼굴모터유닛과 대응되도록 복수개의 로봇얼굴모터유닛을 도출하는 단계(S20)에서, 상기 로봇얼굴모터유닛은 복수개의 상기 서보모터들의 조합으로 이루어질 수 있다.
구체적으로, 복수의 상기 서보모터는 사람의 얼굴 근육과 대응되도록 구비된 와이어와 연결되어 마련될 수 있다. 그리고, 상기 로봇얼굴모터유닛은 각각의 사람얼굴모터유닛과 대응되도록 상기 서보모터를 조합하여 마련될 수 있다.
일 예로, 도 4에 도시된 것처럼, 제1 로봇얼굴모터유닛(N1)은 제1 사람얼굴모터유닛(M1)과 대응되게 서보모터가 조합되어 마련되고, 제2 로봇얼굴모터유닛(N2)은 제2 사람얼굴모터유닛(M2)과 대응되게 서보모터가 조합되어 마련될 수 있다.
그리고, 상기 로봇얼굴모터유닛의 개수는 상기 사람얼굴모터유닛의 개수와 동일하게 마련될 수 있다.
사람의 얼굴 근육에 대응되도록 설치된 서보모터를 바탕으로, 사람얼굴모터유닛과 대응되도록 복수개의 로봇얼굴모터유닛을 도출하는 단계(S20) 이후에는, 인간 감정 지표를 표현하도록 복수개의 로봇얼굴모터유닛과 기본계수를 조합하여 로봇 얼굴 제어신호로 도출하는 단계(S30)가 수행될 수 있다.
인간 감정 지표를 표현하도록 복수개의 로봇얼굴모터유닛과 기본계수를 조합하여 로봇 얼굴 제어신호로 도출하는 단계(S30)에서, 상기 로봇 얼굴 제어신호는, 복수개의 상기 로봇얼굴모터유닛과 일대일 대응되어 곱해지는 복수개의 기본계수들의 합으로 이루어진 것을 특징으로 할 수 있다.
이처럼 마련된 본 발명은, 서보모터를 그룹핑하여 형성된 로봇얼굴모터유닛과 인간 감정 지표의 개수를 동일하게 하여 차원을 일치시킬 수 있으며, 각각의 서보모터를 개별적으로 제어하는 것이 아니라, 상기 기본계수를 변경하여 서보모터를 제어하도록 함으로써, 제어입력 수를 감소시킬 수 있다. 즉, 상기 로봇얼굴모터유닛은 고정된 상태에서, 상기 기본계수를 메타 파라미터로 이용하여 로봇 얼굴 제어신호를 제어 및 도출할 수 있다.
인간 감정 지표를 표현하도록 복수개의 로봇얼굴모터유닛과 기본계수를 조합하여 로봇 얼굴 제어신호로 도출하는 단계(S30) 이후에는, 로봇 얼굴 제어신호에 따라 로봇의 얼굴 표정을 표현하고 로봇 감정 지표를 도출하는 단계(S40)가 수행될 수 있다.
로봇 얼굴 제어신호에 따라 로봇의 얼굴 표정을 표현하고 로봇 감정 지표를 도출하는 단계(S40)에서, 상기 로봇 감정 지표는 감정이 표현된 로봇 얼굴 표정으로부터 측정되는 서보모터의 벡터값의 합인 것을 특징으로 할 수 있다.
이때, 로봇 얼굴 제어신호에 따라 로봇의 얼굴 표정을 표현하고 로봇 감정 지표를 도출하는 단계(S40)에서, 상기 로봇 감정 지표는 얼굴 인식기(Noldus Face Reader, iMotion, OpenFace 등)를 이용하여 구해진 값일 수 있다.
도 6은 본 발명의 일실시예에 따른 로봇의 얼굴 표정에 따른 로봇 감정 지표를 나타낸 사진이다.
일 예로, 도 6에 도시된 것처럼, 상기 로봇 감정 지표는 감정이 표현된 로봇 얼굴 표정으로부터 측정되는 서보모터의 벡터값의 합인 것을 특징으로 할 수 있다.
로봇 얼굴 제어신호에 따라 로봇의 얼굴 표정을 표현하고 로봇 감정 지표를 도출하는 단계(S40) 이후에는, 인간 감정 지표와 로봇 감정 지표의 차이인 차이 감정 지표를 도출하는 단계(S50)가 수행될 수 있다.
인간 감정 지표와 로봇 감정 지표의 차이인 차이 감정 지표를 도출하는 단계(S50) 이후에는, 차이 감정 지표로부터 로봇얼굴모터유닛의 보정계수를 연산하는 단계(S60)가 수행될 수 있다.
차이 감정 지표로부터 로봇얼굴모터유닛의 보정계수를 연산하는 단계(S60)에서, 상기 보정계수는 Genetic algorithm, Artificial Neural Network, Deep learning과 같은 기계 학습 기술을 통해 연산될 수 있다.
구체적으로, 로봇 얼굴 제어신호는 로봇의 표정과 비선형 관계이다. 즉, 인간의 근육과 로봇에 구비된 서보모터 및 와이어가 완전히 일치하지 않기 때문에, 서보모터를 EES 신호에 대응되게 제어하여도 얼굴 표정 인식기를 이용하여 측정했을 때, 로봇의 얼굴 표정과 인간의 얼굴 표정이 완전히 일치하게 제어되기 어렵다.
따라서, 차이 감정 지표로부터 로봇얼굴모터유닛의 보정계수를 연산하는 단계(S60)에서는 보정계수를 상술한 기계학습 방법을 통해 연산할 수 있다.
차이 감정 지표로부터 로봇얼굴모터유닛의 보정계수를 연산하는 단계(S60) 이후에는, 기본계수와 상기 보정계수를 합산하여 새로운 기본계수를 도출하는 단계(S70)가 수행될 수 있다.
기본계수와 상기 보정계수를 합산하여 새로운 기본계수를 도출하는 단계(S70) 이후에는, 복수개의 로봇얼굴모터유닛과 새로운 기본계수를 조합하여 새로운 로봇 얼굴 제어신호를 도출하는 단계(S80)가 수행될 수 있다.
그리고, 로봇 얼굴 제어신호에 따라 로봇의 얼굴 표정을 표현하고 로봇 감정 지표를 도출하는 단계(S40) 내지 복수개의 로봇얼굴모터유닛과 새로운 기본계수를 조합하여 새로운 로봇 얼굴 제어신호를 도출하는 단계(S80)는 인간 감정 지표와 로봇 감정 지표의 차이인 차이 감정 지표를 도출하는 단계(S50)에서 상기 차이 감정 지표가 기설정된 공차를 만족할 때까지 반복 수행될 수 있다.
그리고, 상기 차이 감정지표가 기설정된 공차를 만족할 때까지 기계학습이 자동으로 이루어져 상기 차이 감정지표가 기설정된 공차를 만족하게 되면, 그 때의 로봇 얼굴 제어 신호를 결과값으로 도출하여 로봇에게 적용할 수 있다.
이처럼 본 발명은 서보모터들을 인간 감정 지표의 차원과 일치시켜 자동 기계학습이 가능해지도록 함으로써, 보다 간편하고 신속하게 로봇인 인간의 얼굴 표정과 가장 유사한 표정을 짓도록 로봇 얼굴 제어 신호를 도출하도록 할 수 있다.
도 7은 본 발명의 일실시예에 따른 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법의 실시예이다.
도 7에 도시된 것처럼, 본 발명에 따른 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법은 서보모터들을 인간 감정 지표의 차원과 일치시켜 자동 기계학습이 가능해지도록 함으로써, 보다 간편하고 신속하게 로봇인 인간의 얼굴 표정과 가장 유사한 표정을 짓도록 로봇 얼굴 제어 신호를 도출하도록 할 수 있다.
전술한 것처럼 마련된 본 발명을 이용하면, 사람의 표정을 로봇에게 학습시켜 HRI나 소셜로봇을 위한 데이터베이스로 사용할 수 있으며, 본 발명은, 얼굴 표정뿐만 아니라, 로봇의 다양한 동작 학습에도 적용 가능하다.
그리고, 본 발명에 따르면, 또한, 본 발명은 서보모터의 제어 중 한계치 이상의 입력을 가함으로 인해 서보모터에 과전류가 발생하여 손상되는 문제를 방지할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
M1: 제1 사람얼굴모터유닛
M2: 제2 사람얼굴모터유닛
N1: 제1 로봇얼굴모터유닛
N2: 제2 로봇얼굴모터유닛

Claims (7)

  1. a) 미리 설정된 인간 감정 지표에 따라 인간 얼굴 근육의 EES(Epidermal Electric Sensor) 신호를 측정하여, 상기 인간 감정 지표에 대응되는 복수개의 사람얼굴모터유닛을 도출하는 단계;
    b) 사람의 얼굴 근육에 대응되도록 설치된 서보모터를 바탕으로, 상기 사람얼굴모터유닛과 대응되도록 복수개의 로봇얼굴모터유닛을 도출하는 단계;
    c) 상기 인간 감정 지표를 표현하도록 상기 복수개의 로봇얼굴모터유닛과 기본계수를 조합하여, 복수개의 상기 로봇얼굴모터유닛과 일대일 대응되어 곱해지는 복수개의 기본계수들의 합으로 이루어진 로봇 얼굴 제어신호를 도출하는 단계;
    d) 상기 로봇 얼굴 제어신호에 따라 로봇의 얼굴 표정을 표현하고 로봇 감정 지표를 도출하는 단계;
    e) 상기 인간 감정 지표와 상기 로봇 감정 지표의 차이인 차이 감정 지표를 도출하는 단계;
    f) 상기 차이 감정 지표로부터 상기 로봇얼굴모터유닛의 보정계수를 연산하는 단계;
    g) 상기 기본계수와 상기 보정계수를 합산하여 새로운 기본계수를 도출하는 단계;
    h) 상기 복수개의 로봇얼굴모터유닛과 상기 새로운 기본계수를 조합하여 새로운 로봇 얼굴 제어신호를 도출하는 단계를 포함하며,
    상기 (e) 단계에서, 상기 차이 감정 지표가 미리 설정된 공차를 만족할 때까지 상기 (d) 내지 (h) 단계를 반복 수행하도록 이루어지며,
    상기 a) 단계에서, 상기 사람얼굴모터유닛은 인간 얼굴 근육의 복수의 지점에서의 EES신호의 벡터값의 시계열 데이터에 음수 미포함 행렬 분해(Non-negative matrix factorization, NMF) 알고리즘을 적용하여 각 지점에서의 EES 신호를 그룹핑한 형태로 도출되고,
    복수의 사람얼굴모터유닛(M1)에 각각 계수를 곱하여 합한 값은 각각의 얼굴 근육 지점에서 측정된 EES 신호 값과 일치하도록 마련되고,
    상기 c) 단계에서, 상기 서보모터를 그룹핑하여 형성된 상기 로봇얼굴모터유닛과 인간 감정 지표의 개수를 동일하게 하여 차원을 일치시킨 것을 특징으로 하는 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 a) 단계에서,
    상기 인간 감정 지표는 감정이 표현된 인간 얼굴 표정으로부터 측정되는 EES 신호의 벡터값의 합인 것을 특징으로 하는 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법.
  4. 제 1 항에 있어서,
    상기 b) 단계에서,
    상기 로봇얼굴모터유닛은 복수개의 상기 서보모터들의 조합으로 이루어진 것을 특징으로 하는 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 d) 단계에서,
    상기 로봇 감정 지표는 감정이 표현된 로봇 얼굴 표정으로부터 측정되는 서보모터의 벡터값의 합인 것을 특징으로 하는 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법.
  7. 제 1 항에 따른 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법을 적용한 로봇.
KR1020180044995A 2018-04-18 2018-04-18 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법 KR102102685B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180044995A KR102102685B1 (ko) 2018-04-18 2018-04-18 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법
JP2018212977A JP6684887B2 (ja) 2018-04-18 2018-11-13 ロボットの人間の顔の表情学習及び表情具現の方法
US16/205,139 US11185990B2 (en) 2018-04-18 2018-11-29 Method for learning and embodying human facial expression by robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180044995A KR102102685B1 (ko) 2018-04-18 2018-04-18 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법

Publications (2)

Publication Number Publication Date
KR20190130190A KR20190130190A (ko) 2019-11-22
KR102102685B1 true KR102102685B1 (ko) 2020-04-23

Family

ID=68237314

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180044995A KR102102685B1 (ko) 2018-04-18 2018-04-18 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법

Country Status (3)

Country Link
US (1) US11185990B2 (ko)
JP (1) JP6684887B2 (ko)
KR (1) KR102102685B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD885453S1 (en) * 2018-07-06 2020-05-26 Furhat Robotics Ab Industrial robot
CN112454390B (zh) * 2020-11-27 2022-05-17 中国科学技术大学 基于深度强化学习的仿人机器人面部表情模仿方法
US20230030442A1 (en) * 2021-07-31 2023-02-02 Sony Interactive Entertainment Inc. Telepresence robot
WO2023199256A2 (en) * 2022-04-13 2023-10-19 Soul Machines Limited Affective response modulation in embodied agents

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101451854B1 (ko) * 2013-10-10 2014-10-16 재단법인대구경북과학기술원 얼굴 표정 인식 장치 및 그 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101474481B (zh) * 2009-01-12 2010-07-21 北京科技大学 情感机器人系统
KR101116838B1 (ko) * 2009-12-28 2012-03-06 성결대학교 산학협력단 개인성향을 반영한 과장표정 생성방법
KR20110076430A (ko) * 2009-12-29 2011-07-06 한국생산기술연구원 Bldc 모터를 이용한 안드로이드 로봇의 얼굴 표정 표현 장치 및 방법 그리고 이를 행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
KR101788709B1 (ko) * 2014-08-25 2017-10-20 주식회사 룩시드랩스 표정을 인식하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP2017162409A (ja) 2016-03-11 2017-09-14 ヤンマー株式会社 顔の表情と動作の認識装置及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101451854B1 (ko) * 2013-10-10 2014-10-16 재단법인대구경북과학기술원 얼굴 표정 인식 장치 및 그 방법

Also Published As

Publication number Publication date
US11185990B2 (en) 2021-11-30
KR20190130190A (ko) 2019-11-22
JP2019192199A (ja) 2019-10-31
JP6684887B2 (ja) 2020-04-22
US20190321985A1 (en) 2019-10-24

Similar Documents

Publication Publication Date Title
KR102102685B1 (ko) 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법
US11429854B2 (en) Method and device for a computerized mechanical device
DE102016015017B4 (de) Steuervorrichtung mit Lernfunktion zum Erfassen einer Rauschursache
WO2020227383A8 (en) Combining machine learning with domain knowledge and first principles for modeling in the process industries
US9489619B2 (en) Method for the computer-assisted modeling of a technical system
CN109472358B (zh) 基于神经网络的焊接工艺参数推荐方法、装置及机器人
EP2999998B1 (de) Methode zur ermittlung eines modells einer ausgangsgrösse eines technischen systems
JP2016532953A5 (ko)
JP2020191096A5 (ja) 推論方法、推論プログラム、モデル生成方法、モデル生成プログラム、推論装置及び学習装置
Sheptunov et al. Simulating reliability of the robotic system software on the basis of artificial intelligence
JP7010774B2 (ja) 中間工程状態推定方法
JPH05127706A (ja) ニユーラルネツト型シミユレータ
CN110135524A (zh) 自动化的模型训练方法、装置、设备及介质
JP6947029B2 (ja) 制御装置、それを使用する情報処理装置、制御方法、並びにコンピュータ・プログラム
DE102018003244A1 (de) Numerische Steuerung
Srinivasa Rao et al. A Markov system dynamics approach for repairable systems reliability modeling
Gors et al. An adaptable framework to provide AR-based work instructions and assembly state tracking using an ISA-95 ontology
Salunke et al. An experiential learning in electrical machines laboratory course
WO2020110149A3 (en) System and method for operation optimization of an equipment
Hajarnavis et al. An assessment of PLC software structure suitability for the support of flexible manufacturing processes
Gharajeh To Measure the Perimeter of an Ellipse Using Image Processing and Mathematical Reasoning
KR102278284B1 (ko) 중첩 편집 블록을 이용한 딥러닝 모델 제작 장치 및 방법
Hwang et al. Fast learning neural network with modified neurons
Bershadsky et al. Variability modeling in the automated system for authoring intelligent adaptive applications on the basis of three-dimensional graphics
Hishama et al. Human Driving Skill for Human Adaptive Mechatronics Applications by using Neural Network System

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant