KR20230030793A

KR20230030793A - 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 장치 및 이를 위한 방법

Info

Publication number: KR20230030793A
Application number: KR1020210112888A
Authority: KR
Inventors: 김주현; 김민규; 김다영; 노정민; 김경호; 서갑호
Original assignee: 한국로봇융합연구원
Priority date: 2021-08-26
Filing date: 2021-08-26
Publication date: 2023-03-07
Also published as: KR102553019B1

Abstract

로봇의 행동을 제어하기 위한 방법은 행동검출부가 로봇과 피검자와의 대화 및 대화에 따라 검출된 감정을 입력받는 단계와, 상기 행동검출부가 학습모델을 통해 상기 대화 및 상기 감정을 분석하여 상기 대화 및 상기 감정에 대응하는 심리 운동 전문가의 놀이 행동을 도출하는 단계와, 행동제어부가 상기 도출된 놀이 행동의 일부를 소정의 샘플링 비율에 따라 추출한 복수의 행동 패턴을 도출하는 단계와, 상기 행동제어부가 상기 복수의 행동 패턴을 이용하여 상기 로봇이 상기 놀이 행동을 모사하도록 상기 로봇을 제어하는 단계를 포함한다.

Description

비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 장치 및 이를 위한 방법{Apparatus for controlling behavior of robot for non-verbal interaction and method therefor}

본 발명은 로봇의 행동을 제어하기 위한 기술에 관한 것으로, 보다 상세하게는, 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 장치 및 이를 위한 방법에 관한 것이다.

아동의 사회, 정서 지능 발달 지원 서비스는 시대적 요구를 받고 있으며, 이에 대한 해결방안으로 언어 혹은 비언어적 상호작용이 가능한 소위, 'AI 집사'의 개발이 주목받고 있다. 코로나 이전 시대의 가정에서 부모의 니즈(Needs)는 소통과 돌봄이며 포스트 코로나 시대에서도 동일한 니즈가 존재하고 있다. '아동 최우선 원칙'을 목표로 한 국가 정책 기조 변화에 따라, 건강하고 균형 있는 아동의 발달 지원이 필요하며, 코로나 19 여파로 가정 양육 역량 강화가 필수로 주목받고 있다.

한국공개특허 제2002-0097458호 (2002년 12월 31일 공개)

본 발명의 목적은 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 장치 및 이를 위한 방법을 제공함에 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 로봇의 행동을 제어하기 위한 방법은 행동검출부가 로봇과 피검자와의 대화 및 대화에 따라 검출된 감정을 입력받는 단계와, 상기 행동검출부가 학습모델을 통해 상기 대화 및 상기 감정을 분석하여 상기 대화 및 상기 감정에 대응하는 심리 운동 전문가의 놀이 행동을 도출하는 단계와, 행동제어부가 상기 도출된 놀이 행동의 일부를 소정의 샘플링 비율에 따라 추출한 복수의 행동 패턴을 도출하는 단계와, 상기 행동제어부가 상기 복수의 행동 패턴을 이용하여 상기 로봇이 상기 놀이 행동을 모사하도록 상기 로봇을 제어하는 단계를 포함한다.

상기 로봇을 제어하는 단계는 상기 행동제어부가 상기 복수의 행동 패턴 각각에서 상기 심리 운동 전문가의 관절 사이의 거리 및 관절의 움직임의 방향을 포함하는 관절 운동 정보를 도출하는 단계와, 상기 행동제어부가 상기 복수의 행동 패턴에 대응하여 상기 관절 운동 정보에 따라 심리 운동 전문가의 관절 사이의 거리 및 관절의 움직임의 방향을 로봇의 관절에 매핑하여 복수의 로봇 행동 패턴을 생성하는 단계와, 상기 행동제어부가 상기 복수의 로봇 행동 패턴에서 로봇 행동 패턴과 로봇 행동 패턴 간의 로봇의 관절의 움직임을 보간하여 연속된 관절 운동 경로를 생성하는 단계와, 상기 행동제어부가 상기 관절 운동 경로에 따라 상기 로봇의 관절을 움직이게 함으로써 상기 로봇이 심리 운동 전문가를 대신하여 심리 운동 전문가가 수행하는 놀이 행동을 모사하도록 상기 로봇을 제어하는 단계를 포함한다.

상기 로봇의 관절에 매핑하는 단계는 상기 행동제어부가 상기 심리 운동 전문가의 관절 사이의 거리 및 관절의 움직임의 방향을 D-H(Denavit-Hartenberg) 파라미터에 따라 상기 로봇의 관절에 매핑하며, 상기 관절 사이의 거리는 서로 연결된 2개의 관절간의 최단 거리이고, 상기 관절의 움직임의 방향은 어느 하나의 관절의 회전축을 기준으로 연결된 관절의 회전축의 비틀림각인 것을 특징으로 한다.

상기 방법은 상기 피검자의 감정 및 대화를 입력받는 단계 전, 데이터수집부가 심리 운동 전문가의 피검자와의 놀이 행동 영상을 수집하는 단계와, 상기 데이터수집부가 상기 놀이 행동 영상에서 소정의 샘플링 비율에 따라 놀이 행동을 복수의 행동 패턴으로 추출하는 단계와, 상기 데이터수집부가 상기 복수의 행동 패턴으로부터 심리 운동 전문가의 서로 연결된 2개의 관절간의 최단 거리를 나타내는 관절 사이의 거리 및 어느 하나의 관절의 회전축을 기준으로 연결된 관절의 회전축의 비틀림각인 관절의 움직임의 방향을 포함하는 관절 운동 정보를 검출하는 단계와, 상기 데이터수집부가 놀이 행동에 대응하는 복수의 행동 패턴과, 복수의 행동 패턴 각각의 관절 운동 정보가 매핑된 놀이 행동 데이터를 생성하는 단계와, 상기 놀이 행동 데이터를 제공하는 단계를 더 포함한다.

상기 방법은 상기 놀이 행동 데이터를 제공하는 단계 후, 그리고 상기 피검자의 감정 및 대화를 입력받는 단계 전, 학습부가 질의 및 응답을 포함하는 심리 운동 전문가의 피검자와의 대화 및 피검자의 감정이 입력 데이터이고, 입력 데이터에 대응하여 심리 운동 전문가가 수행한 놀이 행동을 레이블로 하는 학습 데이터를 마련하는 단계와, 상기 학습부가 학습이 완료되지 않은 학습모델에 학습 데이터의 입력 데이터를 입력하는 단계와, 학습모델이 상기 입력 데이터에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여 입력 데이터에 대응하여 심리 운동 전문가가 수행하는 놀이 행동일 확률을 나타내는 출력값을 산출하는 단계와, 상기 학습부가 상기 출력값과 상기 레이블과의 차이가 최소가 되도록 학습모델의 가중치를 수정하는 최적화를 수행하는 단계를 더 포함한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 로봇의 행동을 제어하기 위한 장치는 로봇과 피검자와의 대화 및 대화에 따라 검출된 감정이 입력되면, 학습모델을 통해 상기 대화 및 상기 감정을 분석하여 상기 대화 및 상기 감정에 대응하는 심리 운동 전문가의 놀이 행동을 도출하는 행동검출부와, 상기 도출된 놀이 행동의 일부를 소정의 샘플링 비율에 따라 추출한 복수의 행동 패턴을 도출하고, 상기 복수의 행동 패턴을 이용하여 상기 로봇이 상기 놀이 행동을 모사하도록 상기 로봇을 제어하는 행동제어부를 포함한다.

상기 행동제어부는 상기 복수의 행동 패턴 각각에서 상기 심리 운동 전문가의 관절 사이의 거리 및 관절의 움직임의 방향을 포함하는 관절 운동 정보를 도출하고, 상기 복수의 행동 패턴에 대응하여 상기 관절 운동 정보에 따라 심리 운동 전문가의 관절 사이의 거리 및 관절의 움직임의 방향을 로봇의 관절에 매핑하여 복수의 로봇 행동 패턴을 생성하고, 상기 복수의 로봇 행동 패턴에서 로봇 행동 패턴과 로봇 행동 패턴 간의 로봇의 관절의 움직임을 보간하여 연속된 관절 운동 경로를 생성하고, 상기 관절 운동 경로에 따라 상기 로봇의 관절을 움직이게 함으로써 상기 로봇이 심리 운동 전문가를 대신하여 심리 운동 전문가가 수행하는 놀이 행동을 모사하도록 상기 로봇을 제어하는 것을 특징으로 한다.

상기 행동제어부는 상기 심리 운동 전문가의 관절 사이의 거리 및 관절의 움직임의 방향을 D-H(Denavit-Hartenberg) 파라미터에 따라 상기 로봇의 관절에 매핑한다. 여기서, 상기 관절 사이의 거리는 서로 연결된 2개의 관절간의 최단 거리이고, 상기 관절의 움직임의 방향은 어느 하나의 관절의 회전축을 기준으로 연결된 관절의 회전축의 비틀림각인 것을 특징으로 한다.

본 발명에 따르면, 심리 운동 전문가의 놀이 행동을 로봇이 그대로 모사할 수 있어, 참여형 놀이 활동 서비스를 지원할 수 있다.

도 1은 본 발명의 실시예에 따른 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 시스템의 구성을 설명하기 위한 도면이다.
도 2 및 도 3은 본 발명의 실시예에 따른 데이터에 대한 레이블링을 위한 학습 모델의 구성을 설명하기 위한 도면이다.
도 4 내지 6은 본 발명의 실시예에 따른 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시예에 따른 로봇의 행동을 제어하기 위한 학습모델을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 실시예에 따른 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 방법에 대해서 설명하기 위한 흐름도이다.
도 9는 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.

먼저, 본 발명의 실시예에 따른 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 시스템에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 시스템의 구성을 설명하기 위한 도면이다. 본 발명의 실시예에 따른 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 시스템은 행동학습장치(100), 행동제어장치(200) 및 제어 대상인 로봇(30)을 포함한다. 행동학습장치(100) 및 행동제어장치(200)는 서로 다른 장치로 설명되지만, 하나의 장치로 구현될 수도 있다.

행동학습장치(100)는 로봇(300)이 심리 운동 전문가의 놀이 행동을 모사할 수 있도록 심리 운동 전문가의 놀이 행동에 대한 데이터를 수집하고, 로봇(300)에 적합한 형식의 데이터로 변환하여 제공한다. 또한, 행동학습장치(100)는 심리 운동 전문가의 놀이 행동을 학습하기 위한 것이다. 이를 위하여, 행동학습장치(100)는 데이터수집부(110) 및 학습부(120)를 포함한다.

데이터수집부(110) 심리 운동 전문가의 피검자와의 놀이 행동 영상을 수집하고, 수집된 놀이 행동 영상의 놀이 행동을 로봇(300)에 적용할 수 있도록 놀이 행동 데이터를 생성한다.

학습부(120)는 심리 운동 전문가의 피검자와의 대화 및 피검자의 감정에 적합한 놀이 행동을 도출하도록 학습모델(ML: deep learning model 또는 machine learning model)을 학습시킨다.

행동제어장치(200)는 행동학습장치(100)가 생성한 학습모델(ML) 및 놀이 행동 데이터를 기초로 로봇(300)이 심리 운동 전문가의 놀이 행동을 모사하도록 로봇(300)을 제어하기 위한 것이다. 이를 위하여, 행동제어장치(200)는 행동검출부(210) 및 행동제어부(220)를 포함한다.

행동검출부(210)는 로봇과 피검자와의 대화 및 그 대화에 따라 검출된 피검자의 감정이 입력되면, 학습모델(ML)을 통해 로봇과 피검자와의 대화 및 대화에 따른 피검자의 감정을 분석하여 로봇과 피검자와의 대화 및 대화에 따른 피검자의 감정에 대응하는 심리 운동 전문가의 놀이 행동을 도출한다.

행동제어부(220)는 행동검출부(210)가 검출한 놀이 행동 데이터를 참조하여 도출된 놀이 행동의 일부를 소정의 샘플링 비율에 따라 추출한 복수의 행동 패턴을 도출하고, 복수의 행동 패턴을 이용하여 로봇이 심리 운동 전문가의 놀이 행동을 모사하도록 로봇(300)을 제어한다.

다음으로, 본 발명의 실시예에 따른 로봇의 행동을 제어하기 위한 학습모델(ML)의 구성에 대해서 설명하기로 한다. 도 2 및 도 3은 본 발명의 실시예에 따른 데이터에 대한 레이블링을 위한 학습 모델의 구성을 설명하기 위한 도면이다.

도 2를 참조하면, 학습모델(LM)은 입력층(input layer: IL), 교번으로 반복되는 적어도 한 쌍의 컨벌루션층(convolution layer: CL)과 풀링층(pooling layer: PL), 적어도 하나의 완전연결층(fully-connected layer: FL) 및 출력층(output layer: OL)을 포함한다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 학습모델(LM)은 순차로 입력층(IL), 컨볼루션층(CL), 풀링층(PL), 완전연결층(FL) 및 출력층(OL)을 포함한다.

컨볼루션층(CL) 및 풀링층(PL)은 적어도 하나의 특징맵(FM: Feature Map)으로 구성된다. 특징맵(FM)은 이전 계층의 연산 결과에 대해 가중치 및 임계치를 적용한 값을 입력받고, 입력받은 값에 대한 연산을 수행한 결과로 도출된다. 이러한 가중치는 소정 크기의 가중치 행렬인 필터 혹은 커널(W)을 통해 적용된다. 본 발명의 실시예에서 컨볼루션층(CL)의 컨벌루션 연산은 제1 필터(W1)가 사용되며, 풀링층(PL)의 풀링 연산은 제2 필터(W2)가 사용된다.

입력층(IL)에 본 발명의 실시예에 따른 대화(질의 및 응답) 및 피검자의 감정을 나타내는 입력 데이터가 입력되면, 컨볼루션층(CL)은 입력층(IL)에 입력 데이터에 대해 제1 필터(W1)를 이용한 컨벌루션(convolution) 연산 및 활성화함수에 의한 연산을 수행하여 적어도 하나의 제1 특징맵(FM1)을 도출한다. 이어서, 풀링층(PL)은 컨볼루션층(CL)의 적어도 하나의 제1 특징맵(FM1)에 대해 제2 필터(W2)를 이용한 풀링(pooling 또는 sub-sampling) 연산을 수행하여 적어도 하나의 제2 특징맵(FM2)을 도출한다.

완결연결층(FL)은 도 3에 도시된 바와 같이, 복수의 연산노드(F1 내지 Fm)로 이루어진다. 완결연결층(CL)의 복수의 연산노드(F1 내지 Fm)는 풀링층(PL)의 적어도 하나의 제2 특징맵(FM2)에 대해 활성화함수에 의한 연산을 통해 복수의 연산값을 산출한다.

출력층(OL)은 복수의 출력노드(O1 내지 On)를 포함한다. 완결연결층(FL)의 복수의 연산노드(F1 내지 Fm) 각각은 가중치(W: weight)를 가지는 채널로 출력층(OL)의 출력노드(O1 내지 On)와 연결된다. 다른 말로, 복수의 연산노드(F1 내지 Fm)의 복수의 연산값은 가중치(W)가 적용되어 복수의 출력노드(O1 내지 On) 각각에 입력된다. 이에 따라, 출력층(OL)의 복수의 출력노드(O1 내지 On)는 완결연결층(FL)의 가중치(W)가 적용되는 복수의 연산값에 대해 활성화함수에 의한 연산을 통해 출력값을 산출한다.

출력층(OL)의 복수의 출력노드(O1 내지 On) 각각은 서로 다른 종류의 놀이 행동에 대응한다. 예컨대, 제1 출력노드(O1)는 놀이행동 1에 대응하고, 제2 출력노드(O2)는 놀이행동 2에 대응하며, 제3 출력노드(O2)는 놀이행동 3에 대응하며, 제n 출력노드(On)는 놀이행동 n에 대응할 수 있다. 이에 따라, 예컨대, 제1 출력노드(O1)의 출력값은 입력 데이터, 즉, 입력된 대화 및 감정에 대응하여 수행해야하는 놀이행동이 놀이행동 1일 확률이고, 제2 출력노드(O2)의 출력값은 입력 데이터에 대응하여 수행해야하는 놀이행동이 놀이행동 2일 확률이고, 제3 출력노드(O3)의 출력값은 입력 데이터에 대응하여 수행해야하는 놀이행동이 놀이행동 3일 확률이고, 제n 출력노드(On)의 출력값은 입력 데이터, 즉, 입력된 대화 및 감정에 대응하여 수행해야하는 놀이행동이 놀이행동 n일 확률을 나타낼 수 있다.

예컨대, 복수의 출력노드(O1, O2, O3, ..., On)의 출력값이 0.025, 0.723, 0.100, ..., 0.008이면, 제1 출력노드(O1)의 출력값이 0.025이기 때문에 입력 데이터, 즉, 입력된 대화 및 감정에 대응하여 수행해야하는 놀이행동이 놀이행동 1일 확률이 3%이고, 제2 출력노드(O2)의 출력값이 0.723이기 때문에 입력 데이터, 즉, 입력된 대화 및 감정에 대응하여 수행해야하는 놀이행동이 놀이행동 2일 확률이 72%이고, 제3 출력노드(O2)의 출력값이 0.100이기 때문에 입력 데이터, 즉, 입력된 대화 및 감정에 대응하여 수행해야하는 놀이행동이 놀이행동 3일 확률이 10%이고, 제n 출력노드(On)의 출력값이 0.008이기 때문에 입력 데이터, 즉, 입력된 대화 및 감정에 대응하여 수행해야하는 놀이행동이 놀이행동 1일 확률이 1%임을 나타낸다. 이와 같이, 학습모델(ML)이 입력된 대화 및 감정에 대응하여 어떤 유형의 놀이행동을 수행하여야 하는지에 대한 확률을 산출하면, 행동검출부(210)는 학습모델(ML)이 산출한 확률에 따라 입력된 대화 및 감정에 대응하여 수행되어야 하는 놀이 행동을 추정 할 수 있다. 예컨대, 복수의 출력노드(O1, O2, O3, ..., On)의 출력값이 0.025, 0.723, 0.100, ..., 0.008이면, 제2 출력노드(O2)의 출력값에 따라 수행되어야 하는 놀이 행동이 놀이행동 2일 확률이 72%로 가장 높기 때문에 행동검출부(210)는 수행되어야 하는 놀이 행동이 놀이행동 2인 것으로 추정한다.

전술한 컨벌루션층(CL), 완결연결층(FL) 및 출력층(OL)에서 사용되는 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. 컨벌루션층(CL), 완결연결층(FL) 및 출력층(OL)에 이러한 활성화함수 중 어느 하나를 선택하여 적용할 수 있다.

다음으로, 본 발명의 실시예에 따른 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 방법에 대해서 설명하기로 한다. 도 4 내지 6은 본 발명의 실시예에 따른 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 방법을 설명하기 위한 흐름도이다.

도 4 내지 도 6을 참조하면, 데이터수집부(110)는 S110 단계에서 심리 운동 전문가의 피검자와의 놀이 행동 영상(10)을 수집한다. 도 5에 도시된 바와 같이, 놀이 행동 영상(10)은 심리 운동 전문가가 피검자(예컨대, 아동)와 대화(질의 및 응답)하면서 심리 운동 전문가가 심리 운동 치료의 목적으로 수행하는 다양한 놀이 행동을 촬영한 것이다. 예컨대, 피검자와 대화는 ADOS(Autism Diagnostic Observation Schedule)와 BeDevel(Behavior Development Screening for Toddler) 검사에 따른 질의와 그에 따른 응답을 포함한다. 여기서, 응답은 피검자가 대답하지 않은 경우를 포함한다. 이때, 심리 운동 전문가는 피검자와의 대화에서 질의에 대응하는 피검자의 응답 및 피검자의 비언어적인 반응에 의해 파악되는 피검자의 감정에 따라 대응하는 놀이 행동을 수행한다. 이러한 놀이 행동 영상을 수집하기 위해 데이터수집부(110)는 동영상을 촬영하기 위한 카메라 모듈(미도시)을 포함할 수 있다.

이어서, 데이터수집부(110)는 S120 단계에서 놀이 행동 영상에서 소정의 샘플링 비율에 따라 놀이 행동을 복수의 행동 패턴으로 추출한다. 행동 패턴은 놀이 행동을 구성하는 연속된 동작의 일부를 나타낸다. 즉, 데이터수집부(110)는 하나의 연속된 동작으로 이루어진 놀이 행동의 일부를 소정의 샘플링 비율에 따라 복수의 행동 패턴으로 추출한다. 도 5에 행동 패턴 (a), (b) 및 (j)가 도시되었다. 추출되는 어느 하나의 행동 패턴은 심리 운동 전문가와의 피검자와의 대화 및 대화에 따라 표출되는 피검자의 감정에 대응하는 놀이 행동의 정지 영상이 될 수 있다. 예컨대, 로봇을 제어하는 주기가 100Hz라고 가정할 때, 제어 주기의 1/10 주기의 샘플링 비율로 행동 패턴을 검출할 수 있다. 이러한 경우, 초당 10개의 행동 패턴을 검출할 수 있다.

그런 다음, 데이터수집부(110)는 S130 단계에서 복수의 행동 패턴으로부터 관절 운동 정보를 검출한다. 도 6에 추출되는 관절 운동 정보의 화면 예를 도시하였다. 도시된 바와 같이, 관절 운동 정보는 심리 운동 전문가의 관절 사이의 거리(d) 및 관절의 움직임의 방향(v)을 포함한다. 관절 사이의 거리(d)는 서로 연결된 2개의 관절, 즉, 관절 j(i-1)과 관절 j(i)간의 최단 거리를 의미한다. 관절의 움직임의 방향(v)은 관절 j(i-1)의 회전축(z')을 기준으로 관절 j(i)의 회전축(z)의 비틀림각을 나타낸다.

이어서, 데이터수집부(110)는 S140 단계에서 심리 운동 전문가의 피검자와의 대화 및 감정에 따른 놀이 행동과, 놀이 행동에 대응하는 복수의 행동 패턴과, 복수의 행동 패턴 각각의 관절 운동 정보가 매핑된 놀이 행동 데이터를 생성한다. 이때, 복수의 행동 패턴은 행동 패턴의 순서에 따라 놀이 행동의 명칭을 이용하여 태깅될 수 있다. 예컨대, 놀이 행동의 명칭이 트위스트라고 가정하면, 첫 번째 행동 패턴은 '트위스트 01', 두 번째 행동 패턴은 '트위스트 02' 등과 같이 태깅될 수 있다.

다음으로, 데이터수집부(110)는 S150 단계에서 심리 운동 전문가의 피검자와의 대화 및 감정에 따른 놀이 행동과, 놀이 행동에 대응하는 복수의 행동 패턴과, 복수의 행동 패턴 각각의 관절 운동 정보를 포함하는 놀이 행동 데이터를 행동제어장치(200)에 제공할 수 있다. 이러한 놀이 행동 데이터는 행동제어부(220)에 전달된다.

한편, 학습부(120)는 심리 운동 전문가의 피검자와의 대화 및 피검자의 감정에 적합한 놀이 행동을 도출하도록 학습모델을 학습시킨다. 이러한 방법에 대해서 설명하기로 한다. 도 7은 본 발명의 실시예에 따른 로봇의 행동을 제어하기 위한 학습모델을 학습시키는 방법을 설명하기 위한 흐름도이다.

도 7을 참조하면, 학습부(120)는 S210 단계에서 학습 데이터를 마련한다. 일 실시예에 따르면, 학습부(120)는 앞서(S140) 데이터수집부(110)가 생성한 놀이 행동 데이터로부터 학습 데이터를 추출할 수 있다. 다른 실시예에 따르면, 학습 데이터는 학습모델(ML)에 대한 학습을 위해 미리 생성하여 저장한 것일 수도 있다. 여기서, 학습 데이터는 질의 및 응답을 포함하는 심리 운동 전문가의 피검자와의 대화 및 그 대화, 특히, 질의에 따라 발현되는 피검자의 감정을 입력 데이터로 하고, 그 입력 데이터에 대응하여 심리 운동 전문가가 수행한 놀이 행동을 레이블로 한다.

그런 다음, 학습부(120)는 S220 단계에서 초기화 상태이거나, 학습이 완료되지 않은 학습모델(ML)에 학습 데이터의 입력 데이터, 즉, 대화 및 감정을 입력한다. 이에 따라, 학습모델(ML)은 S230 단계에서 입력 데이터에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여 입력 데이터에 대응하여 심리 운동 전문가가 수행하는 놀이 행동일 확률을 나타내는 출력값을 산출한다.

그러면, 학습부(120)는 S240 단계에서 입력 데이터에 대응하여 산출된 출력값과 입력 데이터에 대응하는 레이블과의 차이가 최소가 되도록 학습모델(ML)의 가중치를 수정하는 최적화를 수행한다. 이때, 학습부(120)는 출력값과 레이블과의 차이를 구하는 손실 함수를 이용하여 최적화를 수행한다.

전술한 바와 같은 최적화는 서로 다른 학습용 영상 데이터를 이용하여 반복하여 수행할 수 있다. 이러한 반복은 평가 지표를 통해 정확도를 산출하고, 원하는 정확도에 도달할 때까지 이루어질 수 있다. 전술한 바에 따라 학습이 완료된 학습모델(ML)은 행동제어장치(200)의 행동검출부(210)에 제공된다.

다음으로, 본 발명의 실시예에 따른 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 방법에 대해서 설명하기로 한다. 도 8은 본 발명의 실시예에 따른 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 방법에 대해서 설명하기 위한 흐름도이다.

도 8을 참조하면, 로봇(300)은 S310 단계에서 피검자와 대화하고, 이러한 피검자와의 대화를 통해 피검자의 감정을 인식한다. 이를 위하여, 로봇(300)은 미리 설정된 질문을 저장하고, 저장된 질문에 대응하는 응답을 수집하기 위한 스피커 및 마이크를 구비하며, 피검자의 감정을 검출하기 위해 피검자의 표정을 촬영하기 위한 카메라를 통해 촬영된 표정으로부터 감정을 검출하기 위한 인공신경망을 포함할 수 있다. 예컨대, 질문은 ADOS(Autism Diagnostic Observation Schedule)와 BeDevel(Behavior Development Screening for Toddler) 검사에 따른 질의가 될 수 있다.

이어서, 행동제어장치(200)의 행동검출부(210)는 S320 단계에서 로봇(300)으로부터 로봇(300)과 피검자와의 대화 및 대화에 따라 검출된 감정을 입력받는다.

그러면, 행동검출부(210)는 S330 단계에서 학습모델(ML)을 통해 로봇(300)으로부터 입력된 대화 및 감정을 분석하여 대화 및 감정에 대응하여 심리 운동 전문가가가 수행하는 놀이 행동을 도출한다. 예를 들면, 학습모델(ML)이 입력된 대화 및 감정에 대응하여 어떤 유형의 놀이행동을 수행하여야 하는지에 대한 확률을 산출하면, 행동검출부(210)는 학습모델(ML)이 산출한 확률에 따라 입력된 대화 및 감정에 대응하여 수행되어야 하는 놀이 행동을 추정 할 수 있다. 예컨대, 놀이행동 1 내지 놀이행동 n에 대응하는 복수의 출력노드(O1, O2, O3, ..., On)의 출력값이 0.025, 0.723, 0.100, ..., 0.008이면, 제2 출력노드(O2)의 출력값에 따라 수행되어야 하는 놀이 행동이 놀이행동 2일 확률이 72%로 가장 높기 때문에 행동검출부(210)는 수행되어야 하는 놀이 행동이 놀이행동 2인 것으로 추정한다.

다음으로, 행동제어부(220)는 S340 단계에서 도출된 놀이 행동으로부터 복수의 행동 패턴을 도출한다. 복수의 행동 패턴은 놀이 행동의 일부를 소정의 샘플링 비율에 따라 추출한 것이다. 앞서 설명된 바와 같이, 행동제어부(220)는 앞서 S150 단계에서 놀이 행동에 대응하는 복수의 행동 패턴과, 복수의 행동 패턴 각각의 관절 운동 정보를 포함하는 놀이 행동 데이터를 수신한다. 이에 따라, 행동제어부(220)는 S340 단계에서 놀이 행동 데이터를 참조하여 놀이 행동에 대응하는 복수의 행동 패턴을 도출할 수 있다.

이어서, 행동제어부(220)는 S350 단계에서 복수의 행동 패턴을 이용하여 로봇(300)이 심리 운동 전문가를 대신하여 심리 운동 전문가가 수행하는 놀이 행동을 모사하도록 로봇(300)을 제어한다.

이를 위하여, 행동제어부(220)는 먼저, 놀이 행동 데이터를 참조하여 복수의 행동 패턴 각각에서 심리 운동 전문가의 관절 사이의 거리 및 관절의 움직임의 방향을 포함하는 관절 운동 정보를 도출한다.

그런 다음, 행동제어부(220)는 복수의 행동 패턴에 대응하여 관절 운동 정보에 따라 심리 운동 전문가의 관절 사이의 거리 및 관절의 움직임의 방향을 로봇의 관절에 매핑하여 복수의 로봇 행동 패턴을 생성한다.

이어서, 행동제어부(220)는 복수의 로봇 행동 패턴에서 로봇 행동 패턴과 로봇 행동 패턴 간의 로봇의 관절의 움직임을 보간하여 연속된 관절 운동 경로를 생성한다.

그런 다음, 행동제어부(220)는 관절 운동 경로에 따라 로봇(300)의 관절을 움직이게 함으로써 로봇(300)이 심리 운동 전문가를 대신하여 심리 운동 전문가가 수행하는 놀이 행동을 모사하도록 로봇(300)을 제어한다.

도 9는 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 도 9의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치, 예컨대, 행동학습장치(100), 행동제어장치(200) 및 로봇(300) 등이 될 수 있다.

도 9의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.

한편, 앞서 설명된 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

100: 행동학습장치
110: 데이터수집부
120: 학습부
200: 행동제어장치
210: 행동검출부
220: 행동제어부
300: 로봇

Claims

로봇의 행동을 제어하기 위한 방법에 있어서,
행동검출부가 로봇과 피검자와의 대화 및 대화에 따라 검출된 감정을 입력받는 단계;
상기 행동검출부가 학습모델을 통해 상기 대화 및 상기 감정을 분석하여 상기 대화 및 상기 감정에 대응하는 심리 운동 전문가의 놀이 행동을 도출하는 단계;
행동제어부가 상기 도출된 놀이 행동의 일부를 소정의 샘플링 비율에 따라 추출한 복수의 행동 패턴을 도출하는 단계; 및
상기 행동제어부가 상기 복수의 행동 패턴을 이용하여 상기 로봇이 상기 놀이 행동을 모사하도록 상기 로봇을 제어하는 단계;
를 포함하는 것을 특징으로 하는
로봇의 행동을 제어하기 위한 방법.
제1항에 있어서,
상기 로봇을 제어하는 단계는
상기 행동제어부가 상기 복수의 행동 패턴 각각에서 상기 심리 운동 전문가의 관절 사이의 거리 및 관절의 움직임의 방향을 포함하는 관절 운동 정보를 도출하는 단계;
상기 행동제어부가 상기 복수의 행동 패턴에 대응하여 상기 관절 운동 정보에 따라 심리 운동 전문가의 관절 사이의 거리 및 관절의 움직임의 방향을 로봇의 관절에 매핑하여 복수의 로봇 행동 패턴을 생성하는 단계; 및
상기 행동제어부가 상기 복수의 로봇 행동 패턴에서 로봇 행동 패턴과 로봇 행동 패턴 간의 로봇의 관절의 움직임을 보간하여 연속된 관절 운동 경로를 생성하는 단계; 및
상기 행동제어부가 상기 관절 운동 경로에 따라 상기 로봇의 관절을 움직이게 함으로써 상기 로봇이 심리 운동 전문가를 대신하여 심리 운동 전문가가 수행하는 놀이 행동을 모사하도록 상기 로봇을 제어하는 단계;
를 포함하는 것을 특징으로 하는
로봇의 행동을 제어하기 위한 방법.
제2항에 있어서,
상기 로봇의 관절에 매핑하는 단계는
상기 행동제어부가 상기 심리 운동 전문가의 관절 사이의 거리 및 관절의 움직임의 방향을 D-H(Denavit-Hartenberg) 파라미터에 따라 상기 로봇의 관절에 매핑하며,
상기 관절 사이의 거리는 서로 연결된 2개의 관절간의 최단 거리이고,
상기 관절의 움직임의 방향은 어느 하나의 관절의 회전축을 기준으로 연결된 관절의 회전축의 비틀림각인 것을 특징으로 하는
로봇의 행동을 제어하기 위한 방법.
제1항에 있어서,
상기 피검자의 감정 및 대화를 입력받는 단계 전,
데이터수집부가 심리 운동 전문가의 피검자와의 놀이 행동 영상을 수집하는 단계;
상기 데이터수집부가 상기 놀이 행동 영상에서 소정의 샘플링 비율에 따라 놀이 행동을 복수의 행동 패턴으로 추출하는 단계;
상기 데이터수집부가 상기 복수의 행동 패턴으로부터 심리 운동 전문가의 서로 연결된 2개의 관절간의 최단 거리를 나타내는 관절 사이의 거리 및 어느 하나의 관절의 회전축을 기준으로 연결된 관절의 회전축의 비틀림각인 관절의 움직임의 방향을 포함하는 관절 운동 정보를 검출하는 단계;
상기 데이터수집부가 놀이 행동에 대응하는 복수의 행동 패턴과, 복수의 행동 패턴 각각의 관절 운동 정보가 매핑된 놀이 행동 데이터를 생성하는 단계; 및
상기 놀이 행동 데이터를 제공하는 단계;
를 더 포함하는 것을 특징으로 하는
로봇의 행동을 제어하기 위한 방법.
제4항에 있어서,
상기 놀이 행동 데이터를 제공하는 단계 후, 그리고 상기 피검자의 감정 및 대화를 입력받는 단계 전,
학습부가 질의 및 응답을 포함하는 심리 운동 전문가의 피검자와의 대화 및 피검자의 감정이 입력 데이터이고, 입력 데이터에 대응하여 심리 운동 전문가가 수행한 놀이 행동을 레이블로 하는 학습 데이터를 마련하는 단계;
상기 학습부가 학습이 완료되지 않은 학습모델에 학습 데이터의 입력 데이터를 입력하는 단계;
학습모델이 상기 입력 데이터에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여 입력 데이터에 대응하여 심리 운동 전문가가 수행하는 놀이 행동일 확률을 나타내는 출력값을 산출하는 단계; 및
상기 학습부가 상기 출력값과 상기 레이블과의 차이가 최소가 되도록 학습모델의 가중치를 수정하는 최적화를 수행하는 단계;
를 더 포함하는 것을 특징으로 하는
로봇의 행동을 제어하기 위한 방법.
로봇의 행동을 제어하기 위한 장치에 있어서,
로봇과 피검자와의 대화 및 대화에 따라 검출된 감정이 입력되면, 학습모델을 통해 상기 대화 및 상기 감정을 분석하여 상기 대화 및 상기 감정에 대응하는 심리 운동 전문가의 놀이 행동을 도출하는 행동검출부;
상기 도출된 놀이 행동의 일부를 소정의 샘플링 비율에 따라 추출한 복수의 행동 패턴을 도출하고, 상기 복수의 행동 패턴을 이용하여 상기 로봇이 상기 놀이 행동을 모사하도록 상기 로봇을 제어하는 행동제어부;
를 포함하는 것을 특징으로 하는
로봇의 행동을 제어하기 위한 장치.
제6항에 있어서,
상기 행동제어부는
상기 복수의 행동 패턴 각각에서 상기 심리 운동 전문가의 관절 사이의 거리 및 관절의 움직임의 방향을 포함하는 관절 운동 정보를 도출하고,
상기 복수의 행동 패턴에 대응하여 상기 관절 운동 정보에 따라 심리 운동 전문가의 관절 사이의 거리 및 관절의 움직임의 방향을 로봇의 관절에 매핑하여 복수의 로봇 행동 패턴을 생성하고,
상기 복수의 로봇 행동 패턴에서 로봇 행동 패턴과 로봇 행동 패턴 간의 로봇의 관절의 움직임을 보간하여 연속된 관절 운동 경로를 생성하고,
상기 관절 운동 경로에 따라 상기 로봇의 관절을 움직이게 함으로써 상기 로봇이 심리 운동 전문가를 대신하여 심리 운동 전문가가 수행하는 놀이 행동을 모사하도록 상기 로봇을 제어하는 것을 특징으로 하는
로봇의 행동을 제어하기 위한 장치.
제7항에 있어서,
상기 행동제어부는
상기 심리 운동 전문가의 관절 사이의 거리 및 관절의 움직임의 방향을 D-H(Denavit-Hartenberg) 파라미터에 따라 상기 로봇의 관절에 매핑하며,
상기 관절 사이의 거리는 서로 연결된 2개의 관절간의 최단 거리이고,
상기 관절의 움직임의 방향은 어느 하나의 관절의 회전축을 기준으로 연결된 관절의 회전축의 비틀림각인 것을 특징으로 하는
로봇의 행동을 제어하기 위한 장치.