KR101307783B1 - 사회성 훈련 장치 및 그 방법 - Google Patents

사회성 훈련 장치 및 그 방법 Download PDF

Info

Publication number
KR101307783B1
KR101307783B1 KR1020110110626A KR20110110626A KR101307783B1 KR 101307783 B1 KR101307783 B1 KR 101307783B1 KR 1020110110626 A KR1020110110626 A KR 1020110110626A KR 20110110626 A KR20110110626 A KR 20110110626A KR 101307783 B1 KR101307783 B1 KR 101307783B1
Authority
KR
South Korea
Prior art keywords
information
trainee
robot
training mode
training
Prior art date
Application number
KR1020110110626A
Other languages
English (en)
Other versions
KR20130046200A (ko
Inventor
최종석
박성기
김동환
강해용
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020110110626A priority Critical patent/KR101307783B1/ko
Publication of KR20130046200A publication Critical patent/KR20130046200A/ko
Application granted granted Critical
Publication of KR101307783B1 publication Critical patent/KR101307783B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

사회성 훈련 장치 및 그 방법이 개시된다. 피훈련자의 행동 정보를 입력받는 입력부; 입력받은 피훈련자의 행동 정보를 분석하여 피훈련자의 상태를 분석하는피훈련자 상태 분석부; 피훈련자의 분석 상태에 따라 훈련 모드를 결정하는 훈련 모드 결정부; 결정된 훈련 모드에 따라 로봇을 제어하는 로봇 제어부를 포함하는 사회성 훈련 장치가 개시된다. 또한 피훈련자의 행동 정보를 입력받는 단계; 입력받은 피훈련자의 행동 정보를 분석하여 피훈련자의 상태를 분석하는 단계; 및 피훈련자의 분석 상태에 따라 훈련 모드를 결정하는 단계; 결정된 훈련 모드에 따라 로봇을 제어하는 단계를 포함하는 사회성 훈련 방법이 개시된다.

Description

사회성 훈련 장치 및 그 방법{sociability training apparatus and method thereof}
본 발명의 실시예는 사회성 훈련 장치 및 그 방법에 관한 것으로, 보다 구체적으로 자폐아동의 사회성을 훈련하는 장치 및 그 방법에 관한 것이다.
자폐아동은 사회성과 의사소통을 위한 기본 기능이라 말할 수 있는 Self-initiated interactions, Turn-taking, Imitation, Emotion Recognition, Joint Attention 그리고 Eye Contact의 결핍이라는 특징을 가지고 있다. 즉, 인지발달이 미숙한 상태로 사회성이 결여되어있다. 이러한 특징을 가진 자폐아동은 성인이 되어서도 사회활동에 어렵다. 적절한 시기에 적절한 치료가 이루어 지지 않는다면, 사람들과의 사회적 상호작용이 불가능하게 된다. 최근에는 대학병원, 연구기관을 중심으로 자폐증의 조기발견과 행동학적 치료가 활발히 진행되고 있으며, 비교적 사람의 감정표현보다 복잡하지 않는 로봇(장난감)을 이용하여 치료가 이루어지고 있다. 근래의 연구동향 또한, 로봇이 자폐아동의 주의집중을 이끌어 낼 수 있으며 또한 그 집중도의 향상되었다는 결과들이 도출되고 있다.
등록특허 10-1061171는 놀이치료를 위한 로봇 및 로봇 제어 시스템을 개시한다. 놀이치료를 위한 시각적 및 청각적 및 촉각적 및 행동적 자극을 출력하는 로봇; 조작자에 의해 상기 로봇이 출력하는 자극에 따른 아동의 반응을 반응정보로서 입력받아 외부로 전송함과 아울러, 상기 조작자의 요청에 따른 자극을 출력하도록 하는 제어명령을 상기 로봇으로 전송하는 이동 단말기; 상기 이동 단말기가 전송하는 반응정보를 입력받아 상기 로봇이 출력하는 자극을 선호 또는 비선호 또는 무반응 하는지를 판단하고, 상기 자극의 선호 또는 비선호 또는 무반응 판단에 따라 다음 자극을 선정하고, 선정된 다음 자극을 출력하도록 하는 제어명령을 상기 로봇으로 전송하는 서버를 구비하는 것을 특징으로 하는 놀이치료를 위한 로봇 제어 시스템을 개시하고 있다. 그러나 아동의 행동을 선호, 비선호, 무반응의 일차원적인 행동만을 분석할 수 있을 뿐으로, 아동의 행동을 다각도로 분석하여 그에 따라 로봇을 제어하여 아동의 사회성을 훈련시킬 수는 없었다.
등록특허 10-1061771
본 발명의 일 측면에 따르면, 자폐 아동의 행동을 다각도로 분석할 수 있다.
본 발명의 일 측면에 따르면, 자폐 아동의 행동에 따라 로봇을 제어함으로써 능동적이고 효율적으로 사회성을 훈련시킬 수 있다.
본 발명의 일 측면에 따르면, 피훈련자의 행동 정보를 입력받는 입력부; 상기 입력받은 피훈련자의 행동 정보를 분석하여 상기 피훈련자의 상태를 분석하는 피훈련자 상태 분석부; 상기 피훈련자의 분석 상태에 따라 훈련 모드를 결정하는 훈련 모드 결정부; 로봇 제어부를 포함하는 사회성 훈련 장치가 제공된다.
본 발명의 다른 측면에 따르면, 상기 입력부는, 상기 피훈련자의 EEG, 음성정보, 영상정보, 접촉정보를 입력받는, 사회성 훈련 장치가 제공된다.
본 발명의 다른 측면에 따르면, 상기 피훈련자 상태 분석부는, 상기 피훈련자의 행동 정보를 감정 정보와 친밀도 정보로 분류하는, 사회성 훈련 장치가 제공된다.
본 발명의 다른 측면에 따르면, 상기 감정정보는 즐거움 정보와 흥분 정보로 구성된, 사회성 훈련 장치가 제공된다.
본 발명의 다른 측면에 따르면, 상기 감정정보는 행복, 놀램, 분노, 공포, 슬픔, 혐오의 여섯가지 감정으로 분류되는, 사회성 훈련 장치가 제공된다.
본 발명의 다른 측면에 따르면, 상기 훈련 모드 결정부는, 상기 즐거움 정보와 흥분 정보에 기반하여 훈련모드를 결정하는, 사회성 훈련 장치가 제공된다.
본 발명의 다른 측면에 따르면, 상기 로봇 제어부는, 상기 훈련모드에 따른 로봇의 속도를 상기 흥분 정보에 기반하여 결정하는, 사회성 훈련 장치가 제공된다.
본 발명의 다른 측면에 따르면, 상기 로봇 제어부는, 상기 훈련모드에 따른 로봇의 행동범위를 상기 친밀도 정보에 기반하여 결정하는, 사회성 훈련 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 피훈련자의 행동 정보를 입력받는 단계;
상기 입력받은 피훈련자의 행동 정보를 분석하여 상기 피훈련자의 상태를 분석하는 단계; 및 상기 피훈련자의 분석 상태에 따라 훈련 모드를 결정하는 단계; 상기 결정된 훈련 모드에 따라 로봇을 제어하는 단계를 포함하는 사회성 훈련 방법이 제공된다.
본 발명의 다른 측면에 따르면, 상기 피훈련자의 행동 정보를 입력받는 단계는, 상기 피훈련자의 EEG, 음성정보, 영상정보, 접촉정보를 입력받는 단계를 포함하는, 사회성 훈련 방법이 제공된다.
본 발명의 다른 측면에 따르면, 상기 피훈련자의 상태를 분석하는 단계는 상기 피훈련자의 행동 정보를 감정 정보와 친밀도 정보로 분류하는 단계를 더 포함하는, 사회성 훈련 방법이 제공된다.
본 발명의 다른 측면에 따르면, 상기 감정정보는 즐거움 정보와 흥분 정보로 구성된, 사회성 훈련 방법이 제공된다.
본 발명의 다른 측면에 따르면, 상기 감정정보는 행복, 놀램, 분노, 공포, 슬픔, 혐오의 여섯가지 감정으로 분류되는, 사회성 훈련 방법이 제공된다.
본 발명의 다른 측면에 따르면, 상기 훈련 모드를 결정하는 단계는, 상기 즐거움 정보와 흥분 정보에 기반하여 훈련모드를 결정하는 단계를 포함하는, 사회성 훈련 방법이 제공된다.
본 발명의 다른 측면에 따르면, 상기 로봇을 제어하는 단계는, 상기 훈련모드에 따른 로봇의 속도를 상기 흥분 정보에 기반하여 결정하는, 사회성 훈련 방법이 제공된다.
본 발명의 다른 측면에 따르면, 상기 로봇을 제어하는 단계는, 상기 훈련모드에 따른 로봇의 행동범위를 상기 친밀도 정보에 기반하여 결정하는, 사회성 훈련 방법이 제공된다.
본 발명의 일 측면에 따르면, 자폐 아동과 로봇과의 친밀도 및 다양한 감정들을 분석하게 되는 효과가 있다.
본 발명의 일 측면에 따르면, 자폐 아동의 행동에 따라 능동적으로 로봇을 제어함으로써 종래 기술에 비하여 효율적으로 자폐 아동의 사회성을 훈련시킬 수 있는 효과가 있다.
도1은 본 발명의 일 실시예에 따른, 사회성 훈련 장치(100)와 로봇(200) 및 자폐 아동(300)과의 관계를 나타낸 도면이다.
도2는 본 발명의 일 실시예에 따른, 사회성 훈련 장치(100)의 내부 구성을 나타낸 도면이다.
도3은 본 발명의 일 실시예에 따른, 피훈련자 상태 분석부(120)가 피훈련자의 상태를 분석하는 3차원 그래프를 나타낸 도면이다.
도4는 본 발명의 일 실시예에 따른, 사회성 훈련 방법을 순서도로 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
도1은 본 발명의 일 실시예에 따른, 사회성 훈련 장치(100)와 로봇(200) 및 피훈련자(300)과의 관계를 나타낸 도면이다. 사회성 훈련 장치(100)는 피훈련자(300)의 다양한 행동들, 예를 들어 위치, 음성, 뇌파, 로봇(200)을 만지는 행위 등의 다양한 행동들을 분석하여서 이에 맞게 로봇(200)을 제어하는 신호를 로봇(200)에 전송한다. 로봇(200)은 전송받은 제어신호에 기반하여 동작하며, 이러한 로봇(200)의 동작이 피훈련자(300)의 사회성을 향상시킨다.
사회성 훈련 장치(100)는 피훈련자(300)의 행동 정보를 입력받아, 피훈련자(300)의 상태를 분석하고, 이에 의거하여 훈련 모드를 결정한다. 결정된 훈련 모드에 따라 로봇(200)을 제어함으로써 피훈련자(300)를 훈련시킨다. 사회성 훈련 장치(100)에 관련된 상세한 사항은 후술한다.
로봇(200)은 사회성 훈련 장치(100)의 제어를 받아 다양한 행동을 하는 역할을 한다. 일 실시예에서 로봇(200)은 인간과 같은 외관과 형태를 가지고 두 발로 걸을 수 있으며 두 팔이 달려 있어 손으로 뭔가를 조작할 수 있는 기능을 갖는다. 즉 로봇(200)은 휴머노이드 로봇일 수 있으며 복수의 관절을 가지고 있을 수 있다. 휴머노이드 로봇은 각 관절을 조절하는 것에 의해 팔 다리 등의 부위의 자세를 바꿀 수도 있다. 또한 걸음을 걷거나 물건을 던지거나 공을 차는 등의 동작을 할 수도 있다. 다른 실시예에서 로봇(200)은 로봇 구성요소의 일부만 휴머노이드 구성을 할 수도 있다. 예를 들어 상체 부위는 인간의 외관과 형태이나, 하체 부위는 바퀴를 연결하여 이동의 편이성을 용이하게 할 수도 있다.
피훈련자(300)는 로봇(200)이 동작을 표현하는 대상이 된다. 피훈련자(300)는 사회성에 장애가 있는 사람일 수 있으며, 사회성의 향상을 원하는 사람일 수도 있다. 예를 들어, 사회성과 의사소통 능력이 부족한 자폐아동일 수 있다. 그러나 특별히 피훈련자(300)에 제한을 두지는 아니한다.
도2는 본 발명의 일 실시예에 따른, 사회성 훈련 장치(100)의 내부 구성을 나타낸 도면이다. 사회성 훈련 장치(100)는 입력부(110), 피훈련자 상태 분석부(120), 훈련모드 결정부(130), 로봇 제어부(140)를 포함할 수 있다.
입력부(110)는 피훈련자(300)의 행동정보를 입력 받는 역할을 한다. 일 실시예에서, 피훈련자(300)의 행동정보는 피훈련자(300)의 EEG, 음성정보, 영상정보, 접촉정보일 수 있다. EEG는 뇌전도(electroencephalogram)이며 사람 또는 동물의 대뇌에 일어나는 전위변동, 또는 그것에 의하여 일어나는 뇌전류(brain current)를 두피(頭皮) 상에서 유도하여 기록한 전기기록도를 일컫는다. R. Caton(1875)이 토끼, 원숭이 등의 대뇌피질 전위변동을 관찰하면서 시작되어 H. Berger(1929)가 생물체의 두피상 유도를 성공하면서 활발한 연구가 진행되었다. 이것에 대한 뇌파를 베르거리듬이라고 부르게 되었다. 두피 상에서 유도되는 것은 수십㎶ 정도이며 이것을 증폭시켜 기록한다. 그 파형은 잡음과 같이 불규칙한 것이며 10Hz 전후의 약간 규칙적인 성분, 즉 α파(진폭이 크고 느린 파장)에 13~25Hz의 불규칙한 진폭이 작은 성분인 β파가 섞여 있다. 감각자극 또는 정신활동, 예를 들면 암산할 때에는 α파가 소실된다. 수면, 마취시 등에는 파의 변동이 크고 완만하여 δ파라고 한다. 또한 수면시나 간질(癲澗) 등에는 각각 특이한 파형이 나타난다. 어떠한 메커니즘으로 이러한 파가 여러 형을 나타내는지에 관해서는 여러 주장이 있으나 일치하지 않는다. 그러나 일실시예에서, 행복, 놀램, 분노, 공포, 슬픔, 혐오의 6가지의 경우 각각의 주파수 특성을 나타내는 EEG를 나타내며, 주파수 특성을 통하여 피훈련자(300)의 감정 상태를 6가지로 구분할 수 있다. 또한 피훈련자(300)가 특정 행동을 하는 경우에도 고유의 EEG가 발생할 수 있다. 예를 들어, 로봇(200)에 피훈련자(300)가 다가가는 경우와 도망가는 경우는 로봇(200)과의 친밀도에서의 차이가 긍정적인 경우와 부정적인 경우이며, 이가 EEG에서 표현될 수 있다. 이도 주파수 영역을 통하여 다양하게 표현될 수 있다.
음성 정보는 피훈련자(300)가 발생시키는 음파에 관련된 정보이다. 일 실시예에서, EEG와 마찬가지로 음성정보 또한 실험을 통하여 행복, 놀램, 분노, 공포, 슬픔, 혐오의 6가지의 경우 각각의 주파수 특성을 나타내며, 주파수 특성을 통하여 피훈련자(300)의 감정 상태를 6가지로 구분할 수 있다.
영상정보는 일 실시예에서, 피훈련자(300)의 거리정보, 자세정보, 얼굴 정보 등의 다양한 제스쳐 정보일 수 있다. 거리 정보의 경우 예를 들어 로봇(200)과 피훈련자(300)의 거리가 근거리인 경우 친밀도가 높으며, 원거리인 경우 친밀도가 낮다. 또한 피훈련자(300)가 로봇(200)을 정면으로 바라보는 경우는 측면으로 바라보거나 배면으로 바라보는 경우에 비해 친밀도가 더 높다. 얼굴 정보의 경우 로봇(200)을 향해 앞얼굴을 마주하고 있는 것이 옆얼굴이나 뒷머리를 마주하는 것보다 친밀도가 높을 수 있다.
접촉정보의 경우 일 실시예에서, 피훈련자(300)가 로봇(200)을 접촉하는 횟수, 면적, 시간 등에 관련된 정보일 수 있다. 일 실시예에서, 다양한 로봇(200)의 동작이 발생할 수 있는 바, 피훈련자(300)가 로봇(200)에 친밀도가 높은 경우는 로봇(200)에 두려움이 없고 접촉하는 횟수, 면적, 시간이 높은 경우 피훈련자(300)와 로봇(200)의 친밀도가 높다고 판단할 수 있을 것이다.
입력부(110)는 실시예에 따라, 피훈련자(300)의 전술한 정보들을 직접 획득할 수도 있고, 간접적으로 획득할 수 있다. 직접 획득하는 경우는 사회성 훈련 장치(100) 내부에 각종 정보를 수집할 수 있는 센서가 포함된 경우이다. 일 실시예에서, 입력부는 영상 정보를 획득하기 위하여 깊이 측정 센서(Depth Sensor)를 직접 이용할 수 있다. 깊이 측정 센서는 CMOS 센서와 결합된 적외선 레이저 프로젝터(Infrared laser projector)로 구성될 수 있으며 하나의 카메라에서 무수한 적외선 빔을 쏘고 반사되는 적외선을 통하여 어떠한 밝기 조건에서도 3차원을 감지할 수 있다. 가로와 세로 방향뿐만 아니라 센서와 멀고 가까운 거리까지 감지해 온몸이 어디 있는지 어떻게 행동하는지, 파악할 수 있다. 적외선 카메라로 깊이 영상을 얻어내는 방법은 Time of Flight 방식이 일반적이나, 패턴(Structured light)을 대상물에 투영하고 스테레오 매칭(Stereo matching)을 통해 깊이를 계산할 수도 있다. 다른 실시예에서 Stream sequence에서 Blob labeling 기법을 이용하여 거리 단차가 발생하는 동적 물체에 대하여 피훈련자(300)를 검출하며, 공간상의 위치를 추정하고 각 동적 물체에 대하여 id를 부여할 수도 있다. 다른 실시예에서 이러한 깊이 측정 센서는 로봇(200) 내부에 포함되어 로봇(200)이 정보를 취득하고, 입력부(110)로 전송하게 할 수도 있다. 또 다른 실시예에서, 피훈련자(300)가 내는 소리를 수집하는 음성 센서를 직접 또는 간접적으로 사용할 수도 있다. 또 다른 실시예에서, 피훈련자(300)가 로봇(200)을 접촉하는 내용을 입력하기 위한 터치 센서를 로봇(200)을 통해서 사용할 수도 있을 것이다. 터치 센서는 싱글(single) 터치뿐 아니라 멀터(multi) 터치의 감지도 가능하다. 터치 입력의 형식은 터치한 점의 위치나 새로운 점, 이동한 점, 놓은(release) 점 등의 상태와 같은 것이거나, 탭(tab), 더블 탭(double tab), 패닝(panning), 플리킹(Flicking), 드래그 앤드 드랍(drag and drop), 핀칭(Pinching) 및 스트레칭(Stretching) 등의 터치를 통한 몇 가지 졔스쳐와 같은 것일 수 있다. 또한 터치의 면적과 터치의 시간 등을 측정할 수 있음은 물론이다.
피훈련자 상태 분석부(120)는 입력받은 피훈련자(300)의 행동 정보를 분석하여 상기 피훈련자(300)의 상태를 분석하는 역할을 한다. 일 실시예에서, 피훈련자(300)의 행동 정보를 감정 정보(Emotion)와 친밀도 정보(Affinity)로 분류할 수 있다. 전술한 입력 정보의 경우 EEG의 파형 및 음성정보의 파형이 감정정보로 계산될 수 있다. 또한 로봇(200)과 피훈련자(300)와의 거리정보, 자세정보, 얼굴정보, 접촉정보가 친밀도 정보로 계산될 수 있다. 특히 감정정보는 즐거움 정보(Pleasure)와 흥분정보(Arousal)로 분류할 수 있다. 감정이 긍정적인지 긍정적이지 아닌지의 기준을 즐거움 정보라는 기준으로 먼저 평가하고, 그 정도가 어느정도인지를 흥분 정보로써 파악하게 된다. 전술한 행복, 놀램, 분노, 공포, 슬픔, 혐오의 6가지 정보들을 각각의 즐거움 정보와 흥분 정보로써 수치를 할당할 수 있으며, 이에 따라 감정들은 각각의 수치화된 감정 정보로써 표현이 된다. 친밀도 정보는 로봇(200)의 행위를 피훈련자(300)가 얼마나 무시하는 지의 여부로 알 수 있다. 무시하는 정도가 적은 경우에는 친밀도가 높은 경우이고 그 반대의 경우는 친밀도가 낮다고 할 수 있다. 친밀도 역시 그 수준에 따라 수치를 할당할 수 있으며, 이에 따라 각각 수치화될 수 있다. 일 실시예에서, 감정정보(즐거움정보와 흥분정보) 그리고 친밀도 정보와의 관계는 도3의 그래프를 통해서 설명한다. 도3은 피훈련자 상태 분석부(120)가 피훈련자(300)의 상태를 분석하는 3차원 그래프를 나타낸 도면이다. 구면 좌표계로 나타내고 r, θ, ψ의 인자를 갖는다 친밀도 정보(Affinity(θ))와 감정 정보(Emotion(ψ))는 내부 변수로 취할 수 있으며, 흥분정보(Arousal)와 즐거움 정보(Pleasure)와 수학식1과 같은 관계가 성립된다.
Figure 112011084460929-pat00001
단, 0≤Affinity(θ)≤π/2의 조건을 만족하는 반구면 좌표계이다.
훈련모드 결정부(130)는 상기 피훈련자(300)의 분석 상태에 따라 훈련 모드를 결정하는 역할을 한다. 일 실시예에서, 훈련모드 결정부는 즐거움 정보와 흥분 정보에 기반하여 훈련모드를 결정할 수 있다. 훈련 모드는 소정의 설정에 따라 복수의 훈련모드일 수 있으며, 훈련모드는 일 실시예에서, 흥분 정보가 매우 높은 경우(예를 들어, 피훈련자(300)의 돌발 행동이 있는 경우) 로봇(200)의 동작이 정지되는 일시 정지모드, 피훈련자(300)의 즐거움 정보가 매우 낮은 경우(예를 들어, 피훈련자(300)의 감정 상태가 슬픔인 경우) 피훈련자(300)의 로봇(200)행동 따라하기를 독려하는 독려모드 등이 있을 수 있다. 다른 실시예에서, 로봇(200)과 피훈련자(300)가 대화하게끔 하는 대화차례지키기(Turn-taking) 모드, 피훈련자(300)와 로봇(200)이 서로 눈을 마주보게 하는 눈맞춤(Eye contact) 모드, 피훈련자(300)의 주의를 집중시키는 공동 관심(Joint attention) 모드, 피훈련자(300)가 로봇(200)을 흉내는 흉내내기(Imitation)모드 등이 가능할 수도 있다. 이에 한정되지 않고, 다양한 훈련모드는 즐거움 정보와 흥분 정보에 의해서 결정될 수 있다.
로봇제어부(140) 상기 결정된 훈련 모드에 따라 로봇(200)을 제어하는 역할을 한다. 일 실시예에서, 훈련모드에 따라 로봇(200)의 동작 패턴이 정의되고, 정의된 동작 패턴을 로봇(200)에 전송하는 방식으로 로봇(200)을 제어하게 된다. 다른 실시예에서는, 동일한 훈련모드라고 할 지라도 훈련모드를 실행하는 로봇(200)의 속도 또는 행동범위가 다른 조건에 의해서 변경될 수도 있다. 예를 들어 감정정보를 구성하는 흥분정보가 높은 경우, 피훈련자(300)가 좀 더 빠른 반응을 할 수 있기 때문에, 로봇(200)의 속도를 증가시켜 피훈련자(300)와의 훈련을 좀 더 빠르게 진행할 수 있다. 또한 친밀도 정보가 높은 경우 로봇(200)의 동작범위는 확대되어, 로봇(200)이 넓은 공간에서 동작할 수 있고 이에 따라 피훈련자(300)의 사회성 훈련 효율이 증대되는 효과를 확보할 수 있다. 친밀도 정보가 낮은 경우 로봇(200)의 동작 범위를 축소시켜 특정 공간에 한정된 피훈련자(300)의 사회성 훈련을 할 수 있을 것이다.
도4는 본 발명의 일 실시예에 따른, 사회성 훈련 방법을 순서도로 나타낸 도면이다. 먼저 피훈련자(300)로부터 입력 정보를 수신한다(S401). 일 실시예에서, 피훈련자(300)의 행동정보는 피훈련자(300)의 EEG, 음성정보, 영상정보, 접촉정보일 수 있다. 수신한 입력정보를 통해 피훈련자(300)의 상태를 분석한다(S402). 일 실시예에서 피훈련자(300)의 상태 분석은 피훈련자(300)의 행동 정보를 감정 정보(Emotion)와 친밀도 정보(Affinity)로 분류하여 분석할 수 있고, 특히 감정정보는 즐거움 정보(Pleasure)와 흥분정보(Arousal)로 분류할 수 있다. 그 후 분석된 피훈련자(300)의 상태에 따라 훈련 모드를 결정한다(S403). 일 실시예에서 훈련 모드의 결정은 즐거움 정보와 흥분 정보에 기반하여 이루어질 수 있다. 훈련 모드의 다변화를 주기 위하여 훈련 모드 내에서의 로봇(200)의 속도 및 행동 범위를 결정하게 된다(S404). 일 실시예에서 흥분 정보가 높은 경우 로봇(200)의 속도를 증가시키며, 친밀도 정보가 높은 경우 행동 범위를 확장할 수 있다. 이러한 조건을 통합하여 로봇(200)을 제어한다(S405). 일 실시예에서 제어신호를 로봇(200)에 전송하여 로봇(200)을 제어할 수 있다. 이를 통해 피훈련자(300)의 사회성을 훈련시키며 사회성을 향상시킬 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 사회성 훈련 장치
110: 입력부
120: 피훈련자 상태분석부
130: 훈련모드 결정부
140: 로봇 제어부
200: 로봇
300: 피훈련자

Claims (16)

  1. 피훈련자의 행동 정보를 입력받는 입력부;
    상기 입력받은 피훈련자의 행동 정보를 분석하여 상기 피훈련자의 상태를 분석하는 피훈련자 상태 분석부;
    상기 피훈련자의 분석 상태에 따라 훈련 모드를 결정하는 훈련 모드 결정부;
    상기 결정된 훈련 모드에 따라 로봇을 제어하는 로봇 제어부를 포함하되,
    상기 피훈련자 상태 분석부는, 상기 피훈련자의 행동 정보를 감정 정보 및 상기 피훈련자와 상기 로봇과의 친밀도 정보로 분류하고,
    상기 친밀도 정보는 상기 피훈련자와 상기 로봇의 거리정보, 자세정보, 얼굴정보, 접촉정보를 포함하는 것을 특징으로 하는 사회성 훈련 장치.
  2. 제1항에 있어서,
    상기 입력부는, 상기 피훈련자의 EEG, 음성정보, 영상정보, 접촉정보를 입력받는, 사회성 훈련 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 감정정보는 즐거움 정보와 흥분 정보로 구성된, 사회성 훈련 장치.
  5. 제1항에 있어서,
    상기 감정정보는 행복, 놀램, 분노, 공포, 슬픔, 혐오의 여섯가지 감정으로 분류되는, 사회성 훈련 장치.
  6. 제4항에 있어서,
    상기 훈련 모드 결정부는, 상기 즐거움 정보와 흥분 정보에 기반하여 훈련모드를 결정하는, 사회성 훈련 장치.
  7. 제4항에 있어서,
    상기 로봇 제어부는, 상기 훈련모드에 따른 로봇의 동작 속도를 상기 흥분 정보에 기반하여 결정하는, 사회성 훈련 장치.
  8. 제1항에 있어서,
    상기 로봇 제어부는, 상기 훈련모드에 따른 로봇의 행동범위를 상기 친밀도 정보에 기반하여 결정하는, 사회성 훈련 장치.
  9. 피훈련자의 행동 정보를 입력받는 단계;
    상기 입력받은 피훈련자의 행동 정보를 분석하여 상기 피훈련자의 상태를 분석하는 단계; 및
    상기 피훈련자의 분석 상태에 따라 훈련 모드를 결정하는 단계;
    상기 결정된 훈련 모드에 따라 로봇을 제어하는 단계를 포함하되,
    상기 피훈련자의 상태를 분석하는 단계는 상기 피훈련자의 행동 정보를 감정 정보 및 상기 피훈련자와 상기 로봇과의 친밀도 정보로 분류하는 단계를 더 포함하고,
    상기 친밀도 정보는 상기 피훈련자와 상기 로봇의 거리정보, 자세정보, 얼굴정보, 접촉정보를 포함하는 것을 특징으로 하는 사회성 훈련 방법.
  10. 제9항에 있어서,
    상기 피훈련자의 행동 정보를 입력받는 단계는, 상기 피훈련자의 EEG, 음성정보, 영상정보, 접촉정보를 입력받는 단계를 포함하는, 사회성 훈련 방법.
  11. 삭제
  12. 제9항에 있어서,
    상기 감정정보는 즐거움 정보와 흥분 정보로 구성된, 사회성 훈련 방법.
  13. 제9항에 있어서,
    상기 감정정보는 행복, 놀램, 분노, 공포, 슬픔, 혐오의 여섯가지 감정으로 분류되는, 사회성 훈련 방법.
  14. 제12항에 있어서,
    상기 훈련 모드를 결정하는 단계는, 상기 즐거움 정보와 흥분 정보에 기반하여 훈련모드를 결정하는 단계를 포함하는, 사회성 훈련 방법.
  15. 제12항에 있어서,
    상기 로봇을 제어하는 단계는, 상기 훈련모드에 따른 로봇의 동작 속도를 상기 흥분 정보에 기반하여 결정하는, 사회성 훈련 방법.
  16. 제9항에 있어서,
    상기 로봇을 제어하는 단계는, 상기 훈련모드에 따른 로봇의 행동범위를 상기 친밀도 정보에 기반하여 결정하는, 사회성 훈련 방법.










KR1020110110626A 2011-10-27 2011-10-27 사회성 훈련 장치 및 그 방법 KR101307783B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110110626A KR101307783B1 (ko) 2011-10-27 2011-10-27 사회성 훈련 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110110626A KR101307783B1 (ko) 2011-10-27 2011-10-27 사회성 훈련 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130046200A KR20130046200A (ko) 2013-05-07
KR101307783B1 true KR101307783B1 (ko) 2013-09-12

Family

ID=48657954

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110110626A KR101307783B1 (ko) 2011-10-27 2011-10-27 사회성 훈련 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101307783B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101534196B1 (ko) * 2013-11-21 2015-07-09 한국과학기술연구원 피실험자의 반응을 기초로 생성된 훈련 시나리오를 제공하는 장치 및 그 방법
US20190111565A1 (en) * 2017-10-17 2019-04-18 True Systems, LLC Robot trainer

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102196167B1 (ko) 2018-09-17 2020-12-30 한국전자통신연구원 사회 지능 평가 방법 및 이를 위한 장치
CN113084794A (zh) * 2020-01-08 2021-07-09 重庆第二师范学院 一种儿童思维训练用机器人
CN116312081B (zh) * 2022-09-07 2024-05-07 中山大学 一种基于球类游戏的儿童孤独症治疗装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020015547A (ko) * 2000-08-22 2002-02-28 심규석 뇌파 분석을 통한 감성 치료용 정보 생성 방법 및 이에이용되는 뇌파 분석장치 및 감성 치료용 정보가 기록된기록매체
KR101061771B1 (ko) * 2009-11-30 2011-09-05 재단법인대구경북과학기술원 놀이치료를 위한 로봇 및 로봇 제어 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020015547A (ko) * 2000-08-22 2002-02-28 심규석 뇌파 분석을 통한 감성 치료용 정보 생성 방법 및 이에이용되는 뇌파 분석장치 및 감성 치료용 정보가 기록된기록매체
KR101061771B1 (ko) * 2009-11-30 2011-09-05 재단법인대구경북과학기술원 놀이치료를 위한 로봇 및 로봇 제어 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101534196B1 (ko) * 2013-11-21 2015-07-09 한국과학기술연구원 피실험자의 반응을 기초로 생성된 훈련 시나리오를 제공하는 장치 및 그 방법
US20190111565A1 (en) * 2017-10-17 2019-04-18 True Systems, LLC Robot trainer

Also Published As

Publication number Publication date
KR20130046200A (ko) 2013-05-07

Similar Documents

Publication Publication Date Title
US10593349B2 (en) Emotional interaction apparatus
US11376740B2 (en) Autonomously acting robot that recognizes direction of sound source
US11000952B2 (en) More endearing robot, method of controlling the same, and non-transitory recording medium
Melo et al. Project INSIDE: towards autonomous semi-unstructured human–robot social interaction in autism therapy
KR101307783B1 (ko) 사회성 훈련 장치 및 그 방법
Szwoch et al. Emotion recognition for affect aware video games
Petric et al. Four tasks of a robot-assisted autism spectrum disorder diagnostic protocol: First clinical tests
WO2018084170A1 (ja) 人を識別する自律行動型ロボット
Chou et al. Learning touch preferences with a tactile robot using dopamine modulated STDP in a model of insular cortex
JP2009101057A (ja) 生体情報処理装置、生体情報処理方法及びプログラム
JP6935774B2 (ja) 推定システム、学習装置、学習方法、推定装置及び推定方法
KR102048551B1 (ko) 스마트 기기를 이용한 vr 재활 훈련 시스템 및 방법
Robitaille et al. Increased affect-arousal in VR can be detected from faster body motion with increased heart rate
Michaud et al. Assistive technologies and child-robot interaction
KR20210076561A (ko) Vr콘텐츠를 이용한 치매 예방 인지 훈련 시스템
KR20130137262A (ko) 사회성 훈련 장치 및 그 방법
Singh et al. Physiologically attentive user interface for robot teleoperation: real time emotional state estimation and interface modification using physiology, facial expressions and eye movements
WO2020105309A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Lee et al. Shybot: friend-stranger interaction for children living with autism
Augello et al. Robot inner perception capability through a soft somatosensory system
KR101727941B1 (ko) 상호작용 훈련 장치와 방법, 그리고 그 시스템
KR101736452B1 (ko) 자극 반응 분석 시스템
KR102048546B1 (ko) 가상현실을 이용한 재활 훈련 시스템 및 방법
Naeem et al. An AI based Voice Controlled Humanoid Robot
KR102366054B1 (ko) 말을 이용한 힐링 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160901

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 6