KR102222911B1 - 로봇 상호작용 시스템 및 그를 위한 프로그램 - Google Patents

로봇 상호작용 시스템 및 그를 위한 프로그램 Download PDF

Info

Publication number
KR102222911B1
KR102222911B1 KR1020190016190A KR20190016190A KR102222911B1 KR 102222911 B1 KR102222911 B1 KR 102222911B1 KR 1020190016190 A KR1020190016190 A KR 1020190016190A KR 20190016190 A KR20190016190 A KR 20190016190A KR 102222911 B1 KR102222911 B1 KR 102222911B1
Authority
KR
South Korea
Prior art keywords
information
user
robot
interaction
intention
Prior art date
Application number
KR1020190016190A
Other languages
English (en)
Other versions
KR20200059112A (ko
Inventor
조혜경
Original Assignee
한성대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한성대학교 산학협력단 filed Critical 한성대학교 산학협력단
Publication of KR20200059112A publication Critical patent/KR20200059112A/ko
Application granted granted Critical
Publication of KR102222911B1 publication Critical patent/KR102222911B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 실시예는 로봇의 상호작용에 있어서, 발화 내용과 제스처 또는 표정이 상황에 맞게 자연스럽게 대응될 수 있도록 하면서도, 빈번하게 발생하는 예측 불가능한 상황들에 대하여 유연하고 다양한 대응이 이루어질 수 있도록 하는 로봇 상호작용 시스템 및 그를 위한 프로그램에 관한 것이다.

Description

로봇 상호작용 시스템 및 그를 위한 프로그램{System for Providing User-Robot Interaction and Computer Program Therefore}
본 실시예는 로봇 상호작용 시스템 및 그를 위한 프로그램에 관한 것이다. 보다 상세하게는 사용자와 로봇 간에 상호작용 과정이 보다 유연하고 효율적으로 이루어질 수 있도록 하는 로봇 상호작용 시스템 및 그를 위한 프로그램에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 10여년 사이, 로봇이 교육, 게임, 치료 등의 목적으로 활용되기 시작하면서, 로봇과 인간의 원활한 의사소통 기술이 로봇 시장의 중요한 기술로 인식되고 있다. 특히, 로봇의 의도를 대화 상황에서 적절히 표현함으로써 다양한 서비스 콘텐츠를 사용자에게 보다 효과적으로 전달하고자 하는 연구가 이루어지고 있다. 이에 관한 기존 선행연구들은 대부분 몇 가지 전형적인 시나리오에서 로봇의 감정이나 상황, 의도 등을 인간이 이해할 수 있도록 얼굴표정, 제스처, 음성 등을 이용해 자연스럽게 표현하는 것에 중점을 두고 있다. 즉, 이러한 멀티 모달(Multi-Modal) 방법으로 인간과 로봇이 자연스러운 상호작용을 할 수 있도록, 이들 모달리티들을 적절히 코디네이션하는 것은 매우 중요하다.
일 예로, 기존의 대부분의 연구에서는 타임라인 기반의 인터페이스가 많이 활용되고 있다. 하지만, 이러한, 타임라인 기반의 인터페이스의 경우 발화 내용과 제스처 또는 표정이 자연스럽게 대응되지 않아서 수정해야 할 필요가 있는 경우, 타임라인에서 동작이나 표정의 시작 시점을 옮기고 실행해 보면서 만족스러울 때까지 반복해야 하는 불편이 있다.
따라서, 로봇의 상호작용에 있어서, 발화 내용과 제스처 또는 표정이 상황에 맞게 자연스럽게 대응될 수 있도록 하면서도, 빈번하게 발생하는 예측 불가능한 상황들에 대하여 유연하고 다양한 대응이 이루어질 수 있도록 하는 새로운 기술을 필요로 한다.
본 실시예는 로봇의 상호작용에 있어서, 발화 내용과 제스처 또는 표정이 상황에 맞게 자연스럽게 대응될 수 있도록 하면서도, 빈번하게 발생하는 예측 불가능한 상황들에 대하여 유연하고 다양한 대응이 이루어질 수 있도록 하는 로봇 상호작용 시스템 및 그를 위한 프로그램을 제공하는 데 그 목적이 있다.
본 실시예는, 프로세서 및 메모리를 구비하는 데이터 처리기기에 결합되어, 상호작용 시나리오 에디터에서 GUI 인터페이스를 이용하여 입력받은 복수의 기능 블록 간의 조합으로 로봇에 대한 발화, 제스쳐 및 표정 중 적어도 하나 이상을 포함하는 상호작용 시나리오를 생성하는 과정; 시나리오 플레이어에서 상기 로봇으로부터 사용자 행동 데이터를 수집하는 과정; 상기 시나리오 플레이어에서 상기 사용자 행동 데이터를 분석한 분석 결과를 생성하는 과정; 상기 시나리오 플레이어에서 상기 상호작용 시나리오 중 상기 분석 결과에 포함된 사용자의도 인지정보에 따른 기 정의된 이벤트 행동을 선별하는 과정; 지능형 모듈에서 상기 분석 결과에 포함된 사용자의도 미인지정보를 추출하고, 상기 사용자의도 미인지정보를 분석하여 사용자의도 추정정보를 생성하는 과정; 상기 시나리오 플레이어에서 상기 사용자의도 추정정보에 대응하는 지능형 행동을 생성하는 과정; 및 상기 시나리오 플레이어에서 상기 이벤트 행동 및 상기 지능형 행동을 기반으로 상호작용 행동 명령을 생성하여 상기 로봇으로 전송하는 과정을 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 로봇 상호작용 프로그램을 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 로봇 상호작용 시스템에 있어서, GUI 인터페이스를 이용하여 입력받은 복수의 기능 블록 간의 조합으로 로봇에 대한 발화, 제스쳐 및 표정 중 적어도 하나 이상을 포함하는 상호작용 시나리오를 생성하는 상호작용 시나리오 에디터; 상기 로봇으로부터 수집된 사용자 행동 데이터에 대한 분석 결과에 기반하여, 사용자의도 인지정보에 대응하는 상기 상호작용 시나리오 내 기 정의된 이벤트 행동을 추출하고, 사용자의도 미인지정보에 대응하는 사용자의도 추정정보에 따라 지능형 행동을 생성하고, 상기 이벤트 행동 및 상기 지능형 행동을 기반으로 상호작용 행동 명령을 생성하여 상기 로봇으로 전송하는 시나리오 플레이어; 및 상기 분석 결과에 포함된 상기 사용자의도 미인지정보를 추출하고, 상기 사용자의도 미인지정보를 분석하여 상기 사용자의도 추정정보를 생성하는 지능형 모듈을 포함하는 것을 특징으로 하는 로봇 상호작용 시스템을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 로봇의 상호작용에 있어서, 발화 내용과 제스처 또는 표정이 상황에 맞게 자연스럽게 대응될 수 있도록 하면서도, 빈번하게 발생하는 예측 불가능한 상황들에 대하여 유연하고 다양한 대응이 이루어질 수 있도록 하는 효과가 있다.
도 1은 본 실시예에 따른 로봇 상호작용 시스템을 나타내는 도면이다.
도 2a 내지 도 2c는 본 실시예에 따른 GUI 인터페이스를 예시한 도면이다.
도 3 내지 도 4는 본 실시예에 따른 로봇 상호작용 방법을 설명하기 위한 예시도이다.
도 5는 본 실시예에 따른 가상 로봇을 설명하기 위한 예시도이다.
도 6은 본 실시예에 따른 로봇 상호작용 방법을 설명하기 위한 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부,' '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 발명은 사용자가 발화, 제스쳐, 얼굴 표정 등으로 구성되는 로봇의 멀티모달 표현인 상호작용 시나리오(Interaction Scenario)를 쉽게 정의할 수 있는 그래픽 유저 인터페이스(GUI) 기반의 전용 입력 환경을 제공한다. 본 발명에 따르면, 사용자는 로봇과 상호 작용하는 자신만의 시나리오를 손쉽게 작성하여 로봇에 적용할 수 있다.
또한, 본 발명은 하이 레벨 지능형 함수의 활용을 통해, 빈번하게 발생하는 예측 불가능한 상황들에 대하여 유연하고 다양한 대응이 이루어질 수 있도록 하는 로봇 표현 지능화 기술을 제공한다.
도 1은 본 실시예에 따른 로봇 상호작용 시스템을 나타내는 도면이다.
도 1을 참조하면, 본 실시예에 따른 로봇 상호작용 시스템은 상호작용 시나리오 에디터(110), 클라우드 기반의 실행 엔진 및 로봇(170, 180)을 포함할 수 있다. 여기서, 로봇 상호작용 시스템에 포함된 구성요소들은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 로봇 상호작용 시스템에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.
상호작용 시나리오 에디터(110)는 로봇의 서비스 시나리오 편집 및 실행을 확인할 수 있는 클라우드 기반의 개발 환경을 제공한다. 이러한, 상호작용 시나리오 에디터(110)는 데스크 탑 환경에서 동작하며, 크로스 플랫폼을 지원한다.
상호작용 시나리오 에디터(110)는 사용자가 각 모달리티별 발화 내용, 제스쳐, 및 얼굴 표정으로 구성되는 로봇의 멀티모달 표현인 상호작용 시나리오를 쉽게 정의할 수 있도록 그래픽 유저 인터페이스(GUI) 기반의 전용 입력 환경을 제공한다. 본 실시예에 있어서, 상호작용 시나리오 에디터(110)는 블록 기반으로 시나리오를 작성 및 편집, 실행할 수 있는 시나리오 뷰를 지원한다.
도 2a를 참조하면, 상호작용 시나리오 에디터(110)는 그래픽 유저 인터페이스를 이용하여 입력받은 복수의 기능 블록 간의 조합을 통해 로봇에 대한 발화, 제스쳐 및 표정 중 적어도 하나 이상을 포함하는 상호작용 시나리오를 생성할 수 있다.
복수의 기능 볼록은 Expression 블록, Say 블록, 스위치 블록 등 다양한 기능 블록으로 구성될 수 있으며, 각각 기능 블록을 클릭 시 해당 기능 블록과 관련한 로봇의 발화, 동작 및 표정을 편집할 수 있는 행동 편집 화면을 제공한다.
도 2b를 참조하면, 행동 편집 화면은 발화 데이터를 입력할 수 있는 입력 필드 및 발화 데이터가 발화되는 동안 혹은 발화 전후에 취해질 로봇의 제스쳐와 표정을 기 정의된 기본 단위의 표현 범위 내에서 선택할 수 있도록 하는 선택 필드 중 적어도 하나 이상을 포함하여 구성될 수 있다.
한편, 도 2b는 행동 편집 화면을 통해, 인사 시나리오와 관련된 로봇의 멀티 모달 표현을 설정하는 것을 예시하였다. 사용자는 텍스트 필드에 '안녕하세요'를 입력하고, 제스쳐 필드에 제시되는 일련의 기본 단위의 제스처들의 목록 중에서 '하이'를 선택하고, 표정 필드에서 제시되는 일련의 기본 단위의 표정들의 목록 중에서 '행복'을 선택할 수 있다. 또한, 사용자는 제스처 혹은 표정의 시작 타이밍, 지속시간 등을 설정할 수도 있다.
사용자는, 추가(+) 버튼을 선택하여, 새로운 텍스터-제스처-표정의 서브표현 셋을 추가적으로 설정할 수 있다.
복수의 텍스터-제스처-표정의 서브표현 셋들이 설정된 후, 사용자에 의해 <저장하기> 버튼이 선택되면, 상호작용 시나리오 에디터(110)는 입력된 서브표현 셋들로 구성된 하나의 시나리오를 XML 형식으로 변환한다. 이와 같은 방식으로 사용자는 상호작용 시나리오 에디터(110)가 제공하는 GUI 기반의 전용 입력 환경을 통해 복수의 시나리오를 손쉽게 생성할 수 있다.
한편, 본 실시예에 있어서, 상호작용 시나리오 에디터(110)에 의해 생성된 상호작용 시나리오들은 XML 포맷의 형식으로 저장되며, 도 2c는 도 2b의 예시에서 설정된 인사(Greeting) 시나리오에 대한 예시적인 XML 포맷이다.
클라우드 기반의 실행 엔진은 데이터 매니저(120), 시나리오 데이터베이스(130), 시나리오 플레이어(140), 지능형 모듈(150) 및 외부 서버장치(160)를 지원한다.
데이터 매니저(120)는 상호작용 시나리오 에디터(110)로부터 수신되는 XML 포맷의 상호작용 시나리오들을 시나리오 데이터베이스(130)에 저장하고, 이를 필요 시 시나리오 플레이어(140)로 제공하는 기능을 수행한다.
시나리오 플레이어(140)는 로봇으로부터 수집된 사용자 행동 데이터 및 상호작용 시나리오 에디터(110)로부터 생성된 상호작용 시나리오를 기반으로 로봇의 동작을 제어하기 위한 상호작용 행동 명령을 생성하여 로봇으로 제공하는 기능을 수행한다.
보다 자세하게는, 시나리오 플레이어(140)는 사용자의 행위, 예컨대 발화(speech) 등에 의해 발생된 이벤트(event)들을 핸들링(handling)하고, 상호작용 시나리오 에디터(110)에 의해 생성된 상호작용 시나리오 중 이벤트에 대응하는 이벤트 행동들을 렌더링(rendering)하는 작업을 수행하여, 로봇의 동작을 제어하기 위한 신호를 출력할 수 있다.
본 실시예에 있어서, 시나리오 플레이어(140)는 사용자의 행위에 의해 발생된 이벤트들을 핸들링하는 과정에 있어서, 지능형 모듈(150)과의 연동을 통해 하이 레벨 지능형 함수를 활용할 수 있으며, 이를 통해, 빈번하게 발생하는 예측 불가능한 상황들에 대하여 유연하고 다양한 대응이 이루어질 수 있도록 표현 지능화 기술을 제공한다.
이를 위해, 본 실시예에 따른 시나리오 플레이어(140)는 이벤트 핸들러(142) 및 제어부(144)를 포함할 수 있다.
이벤트 핸들러(142)는 로봇(170, 180)과 사용자 간의 상호 작용 도중 발생된 이벤트(event)를 핸들링(handling)하는 기능을 수행한다.
본 실시예에 있어서, 이벤트 핸들러(142)는 이벤트 검출을 위해 로봇(170, 180)으로부터 수집된 사용자 행동 데이터에 대한 분석을 수행할 수 있다. 여기서, 사용자 행동 데이터는, 로봇(170, 180)이 사용자와의 상호 작용 도중 각종 센서들을 통해 감지한 사용자의 각종 행위(예: 표정, 움직임 발화 등)와 관련한 오디오 데이터, 텍스트 데이터 및 비디오 데이터 등일 수 있다. 한편, 이벤트 핸들러(142)는 주기적으로, 로봇(170, 180)과 통신을 수행하고, 이를 통해, 기 송출된 상호작용 행동명령에 대한 동작의 완료가 확인된 시점에 상기의 사용자 행동 데이터에 대한 분석을 수행할 수 있다.
이벤트 핸들러(142)는 사용자 행동 데이터를 분석하여 분석 결과를 생성한다. 본 실시예에 있어서, 이벤트 핸들러(142)는 사용자 행동 데이터를 분석하여 상호작용 시나리오와 관련하여 기 정의된 이벤트 조건과의 매칭 여부를 확인하고, 확인결과에 따라 사용자 행동 데이터를 사용자의도 인지정보와 사용자의도 미인지정보로 분류할 수 있다.
한편, 이벤트 핸들러(142)는 사용자 행동 데이터 중 기 정의된 이벤트 조건과 매칭되는 정보들에 대해서는 사용자의도 인지정보로, 기 정의된 이벤트 조건과 매칭되지 않는 정보들에 대해서는 사용자의도 미인지정보로 분류할 수 있다. 예컨대, 이벤트 핸들러(142)는 사용자 행동 데이터 중 정해진 표현을 벗어나, 추가적인 분석을 필요로하는 정보들을 사용자의도 미인지정보로서 분류할 수 있다.
이벤트 핸들러(142)는 상호작용 시나리오 중 분석 결과에 포함된 사용자의도 인지정보에 따른 기 정의된 이벤트 행동을 선별한다. 이를 위해, 이벤트 핸들러(142)는 사용자의도 인지정보에 대응하는 상호작용 시나리오를 시나리오 데이터베이스(130) 상에서 추출할 수 있다. 또한, 이벤트 핸들러(142)는 상호작용 시나리오의 해석 및 실행, 사용자 행동 데이터의 분석을 위한 다양한 노들들을 구비할 수 있다. 예컨대, 이벤트 핸들러(142)는 이벤트 처리, 표현 명령 노드(Expression, TTS, Motion, Facial), 인식 노드(Voice Recognition), 제어 노드(If, Switch), 연산 노드(Variable) 등을 포함할 수 있다.
이벤트 핸들러(142)는 분석 결과에 따라 사용자 행동 데이터 내 사용자의도 미인지정보의 존재가 확인되는 경우 지능형 모듈(150)을 선택적으로 호출한다. 이후, 이벤트 핸들러(142)는 지능형 모듈(150)로부터 해당 사용자의도 미인지정보에 대하여 산출한 사용자의도 추정정보를 수신하고, 이를 제어부(144)로 전송한다. 한편, 지능형 모듈(150)이 사용자의도 미인지정보에 상응하는 사용자의도 추정정보를 산출하는 방법은 지능형 모듈(150)을 설명하는 과정에서 보다 자세히 설명하도록 한다.
제어부(144)는 사용자에 의해 발생된 이벤트에 대응하는 로봇(170, 180)의 상호작용 행동을 플래닝하고, 플래닝 결과에 따라 로봇(170, 180)과 관련한 각종 동작들을 조합하는 렌더링 작업을 수행할 수 있다. 그리고, 제어부(144)는 렌더링 결과에 따라 (170, 180)의 동작을 제어하기 위한 신호(즉, 상호작용 행동 명령)를 출력할 수 있다. 즉, 본 실시예에 따른 제어부(144)는 로봇(170, 180)의 상호작용과 관련한 플레너(Planner) 및 아비터(Arbiter)로서의 기능을 수행한다.
본 실시예에 있어서, 제어부(144)는 이벤트 핸들러(142)로부터 사용자 행동 데이터 내 사용자의도 인지정보에 대하여 선별된 이벤트 행동 및 사용자의도 미인지정보에 대하여 수집된 사용자의도 추정정보 중 일부 또는 전부를 수집하고, 이를 기반으로, 상기의 상호작용 행동을 플래닝 및 출력할 수 있다.
제어부(144)는 사용자의도 미인지정보에 대하여 수집된 사용자의도 추정정보가 수집되는 경우, 사용자의도 추정정보에 대응하는 지능형 행동을 생성한다. 본 실시예에 있어서, 제어부(144)는 사용자의도 추정정보에 따라 앞서, 사용자 행동 데이터 내 사용자의도 미인지정보가 어떤 범주에 속하는지 확인하고, 확인결과에 따라 사용자의도 미인지정보와 관련한 로봇의 표현동작들을 설계하여 상기의 지능형 행동을 생성할 수 있다.
예컨대, 제어부(144)는 사용자의도 미인지정보가 '손을 든 사람을 지시하며~'인 경우, 손을 든 사람의 위치를 지시하는 사용자의도 추정정보를 수집하고, 이를 기반으로, '왼쪽 사람을 지시하며~'와 같은 지능형 행동을 생성할 수 있다.
또한, 제어부(144)는 사용자의도 미인지정보가 유보적 혹은 모호한 대답인 경우, 해당 대답이 긍정 또는 부정인지 여부를 지시하는 사용자의도 추정정보를 수집하고, 이를 기반으로, 긍정 또는 부정과 관련한 지능형 행동을 생성할 수 있다.
또한, 제어부(144)는 사용자의도 미인지정보가 '우아하게~'인 경우 우아하게가 지시하는 공간 및 속도 범위를 지시하는 사용자의도 추정정보를 수집하고, 이를 기반으로, '공간을 넓게쓰고 속도를 천천히~'와 같은 지능형 행동을 생성할 수 있다.
본 실시예에서는, 제어부(144)가 사용자의도 추정정보에 대응하여 지능형 행동을 생성하는 방법에 대하여 특정 상황으로 한정하지는 않는다.
제어부(144)는 사용자 인지정보에 대하여 산출된 이벤트 행동 및 사용자의도 미인지정보에 대하여 산출된 지능형 행동을 기반으로 상호작용 행동 명령을 생성하여 로봇(170, 180)으로 전달한다.
제어부(144)는 상호작용 시나리오 중 지능형 행동에 대응되는 대응 이벤트 행동을 선별하고, 대응 이벤트 행동을 기반으로 상호작용 행동 명령을 생성할 수 있다. 예컨대, 제어부(144)는 지능형 행동이 긍정과 관련하여 생성된 행동인 경우, 상호작용 시나리오 중 긍정 선택과 관련한 대응 이벤트 행동을 선별하고, 이를 기반으로 상호작용 행동 명령을 생성할 수 있다.
다른 실시예에서, 제어부(144)는 지능형 행동을 기반으로 기 선별된 이벤트 행동의 동작 파라미터를 적응적으로 변경하고, 이를 기반으로 상호작용 행동 명령을 생성할 수 있다. 예컨대, 제어부(144)는 지능형 행동이 우아한 행동과 관련하여 생성된 행동인 경우, 손을 흔드는 행동에 대하여 기 정의된 동작 파라미터를 지능형 행동에 맞쳐 적응적으로 변경하고, 이를 기반으로, 상호작용 행동 명령을 생성할 수 있다.
또 다른 실시예에서, 제어부(144)는 외부 서버장치(160)로부터 지원되는 API 정보를 수집하고, 이를 추가로 활용하여 상기의 상호작용 행동 명령을 생성할 수 있다.
한편, 본 실시예에서는 제어부(144)가 지능형 행동 및 이벤트 행동을 기반으로 상호작용 행동 명령을 생성하는 방법에 대하여 특정 방법으로 한정하지는 않는다. 예컨대, 제어부(144)는 지능형 행도 및 이벤트 행동 중 일부 또는 전부의 조합에 따라 현재 상황에 적합한 로봇(170, 180)의 상호작용 행동 명령을 생성할 수 있다.
지능형 모듈(150)은 로봇(170, 180)에 특화된 다양한 기능 모듈을 구비하고, 구비된 기능 모듈을 활용하여, 빈번하게 발생하는 예측 불가능한 상황들에 대하여 유연하고 다양한 대응이 이루어질 수 있도록 하는 로봇 표현 지능화 기능을 제공하다.
본 실시예에 따른 지능형 모듈(160)은 사용자 행동 데이터 내 사용자의도 미인지정보를 추출하고, 이를 구비된 기능 모듈을 통해 분석하여 사용자의도 추정정보를 생성한다. 이를 위해, 지능형 모듈(160)은 시나리오 플레이어(140)가 로봇으로부터 수신되는 오디오 데이터(혹은 그로부터 변환된 텍스트 데이터) 및 비디오 데이터로부터 이벤트를 검출하는 과정에서, 사용자의도 미인지정보의 존재가 확인되는 경우, 선택적으로 호출될 수 있다.
본 실시예에 지능형 모듈(160)는 바람직하게는 자연어 기반의 기능 모듈(형태소 분석, 개체명 추출, 동의어 추출, 화행 분석, 감정 분석, 대화 생성 등), 영상 기반의 기능 모듈(얼굴인식, 성별인식, 제스쳐 인식, 물체인식, 사람 수 인식 등) 및 코칭 기능 모듈(전신, 목, 양팔, 왼팔, 오른팔, 표정, 바퀴 등의 동작) 등을 포함하여 구성될 수 있다.
이하, 지능형 모듈(160)이 각 기능모듈을 활용하여 사용자의도 미인지정보로부터 사용자의도 추정정보를 생성하는 방법에 대해 설명하도록 한다.
지능형 모듈(160)은 구비된 기능 모듈을 활용하여 사용자의도 미인지정보로부터 로봇이 표현 가능한 움직임 정보를 추정한 코칭동작을 사용자의도 추정정보로서 생성할 수 있다. 예컨대, 지능형 모듈(160)은 로봇(170, 180)으로의 사용자 명령이 사용자 행동 데이터로서 수집되는 경우 사용자 명령과 관련한 코칭동작을 산출하기 위해 호출될 수 있다.
즉, 지능형 모듈(160)은 구비된 기능 모듈을 활용하여 사용자의도 미인지정보에 내포된 신체정보 및 신체정보와 연관되는 표현정보 중 적어도 하나를 산출하고, 산출한 신체정보 및 표현정보에 따라 로봇(170, 180)이 표현 가능한 움직임 정보를 추정한 코칭동작을 사용자의도 추정정보로서 생성할 수 있다. 이때, 지능형 모듈(160)은 자연어 기반의 기능 모듈과 더불어 코칭 기능 모듈을 활용할 수 있으며, 이때, 코칭 기능 모듈은 로봇(170, 180)의 신체 부위를 전신, 목, 양팔, 왼팔, 오른팔, 표정, 몸통으로 나누고, 각 범주별 상하, 좌우, 앞뒤의 움직임을 지시하는 명령어 그룹이 정의될 수 있다.
도 3을 참조하여 설명하자면, 지능형 모듈(160)은 '고개를 뒤로'라는 표현 정보로부터 고개라는 신체 부위를 산출하고, 코칭 기능 모듈 상에 고개와 관련하여 기 정의된 명령어 그룹 중 뒤로의 움직임을 지시하는 명령어를 산출하고, 이를 상기의 표현정보와 관련하여 로봇이 표현 가능한 움직임 정보인 코칭동작으로서 제공할 수 있다. 이는 곧, 본 실시예에 의하는 경우 사용자가 의도한 맥락에 따라 로봇(170, 180)의 표현과 제스쳐를 기 정의된 범위 내에서 자동으로 생성가능함을 의미한다.
다른 실시예에서, 지능형 모듈(160)은 구비된 기능 모듈을 활용하여 사용자의도 미인지정보에 내포된 단어 또는 문자에 대한 이미지를 분석한 결과를 사용자의도 추정정보로서 생성할 수 있다.
즉, 지능형 모듈(160)은 구비된 기능 모듈을 활용하여 사용자의도 미인지정보와 관련하여 긍정 혹은 부정 여부를 판별하고, 이에 대한 판별결과를 사용자의도 추정정보로서 생성할 수 있다. 예컨대, 도 4를 참조하면, 지능형 모듈(160)이 화행 분석 모듈을 활용하여 그렇다/아니다 등 정해진 표현뿐만 아니라 '한번 해보자', '별로 좋은 생각이 아니다', 잘모르겠어요' 등 다양한 반응에 대해서도 긍정 혹은 부정과 관련한 사용자 의도를 정확하게 추정가능한 것을 확인할 수 있다. 이는 곧, 본 실시예에 의하는 경우 대화 도중에 가장 빈번하게 발생하는 상황들을 유연하고 다양하게 대응 가능함을 의미한다.
또한, 지능형 모듈(160)은 구비된 기능 모듈을 활용하여 사용자의도 미인지정보 내 동사, 형용사 및 부사를 중심으로 발화 속에 포함된 화자의 의도를 분석하고, 이를 기반으로, 동작의 상태정보를 정의하여 사용자의도 추정정보를 생성할 수 있다. 예컨대, 지능형 모듈(160)은 화행 분석 모듈을 활용하여 '우아하게~'와 같은 부사를 중심으로 사용자의 동작과 관련한 공간성 및 직선성 등의 상태정보를 산출하여 사용자의도 추정정보를 생성할 수 있다. 이는 곧, 본 실시예에 의하는 경우 로봇(170, 180)의 동작과 표현 스타일을 사용자의 선호도에 따라 자동으로 변경할 수 있음을 의미한다.
다른 실시예에서, 지능형 모듈(160)은 구비된 기능 모듈을 활용하여 사용자의도 미인지정보에 내표된 성별정보, 좌표정보 및 위치정보 중 적어도 하나를 산출하고, 이를 사용자의도 추정정보로서 생성할 수 있다.
예컨대, 지능형 모듈(160)은 영상 분석 모듈을 활용하여 영상 속의 객체가 남자인지 여자인지 여부를 판별하고, 판별결과에 따른 객체의 성별정보를 사용자의도 추정정보로서 생성할 수 있다. 이는 곧, 본 실시예에 의하는 경우, 객체의 성별에 따라 적합한 동작 및 표현의 생성이 가능함을 의미한다.
또한, 지능형 모듈(160)은 영상 분석 모듈을 활용하여 영상 속의 객체의 행동을 판별하고, 판별결과에 따라 해당 객체의 좌표정보 혹은 위치정보를 사용자의도 추정정보로서 생성할 수 있다. 이는 곧, 본 실시예에 의하는 경우, '~를 가리키며', '~의 눈을 맞추며', '~를 돌아보며' 등의 센서를 활용하여 동적으로 생성되는 지능적인 제스쳐의 생성이 가능함을 의미한다.
다른 실시예에서, 지능형 모듈(160)은 외부 서버장치(160)로부터 지원되는 API 정보를 수집하고, 이를 추가로 활용하여 사용자의도 추정정보를 생성할 수 있다. 예컨대, 지능형 모듈(160)은 일기 예보 서버로부터 날씨와 관련하여 지원되는 API 정보를 수집하고, 이를 활용하여 날씨와 관련된 사용자의도 추정정보를 생성할 수 있다.
다른 실시예에서, 지능형 모듈(160)은 구비된 기능 모듈을 활용하여 대화상황 분석은 분석하고, 이를 기반으로 사용자의 감정을 고려한 로봇의 표현제어 수행을 위한 정서표현반응 파라미터와 정보전달반응 파라미터 등을 사용자의도 추정정보로서 생성할 수 있다. 예컨대, 사용자의 발화에 '슬픔'의 감정이 담겨있는 경우, 지능형 모듈(160)은 '위로'의 대화와 함께 사용자를 로봇팔로 토닥거리는 모션을 수행하도록 로봇을 제어하기 위한 파라미터를 생성하여 출력할 수 있다.
지능형 모듈(160)은 정보전달형 대화와 함께 사용자의 발화의도에 부합하는 적절한 표현(동작)을 수행하도록 로봇을 제어하기 위한 정보전달반응 파라미터를 생성하여 출력할 수 있다. 예컨대, 사용자의 발화에 '비판'의 의도가 담겨있는 경우, 지능형 모듈(160)은 '정보전달'의 대화와 함께 음성의 피치(pitch)나 톤(tone)을 높이도록 로봇을 제어하기 위한 파라미터를 생성하여 출력할 수도 있다.
외부 서버장치(160)는 로봇 상호작용을 위한 외부 데이터를 제공하는 장치를 의미한다. 본 실시예에 있어서, 외부 서버장치(160)는 서드-파티(3th-party) 서버 혹은 정보 제공서버로 구현될 수 있다. 예컨대, 외부 서버장치(160)는 다른 사용자에 의해 작성된 함수 등을 수집하여 저장하고, 이를 시나리오 플레이어(140)로 제공하거나, 특정 정보와 관련한 API 정보를 시나리오 플레이어(140)로 제공할 수 있다.
본 실시예에 있어서, 로봇(170, 180)은 지능형 로봇(smart-device robot)과 가상의 트윈 로봇(virtual twin robot)으로 구분될 수 있다.
지능형 로봇(170)은 발화 인식(speech recognition), 카메라 기반의 인식을 위한 마이크로폰, 카메라 모듈 등을 구비하며, 발화/제스쳐/얼굴표정 등의 멀티 모달 상호작용을 위한 복수의 하드웨어 모듈을 구비한다. 예컨대, 표정 애니션메이션(facial animation) 기능, TTS(Text-to-Speech) 기능 등을 지원한다.
지능형 로봇(170)은 입력 인터페이스(Input I/F, 172)와 렌더러(renderer, 174)를 포함한다. 입력 인터페이스(172)는 복수의 센서들(예컨대, 영상센서, 마이크로폰)로부터 수신되는 오디오 데이터(혹은 그로부터 변환된 텍스트 데이터), 비디오 데이터 등을 클라우드 상의 시나리오 플레이어(140)에 전송한다. 렌더러(714)는 클라우드 상의 시나리오 플레이어(140)로부터 수신되는 오디오/텍스트, 표정, 제스처 데이터를 표현하기 위해, 지능형 로봇의 하나 이상의 액츄에이터를 제어한다.
가상의 트윈 로봇(180)은 물리적인 객체인 지능형 로봇(170)을 모사하는, 클라우드 기반(혹은 웹 기반)의 컴퓨팅 환경에서 구동되는, 가상의 로봇이다. 사용자는 가상의 트윈 로봇을 통해 시나리오의 적절성을 시뮬레이션할 수 있다. 지능형 로봇(170)을 모사하는 가상의 트윈 로봇(180)도 입력 인터페이스(182)와 렌더러(184)를 포함한다.
지능형 로봇(170) 및 가상의 트윈 로봇(180)의 렌더러(renderer)는 발화 중 특정 단어의 시작(또는 전후 일정 시간)에 맞추어 이미 저장된(따라서 실행 소요 시간이 고정된) 제스처나 표정을 재생할 수 있다. 예컨대, 도 5를 참조하면, 가상의 트윈 로봇(180)이 실물 지능형 로봇(170)과 똑같이 시나리오 플레이어(140)로부터의 명령을 실행 가능한 것을 확인할 수 있다.
도 6은 본 실시예에 따른 로봇 상호작용 방법을 설명하기 위한 순서도이다.
상호작용 시나리오 에디터(110)는 그래픽 유저 인터페이스를 이용하여 입력받은 복수의 기능 블록 간의 조합을 통해 로봇에 대한 발화, 제스쳐 및 표정 중 적어도 하나 이상을 포함하는 상호작용 시나리오를 생성한다(S602).
시나리오 플레이어(140)는 로봇(170, 180)으로부터 사용자 행동 데이터를 수집하고(S604), 수집한 사용자 행동 데이터를 분석하여 분석 결과를 생성한다(S606). 시나리오 플레이어(140)는 사용자 행동 데이터를 분석하여 상호작용 시나리오와 관련하여 기 정의된 이벤트 조건과의 매칭 여부를 확인하고, 확인결과에 따라 사용자 행동 데이터를 사용자의도 인지정보와 사용자의도 미인지정보로 분류할 수 있다.
시나리오 플레이어(140)는 분석 결과에 따라 사용자 행동 데이터 내 사용자의도 미인지정보의 존재가 확인되는 경우 지능형 모듈(150)을 선택적으로 호출한다.
시나리오 플레이어(140)는 상호작용 시나리오 중 분석 결과에 포함된 사용자의도 인지정보에 따른 기 정의된 이벤트 행동을 선별한다(S608).
지능형 모듈(160)은 사용자 행동 데이터 내 사용자의도 미인지정보를 추출하고, 이를 구비된 기능 모듈을 통해 분석하여 사용자의도 추정정보를 생성한다(S610). 단계 S610에서 지능형 모듈(160)은 구비된 기능 모듈을 활용하여 사용자의도 미인지정보로부터 로봇이 표현 가능한 움직임 정보를 추정한 코칭동작, 사용자의도 미인지정보에 내포된 단어 또는 문자에 대한 이미지를 분석한 결과, 사용자의도 미인지정보에 내표된 성별정보, 좌표정보 및 위치정보 등을 사용자의도 추정정보로서 생성할 수 있다.
시나리오 플레이어(140)는 사용자의도 미인지정보에 대하여 수집된 사용자의도 추정정보가 수집되는 경우, 사용자의도 추정정보에 대응하는 지능형 행동을 생성한다(S612).
시나리오 플레이어(140)는 로봇으로부터 수집된 사용자 행동 데이터 및 상호작용 시나리오 에디터(110)로부터 생성된 상호작용 시나리오를 기반으로 로봇의 동작을 제어하기 위한 상호작용 행동 명령을 생성하여 로봇으로 제공한다(S614).
여기서, 단계 S602 내지 S614는 앞서 설명된 로봇 상호작용 시스템의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.
도 6에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 6에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 6에 기재된 로봇 상호작용 방법은 프로그램으로 구현되고 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 기록될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 상호작용 시나리오 에디터 120: 데이터 매니저
130: 시나리오 데이터베이스 140: 시나리오 플레이어
142: 이벤트 핸들러 144: 제어부
150: 지능형 모듈 160: 외부 서버장치
170: 지능형 로봇 180: 가상의 트윈 로봇

Claims (14)

  1. 프로세서 및 메모리를 구비하는 데이터 처리기기에 결합되어,
    상호작용 시나리오 에디터에서 GUI 인터페이스를 이용하여 입력받은 복수의 기능 블록 간의 조합으로 로봇에 대한 발화, 제스쳐 및 표정 중 적어도 하나 이상을 포함하는 상호작용 시나리오를 생성하는 과정;
    시나리오 플레이어에서 상기 로봇으로부터 사용자 행동 데이터를 수집하는 과정;
    상기 시나리오 플레이어에서 상기 사용자 행동 데이터를 분석한 분석 결과를 생성하는 과정;
    상기 시나리오 플레이어에서 상기 상호작용 시나리오 중 상기 분석 결과에 포함된 사용자의도 인지정보에 따른 기 정의된 이벤트 행동을 선별하는 과정;
    자연어 기반의 지능형 모듈, 영상 기반의 기능 모듈 및 코칭 기능 모듈의 전부 또는 일부를 포함하는 지능형 모듈을 기초로, 상기 분석 결과에 포함된 사용자의도 미인지정보를 추출하고, 상기 사용자의도 미인지정보를 분석하여 상기 지능형 모듈에 포함된 모듈이 생성하는 정보의 범주를 기초로, 상기 사용자의도 미인지정보의 범주를 결정함으로써 사용자의도 추정정보를 생성하는 과정;
    상기 시나리오 플레이어에서 상기 사용자의도 추정정보에 대응하는 지능형 행동을 생성하는 과정; 및
    상기 시나리오 플레이어에서 상기 이벤트 행동 및 상기 지능형 행동을 기반으로 상호작용 행동 명령을 생성하여 상기 로봇으로 전송하는 과정
    을 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 로봇 상호작용 프로그램.
  2. 제 1항에 있어서,
    상기 GUI 인터페이스는,
    상기 기능 블록을 선택 시 발화 데이터를 입력할 수 있는 입력 필드 및 상기 발화 데이터가 발화되는 동안 혹은 발화 전후에 취해질 상기 로봇의 제스쳐와 상기 표정을 기 정의된 기본 단위의 표현 범위 내에서 선택할 수 있도록 하는 선택 필드 중 적어도 하나 이상을 포함하는 행동 편집화면을 제공하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체에 저장된 로봇 상호작용 프로그램.
  3. 제 1항에 있어서,
    상기 사용자 행동 데이터를 수집하는 과정은,
    상기 시나리오 플레이어가 상기 로봇으로부터 상기 로봇이 사용자와의 상호작용 중 각각의 센서들을 통해 감지한 상기 사용자의 각종 행위에 관련한 오디오 데이터, 텍스트 데이터 및 비디오 데이터 중 적어도 하나를 수집하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체에 저장된 로봇 상호작용 프로그램.
  4. 제 1항에 있어서,
    상기 분석 결과를 생성하는 과정은,
    상기 사용자 행동 데이터를 분석하여 상기 상호작용 시나리오와 관련하여 기 정의된 이벤트 조건과의 매칭 여부를 확인하고, 확인결과에 따라 상기 사용자 행동 데이터 내 상기 사용자의도 미인지정보의 존재가 확인되는 경우 상기 지능형 모듈을 선택적으로 호출하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체에 저장된 로봇 상호작용 프로그램.
  5. 제 1항에 있어서,
    상기 사용자의도 추정정보를 생성하는 과정은,
    상기 사용자의도 미인지정보를 분석 시 외부 서버장치로부터 지원되는 API 정보를 활용하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체에 저장된 로봇 상호작용 프로그램.
  6. 제 1항에 있어서,
    상기 사용자의도 추정정보를 생성하는 과정은,
    상기 지능형 모듈이 상기 사용자의도 미인지정보에 내포된 단어 또는 문자에 대한 이미지를 분석한 결과를 상기 사용자의도 추정정보로서 생성하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체에 저장된 로봇 상호작용 프로그램.
  7. 제 6항에 있어서,
    상기 사용자의도 추정정보를 생성하는 과정은,
    상기 지능형 모듈이 상기 사용자의도 미인지정보와 관련하여 긍정, 부정, 감정, 동작의 상태정보를 정의한 상기 사용자의도 추정정보를 생성하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체에 저장된 로봇 상호작용 프로그램.
  8. 제 1항에 있어서,
    상기 사용자의도 추정정보를 생성하는 과정은,
    상기 지능형 모듈이 상기 사용자의도 미인지정보에 내포된 신체정보 및 상기 신체정보와 연관되는 표현정보 중 적어도 하나를 산출하고, 상기 신체정보 및 상기 표현정보에 따라 상기 로봇이 표현 가능한 움직임 정보를 추정한 코칭동작을 상기 사용자의도 추정정보로서 생성하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체에 저장된 로봇 상호작용 프로그램.
  9. 제 8항에 있어서,
    상기 사용자의도 추정정보를 생성하는 과정은,
    상기 지능형 모듈이 코칭 기능모듈을 활용하여 상기 신체정보 및 상기 표현정보와 관련한 코칭동작을 추정하며, 상기 코칭 기능모듈은, 상기 로봇의 신체 부위를 전신, 목, 양팔, 왼팔, 오른팔, 표정, 몸통으로 나누고, 각 범주별 상하, 좌우, 앞뒤의 움직임을 지시하는 명령어 그룹이 정의된 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체에 저장된 로봇 상호작용 프로그램.
  10. 제 1항에 있어서,
    상기 사용자의도 추정정보를 생성하는 과정은,
    상기 지능형 모듈이 영상 분석을 통해 상기 사용자의도 미인지정보에 내포된 성별정보, 좌표정보 및 위치정보 중 적어도 하나를 산출하여 상기 사용자의도 추정정보를 생성하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체에 저장된 로봇 상호작용 프로그램.
  11. 제 1항에 있어서,
    상기 지능형 행동을 생성하는 과정은,
    상기 시나리오 플레이어가 상기 사용자의도 추정정보에 따라 상기 사용자의도 미인지정보가 어떤 범주에 속하는지 확인하고, 확인결과에 따라 상기 사용자의도 미인지정보와 관련한 상기 로봇의 표현동작들을 설계하여 상기 지능형 행동을 생성하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체에 저장된 로봇 상호작용 프로그램.
  12. 제 1항에 있어서,
    상기 로봇으로 전송하는 과정은,
    상기 시나리오 플레이어가 상기 상호작용 시나리오 중 상기 지능형 행동에 대응하는 대응 이벤트 행동을 선별하고, 상기 대응 이벤트 행동을 상기 상호작용 행동 명령으로서 생성하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체에 저장된 로봇 상호작용 프로그램.
  13. 제 1항에 있어서,
    상기 로봇으로 전송하는 과정은,
    상기 시나리오 플레이어가 상기 지능형 행동을 기반으로 상기 이벤트 행동의 동작 파라미터를 적응적으로 변경하여 상기 상호작용 행동 명령을 생성하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체에 저장된 로봇 상호작용 프로그램.
  14. 로봇 상호작용 시스템에 있어서,
    GUI 인터페이스를 이용하여 입력받은 복수의 기능 블록 간의 조합으로 로봇에 대한 발화, 제스쳐 및 표정 중 적어도 하나 이상을 포함하는 상호작용 시나리오를 생성하는 상호작용 시나리오 에디터;
    상기 로봇으로부터 수집된 사용자 행동 데이터에 대한 분석 결과에 기반하여, 사용자의도 인지정보에 대응하는 상기 상호작용 시나리오 내 기 정의된 이벤트 행동을 추출하고, 사용자의도 미인지정보에 대응하는 사용자의도 추정정보에 따라 지능형 행동을 생성하고, 상기 이벤트 행동 및 상기 지능형 행동을 기반으로 상호작용 행동 명령을 생성하여 상기 로봇으로 전송하는 시나리오 플레이어; 및
    상기 분석 결과에 포함된 상기 사용자의도 미인지정보를 추출하고, 상기 사용자의도 미인지정보를 분석하여 상기 사용자의도 추정정보를 생성하는 지능형 모듈을 포함하되,
    상기 사용자의도 미인지정보는,
    자연어 기반의 지능형 모듈, 영상 기반의 기능 모듈 및 코칭 기능 모듈의 전부 또는 일부를 포함하는 지능형 모듈을 기초로 상기 분석 결과로부터 추출된 것이고,
    상기 사용자의도 추정정보는,
    상기 지능형 모듈에 포함된 모듈이 생성하는 정보의 범주를 기초로, 상기 사용자의도 미인지정보의 범주를 결정함으로써 생성된 것
    을 특징으로 하는 로봇 상호작용 시스템.
KR1020190016190A 2018-11-19 2019-02-12 로봇 상호작용 시스템 및 그를 위한 프로그램 KR102222911B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180142352 2018-11-19
KR20180142352 2018-11-19

Publications (2)

Publication Number Publication Date
KR20200059112A KR20200059112A (ko) 2020-05-28
KR102222911B1 true KR102222911B1 (ko) 2021-03-05

Family

ID=70919924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190016190A KR102222911B1 (ko) 2018-11-19 2019-02-12 로봇 상호작용 시스템 및 그를 위한 프로그램

Country Status (1)

Country Link
KR (1) KR102222911B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860394A (zh) * 2020-07-28 2020-10-30 成都新希望金融信息有限公司 一种基于姿态估计和动作检测的动作活体识别方法
CN113552949A (zh) * 2021-07-30 2021-10-26 北京凯华美亚科技有限公司 多功能的沉浸式影音交互方法、装置和系统
CN114092791A (zh) * 2021-11-19 2022-02-25 济南大学 一种基于场景感知的人机协同方法、系统及机器人
CN117260776A (zh) * 2023-09-28 2023-12-22 北京小雨智造科技有限公司 一种应用于机器人的人机交互方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101119030B1 (ko) * 2010-05-12 2012-03-13 (주) 퓨처로봇 지능형 로봇 장치의 서비스 시나리오 편집 방법, 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체, 지능형 로봇 장치 및 지능형 로봇의 서비스 방법
KR20180099163A (ko) * 2017-02-28 2018-09-05 한국전자통신연구원 인터넷 기반으로 사용자의 상황에 상응하는 상호작용을 표현하기 위한 장치 및 그 방법

Also Published As

Publication number Publication date
KR20200059112A (ko) 2020-05-28

Similar Documents

Publication Publication Date Title
KR102222911B1 (ko) 로봇 상호작용 시스템 및 그를 위한 프로그램
JP6902683B2 (ja) 仮想ロボットのインタラクション方法、装置、記憶媒体及び電子機器
US10664060B2 (en) Multimodal input-based interaction method and device
CN110598576B (zh) 一种手语交互方法、装置及计算机介质
WO2020135194A1 (zh) 基于情绪引擎技术的语音交互方法、智能终端及存储介质
JP6816925B2 (ja) 育児ロボットのデータ処理方法及び装置
CN108363706B (zh) 人机对话交互的方法和装置、用于人机对话交互的装置
WO2021036644A1 (zh) 一种基于人工智能的语音驱动动画方法和装置
CN108326855A (zh) 一种机器人的交互方法、装置、设备以及存储介质
CN112162628A (zh) 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端
Rossi et al. An extensible architecture for robust multimodal human-robot communication
CN109086860B (zh) 一种基于虚拟人的交互方法及系统
CN108942919B (zh) 一种基于虚拟人的交互方法及系统
JP2018014094A (ja) 仮想ロボットのインタラクション方法、システム及びロボット
JP2004237022A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
CN106502382B (zh) 用于智能机器人的主动交互方法和系统
TW201937344A (zh) 智慧型機器人及人機交互方法
JP2017151517A (ja) ロボット制御システム
CN112379780B (zh) 多模态情感交互方法、智能设备、系统、电子设备及介质
CN114995657B (zh) 一种智能机器人的多模态融合自然交互方法、系统及介质
US20220301251A1 (en) Ai avatar-based interaction service method and apparatus
US20200176019A1 (en) Method and system for recognizing emotion during call and utilizing recognized emotion
KR20220130000A (ko) 인공지능 아바타에 기초한 인터랙션 서비스 방법 및 장치
KR101567154B1 (ko) 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치
Rach et al. Emotion recognition based preference modelling in argumentative dialogue systems

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant