KR101190660B1

KR101190660B1 - 로봇 제어 시나리오 생성 방법 및 장치

Info

Publication number: KR101190660B1
Application number: KR1020120080067A
Authority: KR
Inventors: 송세경; 전영진; 이원용
Original assignee: (주) 퓨처로봇
Priority date: 2012-07-23
Filing date: 2012-07-23
Publication date: 2012-10-15
Also published as: CN104487208A; US20150183112A1; WO2014017773A1; CN104487208B; US9636822B2

Abstract

본 발명의 과제를 해결하기 위한 로봇 제어 시나리오 생성 방법에 따르면, 상황인지(Situation Cognition) 프레임(Frame) 및 표현(Expression) 프레임을 입력 받아 연산수단이 판단(Judgement) 프레임을 생성하여 저장수단에 저장하고 디스플레이하는 단계, 적어도 하나 이상의 상기 판단 프레임 및 적어도 하나 이상의 트랜지션(Transition) 프레임을 선택 받아 상기 연산수단이 스테이지(Stage)를 생성하여 저장수단에 저장하고 디스플레이 하는 단계 및 적어도 두 개 이상의 스테이지에서, 상기 연산수단이 한 스테이지의 트랜지션 프레임을 다른 스테이지와 연결하여 저장수단에 저장하고 디스플레이 하는 단계를 포함한다.
본 발명에 의하면, 공장의 정해진 작업환경에서 단순 반복작업을 하는 산업용 로봇과는 달리 사람이 사는 공간에서 사람과 근접한 거리에 존재하며 주변 상황 및 사람이 제공하는 정보를 인지하여 사람이 원하는 다양한 요구에 맞는 서비스를 제공할 수 있다. 또한, 본 발명에 의하면 사람이 제공하는 다양하고 복잡한 정보를 상황에 맞게 인지할 수 있는 로봇 제어 시나리오를 생성 가능한 효과가 있다.

Description

로봇 제어 시나리오 생성 방법 및 장치 {METHODS AND APPARATUS OF ROBOT CONTROL SCENARIO MAKING}

본 발명은 인간과 유사한 상황인지 방법과 표현 방법을 이용하여 로봇 엔지니어가 아닌 일반 사용자가 로봇의 동작 및 표현 제어 시나리오를 쉽고 직관적으로 생성하는 방법 및 장치에 관한 것이다.

현재 실생활 및 공장자동화 등의 여러 분야에서 다양한 종류의 로봇이 이용되고 있으며, 로봇들은 각 분야의 특유한 목적에 따라 각각 고유한 제어 시나리오를 가지고 있으며 상기 제어 시나리오에 따라 동작한다.

공장자동화 분야의 로봇은 반복적인 작업에 적합하도록 반복적인 동작을 수행하는 동작 제어 시나리오를 갖고 있지만, 일상 생활 또는 각종 장소에서 사용되는 홍보 로봇, 교육 로봇, 엔터테인먼트 로봇 등 서비스 로봇 분야 에서는 단순하게 동작을 반복하는 시나리오는 적합하지 못하고 해당 장소 및 서비스에 따라 다양하게 동작 및 반응하는 제어 시나리오가 필요하다. 또한, 같은 로봇이라 하더라도 사용되는 장소 및 서비스가 다르면 상기 로봇을 동작하는 제어 시나리오의 수정이 필요하다.

따라서, 로봇의 사용 장소 및 서비스에 따라 로봇 엔지니어가 아닌 로봇의 사용자가 전문지식을 갖지 않아도 서비스 현장에서 로봇이 갖고 있는 센서(초음파, 레이저, 카메라, 마이크, 터치, 모션 센서 등)들을 통해 인지되는 인지정보간 조합으로 인간과 유사한 다양하고 복잡한 상황인지와 그 인지상황에 맞는 사람이 자연스럽고 생동감 있게 느낄 수 있는 로봇표현을 로봇이 갖고 있는 동작 및 표현기능(얼굴 표정, 음성, 효과음, LED, 발화, 제스처, 디스플레이 등)을 조합하여 제공할 수 있도록 하는 로봇 제어 시나리오를 생성 및 수정할 수 있는 방법이 필요하다.

국내공개특허 제 2005-0031525호는 일반 사용자가 코드 레벨이 아닌 수준에서 로봇의 동작 제어 방법을 생성할 수 있는 컨텐츠 제작용 저작툴을 개시하였고, 국내공개특허 제 2009-0078244호는 웹 환경 내에서 다수의 사용자가 각각 개별적으로 로봇 컨텐츠를 저작 가능하게 하는 로봇 콘텐츠 저작시스템을 개시하였다.

로봇이 보다 인간과 유사하게 인식하고 그에 따른 상황에 맞는 자연스럽고 생동감 있는 표현을 하기 위해 인간의 상황인식 방법 및 표현방법을 유사하게 모사하는 것은 서비스 로봇 제품의 가치를 높이고 사용자 만족도를 높이는데 매우 중요하다. 또한, 서비스 현장 상황과 사용자 니즈를 알 수 없는 로봇 엔지니어가 아닌 서비스 현장에서 로봇을 사용하는 일반 사용자가 로봇의 장소 및 서비스에 따라 제어 시나리오를 생성 및 수정하기 위해서도, 인간의 상황인식 방법 및 표현방법을 기반으로 상기 제어 시나리오를 수정 가능하면 일반 사용자가 보다 쉽고 직관적으로 로봇 제어 시나리오를 생성 및 수정 가능하다.

인간은 눈을 통한 시각, 피부 등의 촉각, 소리를 통한 청각 등의 감각기관을 통한 복합적인 정보를 이용해서 특정 상황을 인식한다. 예를 들어, “어린아이가 정면에서 내 앞으로 나를 향하여 걸어오는데, 상기 어린아이의 시선은 정면을 보지 않고 다른 곳을 보고 있다”라는 복수의 감각기관의 복합적인 인식정보를 이용하여 상황을 인식하고 그에 따른 행동 또는 표현을 한다.

사람의 표현 방법 또한 어느 한 수단의 단일 동작이나 표현이 아니라 복수의 수단을 통해 복합적인 표현을 한다. 예를 들어, 상기와 같이 인식된 상황에 따라 충돌 가능성을 판단하고 그에 대응하여, “조심하라고 말하며, 멈춰 서거나 상기 어린아이의 이동 경로를 회피하며 이동”하는 등 복수의 수단을 통한 복합적인 표현을 한다.

따라서, 인간을 모사하는 로봇의 경우도 인간의 상기 상황인식 및 표현 방법과 유사하게 만들기 위해서는 로봇 엔지니어가 아닌 현장 상황과 로봇 서비스 니즈를 알고 있는 일반 사용자가 인간의 상황인식 및 표현 방법을 기반으로 로봇 제어 시나리오를 생성 및 수정할 수 있어야 한다.

하지만, 국내공개특허 제 2009-0078244호는 단순히 사용자가 로봇의 머리를 만진다던가 팔을 만지는 등 특정 단일 센서의 입력에 해당하는 조건을 선택하는 정형화되고 반복적인 방식으로 로봇의 컨텐츠를 수정하도록 하여, 매우 복잡하고 다양한 인간의 상황인식 방법에 적합한 로봇 컨텐츠를 제공할 수 없는 문제점이 있다.

국내공개특허 제 2005-0031525호 또한 복합적인 표현 수단을 이용한 인간의 표현 방법 기반에서 로봇의 컨텐츠를 제작하고 재사용하는 것이 아니라, 시나리오를 제작할 때마다 사용자가 일일이 각각의 단일한 표현 수단의 동작을 선택해서 표현을 생성해야 하는 문제점이 있다.

또한 국내공개특허 제 2005-0031525호는 로봇의 제어 시나리오를 생성하기 위해서 로봇이 동작하는 시간 분량에 해당하는 타임라인에 일일이 상기 로봇 동작 또는 컨텐츠를 배치해야 하는 문제점이 있다.

즉 종래 기술들은 도 1(a)와 같이 로봇 제어 시나리오를 제작할 때마다 사용자가 일일이 로봇의 센서들의 입력 조건을 선택하고 그에 따른 단일 표현 수단의 표현 방법을 연결해야 하며, 로봇의 장소와 서비스 방법에 따라 상기 작업들을 반복해야만 하는 문제점이 있다.

또한, 도 1(a)과 같은 단일 센서들의 입력을 직접적인 인지수단으로 사용하는 로봇 제어 시나리오 방식은 인간의 복합적인 상황 인식 방법 및 표현 방법과 달리 저 레벨의 인식 방법 및 표현 방법으로서 로봇 엔지니어가 아닌 일반 사용자가 로봇 제어 시나리오를 생성 및 수정하기에는 불편하며 로봇 엔지니어에게도 매번 복잡한 로직을 설계해야 하는 문제점이 있다.

또한 종래 기술들은 도 1(b)와 같이 로봇 제어 시나리오가 특정 조건과 그에 따른 행동으로 연결된 로봇 제어의 연속으로 구성되어 있다. 따라서 로봇의 10시간 제어를 위한 시나리오를 생성하는 경우, 사용자는 로봇의 제어 시나리오를 생성하기 위해서 10시간 분량에 해당하는 타임라인(120)에 일일이 로봇의 표현수단(110) 각각에 대한 상기 로봇 제어 요소를 배치해야 하므로 시나리오 생성이 매우 힘든 작업이고 로봇 또한 인간과 유사하게 다양한 상황에 적합하게 동작하지 못하는 문제점이 있다.

국내공개특허 제 2005-0031525호(2005.04.06) 발명의 명칭: 지능형 로봇의 컨텐츠 제작용 저작툴 및 이를 이용한지능형 로봇의 컨텐츠 제작 방법 국내공개특허 제 2009-0078244호(2009.07.17) 발명의 명칭: 웹 환경에서의 사용자 친화형 로봇 컨텐츠 저작시스템

본 발명이 이루고자 하는 기술적 과제는 인간과 유사한 상황인지 방법과 표현 방법을 이용하여 로봇 제어 시나리오를 생성하는 방법 및 장치를 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 상황에 맞는 다양한 스테이지의 연결을 통해 로봇이 다양한 상황에 따라 능동적이고 다양하게 동작함으로써 인간과 유사하게 동작 가능한 로봇 제어 시나리오를 생성하는 방법 및 장치를 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 상황에 맞는 로봇이 동작하는 시간 분량에 해당하는 타임라인 모두에 일일이 상기 로봇 동작 또는 컨텐츠를 배치하는 수고 없이도 무한적으로 동작하는 로봇 제어 시나리오를 생성하는 방법 및 장치를 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 로봇의 종류에 무관하게 사용자가 동일한 방식으로 로봇 제어 시나리오를 생성하는 방법 및 장치를 제공하는 데 있다.

본 발명의 과제를 해결하기 위한 로봇 제어 시나리오 생성 방법에 따르면, 상황인지(Situation Cognition) 프레임(Frame) 및 표현(Expression) 프레임을 입력 받아 연산수단이 판단(Judgement) 프레임을 생성하여 저장수단에 저장하고 디스플레이하는 단계, 적어도 하나 이상의 상기 판단 프레임 및 적어도 하나 이상의 트랜지션(Transition) 프레임을 선택 받아 상기 연산수단이 스테이지(Stage)를 생성하여 저장수단에 저장하고 디스플레이 하는 단계 및 적어도 두 개 이상의 스테이지에서, 상기 연산수단이 한 스테이지의 트랜지션 프레임을 다른 스테이지와 연결하여 저장수단에 저장하고 디스플레이 하는 단계를 포함한다.

본 발명의 과제를 해결하기 위한 로봇 제어 시나리오 생성 장치에 따르면, 전기적 또는 자기적 신호를 통해 데이터를 저장하는 저장부, 상황인지(Situation Cognition) 프레임(Frame) 및 표현(Expression) 프레임을 선택 받아 판단(Judgement) 프레임을 생성하여 상기 저장부에 저장하는 판단 프레임 생성부, 적어도 하나 이상의 상기 판단 프레임 및 적어도 하나 이상의 트랜지션(Transition) 프레임을 선택 받아 스테이지(Stage)를 생성하여 상기 저장부에 저장하는 스테이지 생성부 및 적어도 두 개 이상의 스테이지에서, 한 스테이지의 트랜지션 프레임을 다른 스테이지와 연결하여 상기 저장부에 저장하는 시나리오 생성부를 포함한다.

본 발명에 의하면, 인간과 유사한 상황인지 방법과 표현 방법을 이용함으로써 사용자가 로봇에 대한 지식 없이도 쉽고 직관적으로 로봇 제어 시나리오를 생성 가능한 효과가 있다.

또한 본 발명에 의하면, 인간과 유사한 상황인지 방법과 표현 방법을 이용함으로써 인간과 유사하게 동작하는 로봇 제어 시나리오를 생성 가능한 효과가 있다.

또한 본 발명에 의하면, 상황에 맞는 다양한 스테이지의 연결을 통해 로봇이 다양한 상황에 따라 능동적이고 다양하게 동작함으로써 인간과 유사하게 동작 가능한 로봇 제어 시나리오를 생성할 수 있는 효과가 있다.

또한 본 발명에 의하면, 상황에 맞는 다양한 스테이지의 연결을 통해 사용자는 로봇이 동작하는 시간 분량에 해당하는 타임라인 모두에 일일이 상기 로봇 동작 또는 컨텐츠를 배치하는 수고 없이도 무한적으로 동작하는 로봇 제어 시나리오를 생성할 수 있는 효과가 있다.

또한 본 발명에 의하면, 인간과 유사한 상황인지 방법과 표현 방법을 이용함으로써 제작된 상황인지 프레임과 표현 프레임을 로봇의 사용 장소 또는 서비스에 따른 로봇 제어 시나리오의 생성 및 수정에 재사용이 가능한 효과가 있다.

또한 본 발명에 의하면, 로봇의 종류에 무관하게 사용자가 동일한 방식으로 로봇 제어 시나리오를 생성 가능한 효과가 있다.

또한 본 발명에 의하면, 다양한 인지상황정보(사람 수, 키, 움직임, 머무는 시간, 음성 인식, 얼굴과 제스처 인식 등)간의 복잡한 상관관계 조합을 현장 상황에 맞게 정의할 수 있고, 사람이 자연스럽고 생동감 있게 느낄 수 있는 로봇 표현 조합을 정의할 수 있으며, 정의된 상황인지 프레임과 표현 프레임 간의 상관관계를 정의하여 인간과 유사한 상황인지 방법과 표현 방법을 제공 가능한 효과가 있다.

또한 본 발명에 의하면, 사용자가 로봇에 대한 지식 없이도 서비스 장소에서 다양한 고객들(어린이, 성인, 노인 및 한명, 다수, 잠깐 사용하는 사람, 관심 갖고 사용하는 사람 등)에게 로봇이 서비스를 제공할 수 있도록 하는 로봇 제어 시나리오를 쉽고 직관적으로 생성하는 것이 가능한 효과가 있다.

도 1은 로봇 제어 시나리오를 생성하는 종래 기술의 방식이다.
도 2는 로봇의 상황인지의 일 예이다.
도 3은 로봇의 표현의 일 예이다.
도 4는 본 발명에 따른 로봇 제어 시나리오 생성 방법의 흐름도이다.
도 5는 상황인지 프레임 선택의 일 예이다.
도 6은 상황인지 프레임과 인식수단의 연결에 대한 일 예이다.
도 7은 표현 프레임 구성의 일 예이다.
도 8은 표현 프레임과 표현수단의 연결에 대한 일 예이다.
도 9는 스테이지 생성의 일 예이다.
도 10은 스테이지 연결의 일 예이다.
도 11은 본 발명에 따른 로봇 제어 시나리오 생성 장치의 블럭도이다.

본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하의 상세한 설명에 의해 보다 명확하게 이해될 것이다. 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다.

이 분야의 통상의 기술자는 본 명세서의 실시 예들을 통해서 본 발명의 다양한 응용이 구현 가능하므로, 본 발명의 상세한 설명에 기재된 임의의 실시예들은 본 발명을 보다 잘 설명하기 위한 예시적인 것으로서 본 발명의 범위가 실시예들로 한정되는 것을 의도하는 것은 아니다.

본 명세서에서 표현되는 각 기능부는 본 발명 구현에 대한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능부가 사용될 수 있다. 또한, 각 기능부는 순전히 하드웨어 또는 소프트웨어의 구성으로만 구현될 수도 있지만, 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합으로 구현될 수도 있다.

본 명세서에서 연산수단은 범용적인 중앙연산장치(CPU)일 수도 있으나, 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA)나 주문형 반도체 연산장치(ASIC)일 수도 있다. 또한 저장수단 또는 저장부는 휘발성 메모리 소자이거나 비휘발성 메모리 또는 비휘발성 전자기적 저장장치일 수 있다.

본 발명에 따른 로봇 제어 시나리오 생성 방법은 로봇에서 직접 수행될 수도 있으며, 로봇 외부의 별도 장치에서 수행될 수도 있다.

도 4를 참조하여 본 발명에 따른 로봇 제어 시나리오 생성 방법의 실시예를 설명한다. 본 발명에 따른 로봇 제어 시나리오 생성 방법은 판단(Judgement) 프레임 생성단계(S410), 스테이지(Stage) 생성단계(S420) 및 시나리오 생성단계(S430)를 포함한다.

상기 판단 프레임 생성단계(S410)는 사용자로부터 상황인지(Situation Cognition) 프레임 및 표현(Expression) 프레임을 입력 받는 것으로 시작한다.

사용자는 단순히 직접적인 인식수단의 센싱 입력을 선택하는 것이 아니라 도 5와 같은 상황인지 프레임을 선택함으로써 상황인지 프레임을 입력할 수 있다.

상황인지 프레임의 선택은 해당 상황을 설명하는 구성요소들(510)을 선택하는 것을 의미할 수 있다.

도 5를 참조하면, “키가 1.5미터 내외인 사람 1명이 로봇의 1미터 전방 앞까지 접근해서 1초이상 머물고 있는” 상황을 설명하는 구성을 선택하여 상황인지 프레임을 입력하는 것을 예로 들 수 있다.

상기 상황인지 프레임은 적어도 하나 이상의 인식수단의 입력을 이용하여 상기 로봇 외부의 상황이 결정될 수 있다.

인식수단은 카메라, 터치 센서, 레이저 센서, 마이크로 폰, 터치 디스플레이 장치 등 상기 로봇 외부의 상황을 인식하는 수단이라면 그 종류를 한정하지 않는다. 또한 상기 로봇 외부의 상황은 시간의 흐름을 포함한다. 따라서, 특정 시간의 흐름을 인식하는 타이머(Timer) 또한 상기 인식수단에 포함된다.

인식수단이 카메라 및 레이저 센서인 경우를 예를 들면, 상기 레이저 센서의 입력을 통해 상기 연산수단이 상기 로봇 주위의 물체의 숫자, 이동 여부, 이동 방향 및 물체의 크기 등을 파악하고, 상기 카메라를 통해 상기 물체의 영상을 촬영하여 상기 연산수단이 인간 여부를 인식하고 인간인 경우 상기 인간의 얼굴을 인식하여 상기 인간의 성별 및 나이 등을 파악할 수 있다.

이 경우, 상황인지 프레임은 상기 카메라 및 레이저 센서의 입력들을 이용하여 도 2(a)와 같이 ‘키가 1.5m 이하인 어린아이 1명이 로봇을 향해 다가오는’ 상황인지 프레임, 도 2(b)와 같이 ‘키가 1.5m 이상인 남자성인 1명이 로봇을 지나치는’ 상황인지 프레임 또는 도 2(c)와 같이 ‘다수의 인간이 로봇 주위에 머물러 있는’ 상황인지 프레임을 생성할 수 있다.

또한, 상기 인식수단은 로봇 외부의 상황을 직접적으로 인식하는 수단뿐만 아니라 간접적으로 인식하는 수단도 포함한다. 예를 들어, 로봇이 특정 외부 장소에 위치하는 경우 광량 센서, 하늘을 촬영하는 카메라 등의 직접적인 인식수단뿐만 아니라, GPS 장치 및 유무선 네트워크를 통해 상기 로봇의 위치의 날씨를 파악하는 간접적인 인식수단도 포함한다.

또한, 상기 인식수단이 터치 디스플레이 수단인 경우 상기 터치 디스플레이의 터치 입력을 이용하여 상기 로봇 외부의 상황이 결정될 수 있다.

또한, 상기 상황인지 프레임은 로봇 외부의 상황뿐만 아니라 로봇의 상태를 더 이용하여 결정될 수 있다.

예를 들어 로봇에게 감정 상태를 갖도록 설정하는 경우, 로봇의 감정 상태 및 로봇 외부의 상황을 함께 이용하여 상황인지 프레임을 결정할 수 있다. 로봇의 감정이 매우 기분 좋은 상태라면 ‘키가 1.5m 이하인 어린아이 1명이 기분 좋은 상태의 로봇을 향해 다가오는’ 상황인지 프레임 또는 로봇의 감정이 우울한 상태라면 ‘키가 1.5m 이하인 어린아이 1명이 우울한 상태의 로봇을 향해 다가오는’ 상황인지 프레임을 생성할 수 있다.

또한, 로봇의 상태는 로봇의 감정 상태뿐만 아니라 로봇의 기계적, 전자적 상태일 수도 있다. 로봇의 기계적, 전자적 상태는 인간에 비유하면 인간의 신체상태로 생각할 수 있다. 예를 들어, 로봇의 표현수단 들의 작동 상태를 주기적으로 체크하여 특정 표현수단의 작동이 불가능한 경우에 ‘키가 1.5m 이하인 어린아이 1명이 오른쪽 팔이 움직이지 않는 상태의 로봇을 향해 다가오는’ 상황인지 프레임을 생성할 수 있다.

상황인지 프레임의 상황을 결정하기 위한 인식수단은 그 종류 및 입력이 미리 설정될 수 있다.

도 6을 참조하면 예를 들어, ‘사람이 다가오는’ 상황인지 프레임의 상황을 결정하기 위한 인식수단 및 그 입력은 레이저 스캐너의 반사 신호 입력, 카메라에 촬영된 얼굴 영상, 마이크로 폰의 음성 인식으로 미리 설정되거나, ‘사람이 지나치는’ 상황인지 프레임의 상황을 결정하기 위한 인식수단 및 그 입력은 초음파 센서의 반사 입력 및 레이저 센서의 반사 신호 입력으로 미리 설정될 수 있다.

즉, 인간인 사용자는 유사한 상황으로 인식할 수 있지만 기술적으로 해당 상황을 판단하기에 적합한 인식수단의 종류 및 입력이 서로 다를 수 있다. 본 발명에 의하면 사용자는 단순히 상황인식 프레임을 입력하는 것만으로 해당 상황에 적합한 인식수단의 종류 및 입력이 결정되어 상기 상황을 정확히 파악할 수 있는 효과가 있다.

예를 들어, ‘키가 1.5m 이하인 어린아이 1명이 오른쪽 팔이 움직이지 않는 상태의 로봇을 향해 다가오는’ 상황인지 프레임을 입력하면, 해당 상황을 파악하기 위한 인식수단으로 초음파 센서, 영상 카메라를 사용할지 또는 영상 카메라만을 이용할지는 사용자가 일일이 신경 쓰지 않고 미리 해당 상황에 적합한 인식수단 설정을 통하여 상기 상황을 파악할 수 있다.

또한, 로봇의 버전 및 종류에 따라 특정 상황을 인식하기에 적합한 인식수단의 종류 및 입력이 서로 다를 수 있으나, 사용자는 이에 구애 받지 않고 단순히 동일한 상황인식 프레임을 입력하는 것만으로 다양한 종류의 로봇 제어 시나리오를 생성할 수 있는 효과가 있다.

상황인지 프레임의 상황을 결정하기에 적합한 인식수단의 설정은 로봇 내부에 미리 설정되어 있을 수도 있고, 유무선 네트워크를 통해 미리 설정되어 있는 서버로부터 다운로드 받을 수도 있다.

따라서 상황인지 프레임의 상황을 결정하기에 적합한 인식수단의 설정이 서버에 설정되어 있고 이를 다운로드 하는 경우, 인식수단의 입력을 통해 상황을 결정하는 알고리즘이 변경되어 특정 상황을 결정하는 인식수단의 종류 및 입력이 변경되는 경우에도 사용자는 이를 고려할 필요 없이 기존과 동일한 방식으로 상황인식 프레임을 입력하는 것만으로 다양한 종류의 로봇 제어 시나리오를 생성할 수 있는 효과가 있다.

또한, 상황인지 프레임의 상황을 결정하기에 적합한 인식수단의 설정이 서버에 설정되어 있고 이를 다운로드 하는 경우, 이미 구입한 로봇에 특정 인식수단을 추가 구입하여 업그레이드 한 경우에도 사용자는 이를 고려할 필요 없이 기존과 동일한 방식으로 상황인식 프레임을 입력하는 것만으로 다양한 종류의 로봇 제어 시나리오를 생성할 수 있는 효과가 있다.

또한, 로봇 제어 시나리오를 생성하는 사용자가 일일이 인식수단의 센싱 입력을 직접 선택하는 것이 아니라 인간과 유사한 방식의 상황인지 프레임을 입력함으로써, 사용자는 쉽고 직관적으로 로봇 제어 시나리오를 생성할 수 있는 효과가 있다.

사용자는 단순히 하나의 표현수단과 하나의 출력을 선택하는 것이 아니라 적어도 하나 이상의 표현수단의 적어도 하나 이상의 출력으로 구성되어 있는 표현 프레임을 선택함으로써 표현 프레임을 입력할 수 있다.

표현 프레임의 선택은 해당 상황을 설명하는 구성요소들(710)을 선택하여 타임라인(Time Line)(720)에 배치하는 것을 의미할 수 있다.

표현수단은 로봇의 얼굴, 팔, LED, 디스플레이 장치 등 상기 로봇의 동작 및 컨텐츠 등을 표현하는 수단이라면 그 종류를 한정하지 않는다.

예를 들어 사용자는 미리 설정되어 있는 유인 표현 프레임을 선택함으로써 표현 프레임을 입력할 수 있고, 상기 유인 표현 프레임은 로봇의 머리를 좌우로 일정 각도 반복하여 돌리며 팔을 일정 각도 위 아래로 반복하여 흔들고 ‘안녕하세요, 잠깐만 여기를 보세요’라는 음성을 출력하면서 특정 방향으로 로봇을 이동하는 표현들로 구성되어 있을 수 있다.

상기 표현 프레임은 적어도 하나 이상의 표현수단의 적어도 하나 이상의 출력을 이용하여 구성될 수 있고, 상기 표현수단 및 상기 출력은 도 7과 같이 미리 설정되어 있는 표현수단 및 출력을 사용자로부터 선택 받아 구성될 수 있다.

표현 프레임 구성의 예를 들면, 사용자는 도 7과 같이 로봇의 얼굴의 웃는 표현,영상 컨텐츠의 플레이 및 특정 문장의 TTS(Text To Speech) 등의 구성요소(710)를 선택하여 타임라인 (720)에 드래그 앤 드롭(Drag and Drop) 방식 등으로 표현 프레임을 구성할 수 있다.

따라서 사용자는 다수의 표현수단의 다수의 출력들을 조합하여 특정 표현을 위한표현 프레임을 구성함으로써, 시나리오의 생성시마다 표현 수단 및 표현 수단의 출력을 다시 일일이 조합하여 표현 프레임을 구성할 필요 없이 미리 설정된 상황에 맞는 적합한 표현 프레임을 사용 가능한 효과가 있다.

또는, 표현 프레임은 특정 표현을 위한 표현수단 및 그 출력이 미리 결정되어 있어서, 사용자는 단순히 해당 표현에 대한 표현 프레임을 선택하는 방식일 수도 있다.

예를 들어, 로봇이 인사하는 것은 매우 자주 쓰이는 표현이므로, ‘인사’라는 기본적인 표현 프레임을 도 8과 같이 표현 수단 및 출력을 설정해 놓고, 사용자는 상기 인사 표현 프레임을 선택하는 것만으로 입력될 수 있다.

연산수단은 사용자로부터 입력 받은 상황인지 프레임과 표현 프레임을 연결하여 판단(Judgement) 프레임을 생성한다.

상기 판단 프레임은 상황인지 프레임과 판단 프레임이 서로 연결된 것을 말한다. 따라서 같은 상황인지 프레임이라도 서로 다른 표현 프레임을 연결하거나 같은 표현 프레임을 서로 다른 상황인지 프레임을 연결하여 다수의 판단 프레임을 생성할 수 있다.

따라서 사용자는 로봇의 사용 장소 및 서비스 성격에 따라 상황인지 프로그램 및 표현 프레임의 조합을 통한 다양한 판단 프레임을 생성하여 다양한 로봇의 제어 시나리오를 만들 수 있는 효과가 있다.

판단 프레임이 생성되면 연산수단은 적어도 하나 이상의 판단 프레임과 트랜지션(Transition) 프레임을 선택 받아 스테이지(Stage)를 생성하고(S420), 적어도 두 개 이상의 스테이지에서, 한 스테이지의 트랜지션 프레임을 다른 스테이지와 연결하여 시나리오를 생성한다(S430).

트랜지션 프레임은 표현 프레임과 연결되지 않고 다른 스테이지와 연결된 상황인지 프레임으로서, 상기 상황인지 프레임에 따른 상황이 인지되면 다른 스테이지를 실행하도록 구성된 프레임을 의미한다.

예를 들어 도 9를 참조하면, ‘Intro’라는 이름(910)의 스테이지는 ‘사람접근’ 이름의 트랜지션 프레임 1개(920)와 판단 프레임 1개(930)로 구성되어 있다. 상기 판단 프레임은 ‘자동시작 0초’ 상황인지 프레임(931)과 ‘소개’ 표현 프레임(932)으로 연결 구성되어 있다.

상기 ‘자동시작 0초’ 상황인지 프레임(931)은 상기 ‘Intro’ 스테이지의 실행으로부터 시간의 흐름이 0초 지나는 상황을 인지하도록 구성되어 있을 수 있고, 상기 ‘소개’ 표현 프레임(932)은 로봇의 머리를 좌우로 일정 각도 반복하여 돌리며 특정 동영상을 디스플레이 장치로 플레이하는 표현으로 구성되어 있을 수 있다.

상기 ‘사람접근’ 트랜지션 프레임(920)은 사람의 종류 및 숫자에 무관하게 사람이 로봇을 향해 다가오는 상황을 인지하는 구성의 상황인지 프레임일 수 있다.

따라서, 상기 스테이지를 실행하는 로봇은 상기 ‘Intro’ 스테이지의 실행으로부터 시간의 흐름이 0초 지나면 로봇의 머리를 좌우로 일정 각도 반복하여 돌리며 특정 동영상을 디스플레이 장치로 플레이하다가 사람의 종류 및 숫자에 무관하게 사람이 로봇을 향해 다가오는 상황을 인지하면, 상기 ‘사람접근’ 트랜지션 프레임(920)에 연결된 스테이지를 실행할 수 있다.

상기 트랜지션 프레임은 적어도 하나 이상이 선택되어 스테이지에 포함될 수 있으므로, 상기 스테이지를 실행하면서도 다양한 상황을 인지하여 인지된 상황에 적합한 다른 스테이지를 실행하도록 함으로써 다양한 상황에 적합하게 로봇이 반응할 수 있는 로봇의 제어 시나리오를 생성할 수 있다.

도 10은 복수의 스테이지가 트랜지션 프레임을 통해서 서로 연결된 시나리오의 일 예이다. 도 10에 따른 시나리오를 수행하는 로봇은 ‘오프닝’ 이름의 스테이지(1100)에서 ‘자동시작 0초’의 상황인지 프레임과 ‘오프닝’ 표현 프레임으로 구성된 판단 프레임(1130)을 실행하다가 ‘사람접근’ 상황인지 프레임(1120)에 해당하는 상황을 인지하면 ‘인사’ 이름의 스테이지(1300)를 실행하게 되며, ‘사람접근’ 상황인지 프레임(1120)에 해당하는 상황이 인지됨이 없이 오프닝’ 이름의 스테이지 실행으로부터 5초가 지남을 인지하면 ‘소개’ 이름의 스테이지(1200)를 실행한다.

마찬가지로 다른 스테이지들 실행 중에도 서로 트랜지션 프레임을 통해서 각각 상황에 적합한 스테이지를 실행하게 되므로, 미리 정해진 일련의 순서에 따라 로봇의 동작이 수행되는 것이 아니라 다양한 상황에 따라 능동적이고 다양하게 로봇이 동작함으로써 보다 인간과 유사하게 동작 가능한 로봇 제어 시나리오를 생성할 수 있는 효과가 있다.

또한, 사용자는 로봇이 동작하는 시간 분량에 해당하는 타임라인 모두에 일일이 상기 로봇 동작 또는 컨텐츠를 배치하는 수고 없이도, 특정 상황에 따른 복수의 스테이지를 서로 연결함으로써 무한적으로 동작하는 로봇 제어 시나리오를 생성할 수 있는 효과가 있다.

도 11을 참조하여 본 발명에 따른 로봇 제어 시나리오 생성 장치의 실시예를 설명한다. 본 발명에 따른 로봇 제어 시나리오 생성 장치는 전기적 또는 자기적 신호를 통해 데이터를 저장하는 저장부(1110), 판단(Judgement) 프레임 생성부(1120), 스테이지(Stage) 생성부(1130) 및 시나리오 생성부(1140)를 포함한다.

상기 판단 프레임 생성부(1120)는 상황인지(Situation Cognition) 프레임(Frame) 및 표현(Expression) 프레임을 선택 받아 판단(Judgement) 프레임을 생성하여 상기 저장부에 저장한다.

상기 스테이지 생성부(1130)는 적어도 하나 이상의 상기 판단 프레임 및 적어도 하나 이상의 트랜지션(Transition) 프레임을 선택 받아 스테이지(Stage)를 생성하여 상기 저장부에 저장한다.

상기 시나리오 생성부(1140)는 적어도 두 개 이상의 스테이지에서, 한 스테이지의 트랜지션 프레임을 다른 스테이지와 연결하여 상기 저장부에 저장한다.

본 발명의 이해를 돕기 위해 설명된 실시예들에서 사용된 특정 용어들이 본 발명을 한정하는 것은 아니다. 본 발명은 통상의 기술자들에게 당연한 모든 구성 요소 및 동등한 가치를 갖는 모든 구성 요소를 포함할 수 있다.

110: 표현수단, 120, 720: 타임라인(Timeline)
510, 710: 구성요소

Claims

상황인지(Situation Cognition) 프레임(Frame) 및 표현(Expression) 프레임을 입력 받아 연산수단이 판단(Judgement) 프레임을 생성하여 저장수단에 저장하고 디스플레이하는 단계;
적어도 하나 이상의 상기 판단 프레임 및 적어도 하나 이상의 트랜지션(Transition) 프레임을 선택 받아 상기 연산수단이 스테이지(Stage)를 생성하여 저장수단에 저장하고 디스플레이하는 단계; 및
적어도 두 개 이상의 스테이지에서, 상기 연산수단이 한 스테이지의 트랜지션 프레임을 다른 스테이지와 연결하여 저장수단에 저장하고 디스플레이하는 단계;
를 포함하는 로봇 제어 시나리오 생성 장치의 로봇 제어 시나리오 생성 방법
제 1항에 있어서,
상기 상황인지 프레임은,
상기 로봇 외부의 상황(Situation)이 적어도 하나 이상의 인식수단의 입력을 이용하여 결정되는 것을 특징으로 하는 로봇 제어 시나리오 생성 장치의 로봇 제어 시나리오 생성 방법
제 2항에 있어서,
상기 상황을 결정하기 위한 상기 인식수단은 미리 설정되어 있거나 사용자에 의해 수정될 수 있는 것을 특징으로 하는 로봇 제어 시나리오 생성 장치의 로봇 제어 시나리오 생성 방법
제 2항에 있어서,
상기 상황인지 프레임은,
상기 로봇의 상태를 더 이용하여 결정되는 것을 특징으로 하는 로봇 제어 시나리오 생성 장치의 로봇 제어 시나리오 생성 방법
제 1항에 있어서,
상기 표현 프레임은,
상기 로봇의 적어도 하나 이상의 표현수단의 적어도 하나 이상의 출력을 이용하여 구성되는 것을 특징으로 하는 로봇 제어 시나리오 생성 장치의 로봇 제어 시나리오 생성 방법
제 5항에 있어서,
상기 표현수단 및 상기 출력은 미리 설정되어 있거나 사용자에 의해 수정 가능한 표현수단 및 출력을 선택 받아 구성되는 것을 특징으로 하는 로봇 제어 시나리오 생성 장치의 로봇 제어 시나리오 생성 방법
전기적 또는 자기적 신호를 통해 데이터를 저장하는 저장부;
상황인지(Situation Cognition) 프레임(Frame) 및 표현(Expression) 프레임을 선택 받아 판단(Judgement) 프레임을 생성하여 상기 저장부에 저장하는 판단 프레임 생성부;
적어도 하나 이상의 상기 판단 프레임 및 적어도 하나 이상의 트랜지션(Transition) 프레임을 선택 받아 스테이지(Stage)를 생성하여 상기 저장부에 저장하는 스테이지 생성부;및
적어도 두 개 이상의 스테이지에서, 한 스테이지의 트랜지션 프레임을 다른 스테이지와 연결하여 상기 저장부에 저장하는 시나리오 생성부;
를 포함하는 로봇 제어 시나리오 생성 장치
제 7항에 있어서,
상기 상황인지 프레임은,
상기 로봇 외부의 상황(Situation)이 적어도 하나 이상의 인식수단의 출력을 이용하여 결정되는 것을 특징으로 하는 로봇 제어 시나리오 생성 장치
제 8항에 있어서,
상기 상황을 결정하기 위한 상기 인식수단은 미리 설정되어 있거나 사용자에 의해 수정될 수 있는 것을 특징으로 하는 로봇 제어 시나리오 생성 장치
제 9항에 있어서,
상기 상황인지 프레임은,
상기 로봇의 상태를 더 이용하여 결정되는 것을 특징으로 하는 로봇 제어 시나리오 생성 장치
제 7항에 있어서,
상기 표현 프레임은,
상기 로봇의 적어도 하나 이상의 표현수단의 적어도 하나 이상의 출력을 이용하여 구성되는 것을 특징으로 하는 로봇 제어 시나리오 생성 장치
제 11항에 있어서,
상기 표현수단 및 상기 출력은 미리 설정되어 있거나 사용자에 의해 수정 가능한 표현수단 및 출력을 선택 받아 구성되는 것을 특징으로 하는 로봇 제어 시나리오 생성 장치