KR101842963B1 - 사용자-로봇 상호작용을 위한 시스템 및 정보 처리 방법 - Google Patents

사용자-로봇 상호작용을 위한 시스템 및 정보 처리 방법 Download PDF

Info

Publication number
KR101842963B1
KR101842963B1 KR1020160028824A KR20160028824A KR101842963B1 KR 101842963 B1 KR101842963 B1 KR 101842963B1 KR 1020160028824 A KR1020160028824 A KR 1020160028824A KR 20160028824 A KR20160028824 A KR 20160028824A KR 101842963 B1 KR101842963 B1 KR 101842963B1
Authority
KR
South Korea
Prior art keywords
robot
information
user
situation
surrounding environment
Prior art date
Application number
KR1020160028824A
Other languages
English (en)
Other versions
KR20170105768A (ko
Inventor
최종석
임윤섭
윤상석
박성기
김창환
김동환
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020160028824A priority Critical patent/KR101842963B1/ko
Publication of KR20170105768A publication Critical patent/KR20170105768A/ko
Application granted granted Critical
Publication of KR101842963B1 publication Critical patent/KR101842963B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 컨텍스트 모델을 구성하는 정보에 대한 인스턴스 및 센서에 의해 수신한 감각정보를 포함하는 종합지식 관리부; 수신한 쿼리에 대응하여 종합지식 관리부와 상호작용하여 획득한 종합지식에 기반하여 현재의 주변환경 및 상황에 대해 인식 및 추론하는 상황 추론부; 및 수신한 추론에 기반하여 로봇의 다음 행동을 결정하는 로봇행동 결정부를 포함하는 사용자-로봇 상호작용을 위한 시스템 및 정보 처리 방법에 관한 것으로서, 이를 이용하여 인간 생활환경에서 발생하는 상황들에 대해 적응적으로 로봇이 대응할 수 있고 실제 환경에서 향상된 사용자-로봇 상호작용을 구현할 수 있다.

Description

사용자-로봇 상호작용을 위한 시스템 및 정보 처리 방법{A SYSTEM FOR USER-ROBOT INTERACTION, AND INFORMATION PROCESSING METHOD FOR THE SAME}
본 발명은 사용자-로봇 상호작용을 위한 시스템 및 정보 처리 방법에 관한 것으로, 더욱 구체적으로는 실환경에서 발생할 수 있는 상호작용의 형태, 감각 정보 등을 통해 상황을 추론하고 이를 장기 기억으로 활용할 수 있는 시스템 및 정보 처리 방법에 관한 것이다.
최근 들어 다양한 분야에서 로봇을 직간접적으로 활용한 기술들이 개발되어 오고 있다. 일반적으로 공장에서 사람이 수행하기 힘든 작업 (무거운 기계 부품을 다루는 일 등)을 수행하거나, 인간의 일상생활에서 직접적인 상호작용을 이루는 로봇 기술 또한 존재한다. 그러나 현재 대부분의 로봇 기술은 단순한 작업만을 반복적으로 수행하거나, 로봇 개발자들의 상당한 노력을 통해 개발된 소정의 시나리오에 기반하여 필요한 동작 또는 상호작용만을 수행하고 있다. 예를 들어, 공장에서의 로봇 팔은 생산 공정에 필요한 동작들을 미리 입력된 코드에 따라 반복적으로 수행하고, 최근 개발되고 있는 가정용 인공지능 로봇 또한 로봇 팔보다는 다양하지만 한정된 수준의 미리 정해진 동작만을 수행할 뿐이며, 정해진 시나리오를 벗어난 상호작용의 수행이나 이전에 경험한 상황 및 주변환경과 관련성이 있는 새로운 상황 및 주변환경에 대한 논리적 추론 및 대응은 이루어지지 않고 있다.
하지만, 실제 인간 대 인간의 상호작용에는 정해진 시나리오가 없으며 매 시간마다 발생하는 사건들이 서로 연관성을 갖고 있는바, 인간들은 이러한 시간에 따른 연관성 및 다양한 정보들을 취합하여 상호작용에 사용하게 된다. 현재 개발되어 오는 로봇들은 이러한 기능이 구현되어 있지 않아, 실제 환경에서 발생하는 다양한 상황에 능동적으로 대응하지 못하고 있다.
본 발명에서는 앞서 설명한 바와 같이, 실제적인 주변환경의 다양한 상황에 능동적으로 대응하지 못하는 기존 로봇의 정보 처리 과정에서 발생하는 문제점을 해결하기 위해서 로봇에 입력되는 다양한 감각 정보뿐만 아니라 사회적 및 환경적 맥락에 대한 지식 정보를 포함하는 컨텍스트 모델 및 로봇에 저장된 장기 기억을 포함하는 종합적인 상호작용 지식을 기반으로 현재 상황을 추론하여 보다 원활한 사용자-로봇 상호작용을 구현할 수 있는 기술을 제시하고자 한다.
일 실시예에 따른 사용자-로봇 상호작용을 위한 시스템은, 사회적 및 환경적 맥락에 대한 지식 정보를 포함하는 컨텍스트 모델(ontology-based context model)을 구성하는 정보에 대한 인스턴스 및 상기 로봇 및 주변환경에 설치된 센서에 의해 수신한 감각정보를 포함하는 종합지식 관리부; 현재의 주변환경 및 상황을 인식하고 추론하기 위한 쿼리를 상황 추론부에 전송하고, 수신한 추론에 기반하여 로봇의 다음 행동을 결정하는 로봇행동 결정부; 및 상기 로봇행동 결정부로부터 수신한 상기 쿼리에 대응하여, 상기 종합지식 관리부로부터 획득한 종합지식에 기반하여 현재의 로봇 주변환경 및 상황에 대해 인식 및 추론하고, 추론 결과에 대한 정보를 상기 로봇행동 결정부에 전송하는 상황 추론부를 포함한다.
일 실시예에 따른 상기 사용자-로봇 상호작용을 위한 시스템은, 상기 사용자와 주변환경에 대해 미리 정의된 정보, 또는 상기 사용자-로봇 상호작용 중 발생하는 사건에 관한 정보를 저장하되, 상기 사건에 관한 정보는, 주변환경에 대한 상기 사용자의 반응 또는 상기 로봇이 결정된 행동을 한 경우 상기 사용자의 반응 중 적어도 하나, 및 상기 반응들을 기반으로 상기 상황 추론부에서 추론한 결과에 대한 정보를 포함하는 장기기억 저장부를 더 포함할 수 있다.
일 실시예에서 상기 장기기억 저장부는, 상기 사용자-로봇 상호작용 중 발생하는 사건 중에서 임계 기간 동안 임계 횟수 이상 반복하여 발생한 사건에 관한 정보를 장기 기억 정보로서 유지시키고, 임계 기간 동안 임계 횟수 미만 반복된 사건에 관한 정보는 삭제할 수 있다.
일 실시예에서 상기 센서에 의해 수신한 감각정보는, 사용자 및 주변환경의 음성신호, 영상신호, 생체신호, 사용자 및 로봇의 현재 위치, 장소, 주변환경의 날씨 또는 온도 중 적어도 하나를 포함하는 감각정보를 수신할 수 있다.
일 실시예에서 상기 컨텍스트 모델의 사회적 및 환경적 맥락에 대한 지식 정보는, 유선 또는 무선 네트워크를 통해 주기적으로 업데이트될 수 있다.
일 실시예에서 상기 상황 추론부가 수신한 상기 쿼리에 대해 추론한 결과, 종합지식 관리부에 존재하지 않는 주변환경 및 상황인 경우, 상기 상황 추론부는 유선 또는 무선 네트워크를 통해 유사한 상황 및 대응 행동을 검색하거나, 로봇행동 결정부로 하여금 로봇이 사용자에게 행동 정보 입력을 요구하는 메시지를 표시하도록 할 수 있다.
일 실시예에 따른 사용자-로봇 상호작용을 위한 정보 처리 방법은, 상기 로봇에 설치된 센서 및 주변환경에 설치된 센서에 의해 감각정보를 수신하는 단계; 현재의 주변환경 및 상황을 인식하고 추론하기 위한 쿼리를 전송하는 단계; 전송된 상기 쿼리에 대응하여 사회적 및 환경적 맥락에 대한 지식 정보를 포함하는 컨텍스트 모델(ontology-based context model)로부터의 인스턴스 정보, 상기 사용자와 주변환경에 대해 미리 정의된 정보 또는 과거 사용자-로봇 상호작용 중 발생한 사건에 관한 정보, 및 상기 센서로부터 수신한 감각정보를 포함한 종합지식에 기반하여 현재의 로봇 주변환경 및 상황에 대해 인식 및 추론하는 단계; 및 상기 추론결과에 대한 정보에 기반하여 로봇의 다음 행동을 결정하는 단계를 포함한다.
일 실시예에서 상기 과거 사용자-로봇 상호작용 중 발생한 사건에 관한 정보는, 주변환경에 대한 상기 사용자의 반응 또는 상기 로봇이 결정된 행동을 한 경우 상기 사용자의 반응 중 적어도 하나 및 상기 반응들을 기반으로 추론한 결과에 대한 정보를 포함할 수 있다.
일 실시예에서 상기 감각정보를 수신하는 단계는, 사용자 및 주변환경의 음성신호, 영상신호, 생체신호, 사용자 및 로봇의 현재 위치, 장소, 주변환경의 날씨 또는 온도 중 적어도 하나를 포함하는 감각정보를 수신할 수 있다.
일 실시예에서 상기 컨텍스트 모델의 사회적 및 환경적 맥락에 대한 지식 정보는, 유선 또는 무선 네트워크를 통해 주기적으로 업데이트될 수 있다.
일 실시예에서 주변환경 및 상황에 대해 인식 및 추론하는 단계에서, 상기 수신한 쿼리가 종합지식 내 존재하지 않는 주변환경 및 상황에 대한 쿼리인 경우, 유선 또는 무선 네트워크를 통해 유사한 상황 및 대응 행동을 검색하는 단계, 또는 로봇이 사용자에게 행동 정보 입력을 요구하는 메시지를 표시하도록 하는 단계를 더 포함할 수 있다.
본 발명의 실시예들에 따르면, 로봇이 사회적 및 환경적 맥락과 미리 입력된 정보에 기초한 추론에 의해 사건에 대응할 수 있을 뿐만 아니라, 상기 사건에 대한 사용자의 반응과 지시를 저장함으로써 이후에 동일하거나 유사한 사건이 발생한 경우 보다 적극적이고 능동적인 대응이 가능하다. 또한, 다른 실시예에 따르면 컨텍스트 모델을 주기적으로 업데이트함으로써 시간이 지남에 따라 변화하는 사회적 및 환경적 맥락에 대해 유연하게 대처할 수 있고, 저장되지 않은 사건에 대해서는 스스로 이를 검색하거나 새로운 입력을 요구함으로써 자체적으로 상호작용을 위한 지식 구조를 형성해 나갈 수 있다. 이를 통해, 본 발명의 실시예에 따른 로봇은 종래의 단순한 작업만을 반복하던 로봇과 차별화되어 보다 인간에 가까운 형태의 상호작용을 구현해 낼 수 있다.
도 1은 일 실시예에 따른 사용자-로봇 상호작용을 위한 시스템을 도시한 블록도이다.
도 2는 도 1의 컨텍스트 모델의 구성 및 일 실시예에 따른 유무선 네트워크를 통한 업데이트를 도시한 블록도이다.
도 3은 일 실시예에 따른 사용자-로봇 상호작용을 위한 정보 처리 방법의 각 단계를 도시한 플로우차트이다.
이하에서, 도면들을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은 일 실시예에 따른 사용자-로봇 상호작용을 위한 시스템을 도시한 블록도이다.
일 실시예에서 도 1의 종합지식 관리부(10)는 컨텍스트 모델(20)을 구성하는 정보에 대한 인스턴스 및 상기 로봇 및 주변환경에 설치된 센서에 의해 수신한 감각정보(30)를 포함한다. 종합지식 관리부(10)에는 상기 컨텍스트 모델(20)을 이루는 정보들에 대한 인스턴스를 저장하게 되며, 인스턴스들은 인식된 결과를 기반으로 한다. 후술하는 바와 같이 로봇으로 하여금 현재 상태를 입력 데이터에 기반하여 논리적으로 추론하기 위한 상황 추론부(70)가 존재하며, 이 상황 추론부(70)는 로봇행동 결정부(50)로부터 다양한 상황에 대한 결론을 구하기 위한 쿼리에 기반하여 추론이 수행된다.
도 2는 컨텍스트 모델(20)의 구성 및 일 실시예에 따른 유무선 네트워크를 통한 업데이트를 도시하고 있다. 컨텍스트 모델(20)(ontology-based context model)에는 특정 사건에 관련된 단어들이 계층적으로 표현되어 있고, 추가적으로 이를 확장할 수 있는 추론 규칙이 포함되어 있다. 일 실시예에서 이러한 컨텍스트 모델에는 사회적 맥락(예를 들어 상호작용 유형, 사회적 역할, 관계, 장소 등), 환경적 맥락(예를 들어, 장치의 상태, 위치, 장소 등) 및 사용자의 일반적/개인적 행동 양식(예를 들어, 개인 정보, 감정상태, 개성, 제스처)이 포함될 수 있다. 로봇은 이러한 컨텍스트 모델을 이용하여 후술할 상황 추론부(70)에서 주변상황 및 환경을 인식하고 추론할 수 있다. 일 실시예에서, 상기 컨텍스트 모델(20)은 온톨로지 기반의 컨텍스트 모델(Ontology-based context model)일 수 있다.
예를 들어, 저녁 시간 사용자의 집에 사용자와 같은 동호회에 속한 둘 이상의 사람들이 방문한 경우, 로봇은 '집'이라는 장소, '저녁 시간'이라는 시간, 및 '동호회 사람들'이라는 사용자와 관련된 개인 정보를 수집하고, 추론 규칙에 따라 이를 확장할 수 있다. '저녁 시간에 집에서 동호회 사람들이 모인 경우'에는 사회적 및 환경적 맥락에 의해 '사용자의 집에서 동호회 모임이 있음'을 추론할 수 있고, 이에 따라 다음 행동을 결정할 수 있다.
또 다른 예로서, 8월 중순 오후 2시경 사용자가 집에 귀가한 경우, 로봇은 '8월 중순'이라는 날짜 및 '오후 2시경'이라는 시간 정보를 수집하고, 사회적 및 환경적 맥락에 따라 '사용자가 갈증이 심할 것'을 추론할 수 있고, 이에 따라 사용자에게 마실 것을 건네는 등의 행동 결정을 할 수 있다.
일 실시예에서, 로봇이 주변환경 및 상황을 판단하기 위해서는 로봇에 설치된 다양한 센서들(음성 인식 장치, 영상 카메라 등)과 주변 환경에 설치된 센서들로부터 얻어진 정보를 바탕으로 인식된 다양한 감각 정보들(30)(예를 들어, 음성신호, 영상신호, 생체신호, 사용자 및 로봇의 현재위치, 장소, 주변환경의 날씨 또는 온도 등)이 종합지식 관리부(10)로 전송되고, 상기 종합지식 관리부(10)에서는 상기 수신한 감각정보(30)를 종합지식으로써 이용할 수 있는 정보의 형태 또는 사용자가 인식할 수 있는 정보의 형태(예를 들어, 지도상에 표시된 사용자 및 로봇의 현재위치, 아이콘으로 표시된 주변환경의 날씨, 또는 숫자로 표시된 현재 온도 등)로 변환하여 저장하도록 한다. 일 실시예에서 상기 주변환경에 설치된 센서에 의해 수신한 감각정보들은 유선 또는 무선 네트워크를 통해 상기 로봇으로 전송될 수 있다. 일 실시예에서 상기 수신된 감각 정보 중 일부(위치, 날씨, 온도 등)는 로봇에 탑재된 디스플레이(도시되지 않음)에 표시되거나, 유무선 네트워크를 통해 사용자의 스마트폰, 랩탑, 데스크탑 등 디스플레이가 탑재된 전자 디바이스로 전송하여 표시할 수 있다.
일 실시예에서 상기 컨텍스트 모델(20)의 사회적 및 환경적 맥락에 대한 지식 정보는, 유선 또는 무선 네트워크를 통해 주기적으로 업데이트될 수 있다. 이는 시간이 지남에 따라 사회적인 환경의 변화, 새로운 언어의 유행 등으로 인해 사회적/환경적 맥락이 변화하므로 이러한 변화를 사용자-로봇 간 상호작용에 반영하여 보다 적응적이고 능동적인 행동 결정을 하도록 하기 위함이다. 일 실시예에서 상기 네트워크를 통한 업데이트는 검색 엔진 또는 클라우드 서비스에 기초하여 이루어질 수 있다.
도 1의 장기 기억 저장부(90)는 사용자와 주변환경에 대해 미리 정의된 정보 및 사용자-로봇 상호작용 중 발생하는 사건에 관한 정보를 저장한다.
일 실시예에서 사용자는 상기 장기기억 저장부(90)에 사용자의 이름, 신체정보, 가족 및 교우관계, 직장 또는 학교, 식사시간, 취침 및 기상시간, 사용자가 가지고 있는 다른 사람의 연락처, 병력 또는 투약 중인 약 종류 등의 개인 정보를 미리 입력 및 저장할 수 있다. 이로 인해, 로봇은 상황에 대한 인식 및 추론과 로봇 행동의 결정 시 이러한 개인 정보를 기반으로 할 수 있다. 예를 들어, 미리 입력된 식사 시간 및 투약 중인 약의 종류에 기반하여 식후 약을 섭취하도록 권유하는 메시지를 로봇에 탑재된 디스플레이(도시되지 않음)에 표시할 수 있고, 입력된 직장 또는 학교의 위치 및 인식된 현재 위치를 기반으로 직장 또는 학교에 가는 길이나 교통상황을 제시할 수 있다. 또한, 사용자의 취침시간 이후에는 절전상태에 들어가고 기상시간이 되면 작동 상태가 되어 알람을 하는 등 사용자의 기상을 도울 수 있다. 일 실시예에서는 상기한 것처럼 해당 정보 또는 알람을 직접 로봇 내 디스플레이에 표시하거나 유무선 네트워크를 통해 사용자의 스마트폰, 랩탑, 데스크탑 등 디스플레이가 탑재된 전자 디바이스로 전송하여 표시할 수 있다.
일 실시예에 따른 사용자-로봇 상호작용 중에 다양한 사건들이 발생하며, 이러한 사건들 중 주목해야 할 데이터들은 장기기억 저장부(Long-term memory)에 저장되어 통계적인 방법을 통해 로봇과 사용자 간의 상호작용의 패턴에 대한 정보를 갖게 되며, 이는 상황 추론에서 사용되어 보다 사용자의 상태에 맞는 상호작용이 가능하게 된다.
일 실시예에서 상기 장기기억 저장부(90)는, 특정 사건(event)이 발생한 경우 상기 사건하의 주변환경 및 상황에 대한 사용자의 반응을 저장할 수 있다. 예를 들어, 8월 중순 어느 날 오후 2시경 사용자가 집에 귀가한 후에 시원한 얼음물을 마시고 냉방장치를 가동하였다면, 이러한 사용자의 행동을 해당 사건에 대한 사용자의 반응으로서 저장할 수 있다. 이후 '여름 어느 날 오후에 사용자가 집에 귀가'하였다면, 로봇은 장기기억 저장부(90)에 저장된 상기 사용자의 행동 정보에 기초하여 시원한 물을 권하고 냉방장치를 가동하는 등 다음 행동을 결정할 수 있다.
다른 실시예에서 상기 장기기억 저장부(90)는, 특정 사건이 발생 시 로봇이 특정 행동을 한 경우 사용자의 반응을 저장할 수 있다. 예를 들어, 8월 중순 어느 날 오후 2시경 귀가한 사용자에게 시원한 얼음물을 권하였더니 사용자가 이를 거부하고 시원한 맥주를 마셨다면, 이러한 사용자의 행동을 해당 사건에 대한 사용자의 반응으로서 저장할 수 있다. 이후 '여름 어느 날 오후에 사용자가 집에 귀가'하였다면, 로봇은 장기기억 저장부(90)에 저장된 상기 사용자의 행동 정보에 기초하여 시원한 얼음물이 아닌 시원한 맥주를 권하는 행동을 하도록 결정할 수 있다.
일 실시예에서, 상기 장기기억 저장부(90)는 로봇 내 메모리를 효과적으로 관리하고 저장된 정보의 검색 및 연산에 소요되는 시간을 줄이기 위해, 상기 사용자-로봇 상호작용 중 발생하는 사건 중에서 임계 기간 동안 임계 횟수 이상 반복하여 발생한 사건에 관한 정보를 장기 기억 정보로서 유지시키고, 임계 기간 동안 임계 횟수 미만 반복된 사건에 관한 정보는 삭제할 수 있다. 예를 들어, 사용자의 집에서 동호회 모임이 있었던 이후 1년간 동호회 모임이 반복되지 않았다면, 이를 중요도가 낮은 사건으로 인식하여 상기 사건에 관한 정보를 메모리에서 삭제할 수 있다.
로봇행동 결정부(50)와 상황 추론부(70)는 상기 종합지식 관리부(10)와 상호작용하여 실질적으로 상황을 추론하고 로봇의 행동을 결정하도록 한다. 일 실시예에서 로봇행동 결정부(50)는 현재의 로봇 주변환경 및 상황을 인식하고 추론하기 위한 쿼리를 상황 추론부(70)에 전송한 다음, 추론된 사실 정보를 상황 추론부(70)로부터 수신하여, 로봇의 다음 행동을 결정할 수 있다. 일 실시예에서 상기 로봇행동 결정부(50)는 종합지식 관리부(10)에 액세스하여, 종합지식 관리부(10)에 저장된 감각 정보(30)를 기반으로 주변환경 및 상황에 대한 쿼리(query)를 생성하여 상기 상황 추론부(70)에 전송할 수 있다.
이어, 상기 쿼리를 수신한 상황 추론부(70)는 종합지식 관리부(10)에 액세스하여, 상기 로봇 및 주변환경에 설치된 센서에 의해 수신한 감각정보(30)를 기반으로 현재의 주변환경 및 상황을 인식하고, 상기 컨텍스트 모델(20)을 구성하는 정보에 대한 인스턴스에 기초하여 주변환경 및 상황을 추론한다. 이러한 추론 과정에서는 상기한 것처럼, 컨텍스트 모델의 사회적 맥락(예를 들어 상호작용 유형, 사회적 역할, 관계, 장소 등), 환경적 맥락(예를 들어, 장치의 상태, 위치, 장소 등) 및 사용자의 일반적/개인적 행동 양식(예를 들어, 개인 정보, 감정상태, 개성, 제스처)간의 추론 규칙을 이용한다.
이어, 상기 상황 추론부(70)는 추론된 사실 정보를 로봇행동 결정부(50)에 전송하고, 상기 로봇행동 결정부(50)는 수신한 추론에 기반하여 로봇의 다음 행동을 결정할 수 있다.
예를 들어, 상기한 예시에서와 같이 '저녁 시간에 집에서 동호회 사람들이 모인 경우'에' 사용자의 집에서 동호회 모임이 있음'을 추론할 수 있고, 이에 따라 상기 장기기억 저장부(90)로부터 과거에 있었던 동호회 모임에 관한 정보를 로드 및 디스플레이에 표시하여 사용자의 기억을 환기시킬 수 있다.
또 다른 예에서는, '8월 중순'이라는 날짜 및 '오후 2시경'이라는 시간 정보로부터, 사회적 및 환경적 맥락에 따라 '사용자가 갈증이 심할 것'을 추론할 수 있고, 이에 따라 상기 장기기억 저장부(90)로부터 사용자가 좋아하는 음료에 관한 정보를 로드하여 상기 음료수를 권하거나, 실내 온도를 낮추기 위해 냉방장치를 가동할 수 있다.
일 실시예에서 상기 상황 추론부(70)가 수신한 상기 쿼리에 대해 추론한 결과, 종합지식 관리부(10)에 존재하지 않는 주변환경 및 상황인 경우에는 네트워크를 통해 유사한 상황 및 대응 행동을 검색할 수 있다. 즉, 특정 사건에 대해 로봇이 감각정보를 통해 인식한 주변환경 및 상황이 컨텍스트 모델(20) 내 인스턴스로 구성할 수 없는 상황이거나, 사용자가 미리 입력한 정보에도 포함되어 있지 않고 과거에도 발생한 적이 없는 사건의 경우에는 로봇 내 포함된 통신 장치(도시되지 않음)를 이용한 유선 또는 무선 네트워크를 통해 상기 사건에 대한 정보를 검색할 수 있다. 검색 결과 동일하거나 유사한 사건에 대한 사회적 및 환경적 맥락이 존재한다면, 이를 장기기억 저장부(90)에 다운로드하여 상기 사건에 대한 인식, 추론 및 행동의 결정에 이용할 수 있다.
다른 실시예에서 상기 상황 추론부(70)가 수신한 상기 쿼리에 대해 추론한 결과, 종합지식 관리부(10)에 존재하지 않는 주변환경 및 상황인 경우에는, 로봇행동 결정부로 하여금 로봇이 사용자에게 행동 정보 입력을 요구하는 메시지를 표시하도록 할 수 있다. 즉, 컨텍스트 모델(20) 또는 장기기억 저장부(90)에 존재하지 않는 사건이 발생한 경우, 사건에 대한 로봇의 행동 양식이나 로봇이 주변환경 및 상황을 로봇 내 저장된 정보를 활용해 인식할 수 있게끔 하는 추가적인 입력을 요구하는 메시지를 로봇 내 디스플레이에 표시하거나 유무선 네트워크를 통해 사용자의 스마트폰, 랩탑, 데스크탑 등 디스플레이가 탑재된 전자 디바이스로 전송하여 표시할 수 있다. 마찬가지로 이러한 입력 및 로봇의 행동을 장기기억 저장부(90)에 저장하여 다음에 발생하는 동일하거나 유사한 사건에 이용할 수 있다.
도 3은 일 실시예에 따른 사용자-로봇 상호작용을 위한 정보 처리 방법의 각 단계를 도시한다.
일 실시예에서 상기 로봇은 로봇 내 설치된 센서 및 주변환경에 설치된 센서에 의해 감각정보들(예를 들어, 음성신호, 영상신호, 생체신호, 사용자 및 로봇의 현재위치, 장소, 주변환경의 날씨 또는 온도 등)을 수신할 수 있다(S100). 일 실시예에서 상기 주변환경에 설치된 센서에 의해 수신한 감각정보들은 유선 또는 무선 네트워크를 통해 상기 로봇으로 전송될 수 있다.
이어, 로봇의 행동을 결정하는 프로세서(예를 들어, 상기 로봇행동 결정부(50))는 현재의 주변환경 및 상황을 인식하고 추론하기 위한 쿼리를 추론 프로세서(예를 들어, 상기 상황 추론부(70))에 전송할 수 있다(S200).
이어, 전송된 상기 쿼리에 대응하여 사회적 및 환경적 맥락에 대한 지식 정보를 포함하는 컨텍스트 모델(20)로부터의 인스턴스 정보, 상기 사용자와 주변환경에 대해 미리 정의된 정보 또는 과거 사용자-로봇 상호작용 중 발생한 사건에 관한 정보, 및 상기 센서로부터 수신한 감각정보, 즉 도 1에 대한 설명에 상기한 바와 같이, 종합지식으로써 이용할 수 있는 정보의 형태 또는 사용자가 인식할 수 있는 형태(예를 들어, 지도상에 표시된 사용자 및 로봇의 현재위치, 아이콘으로 표시된 주변환경의 날씨, 또는 숫자로 표시된 현재 온도 등)의 정보를 포함한 종합지식에 기반하여 현재의 로봇 주변환경 및 상황에 대해 인식 및 추론할 수 있다(S300).
이어, 추론 프로세서에 의해 추론 결과에 대한 정보를 상기 로봇 행동 결정 프로세서에 전송할 수 있고, 상기 로봇 행동 결정 프로세서는 수신한 추론에 기반하여 로봇의 다음 행동을 결정 할 수 있다(S400).
일 실시예에서 상기 단계(S300)의 사용자와 주변환경에 대해 미리 정의된 정보는 도 1의 설명에서 기술한 것처럼, 사용자의 이름, 신체정보, 가족 및 교우관계, 직장 또는 학교, 식사시간, 취침 및 기상시간, 사용자가 가지고 있는 다른 사람의 연락처, 병력 또는 투약 중인 약 종류 등의 개인 정보를 포함할 수 있고, 이로 인해, 로봇은 상황에 대한 인식 및 추론과 로봇 행동의 결정 시 이러한 개인 정보를 기반으로 할 수 있다.
일 실시예에서 상기 단계(S300)의 과거 사용자-로봇 상호작용 중 발생한 사건에 관한 정보는, 특정 사건(event)이 발생한 경우 상기 사건하의 주변환경 및 상황에 대한 사용자의 반응을 저장할 수 있다. 또 다른 실시예에서는 특정 사건이 발생 시 로봇이 특정 행동을 한 경우 이에 대한 사용자의 반응을 저장할 수 있다.
도 3의 일 실시예에 따른 상기 사용자-로봇 상호작용을 위한 정보 처리 방법의 각 단계들(S100 내지 S400)은, 도 1 및 도 2에 대한 설명과 마찬가지로 장기기억 정보의 저장 및 삭제 시스템(즉, 임계 기간 내 임계 횟수 이상 반복된 사건의 정보만을 기억하고 그 외의 정보는 삭제하는 시스템), 컨텍스트 모델의 네트워크를 통한 주기적 업데이트 프로세스, 또는 로봇 내 저장되지 않은 사건에 대한 정보를 네트워크 또는 사용자의 입력을 통해 보완하는 프로세스를 유사한 방식으로 적용할 수 있다.
이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
전술한 사용자-로봇 상호작용 시스템 및 정보 처리 방법을 통해, 본 발명의 실시예들에 따른 로봇은 종래의 단순 작업 및 미리 입력된 코드에 의해서 반복된 작업만을 수행하는 로봇에 비해 보다 능동적으로 사용자와 상호작용할 수 있다. 다양한 주변환경 및 상황에 보다 적응적인 시스템을 갖춤으로써 가정용, 의료용, 산업용, 또는 오락용 로봇 등 다양한 분야의 로봇이 더 적극적으로 활용될 수 있을 것이다.
10: 종합지식 관리부
20: 컨텍스트 모델
30: 감각 정보
50: 로봇행동 결정부
70: 상황 추론부
90: 장기기억 저장부

Claims (11)

  1. 사용자-로봇 상호작용을 위한 시스템으로서,
    사회적 및 환경적 맥락에 대한 지식 정보를 포함하는 컨텍스트 모델(context model)을 구성하는 정보에 대한 인스턴스 및 상기 로봇 및 주변환경에 설치된 센서에 의해 수신한 감각정보를 포함하는 종합지식 관리부;
    현재의 주변환경 및 상황을 인식하고 추론하기 위한 쿼리를 상황 추론부에 전송하고, 상기 상황 추론부로부터 수신한 추론 결과에 대한 정보에 기반하여 로봇의 다음 행동을 결정하는 로봇행동 결정부;
    상기 로봇행동 결정부로부터 수신한 상기 쿼리에 대응하여, 상기 종합지식 관리부로부터 획득한 종합지식에 기반하여 현재의 로봇 주변환경 및 상황에 대해 인식 및 추론하고, 추론 결과에 대한 정보를 상기 로봇행동 결정부에 전송하는 상황 추론부; 및
    상기 사용자와 주변환경에 대해 미리 정의된 정보, 또는 상기 사용자-로봇 상호작용 중 발생하는 사건에 관한 정보를 저장하는 장기기억 저장부를 포함하되,
    상기 사건에 관한 정보는, 주변환경에 대한 상기 사용자의 반응 또는 상기 로봇의 결정된 행동에 대한 사용자의 반응 중 적어도 하나를 포함하고, 상기 반응들을 기반으로 상기 상황 추론부에서 추론한 결과에 대한 정보를 포함하고,
    상기 상황 추론부가 수신한 상기 쿼리에 대해 추론한 결과, 종합지식 관리부에 존재하지 않는 주변환경 및 상황인 경우,
    상기 상황 추론부는 유선 또는 무선 네트워크를 통해 유사한 상황 및 대응 행동을 검색하거나,
    로봇행동 결정부로 하여금 로봇이 사용자에게 행동 정보 입력을 요구하는 메시지를 표시하도록 하는, 사용자-로봇 상호작용을 위한 시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 장기기억 저장부는,
    상기 사용자-로봇 상호작용 중 발생하는 사건 중에서 임계 기간 동안 임계 횟수 이상 반복하여 발생한 사건에 관한 정보를 장기 기억 정보로서 유지시키고,
    임계 기간 동안 임계 횟수 미만 반복된 사건에 관한 정보는 삭제하는, 사용자-로봇 상호작용을 위한 시스템.
  4. 제1항에 있어서, 상기 센서에 의해 수신한 감각정보는,
    사용자 및 주변환경의 음성신호, 영상신호, 생체신호, 사용자 및 로봇의 현재 위치, 장소, 주변환경의 날씨 또는 온도 중 적어도 하나를 포함하는 감각정보를 수신하는, 사용자-로봇 상호작용을 위한 시스템.
  5. 제1항에 있어서,
    상기 컨텍스트 모델의 사회적 및 환경적 맥락에 대한 지식 정보는, 유선 또는 무선 네트워크를 통해 주기적으로 업데이트되는, 사용자-로봇 상호작용을 위한 시스템.
  6. 삭제
  7. 사용자-로봇 상호작용을 위한 정보 처리 방법으로서,
    상기 로봇에 설치된 센서 및 주변환경에 설치된 센서에 의해 감각정보를 수신하는 단계;
    현재의 주변환경 및 상황을 인식하고 추론하기 위한 쿼리를 전송하는 단계;
    전송된 상기 쿼리에 대응하여 사회적 및 환경적 맥락에 대한 지식 정보를 포함하는 컨텍스트 모델(context model)로부터의 인스턴스 정보, 상기 사용자와 주변환경에 대해 미리 정의된 정보 또는 과거 사용자-로봇 상호작용 중 발생한 사건에 관한 정보, 및 상기 센서로부터 수신한 감각정보를 포함한 종합지식에 기반하여 현재의 로봇 주변환경 및 상황에 대해 인식 및 추론하는 단계; 및
    상기 추론 결과에 기반하여 로봇의 다음 행동을 결정하는 단계를 포함하되,
    상기 과거 사용자-로봇 상호작용 중 발생한 사건에 관한 정보는,
    주변환경에 대한 상기 사용자의 반응 또는 상기 로봇의 결정된 행동에 대한 사용자의 반응 중 적어도 하나를 포함하고, 상기 반응들을 기반으로 추론한 결과에 대한 정보를 포함하고,
    주변환경 및 상황에 대해 인식 및 추론하는 단계에서, 상기 수신한 쿼리가 종합지식 내 존재하지 않는 주변환경 및 상황에 대한 쿼리인 경우,
    유선 또는 무선 네트워크를 통해 유사한 상황 및 대응 행동을 검색하는 단계, 또는
    로봇이 사용자에게 행동 정보 입력을 요구하는 메시지를 표시하도록 하는 단계를 더 포함하는, 사용자-로봇 상호작용을 위한 정보 처리 방법.
  8. 삭제
  9. 제7항에 있어서, 상기 감각정보를 수신하는 단계는,
    사용자 및 주변환경의 음성신호, 영상신호, 생체신호, 사용자 및 로봇의 현재 위치, 장소, 주변환경의 날씨 또는 온도 중 적어도 하나를 포함하는 감각정보를 수신하는, 사용자-로봇 상호작용을 위한 정보 처리 방법.
  10. 제7항에 있어서,
    상기 컨텍스트 모델의 사회적 및 환경적 맥락에 대한 지식 정보는, 유선 또는 무선 네트워크를 통해 주기적으로 업데이트되는, 사용자-로봇 상호작용을 위한 정보 처리 방법.
  11. 삭제
KR1020160028824A 2016-03-10 2016-03-10 사용자-로봇 상호작용을 위한 시스템 및 정보 처리 방법 KR101842963B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160028824A KR101842963B1 (ko) 2016-03-10 2016-03-10 사용자-로봇 상호작용을 위한 시스템 및 정보 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160028824A KR101842963B1 (ko) 2016-03-10 2016-03-10 사용자-로봇 상호작용을 위한 시스템 및 정보 처리 방법

Publications (2)

Publication Number Publication Date
KR20170105768A KR20170105768A (ko) 2017-09-20
KR101842963B1 true KR101842963B1 (ko) 2018-03-29

Family

ID=60033718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160028824A KR101842963B1 (ko) 2016-03-10 2016-03-10 사용자-로봇 상호작용을 위한 시스템 및 정보 처리 방법

Country Status (1)

Country Link
KR (1) KR101842963B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200078952A1 (en) * 2018-09-06 2020-03-12 Misty Robotics, Inc. Robot memory management techniques
KR20200077936A (ko) * 2018-12-21 2020-07-01 삼성전자주식회사 사용자 상태에 기초하여 반응을 제공하는 전자 장치 및 그의 동작 방법
CN111949773A (zh) * 2019-05-17 2020-11-17 华为技术有限公司 一种阅读设备、服务器以及数据处理的方法
CN114227717B (zh) * 2021-12-31 2024-09-13 深圳市优必选科技股份有限公司 基于巡检机器人的智能巡检方法、装置、设备及存储介质
KR102668931B1 (ko) * 2023-05-08 2024-05-29 (주)로보케어 맞춤형 서비스 제공 장치 및 방법
KR102706696B1 (ko) * 2023-11-29 2024-09-19 네이버 주식회사 로봇 친화형 건물, 건물을 주행하는 로봇 제어 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101013384B1 (ko) * 2008-12-29 2011-02-14 한양대학교 산학협력단 로봇의 지능적 서비스를 위한 지식 정보 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101013384B1 (ko) * 2008-12-29 2011-02-14 한양대학교 산학협력단 로봇의 지능적 서비스를 위한 지식 정보 시스템

Also Published As

Publication number Publication date
KR20170105768A (ko) 2017-09-20

Similar Documents

Publication Publication Date Title
KR101842963B1 (ko) 사용자-로봇 상호작용을 위한 시스템 및 정보 처리 방법
US11876925B2 (en) Electronic device and method for controlling the electronic device to provide output information of event based on context
US8020104B2 (en) Contextual responses based on automated learning techniques
US9015099B2 (en) Method, system and device for inferring a mobile user's current context and proactively providing assistance
US20140052680A1 (en) Method, System and Device for Inferring a Mobile User's Current Context and Proactively Providing Assistance
US11170778B2 (en) Conversational control system and method for registering external device
US20130246512A1 (en) Cognitive agent
US20190362718A1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
US11483172B2 (en) Integrated control method and system for home appliance using artificial intelligence
CN111512617B (zh) 推荐联系人信息的装置和方法
US20190197427A1 (en) Device and method for recommending contact information
CN110720100A (zh) 信息处理设备、信息处理方法和程序
US20230237059A1 (en) Managing engagement methods of a digital assistant while communicating with a user of the digital assistant
Leake et al. Cases, context, and comfort: Opportunities for case-based reasoning in smart homes
Aminikhanghahi et al. Thyme: Improving smartphone prompt timing through activity awareness
EP3257333B1 (en) A lighting system controller
US11907822B2 (en) Controlling conversational digital assistant interactivity
Oyeleke et al. Situation‐centered goal reinforcement of activities of daily living in smart home environments
US20180211175A1 (en) Pattern recognition and prediction using a knowledge engine
KR20180046124A (ko) 사용자 특성 분석을 위한 시스템, 방법 및 프로그램
US20210350797A1 (en) System and method for providing voice assistance service
US20210216815A1 (en) Electronic apparatus and operating method thereof
US20220051073A1 (en) Integrated Assistance Platform
US20220385767A1 (en) Targeted visitor notifications
JP2023059602A (ja) プログラム、情報処理方法、及び情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant