KR101055567B1 - 서비스 로봇을 위한 지능형 사용자 인터페이스 장치 및 제어 방법 - Google Patents

서비스 로봇을 위한 지능형 사용자 인터페이스 장치 및 제어 방법 Download PDF

Info

Publication number
KR101055567B1
KR101055567B1 KR1020090088593A KR20090088593A KR101055567B1 KR 101055567 B1 KR101055567 B1 KR 101055567B1 KR 1020090088593 A KR1020090088593 A KR 1020090088593A KR 20090088593 A KR20090088593 A KR 20090088593A KR 101055567 B1 KR101055567 B1 KR 101055567B1
Authority
KR
South Korea
Prior art keywords
user
control command
service
service robot
robot
Prior art date
Application number
KR1020090088593A
Other languages
English (en)
Other versions
KR20110030925A (ko
Inventor
전재욱
송태훈
정순묵
정현욱
김명진
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020090088593A priority Critical patent/KR101055567B1/ko
Priority to US12/883,850 priority patent/US8666545B2/en
Publication of KR20110030925A publication Critical patent/KR20110030925A/ko
Application granted granted Critical
Publication of KR101055567B1 publication Critical patent/KR101055567B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/10—Program control for peripheral devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 서비스 로봇을 위한 지능형 사용자 인터페이스 장치 및 제어 방법에 관한 것으로, 사용자로부터 서비스 로봇을 제어하기 위한 제어 명령을 전달받아 해석하는 상호작용 서버, 입력받은 제어 명령의 난이도를 결정하는 색인 블록 및 해석된 제어 명령과 그 난이도에 따라 서비스 로봇의 동작 모드를 결정하고 상기 서비스 로봇의 제어를 수행하는 로봇 제어 서버를 포함하는 사용자 인터페이스 장치 및 그 제어 방법을 제공함으로써 서비스 로봇이 제공하는 서비스의 품질과 만족도를 높일 수 있다.
지능형 사용자 인터페이스, 상호작용, 색인, 로봇제어, 만족도 평가

Description

서비스 로봇을 위한 지능형 사용자 인터페이스 장치 및 제어 방법{User Interface Apparatus For Optimal Control And Control Method Thereof}
본 발명은 서비스 로봇을 위한 지능형 사용자 인터페이스 장치 및 제어 방법에 관한 것으로, 특히 로봇과 사용자 간의 상호 작용을 최적화하기 위한 사용자 요청 해석 모듈과 로봇이 제공한 서비스의 만족도를 수치적으로 해석하고 이를 사용자에게 피드백하는 모듈 등을 포함하는 서비스 로봇을 위한 지능형 사용자 인터페이스 장치 및 제어 방법에 관한 것이다.
기계어를 처리할 수 있는 컴퓨팅 성능과 통신 환경이 날로 향상되어 감에 따라 인간의 가사 및 편의성을 증진시켜줄 서비스 로봇 기술도 폭넓고 활발히 연구되고 있다. 서비스 로봇은 인간과 같은 공간에 공존하며, 로봇에 대한 전문지식이 없는 일반 사용자와 지속적으로 관계를 맺는다는 점에서 기존의 규격화되고 반복적인 업무만을 수행하던 산업용 로봇과는 차이점을 가지고 있다. 따라서 인간과 서비스 로봇간의 인터페이스 및 상호작용에 관한 연구의 중요성은 날로 높아지고 있다.
사용자 인터페이스에 관한 연구는 1980년에 등장한 입력장치에 의해 가속화 되었다. 1980년대에 등장한 마우스를 이용한 사용자 인터페이스 방식은 키보드와 텍스트 기반 컴퓨터 사용자 인터페이스를 그래픽 사용자 인터페이스로 바꾸는 변화를 가져왔고, 이는 많은 사람들에게 컴퓨터를 도구로 사용할 수 있게 만든 큰 혁신을 가져왔다. 이러한 그래픽 사용자 인터페이스 방식은 산업용 로봇의 인터페이스 방식에도 적용되었으며, 현재까지 많은 분야의 인간과 로봇의 인터페이스 방식으로 널리 사용되고 있다.
1990년대 중반 이후 통신기술의 비약적인 발전과 지속적인 컴퓨팅 파워의 발전으로 인하여 로봇의 역할 모델 또한 소수의 전문가에 의해 단순반복 업무를 부여받고 이를 수행하던 산업용 로봇에서 로봇에 전문성을 갖추지 않은 일반 사용자와 이들의 개인적이고 편의적인 업무를 수행하기 위한 개인용 서비스 로봇의 연구가 활발히 연구되었고, 지금까지 지속적으로 연구가 진행되고 있다.
현재 개인용 서비스 로봇의 인터페이스에 관한 연구는 사용자 편의성을 향상시키기 위해 음성, 제스처, 키워드 등 다양한 입력방식에 관한 연구와 인간과 로봇의 상호작용을 위한 통신 및 상호작용 구조에 관한 연구가 활발히 진행되고 있다. 특히 인간과 로봇의 상호작용에 관한 연구는 인간과 같은 공간에서 함께 생활하는 로봇에게는 매우 중요한 연구 분야로, 인간과 로봇의 상호 신뢰를 바탕으로 인간 친화적인 상호작용을 구현하는데 그 목적이 있다. 따라서 인간과 로봇간의 신뢰를 향상시키기 위한 방법으로 로봇이 사용자의 명령을 파악하고 사용자의 만족도를 높일 수 있는 서비스를 제공할 수 있는 인터페이스의 개발이 요구되고 있다.
따라서 본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것으로, 사용자의 명령을 능동적으로 해석할 수 있는 사용자 인터페이스를 포함하는 로봇 또는 정보 가전기기를 제공하고, 로봇 또는 정보 가전기기가 제공하는 서비스의 만족도를 향상시키기 위한 수단 및 방법의 제공을 그 목적으로 한다.
본 발명의 일 측면에 따른 서비스 로봇의 제어를 위한 사용자 인터페이스 장치는 사용자로부터 상기 서비스 로봇을 제어하기 위한 제어 명령을 전달받아 해석하고 그 결과를 사용자에게 출력하는 상호작용 서버; 상기 해석된 제어 명령의 난이도를 결정하는 색인 블록; 및 상기 해석된 제어 명령과 그 난이도에 따라 서비스 로봇의 동작 모드를 결정하고 상기 서비스 로봇의 제어를 수행하는 로봇 제어 서버를 포함한다.
상기 상호작용 서버는, 사용자로부터 입력받은 명령을 해석하는 사용자 명령 해석부; 와 상기 입력받은 제어 명령에 대한 수행 결과와 상기 제어 명령 수행에 대한 만족도를 출력하는 명령 수행 결과 출력부를 포함하는 것을 특징으로 할 수 있다.
이 경우 상기 사용자 명령 해석부는, 사용자가 입력한 음성으로부터 사용자가 요청한 제어 명령을 해석하는 음성 해석 모듈; 사용자로부터 영상으로 입력받은 표정 또는 제스처를 통해 사용자가 요청한 제어 명령을 해석하는 표정 해석 모듈; 및 사용자로부터 입력받은 문자열을 통해 사용자가 요청한 제어 명령을 해석하는 키워드 해석 모듈을 포함하는 것을 특징으로 할 수 있다.
상기 명령 수행 결과 출력부는, 서비스 로봇이 서비스를 수행한 작업 공간 데이터를 입력받아 출력하는 작업공간 출력 모듈; 과 서비스 로봇이 서비스 수행에 소비한 작업 시간을 수신하여 출력하는 작업시간 출력 모듈을 포함하는 것을 특징으로 할 수 있다.
상기 로봇 제어 서버는, 상기 색인 블록이 결정한 제어 명령의 난이도에 따라, 사용자로부터 직접 명령을 입력받아 서비스 로봇을 제어하는 원격 동작 모드, 사용자와 서비스 로봇이 협업하여 작업을 수행하는 협업 모드, 서비스 로봇이 저장된 프로그램을 이용하여 작업을 수행하는 자율 모드 중 하나의 동작 모드를 선택하고, 그에 따라 서비스 로봇을 제어하는 동작 제어부; 와 상기 서비스 로봇의 상태를 모니터링하기 위한 로봇 제어 결과 반환부를 포함하는 것을 특징으로 할 수 있다.
상기 색인 블록은 상기 서비스 로봇으로부터 서비스 수행 소요 시간과 서비스 수행 영역을 입력받고, 이를 인공지능 알고리즘에 적용하여 사용자가 요청한 제어 명령에 대한 만족도를 결정하는 사용자 만족도 생성 모듈을 포함할 수 있다.
상기 색인 블록은 사용자로부터 입력된 제어 명령에 대한 서비스 수행 소요 시간과 서비스 수행 영역을 인공지능 알고리즘에 적용하여 사용자가 요청한 제어 명령의 난이도를 계산하는 난이도 결정 모듈을 포함할 수 있다.
상기 색인 블록은, 현재 작업하는 서비스 로봇으로부터 획득한 데이터를 통 해 연산된 사용자의 현재 만족도와 사용자 만족도의 변량을 인공지능 알고리즘에 적용하여 사용자가 요청한 제어 명령의 난이도를 재결정하는 난이도 재평가 모듈을 포함하되, 상기 로봇 제어 서버는 재결정된 난이도에 따라 상기 서비스 로봇의 동작 모드를 재결정하고 그에 따른 제어를 수행하는 것을 특징으로 할 수 있다.
본 발명의 다른 측면에 따른 서비스 로봇의 제어를 위한 사용자 인터페이스 제어 방법은 사용자로부터 상기 서비스 로봇의 제어를 위한 제어 명령을 입력받아 이를 해석하고, 상기 해석된 제어 명령의 난이도를 결정하는 단계; 상기 해석된 제어 명령과 그 난이도에 따라 상기 서비스 로봇의 동작 모드를 결정하여, 상기 동작 모드에 따라 제어 명령을 수행토록 제어하는 단계; 및 상기 서비스 로봇의 제어 명령 수행 결과를 모니터링하고, 그 결과를 이용하여 제어 명령 수행 만족도를 연산한 후 이를 출력하는 단계를 포함한다.
상기 사용자로부터 입력받은 제어 명령을 해석하는 단계는, 사용자로부터 입력받은 음성, 사용자로부터 영상을 통해 입력받은 표정 또는 제스처 또는 사용자로부터 입력받은 문자열 중 적어도 하나를 해석함으로써 사용자의 제어 명령을 해석하는 것을 특징으로 한다.
상기 서비스 로봇의 제어 명령 수행 결과를 모니터링하고, 그 결과를 이용하여 제어 명령 수행 만족도를 연산한 후 이를 출력하는 단계는, 서비스 로봇이 서비스를 수행한 작업 공간 데이터와 서비스 로봇이 서비스 수행에 소비한 작업 시간을 추가로 출력하는 것을 특징으로 할 수 있다.
상기 해석된 제어 명령과 그 난이도에 따라 상기 서비스 로봇의 동작 모드를 결정하는 단계는, 상기 결정된 제어 명령의 난이도에 따라, 사용자로부터 직접 명령을 입력받아 서비스 로봇을 제어하는 원격 동작 모드, 사용자와 서비스 로봇이 협업하여 작업을 수행하는 협업 모드, 서비스 로봇이 저장된 프로그램을 이용하여 작업을 수행하는 자율 모드 중 하나의 동작 모드 중 하나를 결정하는 것을 특징으로 할 수 있다.
상기 서비스 로봇의 제어 명령 수행 결과를 모니터링하고, 그 결과를 이용하여 제어 명령 수행 만족도를 연산한 후 이를 출력하는 단계는, 상기 서비스 로봇으로부터 서비스 수행 소요 시간과 서비스 수행 영역을 입력받고, 이를 인공지능 알고리즘에 적용하여 사용자가 요청한 제어 명령에 대한 만족도를 결정하는 것을 특징으로 할 수 있다.
상기 해석된 제어 명령의 난이도를 결정하는 단계는, 사용자로부터 입력된 제어 명령에 대한 서비스 수행 소요 시간과 서비스 수행 영역을 인공지능 알고리즘에 적용하여 사용자가 요청한 제어 명령의 난이도를 계산하는 것을 특징으로 할 수 있다.
현재 작업하는 서비스 로봇으로부터 획득한 데이터를 통해 연산된 사용자의 현재 만족도와 사용자 만족도의 변량을 인공지능 알고리즘에 적용하여 사용자가 요청한 제어 명령의 난이도를 재결정하는 단계; 와 상기 재결정된 난이도에 따라 상기 서비스 로봇의 동작 모드를 재결정하고 그에 따른 제어를 수행하는 단계가 더 포함될 수도 있다.
상기한 바와 같이 본 발명에 따른 서비스 로봇을 위한 지능형 사용자 인터페이스 장치 및 제어 방법은, 음성명령, 표정 및 제스처인식, 키워드 명령 등의 기존의 청소모드 선택 버튼을 이용한 입력 방식에 비해 보다 다양하고 편리한 사용자 입력 형태를 제공할 수 있다.
또한, 사용자 명령의 난이도에 따른 로봇 제어 방식을 사용자 직접 조작 모드, 사용자/로봇 협업 모드, 자율모드 등을 선택적으로 적용할 수 있는 제어구조를 바탕으로 기존의 청소로봇에 적용된 로봇 자율모드만으로 부족했던 서비스 품질 및 만족도를 높일 수 있다.
마지막으로 본 발명에 따른 사용자 인터페이스 장치는 사용자가 요청한 명령에 대한 서비스 만족도를 수치화하고 사용자에게 피드백을 제공함으로써 사용자와 서비스 로봇간의 신뢰적 상호작용을 수행할 수 있게 한다.
이하, 본 발명에 따른 청소 로봇을 위한 지능형 사용자 인터페이스 장치 및 제어 방법에 대하여 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 로봇의 지능형 사용자 인터페이스 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면 본 발명의 일 실시예에 따른 로봇의 효율적 관리를 위한 지능형 사용자 인터페이스 시스템(10)은 사용자(11), 지능형 사용자 인터페이스(12), 청소 로봇(13)의 상호작용을 통하여 동작한다.
사용자(11)는 지능형 사용자 인터페이스(12)에게 명령을 입력한다. 청소 로봇(13)은 사용자(11)의 명령에 따라 사용자에게 서비스를 제공한다. 다만, 본 발명은 청소 로봇(13)으로 한정되지 않는다. 즉, 청소 로봇(13) 대신 용접 로봇(Welding Robot), 무인운반장치(AGV : Automatic Guided Vehicle) 등과 같이 소정의 서비스 제공 영역과 제공 시간을 갖는 서비스 로봇에도 본 발명에 따른 사용자 인터페이스 장치 및 그 제어 방법이 적용될 수 있음은 자명하다.
지능형 사용자 인터페이스(12)는 입력된 명령에 따라 청소 로봇(13)을 제어하는 구성 요소이다. 반대로, 지능형 사용자 인터페이스(12)는 청소 로봇(13)으로부터 로봇 현재 상태를 전달받아, 사용자(11)가 내린 제어 명령에 대한 수행 결과를 출력한다.
이와 같은 사용자(11), 지능형 사용자 인터페이스(12), 청소 로봇(13) 간의 상호 작용을 통하여 사용자(11)는 보다 효율적으로 청소 로봇(13)을 제어할 수 있게 된다.
도 2는 도 1에 도시된 지능형 사용자 인터페이스의 블록 구성을 나타낸 도면이다.
도 2에 따르면 본 발명에 따른 지능형 사용자 인터페이스(100)는 상호작용 서버(110), 색인 블록(120), 로봇제어 서버(130)를 포함하여 구성될 수 있다. 이하, 각각의 구성 요소에 대하여 살펴본다.
먼저, 상호작용 서버(110)는 사용자(11)로부터 명령을 입력받거나, 해당 명령 수행 결과를 사용자에게 반환하는 기능을 담당하는 구성 요소에 해당한다.
색인 블록(120)은 사용자(11)로부터 입력된 명령에 상응하는 청소 로봇 제어 명령과 난이도를 결정한다. 또한, 색인 블록(120)은 청소 로봇(13)으로부터 전달된 서비스 결과와 그에 따라 반환할 데이터 등을 저장하고 있기도 하다.
로봇 제어 서버(130)는 색인 블록(120)이 결정한 난이도에 따라 청소 로봇(13)의 동작 모드를 결정하는 한편, 청소 로봇(13)과 명령 또는 데이터를 송수신하여 청소 로봇(13)으로 하여금 서비스를 수행케 한다. 또한, 로봇 제어 서버(130)는 청소 로봇(13)의 상태를 모니터링하는 등의 동작을 수행한다.
도 3은 도 2의 지능형 사용자 인터페이스에 포함되는 상호작용 서버의 상세 블록 구성을 나타낸 도면이다.
도 3에 도시된 바와 같이 상호작용 서버(110)는 크게 사용자 명령 해석부(111)와 명령 수행 결과 출력부(115)로 구성될 수 있다. 이 경우 사용자 명령 해석부(111)는 음성 해석 모듈(112), 표정 해석 모듈(113), 키워드 해석 모듈(114)을 포함할 수 있다. 한편, 명령 수행 결과 출력부(115)는 작업 공간 출력 모듈(116)과 작업 시간 출력 모듈(117)을 포함하여 구성될 수 있다.
음성 해석 모듈(112)은 사용자가 음성을 이용하여 요청한 서비스를 해석하기 위한 모듈이다. 표정 해석 모듈(113)은 사용자의 표정 및 제스처를 영상으로 입력받고 이를 통하여 사용자가 요청한 서비스를 해석하는 모듈이다. 키워드 해석 모 듈(114)은 키워드와 같이 소정의 의미 있는 문자를 사용자로부터 입력받고, 이를 통하여 사용자가 요청한 서비스를 해석하기 위한 모듈에 해당한다.
한편, 명령 수행 결과 출력부(115)는 청소 로봇(13)이 서비스를 수행한 결과를 사용자에게 피드백하기 위한 구성 요소이다. 작업 공간 출력 모듈(116)은 청소 로봇(13)이 서비스를 수행한 작업 공간을, 작업 시간 출력 모듈(117)은 청소 로봇(13)이 서비스 수행에 소비한 작업시간을 수신하고, 그 결과를 출력한다.
도 4는 도 2의 지능형 사용자 인터페이스에 포함된 색인 블록의 상세 블록 구성을 나타낸 도면이다.
도 4에 도시된 바와 같이 지능형 사용자인터페이스(100)의 색인 블록(120)은 난이도 결정 모듈(121), 사용자 만족도 생성 모듈(122), 난이도 재평가 모듈(123) 및 데이터 저장부(124)를 포함하여 구성될 수 있다.
도 4의 난이도 결정 모듈(121)은 사용자로부터 입력된 제어 명령을 수행할 장소의 크기와 소요 시간을 인공지능 알고리즘에 적용하여 사용자가 요청한 제어 명령의 난이도를 계산한다. 이에 대해서는 도 5의 난이도 테이블을 통해 더욱 자세히 살펴본다.
이 때 난이도 결정 모듈(121)은 데이터 저장부(124)에 저장되어 있는 기존의 제어 명령 수행 결과, 즉 이전에 제어 명령을 수행한 결과로서 저장되어 있는 제어 명령 수행 시간과 소요 시간을 참조하여 난이도를 결정할 수 있다.
도 4의 사용자 만족도 생성 모듈(122)은 로봇 제어 서버(130) 내 로봇 제어 결과 반환부(132)로부터 획득한 데이터를 이용하여, 사용자가 명령한 서비스에 대한 사용자의 만족도를 생성한다. 이에 대해서는 도 6의 만족도 테이블을 통해 더욱 자세히 설명하기로 한다.
난이도 재평가 모듈(123)은 현재 작업중인 청소 로봇(13)으로부터 반환되는 데이터를 통하여 현재의 만족도와 사용자 만족도의 변량에 따라 사용자가 요청한 제어 명령의 난이도를 재평가 또는 업데이트한다. 이와 같이 난이도가 재평가 또는 업데이트된 경우 도 7의 동작 제어부(131)에 의해 청소 로봇(13)의 동작 모드 또한 변경될 수 있다. 이에 대해서는 도 8의 만족도 업데이트 테이블을 통해 더욱 자세히 살펴본다.
마지막으로 데이터 저장부(124)는 사용자가 입력한 제어 명령과 난이도의 매핑 관계, 사용자가 입력한 제어 명령과 그에 대한 만족도의 매핑 관계를 저장한다. 뿐만 아니라, 데이터 저장부(124)는 난이도 평가를 위한 정보, 만족도 평가를 위한 정보 등을 저장할 수도 있다.
도 5는 본 발명에 따른 사용자가 입력한 제어 명령의 난이도를 결정하기 위한 난이도 테이블을 나타낸 도면이다.
도 4에 도시된 난이도 결정 모듈(121)은 도 3에서 상술한 사용자 요청 해석부(111) 내 음성 해석 모듈(112), 표정 해석 모듈(113), 키워드 해석 모듈(114) 중 적어도 하나의 해석 모듈에서 해석한 제어 명령의 수행시 필요한 서비스 소요 시간과 서비스 제공 영역을 획득한다.
그 후 난이도 결정 모듈(121)은 획득한 서비스 소요 시간과 서비스 제공 영역 관련 정보를 도 5의 테이블에 매핑하여 사용자가 요청한 명령의 난이도를 생성한다.
도 5의 난이도 테이블을 살펴보면, 사용자 명령의 난이도는 크게 매우 쉬움(VE : Very Easy), 쉬움(E : Easy), 보통(N : Normal), 어려움(H : Hard), 매우 어려움(VH : Very Hard)으로 구분됨을 알 수 있다.
또한, 서비스 소요 시간(Time)은 느림(Slow), 보통(Normal), 빠름(Fast)으로 구분될 수 있으며, 서비스 제공 영역(Area)은 좁음(Small), 보통(Normal), 넓음(Large)으로 구분될 수 있다.
예를 들어, 서비스 소요 시간이 빠름(Fast)이고, 서비스 제공 영역이 보통(Normal)인 경우 난이도 결정 모듈(121)은 사용자가 요청한 명령의 난이도를 어려움(H)로 판단하게 되는 것이다.
특히, 본 발명에 따른 난이도 결정 모듈(121)은 퍼지 규칙, 유전자 알고리즘, 신경 회로망 등의 인공지능 알고리즘을 이용하여 사용자 명령의 난이도를 결정하는 것이 바람직하다. 예를 들어, 본 발명에 따른 난이도 결정 모듈(121)은 서비스 제공 영역과 서비스 소요 시간을 상대적으로 0(가장 쉬운 경우)과 1(가장 어려운 경우)로 평가하고, 이를 퍼지 규칙에 적용하여 사용자가 요청한 제어 명령의 난이도를 계산할 수 있다.
퍼지 규칙 등을 통하여 생성된 제어 명령의 난이도는 로봇 제어 서버(130)의 동작 제어부(131)로 전달되며, 동작 제어부(131)는 이를 기초로 하여 청소 로 봇(13)의 동작 모드(원격 제어 모드, 협업 모드, 자율 모드)를 결정할 수 있다.
도 6은 본 발명에 따른 사용자가 입력한 제어 명령에 대한 사용자 만족도를 연산하기 위한 만족도 테이블을 나타낸 도면이다.
도 4의 사용자 만족도 생성 모듈(122)은 도 8의 로봇 제어 서버(130) 내의 로봇 제어결과 반환부(132)로부터 획득한 서비스 수행 결과 데이터를 도 6의 만족도 테이블에 적용하여 사용자 만족도를 생성하게 된다.
도 6의 만족도 테이블에서 살펴볼 수 있듯이, 사용자 만족도는 매우 낮음(VL : Very Low), 낮음(L : Low), 보통(N : Normal), 높음(H : High), 매우 높음(VH : Very High)으로 구분될 수 있다.
한편, 사용자 만족도를 결정하기 위한 변수로서 서비스를 수행하는데 실제로 소요된 시간과 서비스를 제공한 영역이 필요하다. 서비스 소요 시간은 매우 느림(Very Slow), 느림(Slow), 보통(Normal), 빠름(Fast), 매우 빠름(Very Fast)으로 구분될 수 있다. 또한, 서비스 제공 영역은 매우 좁음(Very Small), 좁음(Small), 보통(Normal), 넓음(Large), 매우 넓음(Very Large)으로 구분될 수 있다.
예를 들어, 사용자 만족도 생성 모듈(122)은 도 8의 로봇 제어결과 반환부(132)로부터 서비스 소요 시간이 빠름(Fast), 서비스 제공 영역을 보통(Normal)으로 입력받은 경우, 사용자 명령에 대한 만족도는 보통(N)으로 판단하게 된다.
이 경우, 본 발명에 따른 사용자 만족도 생성 모듈(122)은 퍼지 규칙, 유전자 알고리즘, 신경 회로망 등의 인공지능 알고리즘을 이용하여 사용자 명령에 대한 만족도를 결정하는 것이 바람직하다. 예를 들어, 본 발명에 따른 사용자 만족도 생성 모듈(122)은 서비스 소요 시간과 서비스 제공 영역 각각에 대하여 전혀 만족하지 않은 경우를 0으로, 최고로 만족한 경우를 1로 설정된 퍼지 규칙을 통하여 만족도를 계산할 수 있다.
이와 같이 생성된 사용자 만족도는 도 3의 상호작용 서버(110) 내의 명령 수행 결과 출력부(115)로 반환되어 사용자(11)에게 출력될 수 있다. 사용자(11)는 이와 같이 반환된 만족도를 참조하여 다음 번 명령을 내릴 때 참조할 수 있음은 물론이다.
도 7은 본 발명에 따른 서비스 로봇이 수행하는 제어 명령에 대한 난이도를 재평가하기 위한 난이도 재평가 테이블이다.
도 7의 테이블에서 살펴볼 수 있듯이, 사용자의 현재 만족도(Current UX)는 매우 낮음(VL : Very Low), 낮음(L : Low), 보통(N : Normal), 높음(H : High), 매우 높음(VH : Very High)로 구분될 수 있다.
또한, 사용자 만족도의 변량(Delta UX)은 매우 작음(Very Small), 작음(Small), 보통(Normal), 큼(Large), 매우 큼(Very Large)로 구분될 수 있다. 여기서 사용자 만족도의 변량은 청소 로봇(13)의 이전 사용자들의 사용자 만족도와 현재 사용자의 서비스 만족도 간의 차이를 의미한다.
본 발명에 따른 난이도 재평가 모듈(123)은 사용자의 현재 만족도와 사용자 만족도의 변량 각각에 대하여 0부터 1까지의 값을 입력받고, 이를 도 7의 테이블에 매핑하여 청소 로봇(13)의 동작 모드를 재결정하기 위한 업데이트된 난이도를 계산하게 된다.
예를 들어, 현재 사용자의 만족도가 VH이고, 사용자 만족도의 변량이 Small이라면 도 7의 테이블에 따를 때 업데이트된 난이도는 Easy가 되는 것이다. 이와 같이 난이도가 업데이트된 경우 동작 제어부(131)는 이를 참조하여 다시 청소 로봇(13)의 동작 모드를 결정할 수 있게 된다.
도 8은 도 2의 지능형 사용자 인터페이스에 포함된 로봇 제어 서버의 상세 블록 구성을 나타낸 도면이다.
도 8에 도시된 바와 같이 로봇 제어 서버(130)는 청소 로봇(13)의 동작 제어를 위한 동작 제어부(131)와 청소 로봇(13)의 상태를 모니터링하기 위한 로봇 제어결과 반환부(132)를 포함할 수 있다.
상기 도 8의 동작 제어부(131)는 도 5에서 결정된 난이도를 고려하여 청소 로봇(13)의 동작 모드를 결정하게 된다. 이 때 청소 로봇(13)의 동작 모드로는 사용자가 직접 로봇을 조작하는 사용자로부터 직접 명령을 입력받아 동작하는 원격 동작 모드(Tele Operation Mode), 사용자와 로봇이 협업하여 서비스를 실현하는 협업 모드(Shared Control Mode), 저장된 프로그램을 이용하여 자율적으로 로봇이 작업을 수행하는 자율 모드(Full Autonomy Mode) 등이 존재한다.
예를 들어, 도 8의 동작 제어부(131)는 사용자가 입력한 명령의 난이도가 매우 쉬움(VE), 쉬움(E), 보통(N)인 경우 청소 로봇(13)으로 하여금 자율 모드로 동 작하게 하고, 난이도가 어려움(H)인 경우에는 협업 모드로, 난이도가 매우 어려움(VH)인 경우 원격 동작 모드로 결정할 수 있다. 물론, 난이도에 따른 동작 모드를 결정하는 방법은 다양하게 존재할 수 있다.
또한, 동작 제어부(131)는 결정된 난이도에 따라 청소 로봇(13)의 이동 속도를 제어할 수도 있다.
한편, 도 8의 로봇 제어 서버(130) 내의 로봇 제어결과 반환부(132)는 청소 로봇(13)의 위치, 서비스 실행 상태, 실행 시간, 배터리 상태 등의 상태를 모니터링한다. 로봇 제어결과 반환부(132)는 획득한 결과 데이터를 상호작용 서버(110)와 색인 블록(120)으로 전달한다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의하여 정해져야 한다.
도 1은 본 발명의 일 실시예에 따른 로봇의 지능형 사용자 인터페이스 시스템의 구성을 나타낸 도면.
도 2는 도 1에 도시된 지능형 사용자 인터페이스의 블록 구성을 나타낸 도면.
도 3은 도 2의 지능형 사용자 인터페이스에 포함되는 상호작용 서버의 상세 블록 구성을 나타낸 도면.
도 4는 도 2의 지능형 사용자 인터페이스에 포함된 색인 블록의 상세 블록 구성을 나타낸 도면.
도 5는 본 발명에 따른 사용자가 입력한 제어 명령의 난이도를 결정하기 위한 난이도 테이블을 나타낸 도면.
도 6은 본 발명에 따른 사용자가 입력한 제어 명령에 대한 사용자 만족도를 연산하기 위한 만족도 테이블을 나타낸 도면.
도 7은 본 발명에 따른 서비스 로봇이 수행하는 제어 명령에 대한 난이도를 재평가하기 위한 난이도 재평가 테이블을 나타낸 도면.
도 8은 도 2의 지능형 사용자 인터페이스에 포함된 로봇 제어 서버의 상세 블록 구성을 나타낸 도면.
<< 도면의 주요부분에 대한 부호의 설명 >>
11 : 사용자 12, 100 : 지능형 사용자 인터페이스
13 : 청소 로봇 110 : 상호작용 서버
111 : 사용자 명령 해석부 112 : 음성 해석 모듈
113 : 표정 해석 모듈 114 : 키워드 해석 모듈
115 : 명령 수행 결과 출력부 116 : 작업 공간 출력 모듈
117 : 작업 시간 출력 모듈 120 : 색인 블록
121 : 난이도 결정 모듈 122 : 사용자 만족도 생성 모듈
123 : 난이도 재평가 모듈 124 : 데이터 저장부
130 : 로봇 제어 서버 131 : 동작 제어부
132 : 로봇 제어결과 반환부

Claims (15)

  1. 서비스 로봇의 제어를 위한 사용자 인터페이스 장치에 있어서,
    사용자로부터 상기 서비스 로봇을 제어하기 위한 제어 명령을 전달받아 해석하고 그 결과를 사용자에게 출력하는 상호작용 서버;
    상기 해석된 제어 명령의 난이도를 결정하는 색인 블록; 및
    상기 해석된 제어 명령과 그 난이도에 따라 서비스 로봇의 동작 모드를 결정하고 상기 서비스 로봇의 제어를 수행하는 로봇 제어 서버를 포함하되,
    상기 색인 블록은 사용자로부터 입력된 제어 명령에 대한 서비스 수행 소요 시간과 서비스 수행 영역을 인공지능 알고리즘에 적용하여 사용자가 요청한 제어 명령의 난이도를 계산하는 난이도 결정 모듈을 포함하는 것을 특징으로 하는 사용자 인터페이스 장치.
  2. 제1항에 있어서
    상기 상호작용 서버는,
    사용자로부터 입력받은 명령을 해석하는 사용자 명령 해석부; 와
    상기 입력받은 제어 명령에 대한 수행 결과와 상기 제어 명령 수행에 대한 만족도를 출력하는 명령 수행 결과 출력부를 포함하는 것을 특징으로 하는 사용자 인터페이스 장치.
  3. 제2항에 있어서,
    상기 사용자 명령 해석부는,
    사용자가 입력한 음성으로부터 사용자가 요청한 제어 명령을 해석하는 음성 해석 모듈;
    사용자로부터 영상으로 입력받은 표정 또는 제스처를 통해 사용자가 요청한 제어 명령을 해석하는 표정 해석 모듈; 및
    사용자로부터 입력받은 문자열을 통해 사용자가 요청한 제어 명령을 해석하는 키워드 해석 모듈을 포함하는 것을 특징으로 하는 사용자 인터페이스 장치.
  4. 제2항에 있어서,
    상기 명령 수행 결과 출력부는,
    서비스 로봇이 서비스를 수행한 작업 공간 데이터를 입력받아 출력하는 작업공간 출력 모듈; 과
    서비스 로봇이 서비스 수행에 소비한 작업 시간을 수신하여 출력하는 작업시간 출력 모듈을 포함하는 것을 특징으로 하는 사용자 인터페이스 장치.
  5. 제1항에 있어서,
    상기 로봇 제어 서버는,
    상기 색인 블록이 결정한 제어 명령의 난이도에 따라, 사용자로부터 직접 명령을 입력받아 서비스 로봇을 제어하는 원격 동작 모드, 사용자와 서비스 로봇이 협업하여 작업을 수행하는 협업 모드, 서비스 로봇이 저장된 프로그램을 이용하여 작업을 수행하는 자율 모드 중 하나의 동작 모드를 선택하고, 그에 따라 서비스 로봇을 제어하는 동작 제어부; 와
    상기 서비스 로봇의 상태를 모니터링하기 위한 로봇 제어 결과 반환부를 포함하는 것을 특징으로 하는 사용자 인터페이스 장치.
  6. 제1항에 있어서,
    상기 색인 블록은,
    상기 서비스 로봇으로부터 서비스 수행 소요 시간과 서비스 수행 영역을 입력받고, 이를 인공지능 알고리즘에 적용하여 사용자가 요청한 제어 명령에 대한 만족도를 결정하는 사용자 만족도 생성 모듈을 포함하는 것을 특징으로 하는 사용자 인터페이스 장치.
  7. 삭제
  8. 제1항에 있어서,
    상기 색인 블록은,
    현재 작업하는 서비스 로봇으로부터 획득한 데이터를 통해 연산된 사용자의 현재 만족도와 사용자 만족도의 변량을 인공지능 알고리즘에 적용하여 사용자가 요청한 제어 명령의 난이도를 재결정하는 난이도 재평가 모듈을 포함하되,
    상기 로봇 제어 서버는 재결정된 난이도에 따라 상기 서비스 로봇의 동작 모드를 재결정하고 그에 따른 제어를 수행하는 것을 특징으로 하는 사용자 인터페이스 장치.
  9. 서비스 로봇의 제어를 위한 사용자 인터페이스 제어 방법에 있어서,
    사용자로부터 상기 서비스 로봇의 제어를 위한 제어 명령을 입력받아 이를 해석하고, 상기 해석된 제어 명령의 난이도를 결정하는 단계;
    상기 해석된 제어 명령과 그 난이도에 따라 상기 서비스 로봇의 동작 모드를 결정하여, 상기 동작 모드에 따라 제어 명령을 수행토록 제어하는 단계; 및
    상기 서비스 로봇의 제어 명령 수행 결과를 모니터링하고, 그 결과를 이용하여 제어 명령 수행 만족도를 연산한 후 이를 출력하는 단계를 포함하되,
    상기 해석된 제어 명령의 난이도를 결정하는 단계는 사용자로부터 입력된 제어 명령에 대한 서비스 수행 소요 시간과 서비스 수행 영역을 인공지능 알고리즘에 적용하여 사용자가 요청한 제어 명령의 난이도를 계산하는 것을 특징으로 하는 사용자 인터페이스 제어 방법.
  10. 제9항에 있어서,
    상기 사용자로부터 입력받은 제어 명령을 해석하는 단계는,
    사용자로부터 입력받은 음성, 사용자로부터 영상을 통해 입력받은 표정 또는 제스처 또는 사용자로부터 입력받은 문자열 중 적어도 하나를 해석함으로써 사용자의 제어 명령을 해석하는 것을 특징으로 하는 사용자 인터페이스 제어 방법.
  11. 제9항에 있어서,
    상기 서비스 로봇의 제어 명령 수행 결과를 모니터링하고, 그 결과를 이용하여 제어 명령 수행 만족도를 연산한 후 이를 출력하는 단계는,
    서비스 로봇이 서비스를 수행한 작업 공간 데이터와 서비스 로봇이 서비스 수행에 소비한 작업 시간을 추가로 출력하는 것을 특징으로 하는 사용자 인터페이스 제어 방법.
  12. 제9항에 있어서,
    상기 해석된 제어 명령과 그 난이도에 따라 상기 서비스 로봇의 동작 모드를 결정하는 단계는,
    상기 결정된 제어 명령의 난이도에 따라, 사용자로부터 직접 명령을 입력받아 서비스 로봇을 제어하는 원격 동작 모드, 사용자와 서비스 로봇이 협업하여 작업을 수행하는 협업 모드, 서비스 로봇이 저장된 프로그램을 이용하여 작업을 수행하는 자율 모드 중 하나의 동작 모드 중 하나를 결정하는 것을 특징으로 하는 사용자 인터페이스 제어 방법.
  13. 제9항에 있어서,
    상기 서비스 로봇의 제어 명령 수행 결과를 모니터링하고, 그 결과를 이용하여 제어 명령 수행 만족도를 연산한 후 이를 출력하는 단계는,
    상기 서비스 로봇으로부터 서비스 수행 소요 시간과 서비스 수행 영역을 입력받고, 이를 인공지능 알고리즘에 적용하여 사용자가 요청한 제어 명령에 대한 만족도를 결정하는 것을 특징으로 하는 사용자 인터페이스 제어 방법.
  14. 삭제
  15. 제9항에 있어서,
    현재 작업하는 서비스 로봇으로부터 획득한 데이터를 통해 연산된 사용자의 현재 만족도와 사용자 만족도의 변량을 인공지능 알고리즘에 적용하여 사용자가 요청한 제어 명령의 난이도를 재결정하는 단계; 와
    상기 재결정된 난이도에 따라 상기 서비스 로봇의 동작 모드를 재결정하고 그에 따른 제어를 수행하는 단계를 더 포함하는 것을 특징으로 하는 사용자 인터페이스 제어 방법.
KR1020090088593A 2009-09-18 2009-09-18 서비스 로봇을 위한 지능형 사용자 인터페이스 장치 및 제어 방법 KR101055567B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090088593A KR101055567B1 (ko) 2009-09-18 2009-09-18 서비스 로봇을 위한 지능형 사용자 인터페이스 장치 및 제어 방법
US12/883,850 US8666545B2 (en) 2009-09-18 2010-09-16 Intelligent user interface apparatus and control method for control of service robots

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090088593A KR101055567B1 (ko) 2009-09-18 2009-09-18 서비스 로봇을 위한 지능형 사용자 인터페이스 장치 및 제어 방법

Publications (2)

Publication Number Publication Date
KR20110030925A KR20110030925A (ko) 2011-03-24
KR101055567B1 true KR101055567B1 (ko) 2011-08-08

Family

ID=43757331

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090088593A KR101055567B1 (ko) 2009-09-18 2009-09-18 서비스 로봇을 위한 지능형 사용자 인터페이스 장치 및 제어 방법

Country Status (2)

Country Link
US (1) US8666545B2 (ko)
KR (1) KR101055567B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9776332B2 (en) * 2011-12-08 2017-10-03 Lg Electronics Inc. Automatic moving apparatus and manual operation method thereof
CN105843081A (zh) * 2015-01-12 2016-08-10 芋头科技（杭州）有限公司 控制系统及控制方法
DE102017113280A1 (de) * 2017-06-16 2018-12-20 Vorwerk & Co. Interholding Gmbh Haushaltsgerät
CN109218372A (zh) * 2017-07-06 2019-01-15 广州奥睿智能科技有限公司 机器人的动作更新系统及机器人
WO2020184733A1 (ko) * 2019-03-08 2020-09-17 엘지전자 주식회사 로봇

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000006068A (ja) * 1998-06-25 2000-01-11 Nippon Telegr & Teleph Corp <Ntt> ヒューマン・ロボットコラボレーション制御方法と装置及びプログラムを記録した記録媒体
KR20090030144A (ko) * 2007-09-19 2009-03-24 한국전자통신연구원 네트워크 기반 로봇을 위한 서비스 추천 방법 및 서비스추천 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3375843B2 (ja) * 1997-01-29 2003-02-10 本田技研工業株式会社 ロボットの自律走行方法および自律走行ロボットの制御装置
US7873448B2 (en) * 2002-12-10 2011-01-18 Honda Motor Co., Ltd. Robot navigation system avoiding obstacles and setting areas as movable according to circular distance from points on surface of obstacles
US7926598B2 (en) * 2008-12-09 2011-04-19 Irobot Corporation Mobile robotic vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000006068A (ja) * 1998-06-25 2000-01-11 Nippon Telegr & Teleph Corp <Ntt> ヒューマン・ロボットコラボレーション制御方法と装置及びプログラムを記録した記録媒体
KR20090030144A (ko) * 2007-09-19 2009-03-24 한국전자통신연구원 네트워크 기반 로봇을 위한 서비스 추천 방법 및 서비스추천 장치

Also Published As

Publication number Publication date
US20110071674A1 (en) 2011-03-24
KR20110030925A (ko) 2011-03-24
US8666545B2 (en) 2014-03-04

Similar Documents

Publication Publication Date Title
El Zaatari et al. Cobot programming for collaborative industrial tasks: An overview
Love et al. Force reflecting teleoperation with adaptive impedance control
Fong et al. Collaboration, dialogue, human-robot interaction
Schrempf et al. A novel approach to proactive human-robot cooperation
Iba et al. Interactive multimodal robot programming
KR101055567B1 (ko) 서비스 로봇을 위한 지능형 사용자 인터페이스 장치 및 제어 방법
Ghadirzadeh et al. A sensorimotor reinforcement learning framework for physical human-robot interaction
Jabrane et al. A new approach for training cobots from small amount of data in industry 5.0
Yang et al. A framework for efficient teleoperation via online adaptation
Iocchi et al. A practical framework for robust decision-theoretic planning and execution for service robots
US20220105625A1 (en) Device and method for controlling a robotic device
Haninger et al. Model predictive control with gaussian processes for flexible multi-modal physical human robot interaction
Åström History of adaptive control
Yang et al. Online adaptive teleoperation via motion primitives for mobile robots
Angleraud et al. Coordinating shared tasks in human-robot collaboration by commands
Sanfelice Hybrid model predictive control
Chen H2 optimal control
Wang et al. User-guided reinforcement learning of robot assistive tasks for an intelligent environment
Akbari et al. Task planning using physics-based heuristics on manipulation actions
Glover H-infinity control
Akkaladevi et al. Programming-free approaches for human–robot collaboration in assembly tasks
Wei et al. Extended LTLvis motion planning interface
Abou Saleh et al. Modelling of robot attention demand in human-robot interaction using finite fuzzy state automata
Schneider et al. Operationalized intent for communication in human-agent teams
Tzafestas Teleplanning by human demonstration for VR-based teleoperation of a mobile robotic assistant

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140617

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150703

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee