KR101515178B1 - 얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법 - Google Patents

얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법 Download PDF

Info

Publication number
KR101515178B1
KR101515178B1 KR1020130004059A KR20130004059A KR101515178B1 KR 101515178 B1 KR101515178 B1 KR 101515178B1 KR 1020130004059 A KR1020130004059 A KR 1020130004059A KR 20130004059 A KR20130004059 A KR 20130004059A KR 101515178 B1 KR101515178 B1 KR 101515178B1
Authority
KR
South Korea
Prior art keywords
face
execution
screen
layer
robot
Prior art date
Application number
KR1020130004059A
Other languages
English (en)
Other versions
KR20140091967A (ko
Inventor
이영훈
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020130004059A priority Critical patent/KR101515178B1/ko
Priority to PCT/KR2013/007067 priority patent/WO2014109448A1/ko
Publication of KR20140091967A publication Critical patent/KR20140091967A/ko
Application granted granted Critical
Publication of KR101515178B1 publication Critical patent/KR101515178B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015—Face robots, animated artificial faces for imitating human expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/54—Link editing before load time
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 로봇의 얼굴을 통해 사용자 친화적인 인터페이스를 제공하는 로봇 및 로봇의 제어 방법을 개시한다. 본 발명에 따르면, 대기 얼굴이 표시되고, 사용자의 스윕 명령에 의해 로봇이 제공하는 컨텐츠별로 대응하는 각각의 얼굴 화면이 표시되는 얼굴 UI 레이어; 얼굴 UI 레이어에서 화면을 아래로 스윕(sweep)하면, 메인 메뉴가 슬라이딩되어 화면에 표시되는 메뉴 UI 레이어; 및 얼굴 UI 레이어에서 화면을 위로 스윕하면, 컨텐츠를 실행하는 프로그램의 UI가 표시되는 실행 UI 레이어를 포함하는 화면 레이어를 갖는 로봇을 포함한다. 본 발명에 따르면, 사용자는 얼굴 표정과 동기화된 음성을 통해 감성 친화적인 로봇의 인터페이스를 제공받는다.

Description

얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법{Robot for providing face based user interface and control method thereof}
본 발명은 로봇 및 로봇의 제어 방법에 관한 것으로, 보다 상세하게는 로봇의 화면에서 얼굴 기반의 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법에 관한 것이다.
로봇 기술의 발달로 일반 가정에서 쉽게 사용할 수 있는 가정용 또는 교육용 로봇이 출시되고 있다. 가정용 로봇은 이동 및 행동이 가능하고 스피커 및 화면 출력을 통해 사용자에게 의사 표시를 하는 것처럼 인터페이스한다. 특히, 가정용 로봇의 경우, 사용자가 제어하여 데이터를 처리하는 것도 중요하지만 사용자와 로봇 간의 상호작용성(HRI, Human Robot Interaction)이 중요하다. 로봇이 단순히 전자적 처리 장치가 아닌 마치 감성을 지닌 객체로서 사용자 친화적인 인터페이스를 제공할 경우 사용자는 로봇과 친근감을 느끼고 보다 빈번하게 로봇을 이용하여 생활의 편의를 제공받을 수 있게 된다.
아래의 특허 문헌은 사용자 인터페이스를 이용하는 원격 조종 로봇의 시스템 및 방법에 대해서 개시한다. 상기 시스템에서는 휴대용 단말기를 이용하여 로봇을 원격 제어하는 기술을 제공한다. 하지만, 로봇의 사용자 인터페이스에 있어서 사용자가 휴대용 단말로 명령을 내릴 수 있기에 사용자의 편의성은 증대되지만 사용자와의 유대감을 제공하지는 못한다. 로봇과 사용자 간에 있어서 로봇의 감성적 인터페이스가 배제되는 경우 단순히 이동 기능과 대화 기능을 지닌 컴퓨터 장치에 불과하다. 따라서, 가정용 로봇과 같이 가족 사용자들이 사용하게 될 로봇은 마치 애완 동물처럼 가족의 구성원으로 느낄 수 있는 감성적인 인터페이스의 제공이 요구된다.
한국등록특허 10-0750407
본 발명은 상기와 같은 종래 기술의 인식 하에 창출된 것으로서, 로봇의 화면에서 얼굴 기반의 사용자 UI를 제공하고, 사용자의 스윕 명령을 입력받아 대응하는 화면 레이어로 전환하는 로봇 및 로봇의 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 로봇이 프로그램의 실행을 요청받으면, 프로그램의 시작 전, 후에 각각 프로그램의 실행과 관련된 정보를 실행 얼굴로 표시하여 사용자에게 안내하는데 있다.
본 발명의 또 다른 목적은 로봇이 프로그램을 실행하는 동안에 프로그램의 실행과 관련된 정보를 수집하여 평가하고, 평가된 정보를 다음번 표시될 얼굴, 안내 음성 및 로봇의 동작에 반영하는데 있다.
상기 기술적 과제를 달성하기 위한 본 발명에 따른 로봇은, 로봇의 화면에 얼굴 이미지를 표시하는 사용자 UI(User Interface)를 제공하여 사용자의 명령을 처리하는 로봇에 있어서, 로봇에 의해 실행된 컨텐츠들의 실행 정보에 따라 얼굴의 이미지 정보를 달리하여 사용자를 안내하는 대기 얼굴이 화면에 표시되고, 사용자의 화면 터치에 의한 스윕(sweep) 명령에 의해 각각의 컨텐츠마다 대응하는 컨텐츠 얼굴로 전환되어 표시되는 얼굴 UI 레이어; 상기 얼굴 UI 레이어에서 화면을 아래로 스윕하면, 상기 컨텐츠에 대응하는 메뉴가 슬라이딩되어 화면에 표시되는 메뉴 UI 레이어; 및 상기 얼굴 UI 레이어에서 화면을 위로 스윕하면 표시되고, 상기 얼굴 UI 레이어 또는 상기 메뉴 UI 레이어에서 실행이 요청된 상기 컨텐츠의 프로그램이 실행되는 화면이 표시되는 실행 UI 레이어를 포함하는 화면 레이어를 갖는다.
본 발명에 있어서, 상기 로봇은, 로봇의 화면에 사용자의 명령 입력을 대기하는 상기 대기 얼굴 및 상기 컨텐츠 얼굴을 출력하는 대기 얼굴 출력부; 상기 대기 얼굴 및 상기 컨텐츠 얼굴의 화면에서 사용자의 스윕 명령에 의해 상하좌우로부터 슬라이딩 방식으로 출현하여 로봇이 제공하는 메뉴 또는 컨텐츠의 UI를 화면에 출력하는 명령 화면 출력부; 메뉴 또는 컨텐츠가 선택되어 실행이 요청되면, 상기 컨텐츠의 프로그램이 실행되기 전 및 실행된 후로 상기 프로그램의 실행 정보에 따라 얼굴의 이미지 정보가 반영된 실행 얼굴을 화면에 출력하는 실행 얼굴 출력부; 및 화면으로 출력되는 상기 얼굴과 동기화되어 음성을 출력하는 음성 출력부를 포함한다.
본 발명의 일 측면에 따르면, 상기 로봇은, 상기 얼굴 UI 레이어에서 좌측 또는 우측 방향의 스윕 명령에 의해 좌우로 슬라이딩 전환되며 복수개의 컨텐츠마다 각각의 얼굴 UI를 가진 상기 얼굴 UI 레이어; 상기 얼굴 UI 레이어에서 아래쪽 방향의 스윕 명령에 의해 화면의 상단에서 아래로 슬라이딩 전환되며 메뉴 UI를 가진 상기 메뉴 UI 레이어; 및 상기 얼굴 UI 레이어에서 위쪽 방향의 스윕 명령에 의해 화면의 하단에서 위로 슬라이딩 전환되며 프로그램이 실행되는 UI를 가진 상기 실행 UI 레이어로 사용자의 스윕 명령을 이용하여 각각의 레이어를 전환한다.
여기서, 상기 로봇은, 상기 얼굴 UI 레이어에서 사용자의 좌측 또는 우측 방향의 스윕 명령에 의해 대기 얼굴의 화면, 컨텐츠 얼굴의 화면, 컨텐츠 목록의 화면 및 어플리케이션 목록의 화면으로 이동한다.
또한, 상기 로봇은, 상기 메뉴 UI 레이어에서 사용자의 메뉴 선택에 따라 메인 메뉴 및 깊이(depth)별 서브 메뉴로 이동한다.
더욱이, 상기 로봇은, 상기 실행 UI 레이어에서 사용자의 좌측 또는 우측 방향의 스윕 명령에 의해 현재 실행 중인 각각의 프로그램의 화면으로 이동한다.
본 발명의 다른 측면에 따르면, 상기 로봇은, 컨텐츠별로 대응하는 각각의 프로그램이 실행되기 직전에 지금까지 실행되었던 상기 프로그램의 실행 정보에 의해 얼굴 이미지가 반영된 상기 얼굴 UI 레이어의 실행 얼굴을 화면에 표시하고, 상기 프로그램이 종료된 직후에 종료된 상기 프로그램의 실행 정보에 의해 얼굴 이미지가 반영된 상기 얼굴 UI 레이어의 실행 얼굴을 화면에 표시하고, 상기 실행 얼굴에 동기화되는 음성을 출력한다.
본 발명의 또 다른 측면에 따르면, 상기 로봇은, 컨텐츠 및 프로그램의 실행시마다 실행 정보를 수집하여 실행 상태의 결과를 평가하고, 평가된 결과 정보를 이용하여 얼굴과 TTS(Text To Speech)를 선택하는 실행 결과 평가부를 더 포함한다.
여기서, 상기 로봇은, 선택된 얼굴과 TTS 정보에 대응하여 TTS의 음성 변조, LED 제어, 모션 설정을 포함하는 감성 처리를 수행하여 상기 대기 얼굴에 반영하는 대기 얼굴 반영부를 더 포함한다.
또한, 상기 로봇은, 선택된 얼굴과 TTS 정보를 실행 평가값으로 저장하고, 다음번 컨텐츠 및 프로그램의 실행시에 상기 실행 평가값에 대응하여 TTS의 음성 변조, LED 제어, 모션 설정을 포함하는 감성 처리를 수행하여 실행 얼굴에 반영하는 실행 얼굴 반영부를 더 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명에 따른 얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇의 제어 방법은, 화면에 얼굴 이미지를 표시하는 사용자 UI(User Interface)를 제공하여 사용자의 명령을 처리하는 로봇이 하기의 단계들을 실행하는 로봇의 제어 방법에 있어서, (a)로봇에 의해 실행된 컨텐츠들의 실행 정보에 따라 얼굴의 이미지 정보를 달리하는 대기 얼굴을 표시하는 대기 얼굴 표시 단계; (b)상기 대기 얼굴의 화면에서 사용자의 스윕 명령을 입력받는 스윕 명령 입력 단계; (c)각각의 스윕 명령에 대응하는 얼굴 UI 레이어, 메뉴 UI 레이어 및 실행 UI 레이어를 표시하는 레이어 화면 단계; (d)각각의 상기 레이어의 UI를 통해 특정 컨텐츠의 실행 요청을 입력받는 실행 요청 단계; (e)상기 얼굴 UI 레이어에서 실행 요청된 상기 컨텐츠의 실행 얼굴을 화면에 표시하고 대응하는 TTS(Text To Speech)를 출력하는 실행 얼굴 표시 단계; 및 (f)상기 실행 얼굴이 표시된 후, 상기 실행 UI 레이어에서 요청된 컨텐츠의 프로그램이 실행되는 UI를 화면으로 출력하는 프로그램 실행 단계를 포함한다.
본 발명의 일 측면에 따르면, 로봇이 얼굴, 음성, LED 및 모션을 동기화하여 출력함으로써 사용자는 로봇을 지능과 감성을 가진 인격체처럼 느끼는 효과가 있다.
본 발명의 다른 측면에 따르면, 사용자가 프로그램을 실행할 때마다 수집된 실행 정보가 평가되어 로봇의 얼굴, 음성, LED 및 모션에 반영되므로 로봇은 상기 실행 정보를 학습하여 사용자에게 안내하는 효과가 있다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술한 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되지 않아야 한다.
도 1은 본 발명의 일 실시예에 따른 로봇의 화면 레이어의 예시도이다.
도 2는 본 발명의 일 실시예에 따른 로봇의 개략적인 내부 구조도이다.
도 3은 본 발명의 일 실시예에 따른 로봇의 화면 전환 흐름의 예시도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 로봇이 컨텐츠를 실행하는 화면의 예시도이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 로봇의 상황별 화면 및 동작의 예시도이다.
도 8은 본 발명의 일 실시예에 따른 로봇의 제어 방법의 개략적인 순서도이다.
도 9는 본 발명의 일 실시예에 따른 로봇이 프로그램의 실행 결과에 따라 얼굴에 감성 정보를 반영하는 과정의 개략적 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상에 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 일 실시예에 따른 로봇의 화면 레이어의 예시도이고, 도 2는 상기 로봇의 개략적인 내부 구조도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 로봇은 얼굴 UI 레이어, 메뉴 UI 레이어 및 실행 UI 레이어를 포함하는 화면 레이어를 갖는다. 로봇은 각각의 화면 레이어를 화면에 출력하여 사용자와 인터페이스한다.
본 발명에 있어서, 상기 UI는 로봇이 화면에 출력하는 디스플레이 정보를 말한다. 상기 화면은 로봇의 머리 부분에 위치하며 얼굴이 표시된다.
상기 얼굴 UI 레이어는 로봇이 화면에 얼굴 이미지를 표시하는 화면 레이어에 해당한다. 로봇이 얼굴 UI 레이어에서 얼굴 기반의 이미지를 이용하여 표정을 짓고 음성을 출력하면, 사용자는 로봇을 마치 사람처럼 인식할 수 있다. 예를 들면, 출력 내용에 따라 로봇은 눈, 눈동자, 입 등의 얼굴 요소를 통해 표정을 짓고 감정을 표출할 수 있다. 로봇은 상기 얼굴 UI 레이어에서 상황에 따라 이미지 정보를 달리하는 대기 얼굴을 표시한다. 로봇은 상기 대기 얼굴을 통해 사용자의 터치에 의한 스윕 명령을 입력받을 수 있다.
여기서, 화면 레이어간의 전환은 사용자가 화면에 손가락을 대고 특정 방향으로 터치하는 스윕 명령에 의해서 전환된다. 얼굴 UI 레이어에서 사용자가 좌 또는 우 방향으로 스윕 명령을 입력하면, 로봇은 대기 얼굴(대기 화면), 실행될 컨텐츠의 실행을 안내하고 대기하는 컨텐츠 얼굴, 컨텐츠 목록 및 어플리케이션 목록의 화면으로 전환한다. 예를 들어, 사용자가 로봇에 기능 중에서 특정 컨텐츠 또는 어플리케이션을 선택하여 실행하려는 경우, 얼굴 UI 레이어에서 좌우 스윕 명령을 입력하면서 원하는 컨텐츠 또는 어플리케이션의 버튼 또는 아이콘을 조회할 수 있다. 얼굴 UI 레이어에서 사용자가 아래 방향으로 스윕 명령을 입력하면, 메뉴 UI 레이어가 표시된다. 그리고 얼굴 UI 레이어에서 사용자가 위쪽 방향으로 스윕 명령을 입력하면 재생 플레이어의 화면에 해당하는 실행 UI 레이어가 표시된다.
상기 메뉴 UI 레이어는 로봇이 프로그램의 메뉴를 표시하는 화면에 해당한다. 상기 메뉴는 메인 메뉴와 서브 메뉴로 구성될 수 있고, 상기 서브 메뉴는 깊이에 따라 계층적 구조로 구성될 수 있다. 예를 들면, 상기 얼굴 UI 레이어에서 사용자가 아래 방향으로 스윕 명령을 입력하면, 로봇은 위에서 아래 방향으로 슬라이딩되는 화면 효과를 이용하여 메인 메뉴를 화면에 표시한다. 사용자가 메인 메뉴에서 특정 항목을 선택하면, 로봇은 선택된 항목에 대응하는 1차 깊이의 서브 메뉴를 화면에 표시한다. 그리고 사용자가 상기 서브 메뉴에서 특정 항목을 선택하면, 로봇은 2차 깊이의 서브 메뉴를 화면에 표시한다.
사용자가 로봇에서 프로그램을 실행할 때, 사용자는 메뉴 UI 레이어의 메뉴 항목에서 원하는 프로그램의 메뉴를 선택해서 실행하거나 또는 얼굴 UI 레이어에서 좌 또는 우 방향으로 스윕 명령을 내려서 원하는 프로그램의 객체를 선택해서 실행할 수 있다.
상기 실행 UI 레이어는 재생 플레이어, 실행 프로그램이 실행되는 화면에 해당한다. 예를 들어, 사용자가 얼굴 UI 레이어에서 특정 컨텐츠를 선택하여 재생을 요청할 경우, 로봇은 아래에서 위쪽 방향으로 슬라이딩되는 화면 효과를 이용하여 재생 플레이어의 프로그램을 화면에 표시하고 선택된 컨텐츠를 실행한다. 또는, 사용자가 특정 프로그램을 선택하여 실행을 요청할 경우, 로봇은 당해 프로그램을 상기 화면 효과를 이용하여 화면에 표시한다.
상기에서와 같이, 로봇은 메뉴 UI 레이어 또는 얼굴 UI 레이어에서 특정 객체를 선택받아 실행 요청을 받고, 요청된 상기 객체의 프로그램을 실행 UI 레이어의 화면에 표시하여 실행한다. 이때, 실행된 프로그램의 전, 후로 로봇은 얼굴 UI 레이어의 실행 얼굴을 화면에 표시한다. 로봇이 프로그램을 실행하면, 얼굴 UI 레이어의 실행 얼굴을 거쳐서 실행 UI 레이어에서 상기 프로그램의 화면이 출력된다. 그리고 사용자에 의해 프로그램이 종료되면, 로봇은 상기 프로그램을 종료한 후 얼굴 UI 레이어의 실행 얼굴을 화면에 출력한다. 따라서, 로봇은 프로그램의 실행 전, 후로 실행 얼굴을 표시하여 사용자에게 프로그램의 실행과 관련된 각종 정보를 안내할 수 있다.
따라서, 로봇은 상기 실행 얼굴을 통해 지능과 감성을 갖는 인격체처럼 사용자에게 정보를 전달할 수 있다. 예를 들어, 어린이 사용자가 1주일 전에 실행했던 학습 프로그램을 실행할 경우, 로봇은 상기 학습 프로그램을 실행하기 전에 실행 얼굴로 "1주일 만에 실행하는구나!, 어서 와"라는 얼굴 이미지와 음성을 출력한다. 그리고 프로그램의 실행 후에 "오늘은 재미있었니? 너 오늘 잘하더라! 다음에 또 놀러와" 같은 얼굴 이미지와 음성을 출력한다. 물론, 로봇은 입양된 가족의 얼굴을 인식하여 사용자의 얼굴 인식을 통해 어른에게 존댓말로 메시지를 출력하여도 무방하다.
도 2는 본 발명의 일 실시예에 따른 로봇의 개략적인 내부 구조도이다.
본 발명의 일 실시예에 따른 로봇은 대기 얼굴을 화면에 출력하는 대기 얼굴 출력부(21), 메뉴 UI 또는 컨텐츠 UI를 화면에 출력하는 명령 화면 출력부(22), 프로그램의 실행 전, 후로 실행 얼굴을 화면에 출력하는 실행 얼굴 출력부(23) 및 화면에 출력된 대기 얼굴 및 실행 얼굴에 따라 음성을 출력하는 음성 출력부(231)를 포함한다.
상기 대기 얼굴 출력부(21)는 로봇이 사용자의 명령 입력을 대기하는 대기 모드에서 얼굴 UI 레이어의 대기 얼굴을 표시한다. 또한, 대기 얼굴 출력부(21)는 대기 얼굴을 출력하는 상황에서 사용자와 대화, 키 입력 처리 등을 수행할 수 있다. 상기 대기 모드는 사용자가 컨텐츠를 선택하여 실행 명령을 내리기 전인 상태를 말한다. 대기 모드에서 로봇은 상황을 인식하여 주변을 이동할 수 있고, 통신 기능 및 기타 처리를 실행할 수 있다.
상기 명령 화면 출력부(22)는 대기 얼굴을 표시하는 로봇에게 상하좌우의 스윕 명령을 입력하면 대응하는 명령 UI를 로봇의 화면에 출력한다. 사용자가 상기 대기 얼굴이 표시된 화면에서 아래 방향으로 스윕 명령을 내리면, 명령 화면 출력부(22)는 메뉴 UI 레이어의 메뉴 선택에 대응하는 명령 UI를 화면에 출력한다. 사용자가 상기 대기 얼굴이 표시된 화면에서 좌우 방향으로 스윕 명령을 내리면, 명령 화면 출력부(22)는 얼굴 UI 레이어에서 얼굴에 기반하여 컨텐츠를 선택받는 명령 UI를 화면에 출력한다. 그리고 상기 대기 얼굴이 표시된 화면에서 사용자가 위쪽 방향으로 스윕 명령을 내리면, 명령 화면 출력부(22)는 현재 실행 중인 프로그램의 UI를 출력한다. 그러면, 로봇은 명령 UI를 표시하여 사용자로부터 프로그램의 실행 명령을 입력받을 수 있다.
상기 실행 얼굴 출력부(23)는 프로그램의 실행 전, 후로 실행 얼굴을 화면에 출력한다. 프로그램의 실행 전에는 실행 얼굴 출력부(23)가 가장 최근에 실행되었던 프로그램의 실행 정보에 기반하여 사용자를 맞이하는 실행 얼굴을 화면에 출력한다. 그리고 프로그램의 실행 후에는 실행 얼굴 출력부(23)가 직전에 종료된 프로그램의 실행 정보에 기반하는 실행 얼굴을 화면에 출력한다.
상기 음성 출력부(231)는 상기 대기 얼굴 및 실행 얼굴의 출력시 대응하는 TTS 음성을 출력한다. 얼굴 출력과 동기화되어 음성 출력부(231)가 상기 TTS 음성을 출력하면 사용자는 로봇을 대화의 상대방으로 여길 수 있다.
여기서, 상기 로봇은 실행 결과 평가부(24), 대기 얼굴 반영부(241) 및 실행 얼굴 반영부(242)를 더 포함할 수 있다.
상기 실행 결과 평가부(24)는 프로그램이 종료되면, 당해 프로그램의 실행 상태, 이력 등의 결과를 로그 정보로 수집한 후 평가한다. 예를 들면, 실행 결과 평가부(24)는 사용자의 실행 시간, 종료 시간을 수집하고, 사용자의 방문 사이트 등을 수집한다. 또한, 실행 결과 평가부(24)는 학습 프로그램의 경우 학습 단원, 학습 진도, 학습 결과 및 성적 등의 정보를 수집하여 평가할 수 있다.
상기 대기 얼굴 반영부(241)는 프로그램이 종료되면 실행 얼굴이 표시된 후 평가된 상기 실행 결과에 대응하여 표시될 대기 얼굴을 선택한다. 또한, 대기 얼굴 반영부(241)는 상기 실행 결과와 대응하는 TTS 음성의 변조를 선택하고, LED의 조명 제어 및 로봇의 모션 동작을 선택한다. 그러면, 대기 얼굴 반영부(241)는 선택된 얼굴, TTS, 음성 변조, LED 및 모션의 실행 정보를 현재의 대기 얼굴에 감성 정보로서 반영한다. 여기서, 상기 LED는 로봇에 설치된 일종의 발광체로서 얼굴과 음성 출력에 동기되어 고유한 빛을 발광한다. 그리고 로봇의 동작은 이동, 머리, 팔, 다리의 움직임으로서 특별한 제한은 없다. 따라서, 프로그램이 종료된 이후로 표시되는 상기 대기 얼굴은 사용자의 프로그램 수행 결과에 따라 얼굴, 음성, LED 및 모션이 동기화되어 동작되기에 사용자는 로봇을 이성과 감성의 주체가 여긴다.
상기 실행 얼굴 반영부(241)는 상기 실행 결과 평가부(24)에 의해 평가된 개별 프로그램의 상기 실행 결과의 정보를 저장한 후, 상기 프로그램별로 지금까지 누적된 실행 결과의 정보에 반영한다. 즉, 실행 얼굴 반영부(241)는 프로그램의 종료시마다 당해 인스턴스의 실행 결과를 누적된 실행 결과에 지속적으로 반영한다. 그러면, 다음번에 상기 프로그램이 실행될 때, 실행 얼굴 반영부(241)는 누적된 실행 결과의 정보를 이용하여 실행 얼굴, TTS, 음성 변조, LED 및 모션 등을 선택하여 로봇에 감성 정보로서 반영한다. 따라서, 프로그램의 실행시 로봇은 최근에 서비스된 사용자의 프로그램 실행 이력과 관련하여 업데이트된 실행 얼굴, TTS, 음성 변조, LED 및 동작을 이용하여 사용자에게 안내할 수 있다.
한편, 상기 로봇은 프로세서를 구비한 컴퓨터 장치이며, 전술한 구성부 이외에도 전자 장치와 기계 장치로서 동작하기 위해 이동 기능, 유, 무선 네트워크의 통신 기능, 센서 기능, 음성 인식 기능 등 다양한 기능들을 가질 수 있음은 물론이다.
도 3은 본 발명의 일 실시예에 따른 로봇의 화면 전환 흐름의 예시도이다.
상기 로봇은 얼굴 UI 레이어의 대기 얼굴에서 시작해서 메뉴 UI 레이어의 메뉴 선택 화면, 얼굴 UI 레이어의 컨텐츠 선택 화면 및 실행 UI 레이어의 프로그램 화면으로 이동할 수 있다. 그리고 각각의 레이어에서 제공된 서비스가 종료되면 로봇은 다시 상기 대기 얼굴을 표시한다.
먼저, 화면 전환 흐름 "가"에서, 사용자는 상기 대기 얼굴에서 아래 방향으로 스윕 명령을 입력하여 메뉴 UI 레이어의 메뉴 화면으로 이동하고, 메인 메뉴 및 서브 메뉴를 거쳐서 특정 메뉴를 실행하면, 프로그램의 실행 이벤트가 발생된다. 여기서, 메뉴 실행시 얼굴 UI 레이어의 대응하는 컨텐츠 선택 화면이 표시되어도 무방하다. 프로그램의 실행 이벤트가 발생되면, 로봇은 얼굴 UI 레이어에서 상기 실행 얼굴을 표시하고 실행 UI 레이어에서 프로그램이 실행되는 UI를 화면에 출력한다. 그리고 프로그램의 종료 이벤트가 발생되면, 로봇은 프로그램을 종료한 후 얼굴 UI 레이어의 상기 실행 얼굴을 표시한 후 대기 얼굴로 복귀한다.
다음으로, 화면 전환 흐름 "나"에서, 사용자는 상기 대기 얼굴에서 좌측 또는 우측 방향으로 스윕 명령을 입력하여 컨텐츠 선택 화면으로 이동하고, 특정 컨텐츠를 선택하면 프로그램의 실행 이벤트가 발생된다. 프로그램의 실행 이벤트가 발생되면, 로봇은 상기 프로그램에 대응하는 실행 얼굴을 표시한 후 프로그램이 실행되는 UI를 화면에 출력한다. 그리고 프로그램의 종료 이벤트가 발생되면, 로봇은 프로그램을 종료한 후 실행 얼굴을 표시한 후 대기 얼굴로 복귀한다.
화면 전환 흐름 "다"에서, 사용자는 상기 대기 얼굴에서 아래 방향으로 스윕 명령을 입력하여 프로그램이 실행되는 실행 UI 레이어로 이동한다. 그러면, 로봇은 상기 실행 UI 레이어에서 현재 실행 중인 컨텐츠 또는 어플리케이션에 대응하는 프로그램이 실행되는 UI를 화면에 표시한다. 사용자가 실행 UI 레이어의 화면에서 위쪽 방향으로 스윕 명령을 입력하면 상기 대기 얼굴로 이동할 수 있다.
화면 전환 흐름 "라"에서, 사용자는 대기 얼굴에서 상기 메뉴 화면으로 이동한 후 위쪽 방향으로 스윕 명령을 입력하면 상기 대기 얼굴로 복귀한다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 로봇이 컨텐츠를 실행하는 화면의 예시도이다.
도 4를 참조하면, 사용자가 상기 얼굴 UI 레이어의 대기 얼굴에서 아래 방향으로 스윕 명령을 입력하면(①), 로봇은 상기 메뉴 UI 레이어의 메인 메뉴를 화면에 표시한다(②). 사용자가 "학습 helper" 메뉴를 선택하고(②), 로봇은 구구단 컨텐츠의 서브 메뉴를 표시한다(③). 구구단 컨텐츠의 실행 이벤트가 발생하면, 로봇은 상기 구구단 컨텐츠의 프로그램을 실행하기 전에 상기 컨텐츠에 대응하는 실행 얼굴(④)을 표시한다. 다음으로, 상기 프로그램의 실행에 의해 사용자는 구구단 컨텐츠를 학습한다(⑤). 이후, 프로그램의 종료 이벤트가 발생하면, 로봇은 종료된 구구단 컨텐츠의 학습 결과와 관련하여 대응하는 실행 얼굴을 표시한다(⑥).
도 5를 참조하면, 사용자가 상기 얼굴 UI 레이어의 대기 얼굴에서 좌측 방향으로 스윕 명령을 입력하면(①), 로봇은 사용자가 즐겨 실행하는 컨텐츠 및 실행이 예정된 컨텐츠에 각각 대응하는 컨텐츠 얼굴의 UI를 표시한다(②), 예를 들면, 구구단 학습에 대한 컨텐츠 얼굴의 UI를 화면에 출력하고 대응하는 음성을 출력하는 것이다. 여기서, 사용자가 좌측 방향으로 스윕 명령을 입력하면(②), 로봇은 키 측정에 대한 컨텐츠 얼굴의 UI와 음성을 출력한다(③). 사용자가 키 측정의 컨텐츠 얼굴에서 위쪽 방향으로 스윕 명령을 입력하면(③), 로봇은 키 측정의 프로그램을 실행하기 전에 상기 프로그램에 대응하는 실행 얼굴의 UI와 음성을 출력한다(④). 다음으로, 상기 프로그램의 실행에 의해 사용자는 키 측정을 한다(⑤). 이후, 프로그램의 종료 이벤트가 발생하면, 로봇은 종료된 키 측정의 컨텐츠가 실행된 결과와 관련하여 대응하는 실행 얼굴을 표시한다(⑥). 물론, 로봇은 실행 얼굴을 표시하고 난 후 대기 얼굴을 표시한다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 로봇의 상황별 화면 및 동작의 예시도이다. 로봇은 얼굴의 화면 표시, 음성 출력, LED의 출력 및 모션의 구동을 동기화한다.
아래 표 1은 로봇이 사용자에게 지능과 감성의 객체로서 작용하기 위해 활용되는 주변 장치를 예시한다.
주변장치 설명
LCD 상황별로 대기 얼굴, 컨텐츠 얼굴, 실행 얼굴 등을 표시하여 사용자의 요구 상황에 맞는 서비스나 컨텐츠를 제공함.
TTS 각 상황별로 사용자 및 로봇에 맞는 적합한 멘트를 출력하여 사용자가 서비스 나 컨텐츠를 실행하도록 유도함.
음성 변조 각 상황에 맞도록 피치, 템포, 톤을 조절하여 전달력이 높은 음성 톤으로 변조함.
LED 각 상황에 맞는 위치별 LED, 색상 및 깜박임 간격을 조절하여 전달력을 높임.
구동 로봇의 이동, 움직임 등의 모션 동작을 구동함.
도 6을 참조하면, 로봇이 사용자로부터 구구단 컨텐츠를 선택받아 대응하는 프로그램의 실행을 요청받는 상황이라고 가정한다. 그러면, 로봇은 구구단 컨텐츠의 프로그램이 실행되었던 지금까지의 상태 정보와 가장 최근에 종료된 상기 프로그램의 상태 정보를 이용하여 실행 화면의 얼굴, 음성을 결정한다. 예를 들어, 가장 최근에 종료된 구구단의 학습에서 사용자가 많이 틀린 상황이라 가정하면, 로봇은 이번에 만점을 받아야 한다는 실행 얼굴과 TTS 음성을 결정한다. 상기 TTS 음성은 확신에 찬 결의의 음성 톤으로 변조된다. LED의 출력은 사용자를 응원하는 조명으로 결정된다. 또한, 모션은 뒤로 후진했다가 다시 앞으로 나아가 마치 전진하는 효과의 구동으로 결정된다. 그러면 로봇은 상기에서 결정된 실행 얼굴, 음성, LED, 모션을 동기화하여 출력한다. 이처럼, 로봇은 마치 지능과 감성을 가진 객체처럼 사용자에게 실행 얼굴로 안내하기 때문에 사용자는 로봇을 로봇이 아닌 마치 인격체처럼 여길 수 있다.
도 7을 참조하면, 상기 로봇은 대기 모드에서 대기 얼굴을 표시하여 동작한다. 여기서, 상기 대기 모드는 로봇의 전원이 온 상태이지만 사용자와 반응하지 않고 사용자의 반응을 대기하는 상태이다. 로봇이 지능과 감성의 객체로서 동작하기 위해서는 대기 모드에서 대기 얼굴을 표시하는 것이 중요하다. 아래 표 2는 로봇이 대기 모드로서 동작하는 모드를 예시한다.
모드 설명
터치 모드 로봇이 화면의 터치 명령 및 버튼 명령을 입력받는 경우
접근 모드 로봇이 센서를 통해 사용자 또는 객체를 감지하는 경우
자율 주행 모드 특정 시간 또는 명령에 의해 자유롭게 주행하는 경우
순찰 모드 집안을 특정 패턴에 따라 순찰하고 상황을 주인에게 전달하는 경우
외부 접속 모드 외부로부터 전화 또는 문자가 수신되는 등의 접속 요구가 발생하는 경우
알람 모드 하루 일과 중 알람 설정된 정보를 출력해야 하는 경우
알림 모드 사용자에게 문자, 배터리 부족, 공지 사항 등의 이벤트 정보를 알려줘야 하는 경우
호출 모드 주변의 사용자를 감지하고 사용자가 다가오도록 호출하는 경우
슬립 모드 특정 시간 동안 내부 또는 외부의 이벤트 발생이 없는 경우 화면 및 동작이 일시 정지되는 경우
로봇이 슬립 모드 상황에 있다가 사용자가 화면을 왼쪽에서 터치하여 터치 모드로 대기하는 경우라 가정한다. 그러면, 로봇은 터치된 왼쪽을 바라보며 놀란 표정의 얼굴과 "누구세요?"의 TTS 음성을 결정한다. 상기 TTS 음성은 놀라는 음성 톤으로 변조된다. LED의 출력은 왼쪽 LED를 깜박이는 것으로 결정된다. 또한, 모션은 뒤로 후진하여 고개를 왼쪽으로 회전하는 것으로 결정된다. 그러면, 로봇은 상기에서 결정된 대기 얼굴, 음성, LED, 모션을 동기화하여 출력한다.
이처럼, 로봇은 주어진 상황을 기반으로 복수의 프로그램이 실행되어온 상태 정보 등이 반영되어 대기 얼굴을 통해 사용자를 응대한다. 또한, 프로그램의 실행 전, 후로 상기 프로그램의 상태 정보를 상기시켜 주면서 사용자를 응대한다. 때문에, 상기 로봇은 단순히 사용자의 명령을 처리하면서 움직임이 가능한 객체가 아니라 주어진 상황을 인지하여 사용자의 실행 요청에 따라 반응하는 이성과 감성을 갖는 객체로서 사용자에게 작용한다.
도 8은 본 발명의 일 실시예에 따른 로봇의 제어 방법의 개략적인 순서도이다.
로봇은 대기 화면을 표시하여 사용자를 안내한다(S21). 여기서, 로봇은 상기 대기 화면에서 얼굴 UI 레이어의 대기 얼굴을 표시한다.
상기 얼굴 UI 레이어에서 로봇이 사용자의 스윕 명령을 입력받으면(S211), 로봇은 상기 스윕 명령에 대응하는 메뉴 UI 레이어, 얼굴 UI 레이어 및 실행 UI 레어어로 화면을 전환한다(S22). 아래 방향의 스윕 명령은 메뉴 UI 레이어에 해당하고, 위 방향의 스윕 명령은 실행 UI 레이어에 해당하고, 좌, 우 방향의 스윕 명령은 얼굴 UI 레이어에 해당한다.
로봇이 상기 메뉴 UI 레이어 또는 상기 얼굴 UI 레이어에서 사용자로부터 컨텐츠의 실행 요청을 받으면(S221), 로봇은 실행이 요청된 컨텐츠의 프로그램에 대응하는 실행 얼굴을 화면에 출력한다(S23). 또한, 로봇은 실행 얼굴의 출력과 동기화하여 대응하는 TTS 음성을 출력한다(S231). 물론, 로봇은 얼굴과 음성 출력을 하면서 LED 제어 및 모션의 동작을 수반한다. 사용자는 프로그램의 시작 전에 상기 실행 얼굴을 통해 프로그램과 관련된 각종 정보를 안내받는다.
다음으로, 로봇은 실행 UI 레이어에서 프로그램을 실행한다(S24). 이후, 프로그램의 종료 이벤트가 발생하면(S241), 로봇은 프로그램을 종료한 후 얼굴 UI 레이어에서 실행 얼굴을 출력하여 종료된 프로그램의 실행 결과를 사용자에게 안내한다(S23). 그리고 로봇은 상기 실행 결과에 대응하는 TTS 음성을 출력한다(S231). 실행 얼굴이 출력된 후, 로봇은 상기 대기 화면으로 복귀하여 대기 얼굴을 표시한다(S21).
도 9는 본 발명의 일 실시예에 따른 로봇이 프로그램의 실행 결과에 따라 얼굴에 감성 정보를 반영하는 과정의 개략적 순서도이다.
로봇은 실행 얼굴을 출력한 후 사용자가 요청한 컨텐츠 또는 프로그램을 실행한다(S241). 로봇은 프로그램의 실행 과정에서 사용자의 프로그램 수행 결과 및 프로그램의 상태 등을 수집하여 실행 정보로 평가한다. 평가된 상기 실행 정보는 로봇의 얼굴에 반영되며, 로봇은 평가된 실행 정보를 이용하여 로봇의 대기 얼굴 및 상기 프로그램의 실행 얼굴에 반영한다. 대기 얼굴은 사용자가 실행하는 복수개 프로그램에 대해 각각의 실행 정보가 지속적으로 반영된다. 그리고 실행 얼굴은 사용자가 실행한 프로그램별로 대응하는 실행 정보가 개별 프로그램의 실행 얼굴에 반영된다.
먼저, 로봇이 상기 실행 정보를 대기 얼굴에 반영하는 경우, 로봇은 상기 실행 정보를 이용하여 대기 얼굴과 TTS 음성을 선택한다(S242). 로봇은 상기 TTS 음성을 상황에 맞게 변조하고, LED 제어 및 모션의 구동을 선택한다(S243). 그러면, 로봇은 대기 얼굴, TTS 음성, LED 제어 및 모션 구동의 정보를 감성 정보로서 대기 얼굴에 반영한다. 이후, 로봇이 상기 감성 정보가 반영된 상기 대기 얼굴을 출력하게 되면, 로봇은 이전에 동작한 얼굴, 음성, LED 제어 및 모션과 다르게 사용자를 대상으로 지능적 또는 감성적으로 응대하게 된다.
다음으로, 로봇이 상기 실행 정보를 실행 얼굴에 반영하는 경우, 로봇은 상기 실행 정보를 저장한다(S245). 이후, 상기 프로그램의 실행 이벤트가 발생하여 프로그램의 시작 전에 실행 얼굴이 출력되는 경우, 로봇은 저장된 상기 실행 정보를 이전에 실행된 서비스의 상황 정보로서 고려하여 실행 얼굴과 TTS 음성을 선택한다(S246). 그리고 로봇은 선택된 TTS 음성을 상황에 맞게 변조하고, LED 제어 및 모션의 구동을 선택한다(S247). 그러면, 로봇은 실행 얼굴, TTS 음성, LED 제어 및 모션 구동의 정보를 감성 정보로서 실행 얼굴에 반영한다. 이후, 로봇이 상기 감성 정보가 반영된 상기 실행 얼굴을 출력하게 되면, 로봇은 사용자의 실행에 대해 지능적 또는 감성적으로 응대하게 된다.
상술한 실시예에서, "~부"라는 용어는 상기 로봇의 하드웨어적 구분을 의미하는 용어로 사용된 것이 아니다. 따라서 복수의 구성부가 하나의 구성부로 통합될 수도 있고, 하나의 구성부가 복수의 구성부로 분할될 수도 있다. 또한, 구성부는 하드웨어의 구성부를 의미할 수도 있지만, 소프트웨어의 구성부를 의미할 수도 있다. 따라서 본 발명은 "~부"라는 용어에 의해 특별히 한정되지 않음을 이해하여야 할 것이다.
본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
21 : 대기 얼굴 출력부 22 : 명령 화면 출력부
23 : 실행 얼굴 출력부 231 : 음성 출력부

Claims (20)

  1. 로봇의 화면에 얼굴 이미지를 표시하는 사용자 UI(User Interface)를 제공하여 사용자의 명령을 처리하는 로봇에 있어서,
    로봇에 의해 실행된 컨텐츠들의 실행 정보에 따라 얼굴의 이미지 정보를 달리하여 사용자를 안내하는 대기 얼굴이 화면에 표시되고, 사용자의 화면 터치에 의한 스윕(sweep) 명령에 의해 각각의 컨텐츠마다 대응하는 컨텐츠 얼굴로 전환되어 표시되는 얼굴 UI 레이어;
    상기 얼굴 UI 레이어에서 화면을 아래로 스윕하면, 상기 컨텐츠에 대응하는 메뉴가 슬라이딩되어 화면에 표시되는 메뉴 UI 레이어; 및
    상기 얼굴 UI 레이어에서 화면을 위로 스윕하면 표시되고, 상기 얼굴 UI 레이어 또는 상기 메뉴 UI 레이어에서 실행이 요청된 상기 컨텐츠의 프로그램이 실행되는 화면이 표시되는 실행 UI 레이어
    를 포함하는 화면 레이어를 갖는 것을 특징으로 하는 로봇.
  2. 제 1항에 있어서,
    상기 로봇은,
    로봇의 화면에 사용자의 명령 입력을 대기하는 상기 대기 얼굴 및 상기 컨텐츠 얼굴을 출력하는 대기 얼굴 출력부;
    상기 대기 얼굴 및 상기 컨텐츠 얼굴의 화면에서 사용자의 스윕 명령에 의해 상하좌우로부터 슬라이딩 방식으로 출현하여 로봇이 제공하는 메뉴 또는 컨텐츠의 UI를 화면에 출력하는 명령 화면 출력부;
    메뉴 또는 컨텐츠가 선택되어 실행이 요청되면, 상기 컨텐츠의 프로그램이 실행되기 전 및 실행된 후로 상기 프로그램의 실행 정보에 따라 얼굴의 이미지 정보가 반영된 실행 얼굴을 화면에 출력하는 실행 얼굴 출력부; 및
    화면으로 출력되는 상기 얼굴과 동기화되어 음성을 출력하는 음성 출력부
    를 포함하는 것을 특징으로 하는 로봇.
  3. 제 1항 또는 제 2항에 있어서,
    상기 로봇은,
    상기 얼굴 UI 레이어에서 좌측 또는 우측 방향의 스윕 명령에 의해 좌우로 슬라이딩 전환되며 복수개의 컨텐츠마다 각각의 얼굴 UI를 가진 상기 얼굴 UI 레이어;
    상기 얼굴 UI 레이어에서 아래쪽 방향의 스윕 명령에 의해 화면의 상단에서 아래로 슬라이딩 전환되며 메뉴 UI를 가진 상기 메뉴 UI 레이어; 및
    상기 얼굴 UI 레이어에서 위쪽 방향의 스윕 명령에 의해 화면의 하단에서 위로 슬라이딩 전환되며 프로그램이 실행되는 UI를 가진 상기 실행 UI 레이어로 사용자의 스윕 명령을 이용하여 각각의 레이어를 전환하는 것을 특징으로 하는 로봇.
  4. 제 1항 또는 제 2항에 있어서,
    상기 로봇은,
    상기 얼굴 UI 레이어에서 사용자의 좌측 또는 우측 방향의 스윕 명령에 의해 대기 얼굴의 화면, 컨텐츠 얼굴의 화면, 컨텐츠 목록의 화면 및 어플리케이션 목록의 화면으로 이동하는 것을 특징으로 하는 로봇.
  5. 제 1항 또는 제 2항에 있어서,
    상기 로봇은,
    상기 메뉴 UI 레이어에서 사용자의 메뉴 선택에 따라 메인 메뉴 및 깊이(depth)별 서브 메뉴로 이동하는 것을 특징으로 하는 로봇.
  6. 제 1항 또는 제 2항에 있어서,
    상기 로봇은,
    상기 실행 UI 레이어에서 사용자의 좌측 또는 우측 방향의 스윕 명령에 의해 현재 실행 중인 각각의 프로그램의 화면으로 이동하는 것을 특징으로 하는 로봇.
  7. 제 1항 또는 제 2항에 있어서,
    상기 로봇은,
    컨텐츠별로 대응하는 각각의 프로그램이 실행되기 직전에 지금까지 실행되었던 상기 프로그램의 실행 정보에 의해 얼굴 이미지가 반영된 상기 얼굴 UI 레이어의 실행 얼굴을 화면에 표시하고,
    상기 프로그램이 종료된 직후에 종료된 상기 프로그램의 실행 정보에 의해 얼굴 이미지가 반영된 상기 얼굴 UI 레이어의 실행 얼굴을 화면에 표시하고,
    상기 실행 얼굴에 동기화되는 음성을 출력하는 것을 특징으로 하는 로봇.
  8. 제 1항 또는 제 2항에 있어서,
    컨텐츠 및 프로그램의 실행시마다 실행 정보를 수집하여 실행 상태의 결과를 평가하고, 평가된 결과 정보를 이용하여 얼굴과 TTS(Text To Speech)를 선택하는 실행 결과 평가부를 더 포함하는 것을 특징으로 하는 로봇.
  9. 제 8항에 있어서,
    선택된 얼굴과 TTS 정보에 대응하여 TTS의 음성 변조, LED 제어, 모션 설정을 포함하는 감성 처리를 수행하여 상기 대기 얼굴에 반영하는 대기 얼굴 반영부를 더 포함하는 것을 특징으로 하는 로봇.
  10. 제 8항에 있어서,
    선택된 얼굴과 TTS 정보를 실행 평가값으로 저장하고, 다음번 컨텐츠 및 프로그램의 실행시에 상기 실행 평가값에 대응하여 TTS의 음성 변조, LED 제어, 모션 설정을 포함하는 감성 처리를 수행하여 실행 얼굴에 반영하는 실행 얼굴 반영부를 더 포함하는 것을 특징으로 하는 로봇.
  11. 화면에 얼굴 이미지를 표시하는 사용자 UI(User Interface)를 제공하여 사용자의 명령을 처리하는 로봇이 하기의 단계들을 실행하는 로봇의 제어 방법에 있어서,
    (a)로봇에 의해 실행된 컨텐츠들의 실행 정보에 따라 얼굴의 이미지 정보를 달리하는 대기 얼굴을 표시하는 대기 얼굴 표시 단계;
    (b)상기 대기 얼굴의 화면에서 사용자의 스윕 명령을 입력받는 스윕 명령 입력 단계;
    (c)각각의 스윕 명령에 대응하는 얼굴 UI 레이어, 메뉴 UI 레이어 및 실행 UI 레이어를 표시하는 레이어 화면 단계;
    (d)각각의 상기 레이어의 UI를 통해 특정 컨텐츠의 실행 요청을 입력받는 실행 요청 단계;
    (e)상기 얼굴 UI 레이어에서 실행 요청된 상기 컨텐츠의 실행 얼굴을 화면에 표시하고 대응하는 TTS(Text To Speech)를 출력하는 실행 얼굴 표시 단계; 및
    (f)상기 실행 얼굴이 표시된 후, 상기 실행 UI 레이어에서 요청된 컨텐츠의 프로그램이 실행되는 UI를 화면으로 출력하는 프로그램 실행 단계
    를 포함하는 것을 특징으로 하는 로봇의 제어 방법.
  12. 제 11항에 있어서,
    상기 단계(c)는,
    상기 단계(a)에 의해 표시되는 상기 얼굴 UI 레이어에서 사용자의 스윕 명령에 의해 화면이 상하좌우로부터 슬라이딩 방식으로 출현하여 상기 로봇이 제공하는 메뉴 또는 컨텐츠의 UI를 화면에 출력하는 단계로서,
    상기 얼굴 UI 레이어에서 좌측 또는 우측 방향의 스윕 명령에 의해 좌측 또는 우측으로 슬라이딩 전환되며 복수개의 얼굴 및 화면으로 전환되는 단계;
    상기 얼굴 UI 레이어에서 아래쪽 방향의 스윕 명령에 의해 화면의 상단에서 아래로 슬라이딩되어 상기 메뉴 UI 레이어의 화면으로 전환되는 단계; 및
    상기 얼굴 UI 레이어에서 위쪽 방향의 스윕 명령에 의해 화면의 하단에서 위쪽 방향으로 슬라이딩되어 상기 실행 UI 레이어의 화면으로 전환되는 단계를 포함하는 것을 특징으로 하는 로봇의 제어 방법.
  13. 제 11항 또는 제 12항에 있어서,
    상기 단계(c)는,
    상기 로봇이 상기 얼굴 UI 레이어에서 사용자의 좌측 또는 우측 방향의 스윕 명령에 의해 대기 얼굴의 화면, 컨텐츠 얼굴의 화면, 컨텐츠 목록의 화면 및 어플리케이션 목록의 화면으로 이동하는 단계인 것을 특징으로 하는 로봇의 제어 방법.
  14. 제 11항 또는 제 12항에 있어서,
    상기 단계(c)는,
    상기 로봇이 상기 메뉴 UI 레이어에서 사용자의 메뉴 선택에 따라 메인 메뉴 및 깊이(depth)별 서브 메뉴의 UI를 화면에 출력하는 단계인 것을 특징으로 하는 로봇의 제어 방법.
  15. 제 11항 또는 제 12항에 있어서,
    상기 단계(c)는,
    상기 로봇이 상기 실행 UI 레이어에서 사용자의 좌측 또는 우측 방향의 스윕 명령에 의해 현재 실행 중인 각각의 프로그램의 UI를 화면에 출력하는 단계인 것을 특징으로 하는 로봇의 제어 방법.
  16. 제 11항에 있어서,
    상기 단계(e)는,
    상기 로봇이 컨텐츠별로 대응하는 각각의 프로그램이 실행되기 직전에 지금까지 실행되었던 상기 프로그램의 실행 정보에 의해 얼굴 이미지가 반영된 상기 얼굴 UI 레이어의 실행 얼굴을 화면에 표시하는 단계; 및
    상기 실행 얼굴에 동기화되는 음성을 출력하는 단계를 포함하는 것을 특징으로 하는 로봇의 제어 방법.
  17. 제 11항에 있어서,
    상기 단계(f)는,
    상기 로봇이 상기 프로그램이 종료된 직후에 종료된 상기 프로그램의 실행 정보에 의해 얼굴 이미지가 반영된 상기 얼굴 UI 레이어의 실행 얼굴을 화면에 표시하는 단계; 및
    상기 실행 얼굴에 동기화되는 음성을 출력하는 단계를 포함하는 것을 특징으로 하는 로봇의 제어 방법.
  18. 제 11항에 있어서,
    상기 단계(f)는, 상기 로봇이,
    (f1)컨텐츠 및 프로그램의 실행시마다 실행 정보를 수집하여 실행 상태의 결과를 평가하는 단계; 및
    (f2)평가된 결과 정보를 이용하여 얼굴과 TTS를 선택하는 단계를 더 포함하는 것을 특징으로 하는 로봇의 제어 방법.
  19. 제 18항에 있어서,
    상기 단계(f2) 이후에, 상기 로봇이,
    선택된 상기의 얼굴과 TTS 정보를 이용하여 대응하는 음성으로 변조하고, LED 표시 및 모션을 선택하는 감성 처리를 수행하는 단계; 및
    상기 감성 처리에 의해 상기 음성 변조된 TTS 정보 및 선택된 상기 LED 및 모션 정보를 상기 단계(a)의 대기 얼굴에 반영하는 단계
    를 더 포함하는 것을 특징으로 하는 로봇의 제어 방법.
  20. 제 18항에 있어서,
    상기 단계(f2) 이후에, 상기 로봇이
    선택된 상기의 얼굴과 TTS 정보를 이용하여 플레이 상태 및 평가 정보를 저장하는 단계;
    상기 단계(f)의 실행이 시작될 때, 저장된 상기의 플레이 상태 및 평가 정보에 대응하는 실행 얼굴과 TTS를 선택하는 단계;
    선택된 상기의 얼굴과 TTS 정보를 이용하여 대응하는 음성으로 변조하고, LED 표시 및 모션을 선택하는 감성 처리를 수행하는 단계; 및
    상기 감성 처리에 의해 상기 음성 변조된 TTS 정보 및 선택된 상기 LED 및 모션 정보를 상기 단계(f)의 실행 얼굴의 감성 정보로 반영하는 단계
    를 더 포함하는 것을 특징으로 하는 로봇의 제어 방법.
KR1020130004059A 2013-01-14 2013-01-14 얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법 KR101515178B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130004059A KR101515178B1 (ko) 2013-01-14 2013-01-14 얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법
PCT/KR2013/007067 WO2014109448A1 (ko) 2013-01-14 2013-08-06 얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130004059A KR101515178B1 (ko) 2013-01-14 2013-01-14 얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법

Publications (2)

Publication Number Publication Date
KR20140091967A KR20140091967A (ko) 2014-07-23
KR101515178B1 true KR101515178B1 (ko) 2015-04-24

Family

ID=51167079

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130004059A KR101515178B1 (ko) 2013-01-14 2013-01-14 얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법

Country Status (2)

Country Link
KR (1) KR101515178B1 (ko)
WO (1) WO2014109448A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107221206B (zh) * 2017-06-09 2019-05-31 深圳市鑫益嘉科技股份有限公司 一种智能教学机器人
USD846663S1 (en) * 2018-01-03 2019-04-23 Woobo Inc. Robot
CN109008815A (zh) * 2018-07-31 2018-12-18 上海爱优威软件开发有限公司 一种扫地机器人的控制方法及终端
US20200201337A1 (en) * 2018-12-20 2020-06-25 Jason Yan Anti-drop-off system for robot
KR102236718B1 (ko) * 2019-07-25 2021-04-06 주식회사 모두커뮤니케이션 감정이 반영된 개인화 객체 생성을 위한 서비스 제공 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200435980Y1 (ko) 2006-09-13 2007-03-30 주식회사 케이엠씨 지능형 안내로봇 시스템
JP2010182287A (ja) 2008-07-17 2010-08-19 Steven C Kays 適応型インテリジェント・デザイン

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100824314B1 (ko) * 2006-08-01 2008-04-22 주식회사 유진로봇 로봇을 통한 유아 학습시 동기 유발을 위한 영상 합성시스템
KR100814330B1 (ko) * 2006-11-28 2008-03-18 주식회사 한울로보틱스 학습보조 및 교사 도우미 로봇 시스템
KR101088406B1 (ko) * 2008-06-27 2011-12-01 주식회사 유진로봇 유아교육시 로봇을 이용한 양방향 학습 시스템 및 그 운영방법
KR101119026B1 (ko) * 2009-07-07 2012-03-13 송세경 식당의 고객 서비스 및 계산 가능한 지능형 주행로봇
KR101083703B1 (ko) * 2009-09-08 2011-11-16 주식회사 유진로봇 이동로봇과 학생간의 상호작용이 가능한 교육시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200435980Y1 (ko) 2006-09-13 2007-03-30 주식회사 케이엠씨 지능형 안내로봇 시스템
JP2010182287A (ja) 2008-07-17 2010-08-19 Steven C Kays 適応型インテリジェント・デザイン

Also Published As

Publication number Publication date
KR20140091967A (ko) 2014-07-23
WO2014109448A1 (ko) 2014-07-17

Similar Documents

Publication Publication Date Title
KR101515178B1 (ko) 얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법
CN108139863B (zh) 用于在与强度敏感按钮交互期间提供反馈的设备、方法和图形用户界面
KR102169206B1 (ko) 햅틱 피드백 제어 시스템
US9978261B2 (en) Remote controller and information processing method and system
US20160255393A1 (en) Browser-based method and device for indicating mode switch
WO2014190886A1 (zh) 智能交互系统及其软件系统
EP2778865B1 (en) Input control method and electronic device supporting the same
KR101992676B1 (ko) 영상 인식을 이용하여 음성 인식을 하는 방법 및 장치
RU2506630C2 (ru) Визуализация обучающих анимаций на дисплее интерфейса пользователя
US20170068416A1 (en) Systems And Methods for Gesture Input
CN108287739A (zh) 一种操作引导方法及移动终端
AU2015248706B2 (en) Executing software applications on a robot
CN103118227A (zh) 一种基于kinect的摄像机PTZ控制方法、装置和系统
KR102288658B1 (ko) 로봇 및 그의 제어 방법
CN109260713A (zh) 虚拟对象远程协助操作方法及装置、存储介质、电子设备
KR20140035861A (ko) 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
KR20210040856A (ko) 스마트 백미러의 인터랙션 방법, 장치, 전자기기와 저장매체
CN109219791A (zh) 具有实际时间指示的内容刷动条
CN104184890A (zh) 一种信息处理方法及电子设备
CN115496850A (zh) 家居设备控制方法、智能穿戴设备和可读存储介质
US11287945B2 (en) Systems and methods for gesture input
WO2011140752A1 (zh) 电子装置及获取用户操作的方法
CN101290706A (zh) 无线遥控系统及其无线遥控装置
KR20140105961A (ko) 2차원 마우스 기능을 가지는 3차원 에어 마우스
KR20140092459A (ko) 메모 레이어와 어플리케이션 사이에 데이터를 주고 받는 방법 및 이를 구비한 전자장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180403

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 5