WO2014109448A1 - 얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법 - Google Patents

얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법 Download PDF

Info

Publication number
WO2014109448A1
WO2014109448A1 PCT/KR2013/007067 KR2013007067W WO2014109448A1 WO 2014109448 A1 WO2014109448 A1 WO 2014109448A1 KR 2013007067 W KR2013007067 W KR 2013007067W WO 2014109448 A1 WO2014109448 A1 WO 2014109448A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
execution
robot
screen
layer
Prior art date
Application number
PCT/KR2013/007067
Other languages
English (en)
French (fr)
Inventor
이영훈
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Publication of WO2014109448A1 publication Critical patent/WO2014109448A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015—Face robots, animated artificial faces for imitating human expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/54—Link editing before load time
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Definitions

  • the present invention relates to a robot and a method for controlling the robot, and more particularly, to a robot and a method for controlling the robot providing a face-based user interface on the screen of the robot.
  • Korean Patent No. 10-0750407 as a prior art discloses a system and method of a remote control robot using a user interface.
  • the system provides a technology for remotely controlling a robot using a portable terminal.
  • the user's convenience in the robot user interface can be commanded to the portable terminal, but the user's convenience is not provided.
  • the emotional interface of the robot is excluded between the robot and the user, it is simply a computer device having a moving function and a conversation function. Therefore, robots that family users will use, such as home robots, are required to provide an emotional interface that can be felt as a member of the family like a pet.
  • the present invention was created under the recognition of the prior art as described above, providing a face-based user UI on the screen of the robot, and provides a control method of the robot and the robot to receive the user's sweep command to switch to the corresponding screen layer It aims to do it.
  • Another object of the present invention when the robot is requested to execute the program, to guide the user by displaying the information related to the execution of the program with the execution face before and after the start of the program.
  • Still another object of the present invention is to collect and evaluate information related to the execution of the program while the robot executes the program, and to reflect the evaluated information on the face to be displayed next, the guide voice, and the operation of the robot.
  • a robot provides a user interface (UI) for displaying a face image on a screen of a robot and processes a user's command, thereby executing contents executed by the robot.
  • UI user interface
  • the face UI which guides the user by changing the image information of the face according to the information is displayed on the screen, and the face UI is switched to the corresponding content face for each content by the sweep command by the user's screen touch.
  • the robot the standby face output unit for outputting the standby face and the content face waiting for the user's command input on the screen of the robot;
  • a command screen output unit that appears in a sliding manner from up, down, left, and right by a user's sweep command on the screens of the standby face and the content face and outputs a menu or content UI provided by the robot on the screen;
  • An execution face output unit configured to output an execution face on which the image information of the face is reflected according to the execution information of the program before and after the program of the content is executed, when a menu or content is selected and requested to be executed;
  • a voice output unit configured to output a voice synchronized with the face output on the screen.
  • the robot includes: the face UI layer slidingly shifted from side to side by a sweep command in a left or right direction in the face UI layer and having a face UI for each of a plurality of contents;
  • the menu UI layer having a menu UI and slidingly switched from the top of the screen by a sweep command in a downward direction in the face UI layer;
  • the robot moves to the screen of the standby face, the screen of the content face, the screen of the content list, and the screen of the application list by the sweep command to the left or right of the user in the face UI layer.
  • the robot moves to a main menu and a depth-specific sub menu according to a user's menu selection in the menu UI layer.
  • the robot moves to the screen of each program currently being executed by the sweep command in the left or right direction of the user in the execution UI layer.
  • the robot displays the execution face of the face UI layer on which the face image is reflected by the execution information of the program, which has been executed until now before each program corresponding to each content is executed, on the screen.
  • the execution face of the face UI layer in which the face image is reflected by the execution information of the program terminated immediately after the end of the program is displayed on the screen, and a voice synchronized with the execution face is output.
  • the robot collects execution information for each execution of content and programs, evaluates the result of the execution state, and selects a face and text to speech (TTS) using the evaluated result information. It further includes an execution result evaluation unit.
  • the robot may further include an air face reflector configured to reflect the air face by performing an emotional process including voice modulation, LED control, and motion setting of the TTS in response to the selected face and the TTS information.
  • an air face reflector configured to reflect the air face by performing an emotional process including voice modulation, LED control, and motion setting of the TTS in response to the selected face and the TTS information.
  • the robot stores the selected face and the TTS information as an execution evaluation value, and performs emotional processing including voice modulation, LED control, and motion setting of the TTS in response to the execution evaluation value at the next execution of the content and program. It further includes an execution face reflecting unit to perform and reflect on the execution face.
  • a control method of a robot for providing a face-based user interface according to an embodiment of the present invention, wherein the robot provides a user interface (UI) for displaying a face image on a screen to process a user's command.
  • UI user interface
  • a control method of a robot that executes the following steps, the method comprising: (a) an air face display step of displaying an air face that varies image information of a face according to execution information of contents executed by the robot; (b) a sweep command input step of receiving a sweep command of a user on the screen of the waiting face; (c) a layer screen step of displaying a face UI layer, a menu UI layer, and an execution UI layer corresponding to each sweep command; (d) an execution request step of receiving an execution request of specific content through the UI of each layer; (e) an execution face display step of displaying an execution face of the content requested to be executed in the face UI layer on a screen and outputting a corresponding text to speech (TTS); And (f) after the execution face is displayed, outputting a UI on which a program of a content requested in the execution UI layer is executed to a screen.
  • TTS text to speech
  • the user by synchronizing and outputting the face, voice, LED and motion of the robot, the user has the effect of feeling the robot as a person with intelligence and emotion.
  • the robot learns and guides the execution information to the user.
  • FIG. 1 is an exemplary diagram of a screen layer of a robot according to an embodiment of the present invention.
  • FIG. 2 is a schematic internal structural diagram of a robot according to an embodiment of the present invention.
  • FIG 3 is an exemplary view of a screen switching flow of the robot according to an embodiment of the present invention.
  • 4 and 5 are exemplary views of a screen on which a robot executes content according to an embodiment of the present invention.
  • 6 and 7 are exemplary diagrams of screens and operations for each situation of a robot according to an embodiment of the present invention.
  • FIG. 8 is a schematic flowchart of a control method of a robot according to an embodiment of the present invention.
  • FIG. 9 is a schematic flowchart of a process in which a robot reflects emotion information on a face according to an execution result of a program according to an embodiment of the present invention.
  • FIG. 1 is an exemplary diagram of a screen layer of a robot according to an embodiment of the present invention
  • Figure 2 is a schematic internal structure of the robot.
  • a robot according to an embodiment of the present invention has a screen layer including a face UI layer, a menu UI layer, and an execution UI layer.
  • the robot outputs each screen layer on the screen to interface with the user.
  • the UI refers to display information that the robot outputs on the screen.
  • the screen is located on the head of the robot and the face is displayed.
  • the face UI layer corresponds to a screen layer on which the robot displays a face image on the screen.
  • the robot makes a facial expression using a face-based image in the face UI layer and outputs a voice
  • the user can recognize the robot as if it were a human.
  • the robot may express facial expressions and express emotions through facial elements such as eyes, eyes, and mouth.
  • the robot displays a standby face that changes image information according to a situation in the face UI layer.
  • the robot may receive a sweep command by a user's touch through the standby face.
  • the switching between screen layers is switched by a sweep command in which the user touches the screen with a finger.
  • the robot guides the execution of the waiting face (standby screen), the content to be executed, and switches to the screen of the waiting content face, the content list, and the application list.
  • the user may search for a button or icon of a desired content or application while inputting a left and right sweep command in the face UI layer.
  • the menu UI layer is displayed.
  • an execution UI layer corresponding to the screen of the player is displayed.
  • the menu UI layer corresponds to a screen on which a robot displays a menu of a program.
  • the menu may include a main menu and a sub menu, and the sub menu may have a hierarchical structure according to depth. For example, when the user inputs a sweep command downward in the face UI layer, the robot displays a main menu on the screen by using a screen effect sliding from the top downward. When the user selects a specific item in the main menu, the robot displays a submenu of a first depth corresponding to the selected item on the screen. When the user selects a specific item from the sub menu, the robot displays the sub menu having the second depth on the screen.
  • the user can select and execute the desired program menu from the menu item of the menu UI layer or the sweep command in the left or right direction on the face UI layer to select and execute the object of the desired program. have.
  • the execution UI layer corresponds to a screen on which a playback player and an execution program are executed. For example, when the user selects a specific content from the face UI layer to request playback, the robot displays a program of the playback player on the screen and executes the selected content by using a screen effect sliding from the bottom to the top. Alternatively, when the user selects a specific program to request execution, the robot displays the program on the screen using the screen effect.
  • the robot receives the execution request by selecting a specific object from the menu UI layer or the face UI layer, and displays the program of the requested object on the screen of the execution UI layer to execute.
  • the robot displays the execution face of the face UI layer on the screen.
  • the screen of the program is output from the execution UI layer via the execution face of the face UI layer.
  • the robot ends the program and outputs the execution face of the face UI layer on the screen. Therefore, the robot may display the execution face before and after the execution of the program to guide the user with various information related to the execution of the program.
  • the robot can transmit information to the user through the execution face like a person having intelligence and emotion. For example, if a child user executes a learning program that was executed a week ago, the robot outputs a face image and a voice that says "It's executed in a week! Come on” as a running face before executing the learning program. do. After running the program, it outputs a face image and voice like "Did you have fun today? You did well today! Of course, the robot may recognize the face of the adopted family and output a message to the grown-ups through the face recognition of the user.
  • FIG. 2 is a schematic internal structural diagram of a robot according to an embodiment of the present invention.
  • the robot executes before and after the execution of the program, the standby face output unit 21 for outputting the standby face on the screen, the command screen output unit 22 for outputting the menu UI, or the content UI on the screen.
  • the standby face output unit 21 displays the standby face of the face UI layer in the standby mode in which the robot waits for a user's command input.
  • the standby face output unit 21 may perform a conversation with a user, a key input process, or the like in a situation of outputting the standby face.
  • the standby mode refers to a state before a user selects content and issues an execution command. In the standby mode, the robot can recognize the situation, move around, and execute communication functions and other processing.
  • the command screen output unit 22 outputs a corresponding command UI on the screen of the robot when a sweep command of up, down, left, or right is inputted to the robot displaying the waiting face.
  • the command screen output unit 22 When the user issues a sweep command downward from the screen on which the standby face is displayed, the command screen output unit 22 outputs a command UI corresponding to the menu selection of the menu UI layer on the screen.
  • the command screen output unit 22 outputs a command UI for selecting content based on the face from the face UI layer.
  • the command screen output unit 22 outputs the UI of the program currently being executed. Then, the robot may display a command UI and receive an execution command of a program from a user.
  • the execution face output unit 23 outputs the execution face on the screen before and after the execution of the program. Before the execution of the program, the execution face output unit 23 outputs the execution face greeted by the user on the screen based on the execution information of the most recently executed program. After execution of the program, the execution face output unit 23 outputs the execution face based on the execution information of the program just terminated on the screen.
  • the voice output unit 231 outputs a corresponding TTS voice when the standby face and the execution face are output.
  • the voice output unit 231 outputs the TTS voice in synchronization with the face output, the user may regard the robot as a counterpart of the conversation.
  • the robot may further include an execution result evaluator 24, an atmospheric face reflector 241, and an execution face reflector 242.
  • the execution result evaluation unit 24 collects the result of the execution state, history, etc. of the program as log information and evaluates the result. For example, the execution result evaluation unit 24 collects the execution time and the end time of the user, and collects the visited site of the user and the like. In addition, the execution result evaluation unit 24 may collect and evaluate information such as a learning unit, learning progress, learning results, and grades in the case of the learning program.
  • the standby face reflecting unit 241 displays the execution face and then selects the standby face to be displayed in response to the evaluated execution result.
  • the atmospheric face reflecting unit 241 selects the modulation of the TTS voice corresponding to the execution result, and selects the lighting control of the LED and the motion operation of the robot.
  • the standby face reflecting unit 241 reflects the execution information of the selected face, TTS, voice modulation, LED, and motion as emotion information on the current standby face.
  • the LED is a kind of light emitting body installed in the robot to emit a unique light in synchronization with the face and voice output.
  • the movement of the robot is no special limitation as the movement, the movement of the head, arms and legs. Therefore, the face is displayed after the end of the program is synchronized with the operation of the face, voice, LED, and motion according to the user's program execution result, the user regards the robot as the subject of reason and emotion.
  • the execution face reflecting unit 241 stores the information of the execution result of the individual program evaluated by the execution result evaluator 24 and reflects the information on the execution result accumulated so far for each program. That is, the execution face reflecting unit 241 continuously reflects the execution result of the instance to the accumulated execution result at each end of the program. Then, the next time the program is executed, the execution face reflecting unit 241 selects the execution face, the TTS, the voice modulation, the LED, the motion, etc. using the accumulated execution result information and reflects it to the robot as emotional information. Thus, upon execution of the program, the robot can guide the user using the updated execution face, TTS, voice modulation, LEDs and actions in relation to the program execution history of the recently serviced user.
  • the robot is a computer device having a processor, and in addition to the above-described components, the robot may have various functions such as a mobile function, a communication function of a wired and wireless network, a sensor function, and a voice recognition function to operate as an electronic device and a mechanical device.
  • the robot may have various functions such as a mobile function, a communication function of a wired and wireless network, a sensor function, and a voice recognition function to operate as an electronic device and a mechanical device.
  • FIG 3 is an exemplary view of a screen switching flow of the robot according to an embodiment of the present invention.
  • the robot may move from the standby face of the face UI layer to the menu selection screen of the menu UI layer, the content selection screen of the face UI layer, and the program screen of the execution UI layer.
  • the robot displays the waiting face again.
  • the user enters a sweep command downward from the standby face to move to a menu screen of a menu UI layer, and executes a specific menu via a main menu and a submenu, and executes a program.
  • An event is triggered.
  • the corresponding content selection screen of the face UI layer may be displayed when the menu is executed.
  • the robot displays the execution face in the face UI layer and outputs a UI on which the program is executed in the execution UI layer on the screen.
  • the robot returns to the standby face after displaying the execution face of the face UI layer after terminating the program.
  • the user inputs a sweep command to the left or right direction from the standby face to move to the content selection screen, and when a specific content is selected, an execution event of the program is generated.
  • the robot displays an execution face corresponding to the program and then outputs a UI on which the program is executed on the screen.
  • the robot displays the execution face after ending the program and returns to the standby face.
  • the user enters a sweep command downward from the waiting face to move to the execution UI layer where the program is executed. Then, the robot displays a UI on which the program corresponding to the content or application currently running in the execution UI layer is executed. When the user inputs a sweep command upward on the screen of the execution UI layer, the user may move to the waiting face.
  • 4 and 5 are exemplary views of a screen on which a robot executes content according to an embodiment of the present invention.
  • the robot displays the main menu of the menu UI layer on the screen (2).
  • the user selects the "learning helper" menu (2), and the robot displays a submenu of multiplication table contents (3).
  • the robot displays the execution face 4 corresponding to the contents before executing the program of the multiplication table contents.
  • the user learns the multiplication table contents by executing the program (5).
  • the robot displays a corresponding execution face in relation to the learning result of the finished multiplication table contents (6).
  • the robot may display a UI of the content face corresponding to the content that the user likes to execute and the scheduled content to execute.
  • (2) for example, a UI of a content face for multiplication table learning is output on a screen, and a corresponding voice is output.
  • the robot outputs the UI and voice of the content face for the key measurement (3).
  • the robot outputs the UI and voice of the execution face corresponding to the program (4) before executing the program of the key measurement.
  • the user makes a key measurement by executing the program (5).
  • the robot displays a corresponding execution face in relation to the result of executing the content of the terminated key measurement (6).
  • the robot displays the running face after displaying the running face.
  • FIGS. 6 and 7 are exemplary diagrams of screens and operations for each situation of a robot according to an embodiment of the present invention.
  • the robot synchronizes the on-screen display of the face, the audio output, the LED output and the motion drive.
  • Table 1 below illustrates the peripherals used by the robot to act as objects of intelligence and emotion to the user.
  • Table 1 Peripheral device Explanation LCD By displaying the waiting face, the content face, the execution face, etc. for each situation, the service or content is provided in accordance with the user's requirements.
  • TTS Produces the user to execute the service or contents by outputting the appropriate message for the user and robot in each situation.
  • Voice modulation Modulate Pitch, Tempo, and Tone to suit your needs, with a high tone voice.
  • LED Improves delivery power by adjusting location-specific LEDs, colors, and blink intervals for each situation.
  • Driving Drive motions such as robot movement and movement.
  • a robot receives a multiplication table content from a user and is requested to execute a corresponding program. Then, the robot determines the face and voice of the execution screen by using the state information up to the time when the program of the multiplication table contents was executed and the state information of the program most recently terminated. For example, assuming that the user is very wrong in learning the most recently completed multiplication table, the robot determines the execution face and the TTS voice that should be scored this time. The TTS voice is modulated into a voice tone of confident determination. The output of the LED is determined by the lighting that cheers the user. In addition, the motion is determined by the driving of the effect of moving backward and then forward again.
  • the robot synchronizes and outputs the execution face, voice, LED, and motion determined above.
  • the robot guides the user to the execution face as if it were an object with intelligence and emotion, so that the user can regard the robot as a person rather than a robot.
  • the robot operates by displaying a standby face in a standby mode.
  • the standby mode is a state in which the power of the robot is on but waits for the user's reaction without reacting with the user.
  • Table 2 illustrates the modes in which the robot operates as a standby mode.
  • the robot is in the sleep mode and the user waits in the touch mode by touching the screen on the left side. Then, the robot looks at the touched left side and decides the face of the surprised expression and the TTS voice of "Who are you?" The TTS voice is modulated with an astonishing voice tone.
  • the output of the LED is determined by flashing the left LED.
  • the motion is determined by reversing backwards and turning the head to the left. Then, the robot synchronizes and outputs the determined standby face, voice, LED, and motion.
  • the robot responds to the user through the waiting face by reflecting state information on which a plurality of programs have been executed based on a given situation.
  • the user is served while reminding the status information of the program before and after execution of the program. Therefore, the robot acts on the user as an object having reason and emotion responding to a user's execution request by recognizing a given situation, rather than simply an object that can move while processing the user's command.
  • FIG. 8 is a schematic flowchart of a control method of a robot according to an embodiment of the present invention.
  • the robot guides the user by displaying a standby screen (S21).
  • the robot displays the standby face of the face UI layer on the standby screen.
  • the robot When the robot receives a user's sweep command in the face UI layer (S211), the robot switches a screen to a menu UI layer, a face UI layer, and an execution UI rare corresponding to the sweep command (S22).
  • the sweep command in the downward direction corresponds to the menu UI layer
  • the sweep command in the upward direction corresponds to the execution UI layer
  • the sweep command in the left and right directions corresponds to the face UI layer.
  • the robot When the robot receives a content execution request from the user in the menu UI layer or the face UI layer (S221), the robot outputs an execution face corresponding to the program of the content requested to be executed on the screen (S23). In addition, the robot outputs a corresponding TTS voice in synchronization with the output of the execution face (S231).
  • the robot is accompanied by the operation of the LED control and motion while outputting the face and voice. The user is informed of various information related to the program through the execution face before the start of the program.
  • the robot executes a program in the execution UI layer (S24). Thereafter, when the end event of the program occurs (S241), the robot ends the program and outputs an execution face in the face UI layer to inform the user of the execution result of the terminated program (S23). The robot then outputs a TTS voice corresponding to the execution result (S231). After the execution face is output, the robot returns to the standby screen and displays the standby face (S21).
  • FIG. 9 is a schematic flowchart of a process in which a robot reflects emotion information on a face according to an execution result of a program according to an embodiment of the present invention.
  • the robot outputs the execution face and then executes the content or program requested by the user (S241).
  • the robot collects the result of the user's program execution and the status of the program during the execution of the program and evaluates the execution information.
  • the evaluated execution information is reflected on the face of the robot, and the robot reflects on the waiting face of the robot and the execution face of the program using the evaluated execution information.
  • the waiting face continuously reflects each execution information for a plurality of programs executed by the user. In the execution face, execution information corresponding to each program executed by the user is reflected in the execution face of the individual program.
  • the robot when the robot reflects the execution information on the standby face, the robot selects the standby face and the TTS voice using the execution information (S242).
  • the robot modulates the TTS voice according to the situation, and selects the driving of the LED control and the motion (S243).
  • the robot reflects the information of the waiting face, the TTS voice, the LED control, and the motion drive to the waiting face as the emotion information.
  • the robot outputs the standby face in which the emotion information is reflected, the robot responds intelligently or emotionally to the user unlike the previously operated face, voice, LED control, and motion.
  • the robot when the robot reflects the execution information on the execution face, the robot stores the execution information (S245). Thereafter, when the execution event of the program is generated and the execution face is output before the start of the program, the robot selects the execution face and the TTS voice by considering the stored execution information as situation information of a previously executed service (S246). . The robot modulates the selected TTS voice according to the situation, and selects the driving of the LED control and the motion (S247). Then, the robot reflects the information of the execution face, the TTS voice, the LED control, and the motion drive on the execution face as the emotion information. Then, when the robot outputs the execution face reflecting the emotional information, the robot responds intelligently or emotionally to the user's execution.
  • the term " ⁇ part" is not used as a term meaning a hardware classification of the robot. Therefore, a plurality of components may be integrated into one component, or one component may be divided into a plurality of components.
  • the component may mean a component of hardware, but may also mean a component of software. Therefore, it is to be understood that the present invention is not particularly limited by the term "part”.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 로봇의 얼굴을 통해 사용자 친화적인 인터페이스를 제공하는 로봇 및 로봇의 제어 방법을 개시한다. 본 발명에 따르면, 대기 얼굴이 표시되고, 사용자의 스윕 명령에 의해 로봇이 제공하는 컨텐츠별로 대응하는 각각의 얼굴 화면이 표시되는 얼굴 UI 레이어; 얼굴 UI 레이어에서 화면을 아래로 스윕(sweep)하면, 메인 메뉴가 슬라이딩되어 화면에 표시되는 메뉴 UI 레이어; 및 얼굴 UI 레이어에서 화면을 위로 스윕하면, 컨텐츠를 실행하는 프로그램의 UI가 표시되는 실행 UI 레이어를 포함하는 화면 레이어를 갖는 로봇을 포함한다. 본 발명에 따르면, 사용자는 얼굴 표정과 동기화된 음성을 통해 감성 친화적인 로봇의 인터페이스를 제공받는다.

Description

얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법
본 발명은 로봇 및 로봇의 제어 방법에 관한 것으로, 보다 상세하게는 로봇의 화면에서 얼굴 기반의 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법에 관한 것이다.
본 출원은 2013년 1월 14일에 출원된 한국특허출원 제10-2013-0004059호에 기초한 우선권을 주장하며, 해당 출원들의 명세서 및 도면에 개시된 모든 내용은 본 출원에 원용된다.
로봇 기술의 발달로 일반 가정에서 쉽게 사용할 수 있는 가정용 또는 교육용 로봇이 출시되고 있다. 가정용 로봇은 이동 및 행동이 가능하고 스피커 및 화면 출력을 통해 사용자에게 의사 표시를 하는 것처럼 인터페이스한다. 특히, 가정용 로봇의 경우, 사용자가 제어하여 데이터를 처리하는 것도 중요하지만 사용자와 로봇 간의 상호작용성(HRI, Human Robot Interaction)이 중요하다. 로봇이 단순히 전자적 처리 장치가 아닌 마치 감성을 지닌 객체로서 사용자 친화적인 인터페이스를 제공할 경우 사용자는 로봇과 친근감을 느끼고 보다 빈번하게 로봇을 이용하여 생활의 편의를 제공받을 수 있게 된다.
종래 기술로서 한국등록특허 10-0750407은 사용자 인터페이스를 이용하는 원격 조종 로봇의 시스템 및 방법에 대해서 개시한다. 상기 시스템에서는 휴대용 단말기를 이용하여 로봇을 원격 제어하는 기술을 제공한다. 하지만, 로봇의 사용자 인터페이스에 있어서 사용자가 휴대용 단말로 명령을 내릴 수 있기에 사용자의 편의성은 증대되지만 사용자와의 유대감을 제공하지는 못한다. 로봇과 사용자 간에 있어서 로봇의 감성적 인터페이스가 배제되는 경우 단순히 이동 기능과 대화 기능을 지닌 컴퓨터 장치에 불과하다. 따라서, 가정용 로봇과 같이 가족 사용자들이 사용하게 될 로봇은 마치 애완 동물처럼 가족의 구성원으로 느낄 수 있는 감성적인 인터페이스의 제공이 요구된다.
본 발명은 상기와 같은 종래 기술의 인식 하에 창출된 것으로서, 로봇의 화면에서 얼굴 기반의 사용자 UI를 제공하고, 사용자의 스윕 명령을 입력받아 대응하는 화면 레이어로 전환하는 로봇 및 로봇의 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 로봇이 프로그램의 실행을 요청받으면, 프로그램의 시작 전, 후에 각각 프로그램의 실행과 관련된 정보를 실행 얼굴로 표시하여 사용자에게 안내하는데 있다.
본 발명의 또 다른 목적은 로봇이 프로그램을 실행하는 동안에 프로그램의 실행과 관련된 정보를 수집하여 평가하고, 평가된 정보를 다음번 표시될 얼굴, 안내 음성 및 로봇의 동작에 반영하는데 있다.
상기 기술적 과제를 달성하기 위한 본 발명에 따른 로봇은, 로봇의 화면에 얼굴 이미지를 표시하는 사용자 UI(User Interface)를 제공하여 사용자의 명령을 처리하는 로봇에 있어서, 로봇에 의해 실행된 컨텐츠들의 실행 정보에 따라 얼굴의 이미지 정보를 달리하여 사용자를 안내하는 대기 얼굴이 화면에 표시되고, 사용자의 화면 터치에 의한 스윕(sweep) 명령에 의해 각각의 컨텐츠마다 대응하는 컨텐츠 얼굴로 전환되어 표시되는 얼굴 UI 레이어; 상기 얼굴 UI 레이어에서 화면을 아래로 스윕하면, 상기 컨텐츠에 대응하는 메뉴가 슬라이딩되어 화면에 표시되는 메뉴 UI 레이어; 및 상기 얼굴 UI 레이어에서 화면을 위로 스윕하면 표시되고, 상기 얼굴 UI 레이어 또는 상기 메뉴 UI 레이어에서 실행이 요청된 상기 컨텐츠의 프로그램이 실행되는 화면이 표시되는 실행 UI 레이어를 포함하는 화면 레이어를 갖는다.
본 발명에 있어서, 상기 로봇은, 로봇의 화면에 사용자의 명령 입력을 대기하는 상기 대기 얼굴 및 상기 컨텐츠 얼굴을 출력하는 대기 얼굴 출력부; 상기 대기 얼굴 및 상기 컨텐츠 얼굴의 화면에서 사용자의 스윕 명령에 의해 상하좌우로부터 슬라이딩 방식으로 출현하여 로봇이 제공하는 메뉴 또는 컨텐츠의 UI를 화면에 출력하는 명령 화면 출력부; 메뉴 또는 컨텐츠가 선택되어 실행이 요청되면, 상기 컨텐츠의 프로그램이 실행되기 전 및 실행된 후로 상기 프로그램의 실행 정보에 따라 얼굴의 이미지 정보가 반영된 실행 얼굴을 화면에 출력하는 실행 얼굴 출력부; 및 화면으로 출력되는 상기 얼굴과 동기화되어 음성을 출력하는 음성 출력부를 포함한다.
본 발명의 일 측면에 따르면, 상기 로봇은, 상기 얼굴 UI 레이어에서 좌측 또는 우측 방향의 스윕 명령에 의해 좌우로 슬라이딩 전환되며 복수개의 컨텐츠마다 각각의 얼굴 UI를 가진 상기 얼굴 UI 레이어; 상기 얼굴 UI 레이어에서 아래쪽 방향의 스윕 명령에 의해 화면의 상단에서 아래로 슬라이딩 전환되며 메뉴 UI를 가진 상기 메뉴 UI 레이어; 및 상기 얼굴 UI 레이어에서 위쪽 방향의 스윕 명령에 의해 화면의 하단에서 위로 슬라이딩 전환되며 프로그램이 실행되는 UI를 가진 상기 실행 UI 레이어로 사용자의 스윕 명령을 이용하여 각각의 레이어를 전환한다.
여기서, 상기 로봇은, 상기 얼굴 UI 레이어에서 사용자의 좌측 또는 우측 방향의 스윕 명령에 의해 대기 얼굴의 화면, 컨텐츠 얼굴의 화면, 컨텐츠 목록의 화면 및 어플리케이션 목록의 화면으로 이동한다.
또한, 상기 로봇은, 상기 메뉴 UI 레이어에서 사용자의 메뉴 선택에 따라 메인 메뉴 및 깊이(depth)별 서브 메뉴로 이동한다.
더욱이, 상기 로봇은, 상기 실행 UI 레이어에서 사용자의 좌측 또는 우측 방향의 스윕 명령에 의해 현재 실행 중인 각각의 프로그램의 화면으로 이동한다.
본 발명의 다른 측면에 따르면, 상기 로봇은, 컨텐츠별로 대응하는 각각의 프로그램이 실행되기 직전에 지금까지 실행되었던 상기 프로그램의 실행 정보에 의해 얼굴 이미지가 반영된 상기 얼굴 UI 레이어의 실행 얼굴을 화면에 표시하고, 상기 프로그램이 종료된 직후에 종료된 상기 프로그램의 실행 정보에 의해 얼굴 이미지가 반영된 상기 얼굴 UI 레이어의 실행 얼굴을 화면에 표시하고, 상기 실행 얼굴에 동기화되는 음성을 출력한다.
본 발명의 또 다른 측면에 따르면, 상기 로봇은, 컨텐츠 및 프로그램의 실행시마다 실행 정보를 수집하여 실행 상태의 결과를 평가하고, 평가된 결과 정보를 이용하여 얼굴과 TTS(Text To Speech)를 선택하는 실행 결과 평가부를 더 포함한다.
여기서, 상기 로봇은, 선택된 얼굴과 TTS 정보에 대응하여 TTS의 음성 변조, LED 제어, 모션 설정을 포함하는 감성 처리를 수행하여 상기 대기 얼굴에 반영하는 대기 얼굴 반영부를 더 포함한다.
또한, 상기 로봇은, 선택된 얼굴과 TTS 정보를 실행 평가값으로 저장하고, 다음번 컨텐츠 및 프로그램의 실행시에 상기 실행 평가값에 대응하여 TTS의 음성 변조, LED 제어, 모션 설정을 포함하는 감성 처리를 수행하여 실행 얼굴에 반영하는 실행 얼굴 반영부를 더 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명에 따른 얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇의 제어 방법은, 화면에 얼굴 이미지를 표시하는 사용자 UI(User Interface)를 제공하여 사용자의 명령을 처리하는 로봇이 하기의 단계들을 실행하는 로봇의 제어 방법에 있어서, (a)로봇에 의해 실행된 컨텐츠들의 실행 정보에 따라 얼굴의 이미지 정보를 달리하는 대기 얼굴을 표시하는 대기 얼굴 표시 단계; (b)상기 대기 얼굴의 화면에서 사용자의 스윕 명령을 입력받는 스윕 명령 입력 단계; (c)각각의 스윕 명령에 대응하는 얼굴 UI 레이어, 메뉴 UI 레이어 및 실행 UI 레이어를 표시하는 레이어 화면 단계; (d)각각의 상기 레이어의 UI를 통해 특정 컨텐츠의 실행 요청을 입력받는 실행 요청 단계; (e)상기 얼굴 UI 레이어에서 실행 요청된 상기 컨텐츠의 실행 얼굴을 화면에 표시하고 대응하는 TTS(Text To Speech)를 출력하는 실행 얼굴 표시 단계; 및 (f)상기 실행 얼굴이 표시된 후, 상기 실행 UI 레이어에서 요청된 컨텐츠의 프로그램이 실행되는 UI를 화면으로 출력하는 프로그램 실행 단계를 포함한다.
본 발명의 일 측면에 따르면, 로봇이 얼굴, 음성, LED 및 모션을 동기화하여 출력함으로써 사용자는 로봇을 지능과 감성을 가진 인격체처럼 느끼는 효과가 있다.
본 발명의 다른 측면에 따르면, 사용자가 프로그램을 실행할 때마다 수집된 실행 정보가 평가되어 로봇의 얼굴, 음성, LED 및 모션에 반영되므로 로봇은 상기 실행 정보를 학습하여 사용자에게 안내하는 효과가 있다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술한 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되지 않아야 한다.
도 1은 본 발명의 일 실시예에 따른 로봇의 화면 레이어의 예시도이다.
도 2는 본 발명의 일 실시예에 따른 로봇의 개략적인 내부 구조도이다.
도 3은 본 발명의 일 실시예에 따른 로봇의 화면 전환 흐름의 예시도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 로봇이 컨텐츠를 실행하는 화면의 예시도이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 로봇의 상황별 화면 및 동작의 예시도이다.
도 8은 본 발명의 일 실시예에 따른 로봇의 제어 방법의 개략적인 순서도이다.
도 9는 본 발명의 일 실시예에 따른 로봇이 프로그램의 실행 결과에 따라 얼굴에 감성 정보를 반영하는 과정의 개략적 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상에 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 일 실시예에 따른 로봇의 화면 레이어의 예시도이고, 도 2는 상기 로봇의 개략적인 내부 구조도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 로봇은 얼굴 UI 레이어, 메뉴 UI 레이어 및 실행 UI 레이어를 포함하는 화면 레이어를 갖는다. 로봇은 각각의 화면 레이어를 화면에 출력하여 사용자와 인터페이스한다.
본 발명에 있어서, 상기 UI는 로봇이 화면에 출력하는 디스플레이 정보를 말한다. 상기 화면은 로봇의 머리 부분에 위치하며 얼굴이 표시된다.
상기 얼굴 UI 레이어는 로봇이 화면에 얼굴 이미지를 표시하는 화면 레이어에 해당한다. 로봇이 얼굴 UI 레이어에서 얼굴 기반의 이미지를 이용하여 표정을 짓고 음성을 출력하면, 사용자는 로봇을 마치 사람처럼 인식할 수 있다. 예를 들면, 출력 내용에 따라 로봇은 눈, 눈동자, 입 등의 얼굴 요소를 통해 표정을 짓고 감정을 표출할 수 있다. 로봇은 상기 얼굴 UI 레이어에서 상황에 따라 이미지 정보를 달리하는 대기 얼굴을 표시한다. 로봇은 상기 대기 얼굴을 통해 사용자의 터치에 의한 스윕 명령을 입력받을 수 있다.
여기서, 화면 레이어간의 전환은 사용자가 화면에 손가락을 대고 특정 방향으로 터치하는 스윕 명령에 의해서 전환된다. 얼굴 UI 레이어에서 사용자가 좌 또는 우 방향으로 스윕 명령을 입력하면, 로봇은 대기 얼굴(대기 화면), 실행될 컨텐츠의 실행을 안내하고 대기하는 컨텐츠 얼굴, 컨텐츠 목록 및 어플리케이션 목록의 화면으로 전환한다. 예를 들어, 사용자가 로봇에 기능 중에서 특정 컨텐츠 또는 어플리케이션을 선택하여 실행하려는 경우, 얼굴 UI 레이어에서 좌우 스윕 명령을 입력하면서 원하는 컨텐츠 또는 어플리케이션의 버튼 또는 아이콘을 조회할 수 있다. 얼굴 UI 레이어에서 사용자가 아래 방향으로 스윕 명령을 입력하면, 메뉴 UI 레이어가 표시된다. 그리고 얼굴 UI 레이어에서 사용자가 위쪽 방향으로 스윕 명령을 입력하면 재생 플레이어의 화면에 해당하는 실행 UI 레이어가 표시된다.
상기 메뉴 UI 레이어는 로봇이 프로그램의 메뉴를 표시하는 화면에 해당한다. 상기 메뉴는 메인 메뉴와 서브 메뉴로 구성될 수 있고, 상기 서브 메뉴는 깊이에 따라 계층적 구조로 구성될 수 있다. 예를 들면, 상기 얼굴 UI 레이어에서 사용자가 아래 방향으로 스윕 명령을 입력하면, 로봇은 위에서 아래 방향으로 슬라이딩되는 화면 효과를 이용하여 메인 메뉴를 화면에 표시한다. 사용자가 메인 메뉴에서 특정 항목을 선택하면, 로봇은 선택된 항목에 대응하는 1차 깊이의 서브 메뉴를 화면에 표시한다. 그리고 사용자가 상기 서브 메뉴에서 특정 항목을 선택하면, 로봇은 2차 깊이의 서브 메뉴를 화면에 표시한다.
사용자가 로봇에서 프로그램을 실행할 때, 사용자는 메뉴 UI 레이어의 메뉴 항목에서 원하는 프로그램의 메뉴를 선택해서 실행하거나 또는 얼굴 UI 레이어에서 좌 또는 우 방향으로 스윕 명령을 내려서 원하는 프로그램의 객체를 선택해서 실행할 수 있다.
상기 실행 UI 레이어는 재생 플레이어, 실행 프로그램이 실행되는 화면에 해당한다. 예를 들어, 사용자가 얼굴 UI 레이어에서 특정 컨텐츠를 선택하여 재생을 요청할 경우, 로봇은 아래에서 위쪽 방향으로 슬라이딩되는 화면 효과를 이용하여 재생 플레이어의 프로그램을 화면에 표시하고 선택된 컨텐츠를 실행한다. 또는, 사용자가 특정 프로그램을 선택하여 실행을 요청할 경우, 로봇은 당해 프로그램을 상기 화면 효과를 이용하여 화면에 표시한다.
상기에서와 같이, 로봇은 메뉴 UI 레이어 또는 얼굴 UI 레이어에서 특정 객체를 선택받아 실행 요청을 받고, 요청된 상기 객체의 프로그램을 실행 UI 레이어의 화면에 표시하여 실행한다. 이때, 실행된 프로그램의 전, 후로 로봇은 얼굴 UI 레이어의 실행 얼굴을 화면에 표시한다. 로봇이 프로그램을 실행하면, 얼굴 UI 레이어의 실행 얼굴을 거쳐서 실행 UI 레이어에서 상기 프로그램의 화면이 출력된다. 그리고 사용자에 의해 프로그램이 종료되면, 로봇은 상기 프로그램을 종료한 후 얼굴 UI 레이어의 실행 얼굴을 화면에 출력한다. 따라서, 로봇은 프로그램의 실행 전, 후로 실행 얼굴을 표시하여 사용자에게 프로그램의 실행과 관련된 각종 정보를 안내할 수 있다.
따라서, 로봇은 상기 실행 얼굴을 통해 지능과 감성을 갖는 인격체처럼 사용자에게 정보를 전달할 수 있다. 예를 들어, 어린이 사용자가 1주일 전에 실행했던 학습 프로그램을 실행할 경우, 로봇은 상기 학습 프로그램을 실행하기 전에 실행 얼굴로 "1주일 만에 실행하는구나!, 어서 와"라는 얼굴 이미지와 음성을 출력한다. 그리고 프로그램의 실행 후에 "오늘은 재미있었니? 너 오늘 잘하더라! 다음에 또 놀러와" 같은 얼굴 이미지와 음성을 출력한다. 물론, 로봇은 입양된 가족의 얼굴을 인식하여 사용자의 얼굴 인식을 통해 어른에게 존댓말로 메시지를 출력하여도 무방하다.
도 2는 본 발명의 일 실시예에 따른 로봇의 개략적인 내부 구조도이다.
본 발명의 일 실시예에 따른 로봇은 대기 얼굴을 화면에 출력하는 대기 얼굴 출력부(21), 메뉴 UI 또는 컨텐츠 UI를 화면에 출력하는 명령 화면 출력부(22), 프로그램의 실행 전, 후로 실행 얼굴을 화면에 출력하는 실행 얼굴 출력부(23) 및 화면에 출력된 대기 얼굴 및 실행 얼굴에 따라 음성을 출력하는 음성 출력부(231)를 포함한다.
상기 대기 얼굴 출력부(21)는 로봇이 사용자의 명령 입력을 대기하는 대기 모드에서 얼굴 UI 레이어의 대기 얼굴을 표시한다. 또한, 대기 얼굴 출력부(21)는 대기 얼굴을 출력하는 상황에서 사용자와 대화, 키 입력 처리 등을 수행할 수 있다. 상기 대기 모드는 사용자가 컨텐츠를 선택하여 실행 명령을 내리기 전인 상태를 말한다. 대기 모드에서 로봇은 상황을 인식하여 주변을 이동할 수 있고, 통신 기능 및 기타 처리를 실행할 수 있다.
상기 명령 화면 출력부(22)는 대기 얼굴을 표시하는 로봇에게 상하좌우의 스윕 명령을 입력하면 대응하는 명령 UI를 로봇의 화면에 출력한다. 사용자가 상기 대기 얼굴이 표시된 화면에서 아래 방향으로 스윕 명령을 내리면, 명령 화면 출력부(22)는 메뉴 UI 레이어의 메뉴 선택에 대응하는 명령 UI를 화면에 출력한다. 사용자가 상기 대기 얼굴이 표시된 화면에서 좌우 방향으로 스윕 명령을 내리면, 명령 화면 출력부(22)는 얼굴 UI 레이어에서 얼굴에 기반하여 컨텐츠를 선택받는 명령 UI를 화면에 출력한다. 그리고 상기 대기 얼굴이 표시된 화면에서 사용자가 위쪽 방향으로 스윕 명령을 내리면, 명령 화면 출력부(22)는 현재 실행 중인 프로그램의 UI를 출력한다. 그러면, 로봇은 명령 UI를 표시하여 사용자로부터 프로그램의 실행 명령을 입력받을 수 있다.
상기 실행 얼굴 출력부(23)는 프로그램의 실행 전, 후로 실행 얼굴을 화면에 출력한다. 프로그램의 실행 전에는 실행 얼굴 출력부(23)가 가장 최근에 실행되었던 프로그램의 실행 정보에 기반하여 사용자를 맞이하는 실행 얼굴을 화면에 출력한다. 그리고 프로그램의 실행 후에는 실행 얼굴 출력부(23)가 직전에 종료된 프로그램의 실행 정보에 기반하는 실행 얼굴을 화면에 출력한다.
상기 음성 출력부(231)는 상기 대기 얼굴 및 실행 얼굴의 출력시 대응하는 TTS 음성을 출력한다. 얼굴 출력과 동기화되어 음성 출력부(231)가 상기 TTS 음성을 출력하면 사용자는 로봇을 대화의 상대방으로 여길 수 있다.
여기서, 상기 로봇은 실행 결과 평가부(24), 대기 얼굴 반영부(241) 및 실행 얼굴 반영부(242)를 더 포함할 수 있다.
상기 실행 결과 평가부(24)는 프로그램이 종료되면, 당해 프로그램의 실행 상태, 이력 등의 결과를 로그 정보로 수집한 후 평가한다. 예를 들면, 실행 결과 평가부(24)는 사용자의 실행 시간, 종료 시간을 수집하고, 사용자의 방문 사이트 등을 수집한다. 또한, 실행 결과 평가부(24)는 학습 프로그램의 경우 학습 단원, 학습 진도, 학습 결과 및 성적 등의 정보를 수집하여 평가할 수 있다.
상기 대기 얼굴 반영부(241)는 프로그램이 종료되면 실행 얼굴이 표시된 후 평가된 상기 실행 결과에 대응하여 표시될 대기 얼굴을 선택한다. 또한, 대기 얼굴 반영부(241)는 상기 실행 결과와 대응하는 TTS 음성의 변조를 선택하고, LED의 조명 제어 및 로봇의 모션 동작을 선택한다. 그러면, 대기 얼굴 반영부(241)는 선택된 얼굴, TTS, 음성 변조, LED 및 모션의 실행 정보를 현재의 대기 얼굴에 감성 정보로서 반영한다. 여기서, 상기 LED는 로봇에 설치된 일종의 발광체로서 얼굴과 음성 출력에 동기되어 고유한 빛을 발광한다. 그리고 로봇의 동작은 이동, 머리, 팔, 다리의 움직임으로서 특별한 제한은 없다. 따라서, 프로그램이 종료된 이후로 표시되는 상기 대기 얼굴은 사용자의 프로그램 수행 결과에 따라 얼굴, 음성, LED 및 모션이 동기화되어 동작되기에 사용자는 로봇을 이성과 감성의 주체가 여긴다.
상기 실행 얼굴 반영부(241)는 상기 실행 결과 평가부(24)에 의해 평가된 개별 프로그램의 상기 실행 결과의 정보를 저장한 후, 상기 프로그램별로 지금까지 누적된 실행 결과의 정보에 반영한다. 즉, 실행 얼굴 반영부(241)는 프로그램의 종료시마다 당해 인스턴스의 실행 결과를 누적된 실행 결과에 지속적으로 반영한다. 그러면, 다음번에 상기 프로그램이 실행될 때, 실행 얼굴 반영부(241)는 누적된 실행 결과의 정보를 이용하여 실행 얼굴, TTS, 음성 변조, LED 및 모션 등을 선택하여 로봇에 감성 정보로서 반영한다. 따라서, 프로그램의 실행시 로봇은 최근에 서비스된 사용자의 프로그램 실행 이력과 관련하여 업데이트된 실행 얼굴, TTS, 음성 변조, LED 및 동작을 이용하여 사용자에게 안내할 수 있다.
한편, 상기 로봇은 프로세서를 구비한 컴퓨터 장치이며, 전술한 구성부 이외에도 전자 장치와 기계 장치로서 동작하기 위해 이동 기능, 유, 무선 네트워크의 통신 기능, 센서 기능, 음성 인식 기능 등 다양한 기능들을 가질 수 있음은 물론이다.
도 3은 본 발명의 일 실시예에 따른 로봇의 화면 전환 흐름의 예시도이다.
상기 로봇은 얼굴 UI 레이어의 대기 얼굴에서 시작해서 메뉴 UI 레이어의 메뉴 선택 화면, 얼굴 UI 레이어의 컨텐츠 선택 화면 및 실행 UI 레이어의 프로그램 화면으로 이동할 수 있다. 그리고 각각의 레이어에서 제공된 서비스가 종료되면 로봇은 다시 상기 대기 얼굴을 표시한다.
먼저, 화면 전환 흐름 "가"에서, 사용자는 상기 대기 얼굴에서 아래 방향으로 스윕 명령을 입력하여 메뉴 UI 레이어의 메뉴 화면으로 이동하고, 메인 메뉴 및 서브 메뉴를 거쳐서 특정 메뉴를 실행하면, 프로그램의 실행 이벤트가 발생된다. 여기서, 메뉴 실행시 얼굴 UI 레이어의 대응하는 컨텐츠 선택 화면이 표시되어도 무방하다. 프로그램의 실행 이벤트가 발생되면, 로봇은 얼굴 UI 레이어에서 상기 실행 얼굴을 표시하고 실행 UI 레이어에서 프로그램이 실행되는 UI를 화면에 출력한다. 그리고 프로그램의 종료 이벤트가 발생되면, 로봇은 프로그램을 종료한 후 얼굴 UI 레이어의 상기 실행 얼굴을 표시한 후 대기 얼굴로 복귀한다.
다음으로, 화면 전환 흐름 "나"에서, 사용자는 상기 대기 얼굴에서 좌측 또는 우측 방향으로 스윕 명령을 입력하여 컨텐츠 선택 화면으로 이동하고, 특정 컨텐츠를 선택하면 프로그램의 실행 이벤트가 발생된다. 프로그램의 실행 이벤트가 발생되면, 로봇은 상기 프로그램에 대응하는 실행 얼굴을 표시한 후 프로그램이 실행되는 UI를 화면에 출력한다. 그리고 프로그램의 종료 이벤트가 발생되면, 로봇은 프로그램을 종료한 후 실행 얼굴을 표시한 후 대기 얼굴로 복귀한다.
화면 전환 흐름 "다"에서, 사용자는 상기 대기 얼굴에서 아래 방향으로 스윕 명령을 입력하여 프로그램이 실행되는 실행 UI 레이어로 이동한다. 그러면, 로봇은 상기 실행 UI 레이어에서 현재 실행 중인 컨텐츠 또는 어플리케이션에 대응하는 프로그램이 실행되는 UI를 화면에 표시한다. 사용자가 실행 UI 레이어의 화면에서 위쪽 방향으로 스윕 명령을 입력하면 상기 대기 얼굴로 이동할 수 있다.
화면 전환 흐름 "라"에서, 사용자는 대기 얼굴에서 상기 메뉴 화면으로 이동한 후 위쪽 방향으로 스윕 명령을 입력하면 상기 대기 얼굴로 복귀한다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 로봇이 컨텐츠를 실행하는 화면의 예시도이다.
도 4를 참조하면, 사용자가 상기 얼굴 UI 레이어의 대기 얼굴에서 아래 방향으로 스윕 명령을 입력하면(①), 로봇은 상기 메뉴 UI 레이어의 메인 메뉴를 화면에 표시한다(②). 사용자가 "학습 helper" 메뉴를 선택하고(②), 로봇은 구구단 컨텐츠의 서브 메뉴를 표시한다(③). 구구단 컨텐츠의 실행 이벤트가 발생하면, 로봇은 상기 구구단 컨텐츠의 프로그램을 실행하기 전에 상기 컨텐츠에 대응하는 실행 얼굴(④)을 표시한다. 다음으로, 상기 프로그램의 실행에 의해 사용자는 구구단 컨텐츠를 학습한다(⑤). 이후, 프로그램의 종료 이벤트가 발생하면, 로봇은 종료된 구구단 컨텐츠의 학습 결과와 관련하여 대응하는 실행 얼굴을 표시한다(⑥).
도 5를 참조하면, 사용자가 상기 얼굴 UI 레이어의 대기 얼굴에서 좌측 방향으로 스윕 명령을 입력하면(①), 로봇은 사용자가 즐겨 실행하는 컨텐츠 및 실행이 예정된 컨텐츠에 각각 대응하는 컨텐츠 얼굴의 UI를 표시한다(②), 예를 들면, 구구단 학습에 대한 컨텐츠 얼굴의 UI를 화면에 출력하고 대응하는 음성을 출력하는 것이다. 여기서, 사용자가 좌측 방향으로 스윕 명령을 입력하면(②), 로봇은 키 측정에 대한 컨텐츠 얼굴의 UI와 음성을 출력한다(③). 사용자가 키 측정의 컨텐츠 얼굴에서 위쪽 방향으로 스윕 명령을 입력하면(③), 로봇은 키 측정의 프로그램을 실행하기 전에 상기 프로그램에 대응하는 실행 얼굴의 UI와 음성을 출력한다(④). 다음으로, 상기 프로그램의 실행에 의해 사용자는 키 측정을 한다(⑤). 이후, 프로그램의 종료 이벤트가 발생하면, 로봇은 종료된 키 측정의 컨텐츠가 실행된 결과와 관련하여 대응하는 실행 얼굴을 표시한다(⑥). 물론, 로봇은 실행 얼굴을 표시하고 난 후 대기 얼굴을 표시한다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 로봇의 상황별 화면 및 동작의 예시도이다. 로봇은 얼굴의 화면 표시, 음성 출력, LED의 출력 및 모션의 구동을 동기화한다.
아래 표 1은 로봇이 사용자에게 지능과 감성의 객체로서 작용하기 위해 활용되는 주변 장치를 예시한다.
표 1
주변장치 설명
LCD 상황별로 대기 얼굴, 컨텐츠 얼굴, 실행 얼굴 등을 표시하여 사용자의 요구 상황에 맞는 서비스나 컨텐츠를 제공함.
TTS 각 상황별로 사용자 및 로봇에 맞는 적합한 멘트를 출력하여 사용자가 서비스 나 컨텐츠를 실행하도록 유도함.
음성 변조 각 상황에 맞도록 피치, 템포, 톤을 조절하여 전달력이 높은 음성 톤으로 변조함.
LED 각 상황에 맞는 위치별 LED, 색상 및 깜박임 간격을 조절하여 전달력을 높임.
구동 로봇의 이동, 움직임 등의 모션 동작을 구동함.
도 6을 참조하면, 로봇이 사용자로부터 구구단 컨텐츠를 선택받아 대응하는 프로그램의 실행을 요청받는 상황이라고 가정한다. 그러면, 로봇은 구구단 컨텐츠의 프로그램이 실행되었던 지금까지의 상태 정보와 가장 최근에 종료된 상기 프로그램의 상태 정보를 이용하여 실행 화면의 얼굴, 음성을 결정한다. 예를 들어, 가장 최근에 종료된 구구단의 학습에서 사용자가 많이 틀린 상황이라 가정하면, 로봇은 이번에 만점을 받아야 한다는 실행 얼굴과 TTS 음성을 결정한다. 상기 TTS 음성은 확신에 찬 결의의 음성 톤으로 변조된다. LED의 출력은 사용자를 응원하는 조명으로 결정된다. 또한, 모션은 뒤로 후진했다가 다시 앞으로 나아가 마치 전진하는 효과의 구동으로 결정된다. 그러면 로봇은 상기에서 결정된 실행 얼굴, 음성, LED, 모션을 동기화하여 출력한다. 이처럼, 로봇은 마치 지능과 감성을 가진 객체처럼 사용자에게 실행 얼굴로 안내하기 때문에 사용자는 로봇을 로봇이 아닌 마치 인격체처럼 여길 수 있다.
도 7을 참조하면, 상기 로봇은 대기 모드에서 대기 얼굴을 표시하여 동작한다. 여기서, 상기 대기 모드는 로봇의 전원이 온 상태이지만 사용자와 반응하지 않고 사용자의 반응을 대기하는 상태이다. 로봇이 지능과 감성의 객체로서 동작하기 위해서는 대기 모드에서 대기 얼굴을 표시하는 것이 중요하다. 아래 표 2는 로봇이 대기 모드로서 동작하는 모드를 예시한다.
표 2
모드 설명
터치 모드 로봇이 화면의 터치 명령 및 버튼 명령을 입력받는 경우
접근 모드 로봇이 센서를 통해 사용자 또는 객체를 감지하는 경우
자율 주행 모드 특정 시간 또는 명령에 의해 자유롭게 주행하는 경우
순찰 모드 집안을 특정 패턴에 따라 순찰하고 상황을 주인에게 전달하는 경우
외부 접속 모드 외부로부터 전화 또는 문자가 수신되는 등의 접속 요구가 발생하는 경우
알람 모드 하루 일과 중 알람 설정된 정보를 출력해야 하는 경우
알림 모드 사용자에게 문자, 배터리 부족, 공지 사항 등의 이벤트 정보를 알려줘야 하는 경우
호출 모드 주변의 사용자를 감지하고 사용자가 다가오도록 호출하는 경우
슬립 모드 특정 시간 동안 내부 또는 외부의 이벤트 발생이 없는 경우 화면 및 동작이 일시 정지되는 경우
로봇이 슬립 모드 상황에 있다가 사용자가 화면을 왼쪽에서 터치하여 터치 모드로 대기하는 경우라 가정한다. 그러면, 로봇은 터치된 왼쪽을 바라보며 놀란 표정의 얼굴과 "누구세요?"의 TTS 음성을 결정한다. 상기 TTS 음성은 놀라는 음성 톤으로 변조된다. LED의 출력은 왼쪽 LED를 깜박이는 것으로 결정된다. 또한, 모션은 뒤로 후진하여 고개를 왼쪽으로 회전하는 것으로 결정된다. 그러면, 로봇은 상기에서 결정된 대기 얼굴, 음성, LED, 모션을 동기화하여 출력한다.
이처럼, 로봇은 주어진 상황을 기반으로 복수의 프로그램이 실행되어온 상태 정보 등이 반영되어 대기 얼굴을 통해 사용자를 응대한다. 또한, 프로그램의 실행 전, 후로 상기 프로그램의 상태 정보를 상기시켜 주면서 사용자를 응대한다. 때문에, 상기 로봇은 단순히 사용자의 명령을 처리하면서 움직임이 가능한 객체가 아니라 주어진 상황을 인지하여 사용자의 실행 요청에 따라 반응하는 이성과 감성을 갖는 객체로서 사용자에게 작용한다.
도 8은 본 발명의 일 실시예에 따른 로봇의 제어 방법의 개략적인 순서도이다.
로봇은 대기 화면을 표시하여 사용자를 안내한다(S21). 여기서, 로봇은 상기 대기 화면에서 얼굴 UI 레이어의 대기 얼굴을 표시한다.
상기 얼굴 UI 레이어에서 로봇이 사용자의 스윕 명령을 입력받으면(S211), 로봇은 상기 스윕 명령에 대응하는 메뉴 UI 레이어, 얼굴 UI 레이어 및 실행 UI 레어어로 화면을 전환한다(S22). 아래 방향의 스윕 명령은 메뉴 UI 레이어에 해당하고, 위 방향의 스윕 명령은 실행 UI 레이어에 해당하고, 좌, 우 방향의 스윕 명령은 얼굴 UI 레이어에 해당한다.
로봇이 상기 메뉴 UI 레이어 또는 상기 얼굴 UI 레이어에서 사용자로부터 컨텐츠의 실행 요청을 받으면(S221), 로봇은 실행이 요청된 컨텐츠의 프로그램에 대응하는 실행 얼굴을 화면에 출력한다(S23). 또한, 로봇은 실행 얼굴의 출력과 동기화하여 대응하는 TTS 음성을 출력한다(S231). 물론, 로봇은 얼굴과 음성 출력을 하면서 LED 제어 및 모션의 동작을 수반한다. 사용자는 프로그램의 시작 전에 상기 실행 얼굴을 통해 프로그램과 관련된 각종 정보를 안내받는다.
다음으로, 로봇은 실행 UI 레이어에서 프로그램을 실행한다(S24). 이후, 프로그램의 종료 이벤트가 발생하면(S241), 로봇은 프로그램을 종료한 후 얼굴 UI 레이어에서 실행 얼굴을 출력하여 종료된 프로그램의 실행 결과를 사용자에게 안내한다(S23). 그리고 로봇은 상기 실행 결과에 대응하는 TTS 음성을 출력한다(S231). 실행 얼굴이 출력된 후, 로봇은 상기 대기 화면으로 복귀하여 대기 얼굴을 표시한다(S21).
도 9는 본 발명의 일 실시예에 따른 로봇이 프로그램의 실행 결과에 따라 얼굴에 감성 정보를 반영하는 과정의 개략적 순서도이다.
로봇은 실행 얼굴을 출력한 후 사용자가 요청한 컨텐츠 또는 프로그램을 실행한다(S241). 로봇은 프로그램의 실행 과정에서 사용자의 프로그램 수행 결과 및 프로그램의 상태 등을 수집하여 실행 정보로 평가한다. 평가된 상기 실행 정보는 로봇의 얼굴에 반영되며, 로봇은 평가된 실행 정보를 이용하여 로봇의 대기 얼굴 및 상기 프로그램의 실행 얼굴에 반영한다. 대기 얼굴은 사용자가 실행하는 복수개 프로그램에 대해 각각의 실행 정보가 지속적으로 반영된다. 그리고 실행 얼굴은 사용자가 실행한 프로그램별로 대응하는 실행 정보가 개별 프로그램의 실행 얼굴에 반영된다.
먼저, 로봇이 상기 실행 정보를 대기 얼굴에 반영하는 경우, 로봇은 상기 실행 정보를 이용하여 대기 얼굴과 TTS 음성을 선택한다(S242). 로봇은 상기 TTS 음성을 상황에 맞게 변조하고, LED 제어 및 모션의 구동을 선택한다(S243). 그러면, 로봇은 대기 얼굴, TTS 음성, LED 제어 및 모션 구동의 정보를 감성 정보로서 대기 얼굴에 반영한다. 이후, 로봇이 상기 감성 정보가 반영된 상기 대기 얼굴을 출력하게 되면, 로봇은 이전에 동작한 얼굴, 음성, LED 제어 및 모션과 다르게 사용자를 대상으로 지능적 또는 감성적으로 응대하게 된다.
다음으로, 로봇이 상기 실행 정보를 실행 얼굴에 반영하는 경우, 로봇은 상기 실행 정보를 저장한다(S245). 이후, 상기 프로그램의 실행 이벤트가 발생하여 프로그램의 시작 전에 실행 얼굴이 출력되는 경우, 로봇은 저장된 상기 실행 정보를 이전에 실행된 서비스의 상황 정보로서 고려하여 실행 얼굴과 TTS 음성을 선택한다(S246). 그리고 로봇은 선택된 TTS 음성을 상황에 맞게 변조하고, LED 제어 및 모션의 구동을 선택한다(S247). 그러면, 로봇은 실행 얼굴, TTS 음성, LED 제어 및 모션 구동의 정보를 감성 정보로서 실행 얼굴에 반영한다. 이후, 로봇이 상기 감성 정보가 반영된 상기 실행 얼굴을 출력하게 되면, 로봇은 사용자의 실행에 대해 지능적 또는 감성적으로 응대하게 된다.
상술한 실시예에서, "~부"라는 용어는 상기 로봇의 하드웨어적 구분을 의미하는 용어로 사용된 것이 아니다. 따라서 복수의 구성부가 하나의 구성부로 통합될 수도 있고, 하나의 구성부가 복수의 구성부로 분할될 수도 있다. 또한, 구성부는 하드웨어의 구성부를 의미할 수도 있지만, 소프트웨어의 구성부를 의미할 수도 있다. 따라서 본 발명은 "~부"라는 용어에 의해 특별히 한정되지 않음을 이해하여야 할 것이다.
본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

Claims (20)

  1. 로봇의 화면에 얼굴 이미지를 표시하는 사용자 UI(User Interface)를 제공하여 사용자의 명령을 처리하는 로봇에 있어서,
    로봇에 의해 실행된 컨텐츠들의 실행 정보에 따라 얼굴의 이미지 정보를 달리하여 사용자를 안내하는 대기 얼굴이 화면에 표시되고, 사용자의 화면 터치에 의한 스윕(sweep) 명령에 의해 각각의 컨텐츠마다 대응하는 컨텐츠 얼굴로 전환되어 표시되는 얼굴 UI 레이어;
    상기 얼굴 UI 레이어에서 화면을 아래로 스윕하면, 상기 컨텐츠에 대응하는 메뉴가 슬라이딩되어 화면에 표시되는 메뉴 UI 레이어; 및
    상기 얼굴 UI 레이어에서 화면을 위로 스윕하면 표시되고, 상기 얼굴 UI 레이어 또는 상기 메뉴 UI 레이어에서 실행이 요청된 상기 컨텐츠의 프로그램이 실행되는 화면이 표시되는 실행 UI 레이어
    를 포함하는 화면 레이어를 갖는 것을 특징으로 하는 로봇.
  2. 제 1항에 있어서,
    상기 로봇은,
    로봇의 화면에 사용자의 명령 입력을 대기하는 상기 대기 얼굴 및 상기 컨텐츠 얼굴을 출력하는 대기 얼굴 출력부;
    상기 대기 얼굴 및 상기 컨텐츠 얼굴의 화면에서 사용자의 스윕 명령에 의해 상하좌우로부터 슬라이딩 방식으로 출현하여 로봇이 제공하는 메뉴 또는 컨텐츠의 UI를 화면에 출력하는 명령 화면 출력부;
    메뉴 또는 컨텐츠가 선택되어 실행이 요청되면, 상기 컨텐츠의 프로그램이 실행되기 전 및 실행된 후로 상기 프로그램의 실행 정보에 따라 얼굴의 이미지 정보가 반영된 실행 얼굴을 화면에 출력하는 실행 얼굴 출력부; 및
    화면으로 출력되는 상기 얼굴과 동기화되어 음성을 출력하는 음성 출력부
    를 포함하는 것을 특징으로 하는 로봇.
  3. 제 1항 또는 제 2항에 있어서,
    상기 로봇은,
    상기 얼굴 UI 레이어에서 좌측 또는 우측 방향의 스윕 명령에 의해 좌우로 슬라이딩 전환되며 복수개의 컨텐츠마다 각각의 얼굴 UI를 가진 상기 얼굴 UI 레이어;
    상기 얼굴 UI 레이어에서 아래쪽 방향의 스윕 명령에 의해 화면의 상단에서 아래로 슬라이딩 전환되며 메뉴 UI를 가진 상기 메뉴 UI 레이어; 및
    상기 얼굴 UI 레이어에서 위쪽 방향의 스윕 명령에 의해 화면의 하단에서 위로 슬라이딩 전환되며 프로그램이 실행되는 UI를 가진 상기 실행 UI 레이어로 사용자의 스윕 명령을 이용하여 각각의 레이어를 전환하는 것을 특징으로 하는 로봇.
  4. 제 1항 또는 제 2항에 있어서,
    상기 로봇은,
    상기 얼굴 UI 레이어에서 사용자의 좌측 또는 우측 방향의 스윕 명령에 의해 대기 얼굴의 화면, 컨텐츠 얼굴의 화면, 컨텐츠 목록의 화면 및 어플리케이션 목록의 화면으로 이동하는 것을 특징으로 하는 로봇.
  5. 제 1항 또는 제 2항에 있어서,
    상기 로봇은,
    상기 메뉴 UI 레이어에서 사용자의 메뉴 선택에 따라 메인 메뉴 및 깊이(depth)별 서브 메뉴로 이동하는 것을 특징으로 하는 로봇.
  6. 제 1항 또는 제 2항에 있어서,
    상기 로봇은,
    상기 실행 UI 레이어에서 사용자의 좌측 또는 우측 방향의 스윕 명령에 의해 현재 실행 중인 각각의 프로그램의 화면으로 이동하는 것을 특징으로 하는 로봇.
  7. 제 1항 또는 제 2항에 있어서,
    상기 로봇은,
    컨텐츠별로 대응하는 각각의 프로그램이 실행되기 직전에 지금까지 실행되었던 상기 프로그램의 실행 정보에 의해 얼굴 이미지가 반영된 상기 얼굴 UI 레이어의 실행 얼굴을 화면에 표시하고,
    상기 프로그램이 종료된 직후에 종료된 상기 프로그램의 실행 정보에 의해 얼굴 이미지가 반영된 상기 얼굴 UI 레이어의 실행 얼굴을 화면에 표시하고,
    상기 실행 얼굴에 동기화되는 음성을 출력하는 것을 특징으로 하는 로봇.
  8. 제 1항 또는 제 2항에 있어서,
    컨텐츠 및 프로그램의 실행시마다 실행 정보를 수집하여 실행 상태의 결과를 평가하고, 평가된 결과 정보를 이용하여 얼굴과 TTS(Text To Speech)를 선택하는 실행 결과 평가부를 더 포함하는 것을 특징으로 하는 로봇.
  9. 제 8항에 있어서,
    선택된 얼굴과 TTS 정보에 대응하여 TTS의 음성 변조, LED 제어, 모션 설정을 포함하는 감성 처리를 수행하여 상기 대기 얼굴에 반영하는 대기 얼굴 반영부를 더 포함하는 것을 특징으로 하는 로봇.
  10. 제 8항에 있어서,
    선택된 얼굴과 TTS 정보를 실행 평가값으로 저장하고, 다음번 컨텐츠 및 프로그램의 실행시에 상기 실행 평가값에 대응하여 TTS의 음성 변조, LED 제어, 모션 설정을 포함하는 감성 처리를 수행하여 실행 얼굴에 반영하는 실행 얼굴 반영부를 더 포함하는 것을 특징으로 하는 로봇.
  11. 화면에 얼굴 이미지를 표시하는 사용자 UI(User Interface)를 제공하여 사용자의 명령을 처리하는 로봇이 하기의 단계들을 실행하는 로봇의 제어 방법에 있어서,
    (a)로봇에 의해 실행된 컨텐츠들의 실행 정보에 따라 얼굴의 이미지 정보를 달리하는 대기 얼굴을 표시하는 대기 얼굴 표시 단계;
    (b)상기 대기 얼굴의 화면에서 사용자의 스윕 명령을 입력받는 스윕 명령 입력 단계;
    (c)각각의 스윕 명령에 대응하는 얼굴 UI 레이어, 메뉴 UI 레이어 및 실행 UI 레이어를 표시하는 레이어 화면 단계;
    (d)각각의 상기 레이어의 UI를 통해 특정 컨텐츠의 실행 요청을 입력받는 실행 요청 단계;
    (e)상기 얼굴 UI 레이어에서 실행 요청된 상기 컨텐츠의 실행 얼굴을 화면에 표시하고 대응하는 TTS(Text To Speech)를 출력하는 실행 얼굴 표시 단계; 및
    (f)상기 실행 얼굴이 표시된 후, 상기 실행 UI 레이어에서 요청된 컨텐츠의 프로그램이 실행되는 UI를 화면으로 출력하는 프로그램 실행 단계
    를 포함하는 것을 특징으로 하는 로봇의 제어 방법.
  12. 제 11항에 있어서,
    상기 단계(c)는,
    상기 단계(a)에 의해 표시되는 상기 얼굴 UI 레이어에서 사용자의 스윕 명령에 의해 화면이 상하좌우로부터 슬라이딩 방식으로 출현하여 상기 로봇이 제공하는 메뉴 또는 컨텐츠의 UI를 화면에 출력하는 단계로서,
    상기 얼굴 UI 레이어에서 좌측 또는 우측 방향의 스윕 명령에 의해 좌측 또는 우측으로 슬라이딩 전환되며 복수개의 얼굴 및 화면으로 전환되는 단계;
    상기 얼굴 UI 레이어에서 아래쪽 방향의 스윕 명령에 의해 화면의 상단에서 아래로 슬라이딩되어 상기 메뉴 UI 레이어의 화면으로 전환되는 단계; 및
    상기 얼굴 UI 레이어에서 위쪽 방향의 스윕 명령에 의해 화면의 하단에서 위쪽 방향으로 슬라이딩되어 상기 실행 UI 레이어의 화면으로 전환되는 단계를 포함하는 것을 특징으로 하는 로봇의 제어 방법.
  13. 제 11항 또는 제 12항에 있어서,
    상기 단계(c)는,
    상기 로봇이 상기 얼굴 UI 레이어에서 사용자의 좌측 또는 우측 방향의 스윕 명령에 의해 대기 얼굴의 화면, 컨텐츠 얼굴의 화면, 컨텐츠 목록의 화면 및 어플리케이션 목록의 화면으로 이동하는 단계를 실행하는 것을 특징으로 하는 로봇의 제어 방법.
  14. 제 11항 또는 제 12항에 있어서,
    상기 단계(c)는,
    상기 로봇이 상기 메뉴 UI 레이어에서 사용자의 메뉴 선택에 따라 메인 메뉴 및 깊이(depth)별 서브 메뉴의 UI를 화면에 출력하는 단계를 실행하는 것을 특징으로 하는 로봇의 제어 방법.
  15. 제 11항 또는 제 12항에 있어서,
    상기 단계(c)는,
    상기 로봇이 상기 실행 UI 레이어에서 사용자의 좌측 또는 우측 방향의 스윕 명령에 의해 현재 실행 중인 각각의 프로그램의 UI를 화면에 출력하는 단계인 것을 특징으로 하는 로봇의 제어 방법.
  16. 제 11항에 있어서,
    상기 단계(e)는,
    상기 로봇이 컨텐츠별로 대응하는 각각의 프로그램이 실행되기 직전에 지금까지 실행되었던 상기 프로그램의 실행 정보에 의해 얼굴 이미지가 반영된 상기 얼굴 UI 레이어의 실행 얼굴을 화면에 표시하는 단계; 및
    상기 실행 얼굴에 동기화되는 음성을 출력하는 단계를 포함하는 것을 특징으로 하는 로봇의 제어 방법.
  17. 제 11항에 있어서,
    상기 단계(f)는,
    상기 로봇이 상기 프로그램이 종료된 직후에 종료된 상기 프로그램의 실행 정보에 의해 얼굴 이미지가 반영된 상기 얼굴 UI 레이어의 실행 얼굴을 화면에 표시하는 단계; 및
    상기 실행 얼굴에 동기화되는 음성을 출력하는 단계를 포함하는 것을 특징으로 하는 로봇의 제어 방법.
  18. 제 11항에 있어서,
    상기 단계(f)는, 상기 로봇이,
    (f1)컨텐츠 및 프로그램의 실행시마다 실행 정보를 수집하여 실행 상태의 결과를 평가하는 단계; 및
    (f2)평가된 결과 정보를 이용하여 얼굴과 TTS를 선택하는 단계를 더 실행하는 것을 특징으로 하는 로봇의 제어 방법.
  19. 제 17항에 있어서,
    상기 단계(f2) 이후에, 상기 로봇이,
    선택된 상기의 얼굴과 TTS 정보를 이용하여 대응하는 음성으로 변조하고, LED 표시 및 모션을 선택하는 감성 처리를 수행하는 단계; 및
    상기 감성 처리에 의해 상기 음성 변조된 TTS 정보 및 선택된 상기 LED 및 모션 정보를 상기 단계(a)의 대기 얼굴에 반영하는 단계
    를 더 실행하는 것을 특징으로 하는 로봇의 제어 방법.
  20. 제 17항에 있어서,
    상기 단계(f2) 이후에, 상기 로봇이
    선택된 상기의 얼굴과 TTS 정보를 이용하여 플레이 상태 및 평가 정보를 저장하는 단계;
    상기 단계(f)의 실행이 시작될 때, 저장된 상기의 플레이 상태 및 평가 정보에 대응하는 실행 얼굴과 TTS를 선택하는 단계;
    선택된 상기의 얼굴과 TTS 정보를 이용하여 대응하는 음성으로 변조하고, LED 표시 및 모션을 선택하는 감성 처리를 수행하는 단계; 및
    상기 감성 처리에 의해 상기 음성 변조된 TTS 정보 및 선택된 상기 LED 및 모션 정보를 상기 단계(f)의 실행 얼굴의 감성 정보로 반영하는 단계
    를 더 실행하는 것을 특징으로 하는 로봇의 제어 방법.
PCT/KR2013/007067 2013-01-14 2013-08-06 얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법 WO2014109448A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0004059 2013-01-14
KR1020130004059A KR101515178B1 (ko) 2013-01-14 2013-01-14 얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법

Publications (1)

Publication Number Publication Date
WO2014109448A1 true WO2014109448A1 (ko) 2014-07-17

Family

ID=51167079

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/007067 WO2014109448A1 (ko) 2013-01-14 2013-08-06 얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법

Country Status (2)

Country Link
KR (1) KR101515178B1 (ko)
WO (1) WO2014109448A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD846663S1 (en) * 2018-01-03 2019-04-23 Woobo Inc. Robot
TWI721712B (zh) * 2018-12-20 2021-03-11 燕成祥 機器人誤動作判斷系統

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107221206B (zh) * 2017-06-09 2019-05-31 深圳市鑫益嘉科技股份有限公司 一种智能教学机器人
CN109008815A (zh) * 2018-07-31 2018-12-18 上海爱优威软件开发有限公司 一种扫地机器人的控制方法及终端
KR102236718B1 (ko) * 2019-07-25 2021-04-06 주식회사 모두커뮤니케이션 감정이 반영된 개인화 객체 생성을 위한 서비스 제공 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080011947A (ko) * 2006-08-01 2008-02-11 주식회사 유진로봇 로봇을 통한 유아 학습시 동기 유발을 위한 영상 합성시스템
KR100814330B1 (ko) * 2006-11-28 2008-03-18 주식회사 한울로보틱스 학습보조 및 교사 도우미 로봇 시스템
KR20100002210A (ko) * 2008-06-27 2010-01-06 주식회사 유진로봇 유아교육시 로봇을 이용한 양방향 학습 시스템 및 그 운영방법
KR20110004015A (ko) * 2009-07-07 2011-01-13 송세경 식당의 고객 서비스 및 계산 가능한 지능형 주행로봇
KR20110026557A (ko) * 2009-09-08 2011-03-16 주식회사 유진로봇 이동로봇과 학생간의 상호작용이 가능한 교육시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200435980Y1 (ko) 2006-09-13 2007-03-30 주식회사 케이엠씨 지능형 안내로봇 시스템
JP2010182287A (ja) 2008-07-17 2010-08-19 Steven C Kays 適応型インテリジェント・デザイン

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080011947A (ko) * 2006-08-01 2008-02-11 주식회사 유진로봇 로봇을 통한 유아 학습시 동기 유발을 위한 영상 합성시스템
KR100814330B1 (ko) * 2006-11-28 2008-03-18 주식회사 한울로보틱스 학습보조 및 교사 도우미 로봇 시스템
KR20100002210A (ko) * 2008-06-27 2010-01-06 주식회사 유진로봇 유아교육시 로봇을 이용한 양방향 학습 시스템 및 그 운영방법
KR20110004015A (ko) * 2009-07-07 2011-01-13 송세경 식당의 고객 서비스 및 계산 가능한 지능형 주행로봇
KR20110026557A (ko) * 2009-09-08 2011-03-16 주식회사 유진로봇 이동로봇과 학생간의 상호작용이 가능한 교육시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD846663S1 (en) * 2018-01-03 2019-04-23 Woobo Inc. Robot
TWI721712B (zh) * 2018-12-20 2021-03-11 燕成祥 機器人誤動作判斷系統

Also Published As

Publication number Publication date
KR20140091967A (ko) 2014-07-23
KR101515178B1 (ko) 2015-04-24

Similar Documents

Publication Publication Date Title
WO2014109448A1 (ko) 얼굴에 기반하는 사용자 인터페이스를 제공하는 로봇 및 로봇의 제어 방법
US9978261B2 (en) Remote controller and information processing method and system
JP6516585B2 (ja) 制御装置、その方法及びプログラム
KR102231092B1 (ko) 제어 장치
WO2017188801A1 (ko) 동작-음성의 다중 모드 명령에 기반한 최적 제어 방법 및 이를 적용한 전자 장치
WO2014042320A1 (en) Apparatus and method of providing user interface on head mounted display and head mounted display thereof
RU2632153C2 (ru) Способ, устройство и терминал для отображения виртуальной клавиатуры
CN107408027A (zh) 信息处理设备、控制方法及程序
WO2010110573A2 (en) Multi-telepointer, virtual object display device, and virtual object control method
JP2019204240A (ja) 情報処理装置及びプログラム
CN105022366A (zh) 基于振动编码的可穿戴式智能家居遥控方法和系统
CN103702154A (zh) 触摸屏遥控器及其遥控方法
CN102667701A (zh) 在触摸屏用户接口上修改命令的方法
WO2013133618A1 (en) Method of controlling at least one function of device by using eye action and device for performing the method
CN109901698A (zh) 一种智能交互方法、可穿戴设备和终端以及系统
CN110154056A (zh) 服务机器人及其人机交互方法
TWI421767B (zh) 資訊溝通互動裝置及方法
US11554499B2 (en) Robot and method for controlling the same
CN108762489A (zh) 基于数据手套的控制方法、数据手套、系统及存储介质
CN100397838C (zh) 数字化红外-蓝牙双桥式通用遥控装置
CN112860169A (zh) 交互方法及装置、计算机可读介质和电子设备
CN104184890A (zh) 一种信息处理方法及电子设备
CN110488980B (zh) 一种投影系统人机交互系统
CN112739507A (zh) 一种交互沟通实现方法、设备和存储介质
CN101290706A (zh) 无线遥控系统及其无线遥控装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13871200

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1)EPC DATED 18.11.2015 (F1205A).

122 Ep: pct application non-entry in european phase

Ref document number: 13871200

Country of ref document: EP

Kind code of ref document: A1