WO2020166731A1 - 액션 로봇용 단말기 및 그의 동작 방법 - Google Patents

액션 로봇용 단말기 및 그의 동작 방법 Download PDF

Info

Publication number
WO2020166731A1
WO2020166731A1 PCT/KR2019/001640 KR2019001640W WO2020166731A1 WO 2020166731 A1 WO2020166731 A1 WO 2020166731A1 KR 2019001640 W KR2019001640 W KR 2019001640W WO 2020166731 A1 WO2020166731 A1 WO 2020166731A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
data
icon
content
action robot
Prior art date
Application number
PCT/KR2019/001640
Other languages
English (en)
French (fr)
Inventor
김모정
김상훈
손진호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020197031025A priority Critical patent/KR20210115068A/ko
Priority to PCT/KR2019/001640 priority patent/WO2020166731A1/ko
Priority to US16/783,619 priority patent/US20200254358A1/en
Publication of WO2020166731A1 publication Critical patent/WO2020166731A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H30/00—Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
    • A63H30/02—Electrical arrangements
    • A63H30/04—Electrical arrangements using wireless transmission
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J19/00—Puppet, marionette, or shadow shows or theatres
    • A63J19/006—Puppets or marionettes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00—Self-movable toy figures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H13/00—Toy figures with self-moving parts, with or without movement of the toy as a whole
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/003—Manipulators for entertainment
    • B25J11/0035—Dancing, executing a choreography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4093—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by part programming, e.g. entry of geometrical information as taken from a technical drawing, combining this with machining and material information to obtain control information, named part programme, for the NC machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00—Computerized interactive toys, e.g. dolls
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40546—Motion of object

Definitions

  • the present invention relates to a terminal for an action robot and an operation method thereof.
  • a terminal for an action robot capable of easily managing motion data for controlling the movement of the action robot by a user, and an operation method thereof.
  • a method of constructing a robot by modularizing joints or wheels has been used.
  • a number of actuator modules constituting a robot are electrically and mechanically connected and assembled to make various types of robots such as dogs, dinosaurs, humans, and spiders.
  • a robot that can be manufactured by assembling such a plurality of actuator modules is generally referred to as a modular robot.
  • Each actuator module constituting the modular robot has a motor inside, and the robot's motion is executed according to the rotation of the motor.
  • the motion of such a robot is a concept that collectively refers to the movement of a robot such as motion and dance.
  • the prior art does not provide an interface for generating motion data for each of various contents, and allows the action robot to take motion using only predefined motion data for some contents provided by the manufacturer. It was just a thing.
  • a user may wish to use various multimedia contents such as the music through a robot such as an action robot.
  • a system server, etc.
  • a system capable of integrating and managing the multimedia content and motion data corresponding thereto and providing the content desired by the user.
  • An object of the present invention is to provide a terminal for an action robot and an operation method thereof that provides at least one function of generating, extracting, editing, selling, and purchasing motion data for controlling the motion of the action robot.
  • a terminal includes a storage unit storing motion data, a wireless communication unit transmitting motion data to an action robot, a display unit displaying a motion production screen for generating motion data, and an action robot through the motion production screen.
  • An input unit for receiving a command for generating motion part data that controls each of the motion parts of, and a control unit for generating motion data by summing the motion part data.
  • the controller may receive motion part data including at least one of a motion part controlled to move by the action robot, a tilting angle of the motion part, and a rotation angle of the motion part.
  • the controller may generate motion data by receiving a plurality of motion part data and setting a motion time to each of the plurality of motion part data.
  • the controller may extract motion data by detecting a motion of an object included in the video.
  • the controller may display a guide icon indicating the joint position of the object recognized in the video.
  • the controller may sense a motion of an action robot connected to the terminal and generate motion data for reproducing the detected motion of the action robot.
  • the controller may display motion part data constituting any one of the motion data stored in the storage unit and receive a motion editing command for changing at least part of the displayed motion part data.
  • the controller may display a motion list including motion data stored in the storage unit, and when displaying the motion list, the controller may distinguish and display user-generated motion data and user purchased motion data.
  • the controller may further display a sale icon for selling at least one of the user-generated motion data.
  • the controller may further display a purchase icon of motion data that sets the motion of the action robot according to the reproduction of the multimedia content.
  • a user can set the motion of the action robot in detail, and accordingly, the motion of the action robot can be diversified.
  • FIG. 1 is a schematic block diagram showing an example of a system including an operating device for a content sales service for an action robot according to an embodiment of the present invention.
  • FIG. 2 is a schematic block diagram of an operating device according to an embodiment of the present invention.
  • FIG. 3 is a diagram for describing an example in which the operating device illustrated in FIG. 1 acquires multimedia content and motion data from a content providing device.
  • FIG. 4 is a diagram illustrating an example in which the operating device illustrated in FIG. 1 acquires multimedia content and motion data from a content providing device and a motion data generating device.
  • FIG. 5 is a diagram illustrating an example in which the operating device shown in FIG. 1 transmits and receives motion data to and from a user terminal.
  • FIG. 6 is a control block diagram of a terminal according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method of operating a terminal according to an embodiment of the present invention.
  • the application home screen shown in FIG. 8 is exemplary, and some of the information and icons shown in FIG. 8 may be omitted, or other information or other icons may be further included.
  • FIG 9 is an exemplary diagram of a motion production screen according to an embodiment of the present invention.
  • FIG. 10 is an exemplary diagram of a shooting guide screen displayed when motion is extracted through video shooting according to an embodiment of the present invention.
  • 11 to 12 are exemplary diagrams of a video recording screen when motion is extracted through video recording according to an embodiment of the present invention.
  • FIG. 13 is an exemplary diagram of a video location selection screen according to an embodiment of the present invention.
  • FIG. 14 is an exemplary diagram of a video motion extraction screen according to an embodiment of the present invention.
  • 15 is an exemplary diagram illustrating a method for a terminal to receive a motion part data generation command according to an embodiment of the present invention.
  • 16 is an exemplary diagram of a motion value setting screen according to an embodiment of the present invention.
  • FIG. 17 is an exemplary diagram of a motion data generation screen according to an embodiment of the present invention.
  • FIG. 18 is an exemplary diagram illustrating a method of displaying a motion list by a terminal according to an embodiment of the present invention.
  • 19 to 20 are exemplary diagrams of a motion editing screen according to an embodiment of the present invention.
  • 21 is an exemplary diagram of a store screen of action robot content according to an embodiment of the present invention.
  • FIG. 22 is an exemplary diagram of a content detail screen according to an embodiment of the present invention.
  • FIG. 23 is an exemplary diagram of a user account screen according to an embodiment of the present invention.
  • 24 is an exemplary diagram illustrating a method of receiving a motion sale command through a motion list according to an embodiment of the present invention.
  • FIG. 1 is a schematic block diagram showing an example of a system including an operating device for a content sales service for an action robot according to an embodiment of the present invention.
  • a content sales service for an action robot corresponds to a content sales service operator 10 that performs overall operation and management of a content sales service, at least one content provider 20 that provides multimedia contents, and multimedia contents. It may be composed of at least one motion data producer 30 that provides motion data and a user 40 who purchases and uses action robot content.
  • FIG. 1 only the first user 40a and the second user 40b are shown as the user 40, but this is merely an example for convenience of description, and the number of users is not limited.
  • the content sales service operator 10 may operate and manage the content sales service through the content sales service operating device 100 (hereinafter referred to as “operating device”) and the database 150.
  • the content provider 20 may provide multimedia content and/or motion data to the operating device 100 through the content providing device 21.
  • the motion data producer 30 may produce (generate) motion data corresponding to a specific multimedia content through the motion data generating device 31 and provide the generated motion data to the operating device 100.
  • Each of the plurality of users 40 may request the purchase of action robot content from the operating device 100 through the terminal 41, and may receive the action robot content through the terminal 41 or the action robot 42.
  • the terminal 41 is shown only the first terminal 41a and the second terminal 41b
  • the action robot 42 is only the first action robot 42a and the second action robot 42b.
  • the action robot content may include multimedia content and motion data corresponding to the multimedia content.
  • the multimedia contents may include various contents such as music, fairy tales, education, and conversation.
  • the motion data may represent a dance (choreography) corresponding to the music.
  • the motion data may represent various motions such as movement or pose of a person or character related to the content, expression of emotions, and reactions.
  • the action robot content may include only motion data corresponding to a specific multimedia content, or may include the motion data and expression condition information of the motion data.
  • the action robot content will be described in more detail later with reference to FIGS. 3 to 4.
  • FIG. 1 each configuration shown in FIG. 1 will be schematically described.
  • the operating device 100 can provide information (list, etc.) of action robot content (or multimedia content) to the user's terminals 41a and 41b, and receive a purchase request for action robot content from the terminals 41a and 41b. have. Based on the received purchase request, the operating device 100 generates action robot content having motion data corresponding to the action robots 42a and 42b held by the user, and converts the generated action robot content to the action robots 42a and 42b. ) Can be provided. According to an embodiment, the operating device 100 may provide the generated action robot content to the action robots 42a and 42b through the terminals 41a and 41b.
  • the operating device 100 is implemented as a computing device such as a server, and may include a plurality of components for performing the above-described operations.
  • the plurality of configurations will be described in more detail later with reference to FIG. 2.
  • the database 150 may store various information related to provision of a content sales service.
  • the database 150 may include a content DB 152 and a user DB 154.
  • the operating device 100 may store multimedia content obtained from the content providing device 21 of a content provider in the content DB 152.
  • the operating device 100 may store motion data obtained from the content providing device 21 or the motion data generating device 31 in the content DB 152.
  • a plurality of content data may be stored in the content DB 152.
  • each of the plurality of content data may include multimedia content for generating action robot content, and/or at least one motion data for the multimedia content.
  • Each of the at least one motion data may correspond to at least one of various types of action robots. That is, the action robot may provide motion by processing motion data corresponding to the action robot among at least one motion data included in the content data.
  • User data of each of a plurality of users who use the content sales service may be stored in the user DB 154.
  • the user data may include user identification information (eg, ID, etc.), user's owned action robot information (eg, model information), action robot IP address information, user content purchase details, and the like.
  • the database 150 may be integrally configured with the operating device 100.
  • the content providing device 21 may be implemented as a computing device that provides multimedia content to the operating device 100.
  • the content providing device 21 may be implemented as a server operated by the content provider 20.
  • the content providing device 21 may include a terminal such as a PC, a smartphone, or a tablet PC.
  • the motion data generating device 31 may be implemented as a computing device that provides motion data for specific multimedia content to the operating device 100.
  • the content sales service operator 10 may provide an application for generating motion data to the motion data generating device 31 through the operating device 100 or another computing device.
  • the motion data producer 30 may generate motion data for multimedia content through an application executed in the motion data generating device 31.
  • the motion data generating device 31 may transmit (upload) the generated motion data to the operating device 100.
  • the operating device 100 may store the received motion data in the content DB 152 or may store the motion data and multimedia content corresponding to the motion data in the content DB 152 together.
  • the terminal 41 may be provided with an application related to the motion of the action robot, and the application provided to the terminal 41 and the application provided to the motion data generating device 31 may be the same or similar.
  • the content provider 20 when the content provider 20 directly generates motion data and provides it to the operating device 100, the content provider 20 may be included in the motion data producer 30.
  • the terminals 41a and 41b may provide a list of multimedia contents corresponding to the action robot contents available for purchase, and may receive a purchase request for a specific action robot contents from the users 40a and 40b.
  • These terminals 41a and 41b may include a smart phone, a tablet PC, a notebook PC, and a PC.
  • the list may include a list of at least one multimedia content in which motion data corresponding to the database 150 exists.
  • Terminals (41a, 41b) output the list through a display, etc., and the user selects a desired multimedia content from among at least one multimedia content included in the list, thereby making a request to purchase action robot content corresponding to the multimedia content. You can enter.
  • the terminals 41a and 41b may transmit the input purchase request to the operating device 100.
  • the operating device 100 may transmit the action robot content to the user's action robots 42a and 42b based on the received purchase request.
  • the action robots 42a and 42b correspond to robots that perform movements such as dancing or motion by controlling the movement of at least one joint through a robot driving unit having an actuator module including a plurality of motors.
  • the action robots 42a and 42b may include a speaker and/or a display that outputs multimedia content implemented in a visual or audible form such as music and images. Accordingly, the action robots 42a and 42b process and output multimedia content included in the action robot content and motion data corresponding thereto, thereby providing more lively content to the user.
  • the action robots 42a and 42b may include an action robot implemented on a robot simulator included in a computing device (such as a PC).
  • the robot simulator may output the action robots 42a and 42b in a graphic form through a display of the computing device.
  • FIG. 2 is a schematic block diagram of an operating device according to an embodiment of the present invention.
  • the operating device 100 may include a communication unit 102, a memory 104, and a control unit 110.
  • the components shown in FIG. 2 are not essential for implementing the operating device 100, and the operating device 100 may include more or fewer components.
  • the communication unit 102 connects the operating device 100 with the database 150 or connects the operating device 100 to the content providing device 21, the motion data generating device 31, and the terminals 41a and 41b through a network.
  • action robots 42a, 42b, etc. may include at least one communication module.
  • the communication unit 102 is a module supporting a wireless communication method such as a wireless Internet module such as Wi-Fi and a mobile communication module such as LTE (long term evolution), or a module supporting a wired communication method such as a wired Internet module. It may include.
  • the operating device 100 receives multimedia content and/or motion data from the content providing device 21 connected through the communication unit 102, or receives motion data from the motion data generating device 31. Can receive.
  • the operating device 100 transmits a list of multimedia contents corresponding to the action robot contents available for purchase to the terminals 41a and 41b connected through the communication unit 102, or purchases the action robot contents from the terminals 41a and 41b. Requests can be received.
  • the operating device 100 may transmit action robot content to the action robots 42a and 42b through the communication unit 102.
  • various data such as control data for controlling the operation of the components included in the operating device 100, data for performing an operation corresponding to a request or command obtained through the communication unit 102, etc. Can be saved.
  • the memory 104 includes a content DB management module 112, a user DB management module 113, an action robot content generation module 114, a content sales management module 115, and a revenue calculation module 116, which will be described later.
  • Program data for the operation of may be stored.
  • the processor 111 of the controller 110 or another controller may control the operation of each of the modules 112 to 116 based on the program data.
  • the memory 104 may be understood as a concept including the database 150 as well.
  • the memory 104 may include various storage devices such as ROM, RAM, EPROM, flash drive, and hard drive.
  • the control unit 110 may include at least one processor or a controller that controls the operation of the motion generating device 20.
  • each of the at least one processor or controller may be implemented as a CPU, an application processor (AP), a microcomputer (or microcomputer), an integrated circuit, an application specific integrated circuit (ASIC), or the like.
  • the processor 111 included in the control unit 110 may control the overall operation of components included in the operating device 100.
  • the processor 111 may execute each of the modules 112 to 116 by loading program data of each of the modules 112 to 116 stored in the memory 104. That is, the operation of each of the modules 112 to 116 may be controlled by the processor 111 or another processor or controller included in the controller 110.
  • the content DB management module 112 may manage the plurality of content data such as generation, change, and deletion of a plurality of content data stored in the content DB 152.
  • the content DB management module 112 generates content data including multimedia content received from the content providing device 21 and motion data for the multimedia content provided from the motion data generating device 31,
  • the generated content data may be stored in the content DB 152.
  • motion data may be received from the content providing device 21.
  • a plurality of motion data corresponding to the multimedia content may be included.
  • the plurality of motion data may be received from at least one motion data generating device 31.
  • Each of the plurality of motion data may correspond to at least one of various types of action robots.
  • the content DB management module 112 corresponds to the multimedia content to include the received motion data. Content data can be changed.
  • the content DB management module 112 may delete multimedia content and/or motion data stored in the content DB 152 in response to a deletion request received from the content providing device 21 or the motion data generating device 31. have.
  • the content DB management module 112 may load content data corresponding to the purchase request from the content DB 152 in response to a purchase request received from the user's terminal.
  • the content DB management module 112 may provide multimedia content and motion data included in the loaded content data to the action robot content generation module 114.
  • the content DB management module 112 may provide motion data corresponding to the user's action robot to the action robot content generation module 114.
  • the user DB management module 113 may perform management such as generation, change, and deletion of a plurality of user data stored in the user DB 154.
  • the user DB management module 113 may load user data for the user from the user DB 154 in response to a request to purchase action robot content received from the user's terminal.
  • the user DB management module 113 may provide action robot information (eg, model information) included in the loaded user data to the content DB management module 112.
  • the user DB management module 113 may provide address information (eg, IP address) of the action robot included in the loaded user data to the processor 111.
  • the action robot content generation module 114 may generate action robot content including multimedia content and motion data provided from the content DB management module 112. According to an embodiment, when there are a plurality of motion data corresponding to the user's action robot, the action robot content generation module 114 may generate action robot content including motion data selected by the user through the terminal among the plurality of motion data. May be.
  • the processor 111 may transmit the action robot content to the user's action robot based on the address information of the action robot.
  • the operating device 100 may calculate revenues of the content provider 20 and the motion data producer 30 based on sales information of each of the multimedia content and motion data included in the action robot content.
  • the content sales management module 115 may manage sales information (eg, sales amount) of multimedia content and motion data provided (sold) to action robots of users.
  • the revenue calculation module 116 may calculate the revenue of the content provider 20 based on the sales volume of the multimedia content, and calculate the revenue of the motion data producer 30 based on the sale volume of the motion data.
  • the content sales service operator 10 may provide a cost corresponding to each revenue to the content provider 20 and the motion data producer 30, respectively, based on the revenue calculated by the revenue calculation module 116. .
  • FIG. 3 is a diagram for describing an example in which the operating device illustrated in FIG. 1 acquires multimedia content and motion data from a content providing device.
  • multimedia content is music content
  • the following embodiments are substantially equally applied to various multimedia content (educational content, conversation content, game content, moving picture content, etc.) other than music content. I can.
  • multimedia content and motion data may be provided from the content providing device 21. That is, the content provider 20 may directly generate motion data for the multimedia content through the content providing device 21 and provide it to the operating device 100.
  • the operating device 100 receives the content data 300 including multimedia content (eg, music content 301) and motion data 302 from the content providing device 21, and receives the received content data 300. It can be stored in the content DB (152).
  • multimedia content eg, music content 301
  • motion data 302 from the content providing device 21, and receives the received content data 300. It can be stored in the content DB (152).
  • the content data 300 may further include motion expression condition information 303.
  • the motion expression condition information 303 may include guide information for generating motion data for the multimedia content 301 by the motion data producer 30 or information on major motions.
  • the motion data 302 may include control values (eg, rotation angle) of joints for motion related to the music content 301 or control information of motors.
  • the motion data 302 may be processed by an action robot including the joints, and may not be processed by an action robot that does not include some of the joints.
  • the motion expression condition information 303 may include guide information for implementing major motions among motions related to the multimedia content 301 or rotation angle information of each of the joints.
  • the motion data 302 provided from the content providing device 21 may be reference motion data for generating motion data corresponding to each of the action robots, not motion data corresponding to a specific action robot. have.
  • the processor 111 may provide the motion expression condition information 303 or the reference motion data to the motion data generating device 31.
  • a motion data producer may more conveniently generate motion data corresponding to a specific action robot based on the motion expression condition information 303 or reference motion data.
  • FIG. 4 is a diagram illustrating an example in which the operating device illustrated in FIG. 1 acquires multimedia content and motion data from a content providing device and a motion data generating device.
  • the operating device 100 acquires multimedia content (eg, music content 401) from the content providing device 21, and generates motion data 402 for the music content 401 It can be obtained from the device 31.
  • multimedia content eg, music content 401
  • motion data 402 for the music content 401 It can be obtained from the device 31.
  • the operating device 100 may store the obtained music content 401 and the content data 400 including the motion data 402 in the content DB 152. According to an embodiment, the operating device 100 may acquire different motion data 402 for the music content 401 from a plurality of motion data generating devices. In this case, the content data 400 may include a plurality of motion data.
  • motion data corresponding to each of the action robots may be required. Since it may be difficult for the content provider 20 to all produce a plurality of motion data corresponding to each of the action robots, the motion data 402 may be generated and provided by a plurality of motion data producers.
  • the operating device 100 may further obtain action robot compatibility information 403 for the motion data 402 from the motion data generating device 31.
  • the operating device 100 may store the music content 401, the motion data 402, and the content data 400 including the action robot compatibility information 403 in the content DB 152.
  • the action robot compatibility information 403 may include information (eg, model information, etc.) on at least one action robot capable of processing the motion data 402. According to an embodiment, the action robot compatibility information 403 may correspond to the motion expression condition information 303 of FIG. 3.
  • the content data 400 may not include multimedia content.
  • the content data 400 may include motion data 402, action robot compatibility information 403, and information indicating which multimedia content the motion data 402 corresponds to.
  • FIG. 5 is a diagram illustrating an example in which the operating device shown in FIG. 1 transmits and receives motion data to and from a user terminal.
  • the operating device 100 may store the content data 400 received from the content providing device 21 and the motion data generating device 31 in the content DB 152.
  • the operating device 100 may transmit/receive the content data 400 with the users 40a and 40b. Specifically, the operating device 100 transmits the content data 400 to at least one of the terminals 41a, 41b and the action robots 42a, 42b, or the terminals 41a, 41b transmit the content data to the operating device 100 400 can be transmitted.
  • the content data 400 may include at least one of music content 401, motion data 402, and action robot compatibility information 403.
  • the users 40a and 40b may purchase at least one of the music content 401 and the motion data 402 from the operating device 100 through the terminals 41a and 41b. Alternatively, the users 40a and 40b may sell the motion data 402 to at least one of the content provider 20, the motion data producer 30, and other users through the terminals 41a and 41b.
  • the terminals 41a and 41b may generate, extract, edit, sell, and purchase motion data.
  • FIG. 6 is a control block diagram of a terminal according to an embodiment of the present invention.
  • the terminal 41 includes at least one of a control unit 210, a wireless communication unit 220, an input unit 230, a display unit 240, an audio output unit 250, a storage unit 260, and a power supply unit 270. can do.
  • the controller 210 may control the operation of the terminal 41.
  • the controller 210 may control each of the wireless communication unit 220, the input unit 230, the display unit 240, the sound output unit 250, the storage unit 260, and the power supply unit 270.
  • the wireless communication unit 220 may include one or more modules that enable wireless communication between the terminal 41 and an external device.
  • the wireless communication unit 220 may wirelessly communicate with at least one of the operating device 100 and the action robot 42.
  • the control unit 210 may control the wireless communication unit 220 to transmit and receive the operating device 100 and the content data 400. In addition, the wireless communication unit 220 may directly transmit the content data 400 to another terminal.
  • the wireless communication unit 220 may transmit and receive the action robot 42 and content data 400.
  • the wireless communication unit 220 may transmit and receive content data 400 with the action robot 42 connected to the terminal 41.
  • the input unit 230 may include a camera 231 for inputting an image signal, a microphone 233 for inputting an audio signal, and a user input unit 235 for receiving information from a user.
  • the user input unit 235 may include a touch key, a mechanical key, or the like.
  • the display unit 240 may display information.
  • the display unit 240 may display a motion production screen, motion simulation, and the like.
  • the display unit 240 may implement a touch screen by forming a layer structure or integrally with the touch sensor.
  • the sound output unit 250 may output an audio signal.
  • the storage unit 260 may store data and information necessary for the operation of the terminals 41a and 41b.
  • the storage unit 260 may store the content data 400.
  • the storage unit 260 includes a flash memory type, a hard disk type, a solid state disk type, an SDD type, a multimedia card micro type. type), card-type memory (e.g., SD or XD memory), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable (EEPROM) read-only memory), programmable read-only memory (PROM), magnetic memory, magnetic disk, and optical disk.
  • flash memory type e.g., SD or XD memory
  • RAM random access memory
  • SRAM static random access memory
  • ROM read-only memory
  • EEPROM electrically erasable programmable
  • PROM programmable read-only memory
  • magnetic memory magnetic disk, and optical disk.
  • the power supply unit 270 may receive external power and internal power under the control of the control unit 210 to supply power required for operation of each component.
  • the power supply unit 270 includes a battery, and the battery may be a built-in battery configured to be rechargeable, and may be detachably coupled to the terminal body for charging or the like.
  • FIG. 7 is a flowchart illustrating a method of operating a terminal according to an embodiment of the present invention.
  • the terminal 41 may install and execute an application (hereinafter referred to as “application”) related to the motion of the action robot.
  • the terminal 41 may generate, extract, edit, sell, and purchase motion data of an action robot through an application.
  • the terminal 41 may receive an application from at least one of the operating device 100, the content provider 20, and the motion data producer 30. Meanwhile, an application provided by the motion data generating device 31 may be the same as or similar to an application executed in the terminal 41.
  • the display unit 240 may display the home screen of the application (S11).
  • the application may be an application that provides at least one function of generating, extracting, editing, selling, and purchasing motion data of the action robot 42.
  • FIG. 8 is an exemplary diagram illustrating a home screen of an application according to an embodiment of the present invention.
  • the display unit 240 of the terminal 41 may display the home screen 1000 of the application as illustrated in FIG. 8.
  • the home screen 1000 of the application illustrated in FIG. 8 is provided as an example for convenience of description and is not limited thereto.
  • the home screen 1000 of the application may be a screen initially displayed when an application installed in the terminal 41 is executed.
  • the home screen 1000 of the application is an action robot connection icon 1010, selection information 1020, motion update information 1030, voice recognition icon 1040, home icon 1050, content icon 1060, motion addition It may include at least one of an icon 1070, an information icon 1080, and a user icon 1090.
  • the action robot connection icon 1010 may be an icon for connection with any one action robot 42.
  • the action robot connection screen (not shown) includes at least one of a connection state with the action robot 42 and information on the connected action robot 42. ) Can be displayed.
  • the action robot connection screen (not shown) shows the connection status of the terminal 41 and the action robot 42 (eg, normal connection, disconnection, connection error, etc.), and the action robot 42 connected to the terminal 41.
  • Information eg, model information, ID, and the like may be included.
  • the selection information 1020 may include information previously selected by the user through an application.
  • the selection information 1020 may be information related to specific multimedia content, and the specific multimedia content may be content related to a model of the action robot 42 connected to the terminal 41.
  • the selection information 1020 may include at least one of an artist A's schedule, news, and SNS. have.
  • the selection information 1020 may include news of new content related to the B education character.
  • the motion update information 1030 may include news of motion data of the action robot 42 connected to the terminal 41.
  • the motion update information 1030 may include motion data information of the action robot 42 added to the operating device 100.
  • the controller 210 may display a motion information screen according to the selected motion update information 1030.
  • the motion information screen will be described later in FIG. 22.
  • the voice recognition icon 1040 may be an icon for receiving a voice command.
  • the controller 210 may receive a command related to at least one of generating, extracting, editing, selling, and purchasing motion data through the voice recognition icon 1040.
  • At least one of the home icon 1050, the content icon 1060, the motion addition icon 1070, the information icon 1080, and the user icon 1090 may be continuously displayed while the application is being executed.
  • the home icon 1050 may be a command for displaying a home screen of an application.
  • the controller 210 may display the home screen 1000 of the application as illustrated in FIG. 8.
  • the content icon 1060 may be an icon for displaying a store screen of action robot content.
  • the controller 210 may display a store screen 1700 (refer to FIG. 21) of the action robot content upon receiving a selection command for the content icon 1060.
  • the action robot content store screen (hereinafter, referred to as a'store screen') includes sales information of multimedia content such as music, fairy tales, education, and conversation, sales information of multimedia content and corresponding motion data, and motion data. May include sales information.
  • the controller 210 may receive a purchase command of multimedia content, a purchase command of multimedia content and motion data corresponding thereto, and a purchase command of motion data through a store screen (not shown) of the action robot content.
  • the motion add icon 1070 may be an icon for producing motion data.
  • the user may select the motion add icon 1070, and the controller 210 may display a motion production screen as illustrated in FIG. 9 when receiving a selection command for the motion add icon 1070.
  • the motion production screen will be described later with reference to FIG. 9.
  • the information icon 1080 may be an icon for displaying related information of action robot content.
  • the controller 210 may display related information of the action robot content.
  • the related information of the action robot content may include information related to the action robot 42, information related to motion data of the action robot 42, and the like.
  • the user icon 1090 may be an icon for displaying user account information.
  • the control unit 210 may display a user account screen (see 1900 (refer to FIG. 23)) upon receiving a selection command for the user icon 1090, and the user account screen includes information on action robots and motion data held by the user. It may be a screen for displaying, etc. The user account screen will be described later in FIG. 23.
  • the application home screen shown in FIG. 8 is exemplary, and some of the information and icons shown in FIG. 8 may be omitted, or other information or other icons may be further included.
  • the controller 210 may determine whether a command for selecting a motion addition icon has been received (S13).
  • the controller 210 may receive a command for selecting a motion addition icon 1070 displayed on the application home screen 1000 as shown in FIG. 8.
  • the controller 210 may obtain whether to receive a selection command for the motion add icon 1070.
  • the controller 210 may display a motion production screen (S15 ).
  • the motion production screen is an icon for producing motion data of the action robot 42, and may be a screen for generating new motion data or editing at least part of the previously produced motion data. That is, production of motion data may include generation and editing of motion data.
  • FIG 9 is an exemplary diagram of a motion production screen according to an embodiment of the present invention.
  • the controller 210 may display the motion production screen 1100 as illustrated in FIG. 9 when receiving a selection command for the motion add icon 1070.
  • Motion production screen 1100 includes a motion loading icon 1101, a sound source selection icon 1103, an action robot simulation 1105, an automatic motion data generation icon 1107, a multi-view icon 1109, and a motion effect icon 1110. , A duration icon 1117, a motion setting icon 1120, and a motion production option icon 1123 may be included.
  • the motion loading icon 1101 may be an icon for loading pre-made motion data.
  • the user may edit motion data by loading pre-made motion data through the motion loading icon 1101.
  • the sound source selection icon 1103 may be an icon for selecting multimedia content such as music, fairy tales, education, and conversation.
  • the sound source selection icon 1103 may be an icon for selecting an audio signal to be reproduced together with motion data to be produced.
  • the controller 210 may display at least one of multimedia content stored in the terminal 41 and multimedia content provided through the operating device 100.
  • the action robot simulation 1105 displays the motion of the action robot 42 in advance, and the controller 210 includes a motion effect icon 1110, a duration icon 1117, a motion setting icon 1120, and a motion production option icon. As at least one of 1123 is selected, the motion of the action robot 42 may be displayed in advance as an action robot simulation 1105.
  • the motion data automatic generation icon 1107 may be an icon for automatically generating motion data for reproducing the movement of the action robot 42 connected to the terminal 41.
  • the controller 210 turns on the automatic motion data generation function when receiving the selection command of the automatic motion data generation icon 1107 while the automatic motion data generation function is off, and the automatic motion data generation function is activated. In the on state, when a selection command for the automatic motion data generation icon 1107 is received, the automatic motion data generation function can be turned off.
  • the controller 210 may detect the motion of the action robot 42 connected to the terminal 41 and generate motion data for reproducing the detected motion of the action robot 42. have. That is, when the automatic motion data generation function is turned on, the controller 210 acquires motion information of the action robot 42 connected to the terminal 41 and generates motion data based on the motion information of the action robot 42. have.
  • the same motion as the motion in a state in which the automatic motion data generation function is on may be performed.
  • the user can generate motion data by manually moving the action robot 42 while the automatic motion data generation function is turned on.
  • the controller 210 may differently display the motion data automatic generation icon 1107 according to an on or off state of the motion data automatic generation function. For example, when the automatic motion data generation function is on and off, the controller 210 may display different colors of the motion data automatic generation icon 1107.
  • the multi-view icon 1109 may be an icon for changing a display method of the action robot simulation 1105.
  • the controller 210 When receiving the selection command for the multi-view icon 1109, the controller 210 performs the action robot simulation 1105 among front view, rear view, left view, right view, upper view, lower view, and perspective view. It can be marked with either one.
  • the front view is a view in which the front of the action robot 42 is displayed
  • the rear view is a view in which the back of the action robot 42 is displayed
  • the left view is a view in which the left side of the action robot 42 is displayed
  • the right view Is a view in which the right side of the action robot 42 is displayed
  • the upper view is a view in which the top of the action robot 42 is displayed
  • the lower view is a view in which the bottom of the action robot 42 is displayed
  • the perspective view is an action It may be a view in which the inner joints of the robot 42 are exposed.
  • the controller 210 converts the display method of the action robot simulation 1105 into at least one of a front view, a rear view, a left view, a right view, an upper view, a lower view, and a perspective view whenever the multi-view icon 1109 is selected. can do.
  • the controller 210 can change the display method of the action robot simulation 1105 in the order of a front view, a rear view, a left view, a right view, an upper view, a lower view and a perspective view whenever the multi-view icon 1109 is selected.
  • the order is merely exemplary, it may be changed or a specific view may be omitted or added.
  • controller 210 may display the action robot simulation 1105 as a perspective view upon receiving a perspective view change command.
  • the action robot simulation 1105 when the action robot simulation 1105 is displayed in a front view and receives a perspective view switching command, the action robot simulation 1105 is a front perspective view in which the internal joints of the action robot 42 are exposed in the front view state.
  • the action robot simulation 1105 is displayed in the left view and receives a perspective view change command, the action robot simulation 1105 is performed in a left perspective view in which the internal joints of the action robot 42 are exposed in the left view state.
  • the controller 210 may switch from the current view state to a perspective view in which the internal joints of the action robot 42 are exposed.
  • the perspective view switching command may be a command for selecting and dragging two points in the action robot simulation 1105, but this is only exemplary.
  • the controller 210 may display the action robot simulation 1105 as a front view upon receiving a view return command. For example, when the action robot simulation 1105 is displayed in a rear view, a left view, a right view, an upper view, a lower view, or a perspective view, the controller 210 displays the action robot simulation 1105 in front of the action robot simulation 1105. Can be displayed as a view.
  • the view return command may be a command for selecting the action robot simulation 1105 twice in succession (double tap), but this is only exemplary.
  • the controller 210 may switch the display method of the action robot simulation 1105 by receiving a swipe command for selecting a point in the action robot simulation 1105 and dragging in a predetermined direction. For example, when receiving a swipe command for dragging to the right after selecting a point of the action robot simulation 1105 displayed in the front view, the controller 210 displays the action robot simulation 1105 in the right view, and the action displayed in the right view. When a point of the robot simulation 1105 is selected and a swipe command for dragging to the right is received, the action robot simulation 1105 may be displayed in a rear view. In this way, when receiving a swipe command for dragging in a predetermined direction after selecting a point of the action robot simulation 1105, the controller 210 rotates the action robot simulation 1105 at an angle of 0 to 360 degrees. Can be displayed.
  • the motion effect icon 1110 may be an icon for setting a motion effect of the action robot 42.
  • the motion effect icon 1110 may include at least one of a reverse icon 1111, a speed icon 1113, and a reverse icon 1115.
  • the motion effect icon 1110 illustrated in FIG. 9 is merely exemplary, and some motion icons may be omitted or further included.
  • the motion effect icon 1110 may be an icon for applying a motion effect to at least one motion part data set through the motion setting icon 1120.
  • the controller 210 may receive a selection command for the motion effect icon 1110 while at least one of motion part data set through the motion setting icon 1120 is selected.
  • the reverse icon 1111 is an icon that reverses the motion of the action robot 42, and may be an icon that reverses and stores motion part data.
  • the controller 210 may store the motion part data selected from the motion setting icon 1120 by inverting left and right or inverting up and down.
  • the speed icon 1113 is an icon that sets a motion speed of the action robot 42 and may be an icon that sets a speed value of motion part data.
  • the controller 210 may set the speed value of the motion part data selected from the motion setting icon 1120 to one of 0.2x, 0.5x, 1x, 2x, or 4x.
  • the reverse icon 1115 may be an icon that is set to perform the motion of the action robot 42 in reverse.
  • the controller 210 may set the motion of the motion part data selected from the motion setting icon 1120 to be reversed. For example, when receiving a selection command for the reverse icon 1115 while motion part data for raising the left arm is selected, the controller 210 may change the corresponding motion part data into motion part data for lowering the left arm.
  • the duration icon 1117 may be an icon for setting a duration time of a specific motion.
  • the duration icon 1117 may be an icon for setting a motion duration time of at least one motion part data set through the motion setting icon 1120.
  • the motion setting icon 1120 is an icon for generating at least one motion part data, and the controller 210 may generate motion part data through the motion setting icon 1120.
  • the motion part data may be data for controlling each motion part of the action robot 42.
  • Motion data may be formed of a combination of motion part data.
  • the motion data may include a plurality of motion part data and a motion time at which each of the plurality of motion part data is expressed.
  • the controller 210 may generate motion data by setting a motion time for each of the plurality of motion part data.
  • a method of generating motion part data through the motion setting icon 1120 will be described later in FIG. 15.
  • the motion production option icon 1123 may be an icon for extracting motion data.
  • the motion production option icon 1123 may be an icon for extracting motion data from a previously produced video or for extracting motion data through video recording.
  • a user can produce motion data without manually generating motion part data through the motion production option icon 1123.
  • the controller 210 may display the motion production option icon 1123 only when there is no motion part data generated in the motion setting icon 1120. When at least one motion part data is generated through the motion setting icon 1120, the controller 210 may remove the motion production option icon 1123 and display the motion save icon 1340 (refer to FIG. 15). .
  • the motion production screen 1100 shown in FIG. 9 is only an example, and at least some of the icons shown in FIG. 9 may be omitted or other icons may be further included.
  • the controller 210 may determine whether a command for selecting the motion loading icon 1101 has been received (S17).
  • the controller 210 may load motion data so that previously produced motion data can be edited. A description of a method of editing the previously produced motion data will be described later through steps S25 to S33.
  • control unit 210 may determine whether to receive a motion extraction command (S18).
  • the controller 210 may extract motion data from the video (S19).
  • the controller 210 may recognize a selection command of the motion production option icon 1123 on the motion production screen 1100 as a motion extraction command. Accordingly, when receiving a selection command for the motion production option icon 1123, the controller 210 may determine that the motion extraction command has been received.
  • the motion production option icon 1123 may include a video recording motion production icon 1124 and a video selection motion production icon 1125.
  • the video capturing motion production icon 1124 may be an icon for capturing a video in real time, detecting motion of an object (eg, a person, an animal, etc.) included in the captured video to extract motion data.
  • the video selection motion production icon 1125 may be an icon for selecting a previously produced video and detecting motion of an object (eg, a person, an animal, etc.) included in the selected video to extract motion data. .
  • FIG. 10 is an exemplary diagram of a shooting guide screen displayed when motion is extracted through video shooting according to an embodiment of the present invention.
  • the controller 210 may display the shooting guide screen 1210 before displaying the video shooting screen when receiving a selection command for the video shooting motion production icon 1124 on the motion production screen 1100.
  • the photographing guide screen 1210 may be a screen guiding a method of photographing a video so that motion extraction from the video is easy.
  • the photographing guide screen 1210 may include a message for fixing the movement of the camera, a message for guiding a location of an object such as a person, a message for guiding a background and brightness of an object, and the like.
  • control unit 210 may display the shooting guide screen 1210 whenever a command to select the video shooting motion production icon 1124 is received.
  • the controller 210 may display the shooting guide screen 1210 only when a command for selecting the video shooting motion production icon 1124 is initially received.
  • the controller 210 may omit the display of the photographing guide screen 1210.
  • 11 to 12 are exemplary diagrams of a video recording screen when motion is extracted through video recording according to an embodiment of the present invention.
  • the controller 210 may display a video capture screen 1220 for motion extraction, and the video capture screen 1220 may include a guide function on/off icon 1221.
  • the guide function on/off icon 1221 is an icon for turning the guide function on or off, and the guide function may be a function of guiding a joint position of an object being recognized to extract motion data from a video being photographed.
  • the controller 210 may be turned on or off whenever a command for selecting the guide function on/off icon 1221 is received.
  • the controller 210 may display at least one guide icon 1222 on the video recording screen 1220.
  • the guide icon 1222 may be displayed at the joint position of the object being recognized for motion data extraction.
  • the video recording screen 1220 shown in FIG. 11 is a case in which the guide function is on, and the video recording screen 1220 includes at least one guide icon 1222, and the video recording screen 1220 shown in FIG. When the function is off, the guide icon 1222 may not be displayed on the video recording screen 1220.
  • the video recording screen 1220 may further include a guide box 1223.
  • the guide box 1223 may be displayed to minimize a case in which some joints of the object are not captured when the object is out of the video recording range.
  • the size of the guide box 1223 may be smaller than the size of the video recording range.
  • FIG. 13 is an exemplary diagram of a video location selection screen according to an embodiment of the present invention
  • FIG. 14 is an exemplary diagram of a video motion extraction screen according to an embodiment of the present invention.
  • the controller 210 may display a video location selection screen 1230 as illustrated in FIG. 13.
  • the video location selection screen 1230 may be a screen for selecting a storage location of a video for motion extraction.
  • the video location selection screen 1230 may include a'storage unit' icon and a'external' icon, and the controller 210 sends the terminal 41 when receiving a selection command for the'storage unit' icon.
  • a stored video may be displayed, and when a command for selecting an'external' icon is received, a video that can be received through an external server or another application may be displayed.
  • FIG. 13 is only an example, and the video location selection screen 1230 may include a list of applications that provide a video.
  • the controller 210 may select a video stored in the terminal 41 or a video that can be received externally.
  • the controller 210 may extract motion data from the selected video and display a video motion extraction screen 1240 as shown in FIG. 14.
  • the video motion extraction screen 1240 may include a video 1241 selected for motion extraction and extraction motion information 1243.
  • the extracted motion information 1243 may include a motion part and a motion value (eg, angle, etc.) extracted from the selected video 1241.
  • the extracted motion information 1243 may include a guide for guiding that motion is being generated when motion is extracted.
  • the selected video 1241 may further include at least one guide icon 1242 indicating a joint position of an object recognized in the video.
  • the controller 210 may receive a motion part data generation command (S20).
  • the motion part data generation command may be a command for setting each motion of the action robot 42.
  • the command for generating motion part data may be a command for generating motion part data constituting motion data.
  • the motion part data may include at least one of a part of motion, a value of motion, and a motion time.
  • the motion part refers to a part that can be driven by the actuator module provided in the action robot 42 and may include a joint or the like.
  • the motion value may include at least one of a tilting angle and a rotation angle.
  • the motion time may mean a time during which the actuator module of the action robot 42 is driven according to the motion part data.
  • the controller 210 may receive motion part data including at least one of a motion part controlled to move by the action robot 42, a tilt angle of the motion part, and a rotation angle of the motion part.
  • 15 is an exemplary diagram illustrating a method for a terminal to receive a motion part data generation command according to an embodiment of the present invention.
  • the controller 210 may receive a command to generate motion part data through the motion setting icon 1120.
  • the motion setting icon 1120 may include at least one of a motion part selection icon 1310, a motion addition icon 1320, and a motion information icon 1330.
  • the motion part selection icon 1310 may be an icon for selecting a part to be moved in the action robot 42.
  • the parts to be moved in the action robot 42 refer to parts and joints of the action robot 42, and may include, for example, a head, a left shoulder, a left elbow, a right shoulder, and a right elbow.
  • the motion part selection icon 1310 may include a first motion part 1311, a second motion part 1313, a third motion part 1315 and a fourth motion part 1317, and 1 motion part 1311 means the head of the action robot 42, the second motion part 1313 means the left shoulder of the action robot 42, and the third motion part 1315 means the action robot 42 ), and the fourth motion part 1317 may mean a left elbow.
  • the controller 210 may display a motion add icon 1320 corresponding to the selected motion part. For example, as shown in FIG. 15, when receiving a selection command of the first motion part 1311, the controller 210 displays a motion add icon 1320 corresponding to the first motion part 1311. I can.
  • the motion add icon 1320 may be an icon for setting a motion value in the selected part.
  • the controller 210 may display a motion value setting screen upon receiving a selection command for the motion add icon 1320.
  • 16 is an exemplary diagram of a motion value setting screen according to an embodiment of the present invention.
  • the controller 210 may display a motion value setting screen 1400 as illustrated in FIG. 16 when receiving a selection command for the motion add icon 1320.
  • the motion value setting screen 1400 may include at least one of a tilt icon 1410, a rotate icon 1420, a numerical selection icon 1430, a cancel icon 1431, and an application icon 1432.
  • the tilt icon 1410 may be an icon for setting a tilt angle of the selected part.
  • the controller 210 When receiving a command to select a specific value through the numerical selection icon 1430 while the tilt icon 1410 is selected, the controller 210 generates motion part data that controls the selected part to move vertically by the selected value. can do.
  • the rotate icon 1420 may be an icon for setting a rotation angle of the selected part.
  • the controller 210 When receiving a command to select a specific value through the numerical selection icon 1430 while the rotate icon 1420 is selected, the controller 210 generates motion part data that controls the rotation of the selected part by the selected value in the horizontal direction. can do.
  • the controller 210 may generate motion part data that is driven at least in the vertical direction and the horizontal direction through the tilt icon 1410 and the rotate icon 1420.
  • the numerical selection icon 1430 may include angle information for setting a tilting angle in a vertical direction or a rotation angle in a horizontal direction.
  • the cancel icon 1431 may be an icon for canceling the generation of motion part data.
  • the application icon 1432 may be an icon for generating motion part data.
  • the controller 210 may generate motion part data including a motion part and a motion value set through at least one of the tilt icon 1410 and the rotate icon 1420. have.
  • the controller 210 may display a motion information icon 1330 including a motion part and a motion value.
  • the controller 210 may display a motion information icon 1330 according to the motion part data on the motion setting icon 1120.
  • the motion information icon 1330 may correspond to motion part data.
  • the controller 210 When the controller 210 generates a plurality of motion part data, a motion information icon 1330 representing each of the plurality of motion part data may be displayed.
  • the controller 210 may display the plurality of motion information icons 1330 over time.
  • each of the motion part data may include a motion time driven by the action robot 42, and the controller 210 may display the motion information icon 1330 according to the motion time. That is, the controller 210 may display the motion information icon 1330 on the left as the motion time of the motion part data is faster, and may display the motion information icon 1330 on the right as the motion time of the motion part data decreases. .
  • the motion information icon 1330 includes a first motion information icon 1331, a second motion information icon 1333, a third motion information icon 1335, and a fourth motion information icon 1337.
  • the motion time of the first motion information icon 1331 and the second motion information icon 1333 is 00:00, the motion time of the third motion information icon 1335 is 01:00, and the fourth motion information icon 1333 ) May be 00:30.
  • the controller 210 displays the first motion information icon 1331 and the second motion information icon 1333 on the far left, the third motion information icon 1335 on the far right, and The information icon 1337 may be displayed between the first and second motion information icons 1331 and 1333 and the third motion information icon 1335.
  • the motion information icon 1330 is displayed at a position corresponding to the motion part, and may include motion value information.
  • the controller 210 may redisplay the motion value setting screen 1400 so that the motion value can be changed.
  • controller 210 may receive a command for changing at least one of a motion part and a motion time through a command for dragging and dropping the motion information icon 1330.
  • the controller 210 may receive a selection command for the storage icon 1340 after at least one motion part data is generated.
  • the storage icon 1340 may be an icon for generating motion data consisting of motion part data displayed on the motion setting icon 1120.
  • the controller 210 When the controller 210 receives a selection command for the storage icon 1340, it may recognize that the motion generation command has been received. Upon receiving the motion generation command, the controller 210 may generate motion data including at least one motion part data generated through the motion setting icon 1120.
  • FIG. 17 is an exemplary diagram of a motion data generation screen according to an embodiment of the present invention.
  • the controller 210 may display a motion data generation screen 1400 as illustrated in FIG. 17.
  • the motion data generation screen 1400 may include a storage completion message 1440.
  • the storage completion message 1440 may be a message indicating that generation of motion data is normally completed.
  • the storage completion message 1440 may include at least one of a close icon 1441, a check icon 1443, and a share icon 1445.
  • the close icon 1441 is an icon for confirming the completion of motion data generation, and may be an icon for ending the generation of motion data.
  • the check icon 1443 may be an icon for checking the motion of the action robot 42 according to the generated motion data.
  • the controller 210 When receiving the selection command of the check icon 1443, the controller 210 generates an icon (not shown) for selecting whether to check the motion of the action robot 42 according to the motion data with an application or with the action robot 42. Can be displayed.
  • the controller 210 displays the motion of the action robot 42 according to the generated motion data in the application, or controls the action robot 42 to move according to the motion data. I can.
  • the share icon 1445 may be an icon for sharing the generated motion data with other users.
  • the controller 210 may transmit the generated motion data to the operating device 100 or transmit the generated motion data to another user upon receiving a selection command for the sharing icon 1445.
  • the controller 210 may obtain whether to receive the motion generation command (S21).
  • the controller 210 may generate motion data composed of motion part data (S22).
  • a terminal may edit pre-fabricated motion data.
  • step S17 of FIG. 7 when receiving a command for selecting the motion loading icon 1101, the controller 210 may display a motion list (S25).
  • FIG. 18 is an exemplary diagram illustrating a method of displaying a motion list by a terminal according to an embodiment of the present invention.
  • the controller 210 may display the motion list 1500 on the display unit 240.
  • the motion list 1500 may include a motion data item 1510 representing motion data held by a user through the terminal 41 or the action robot 42.
  • the motion list 1500 may include at least one motion data item 1510.
  • the controller 210 may display user-generated motion data and user-purchased motion data separately.
  • the motion list 1500 may include a production tab 1501 and a purchase tab 1503.
  • the controller 210 may display a motion data item representing motion data produced based on at least one of a motion generation command, a motion extraction command, and a motion editing command.
  • the controller 210 may display a motion data item 1510 representing motion data purchased through the operating device 100.
  • the motion data item 1510 may include at least one of a motion thumbnail, a content name, an artist name, and an expiration date.
  • the controller 210 may receive a command for selecting one of at least one motion data item 1510 included in the motion list 1500.
  • the controller 210 may display a motion editing screen 1600 (refer to FIG. 19) of motion data selected from the motion list 1500 (S27).
  • the controller 210 may receive at least one motion editing command on the motion editing screen 1600 (S29).
  • the controller 210 may determine whether to receive a motion editing completion command (S31), and may receive a motion editing command until a motion editing completion command is received.
  • the controller 210 may modify the motion data according to the motion editing command (S33).
  • 19 to 20 are exemplary diagrams of a motion editing screen according to an embodiment of the present invention.
  • the controller 210 may display the motion editing screen 1600, and the motion editing screen 1600 may be a screen for editing at least a portion of the previously produced motion data.
  • the motion editing command may include all commands received through the motion editing screen.
  • Motion editing screen 1600 includes multimedia content information 1601, action robot rendering image 1603, content synchronization information 1604, background option item 1610, mirror mode item 1620, edit icon 1621, speed At least one of an icon 1622, a joint icon 1623, and a setting icon 1624 may be displayed.
  • the background option item 1621 and the mirror mode item 1620 may be items displayed when the setting icon 1624 is selected.
  • the controller 210 selects items other than the background option item 1621 and the mirror mode item 1620. Can be displayed.
  • the multimedia content information 1601 may be information on content reproduced together with motion data.
  • the multimedia content information 1601 may include a sound source name and an artist name.
  • the multimedia content information 1601 may include a moving picture name and an artist name.
  • the action robot rendering image 1603 may be an image in which motion of the action robot 42 according to motion data is displayed in three dimensions.
  • the user has the advantage of being able to easily check the motion of the action robot 42 according to the selected motion data and the motion of the action robot 42 according to the edited motion data through the action robot rendering image 1603.
  • the content synchronization information 1604 includes multimedia content playback information 1605 and motion data playback information 1607, and the multimedia content playback information 1605 and motion data playback information 1067 indicate the same playback time point. They can be displayed side by side as a standard.
  • the reproduction information 1605 of the multimedia content may include song lyrics, sound size, and the like, and the reproduction information 1067 of the motion data may include the motion of the action robot 42.
  • the background option item 1610 may be an item for selecting a background in which motion of the action robot 42 is reproduced.
  • the controller 210 may set the background selected in the background option item 1610 as the background of the action robot rendered image 1603.
  • the mirror mode item 1620 may be an item for displaying the motion of the action robot 42 in a mirror image.
  • the controller 210 may display the action robot 42 as an actual image in the action robot rendering image 1603 according to the mirror mode on or off. have.
  • the edit icon 1621 may be an icon for changing multimedia content.
  • the speed icon 1622 may be an icon for adjusting the motion speed of the action robot 42.
  • the speed icon 1622 may edit the speed of each motion part data constituting the motion data.
  • the joint icon 1623 may be an icon for changing a motion part of the action robot 42.
  • the speed icon 1622 may change a motion part of each motion part data constituting the motion data.
  • the setting icon 1624 is an icon for setting an additional effect to the motion data of the action robot 42, and may include a background option item 1610 and a mirror mode item 1620 as examples in FIG. 19, This is only an example and is not limited thereto.
  • the motion editing screen 1600 may further include the following icon 1630.
  • the controller 210 may display a cover edit screen 1640 upon receiving a command for selecting the next icon 1630.
  • the cover edit screen 1640 is a screen for editing the cover of the edited motion data, a cover preview image 1630, a cover replacement item 1641, a title addition item 1642, a multimedia content item 1643, and a description. It may include at least one of an additional item 1644 and a store sale item 1650.
  • the motion data cover may mean summary information of motion data displayed on the motion list 1600 and summary information of motion data to be sold through the operating device 100.
  • the cover preview image 1630 may be an image in which the action robot 42 moves according to motion data.
  • the cover preview image 1630 may be a still image or a short image whose playback time is within a set time (eg, 10 seconds).
  • the cover preview image 1630 may be changed through the cover replacement item 1641.
  • the controller 210 may display a simulation image that the action robot 42 moves according to the motion data, and set the cover preview image through a command to select at least a portion of the simulation image. I can.
  • the title addition item 1642 may be an item for setting a title representing multimedia content and motion data. The user may set a title to be displayed on the cover of the motion data through the title addition item 1642.
  • the multimedia content item 1643 may be an item in which information on multimedia content is displayed.
  • the description addition item 1644 may be an item for setting description information on multimedia content and motion data.
  • the user may set description information to be displayed on the cover of the motion data through the description addition item 1644.
  • the store sale item 1650 may be an item for setting whether to upload motion data being edited to an application store so that it can be sold.
  • the controller 210 may receive a command for setting a sale on/off function through the store sale item 1650.
  • the controller 210 may upload the edited motion data to the application store so that it can be sold through the operating device 100.
  • the controller 210 may not upload the edited motion data to the application store.
  • the cover edit screen 1640 may further include a registration icon 1660.
  • the controller 210 may modify the motion data based on the motion editing command received from the motion editing screen 1600 and the cover editing screen 1640.
  • the cover edit screen 1640 may be a part of the motion edit screen 1600.
  • the cover edit screen 1640 may be separately displayed depending on the size of the display unit 240, and the cover edit screen 1640 may be included in the motion edit screen 1600.
  • the motion edit command includes a command received through the cover edit screen 1640 and the motion edit screen 1600, and the motion edit completion command is displayed on the cover edit screen 1640 or the motion edit screen 1600).
  • a command for selecting the included registration icon 1660 may be included.
  • step S13 when a command for selecting a motion addition icon is not received, the controller 210 may obtain whether to receive at least one of a motion purchase command and a motion sale command.
  • the controller 210 determines whether or not a motion purchase command has been received (S35), and when receiving the motion purchase command, may transmit a motion purchase request signal to the operating device 100 (S37).
  • the control unit 210 may receive a motion purchase command for at least one motion data on an application.
  • the controller 210 may receive a motion purchase command for at least one motion data through the store screen 1700 (refer to FIG. 21 ).
  • 21 is an exemplary diagram of a store screen of action robot content according to an embodiment of the present invention.
  • the controller 210 may display the store screen 1700.
  • the controller 210 may display the store screen 1700 upon receiving a selection command for the content icon 1060 from the home screen 1000 of the application.
  • the store screen 1700 may include at least one of a music tab 1710, an action tab 1720, a popular tab 1730, a style tab 1740, and a content list.
  • the content list may include at least one of multimedia content and motion data.
  • the music tab 1710 may be for providing only purchaseable multimedia content (eg, sound source).
  • the controller 210 may display a content list including purchaseable multimedia content.
  • the action tab 1720 may be for providing only a list of motion data available for purchase.
  • the controller 210 may display a content list including motion data available for purchase.
  • the popular tab 1730 may be for providing multimedia content and motion data in which the number of purchases is greater than or equal to the reference number.
  • the controller 210 may display a content list including multimedia content and motion data whose purchase count is equal to or greater than the reference number.
  • the style tab 1740 may be for classifying and providing motion data according to a motion style.
  • Motion data can be classified into a plurality of motion methods according to motion parts, motion speed, motion angle, and the like. In other words, motion data may be classified into a plurality of motion methods similar to the way sound sources are classified into a plurality of genres such as dance and ballad.
  • the controller 210 may classify motion data available for purchase into a plurality of motion methods and display a content list.
  • the content list may include first to sixth content items 1701 to 1706 representing multimedia content or motion data.
  • first to sixth content items 1701 to 1706 representing multimedia content or motion data.
  • FIG. 21 it is shown that there are six content items, but this is only an example and is not limited thereto.
  • the control unit 210 may receive a command for selecting any one of the first to sixth content items 1701 to 1706, and upon receiving the command for selecting any one content item, the content detail screen corresponding to the selected content item (1800) can be displayed.
  • FIG. 22 is an exemplary diagram of a content detail screen according to an embodiment of the present invention.
  • the controller 210 may display the content detail screen 1800 as shown in FIG. 22.
  • the content detail screen 1800 may include information on content data and a purchase icon 1801.
  • the information on the content data refers to information on at least one of multimedia content and motion data, and may include at least one of a cover image, a content name, an artist name, price, genre, style, and similar content.
  • the purchase icon 1801 may be an icon that provides a purchase function of motion data that sets the motion of the action robot 42 according to the reproduction of multimedia content.
  • the purchase icon 1801 may be for requesting a purchase for content data being displayed through the content detail screen 1800.
  • the controller 210 recognizes that a motion purchase command has been received, and may transmit a motion purchase request signal to the operating device 100.
  • the operating device 100 may transmit content data corresponding to the motion purchase request signal to the terminal 41 or the action robot 42 connected to the terminal 41.
  • the content data may include at least one of multimedia content and motion data.
  • the terminal 41 When the terminal 41 receives the content data, it may transmit the received content data to the action robot 42 connected to the terminal 41.
  • the action robot 42 may store the received content data.
  • the content detail screen 1800 as shown in FIG. 22 is received. Can be displayed.
  • controller 210 may receive a motion purchase command in various ways through an application.
  • the controller 210 may determine whether to receive a motion sale command (S39), and when receiving the motion sale command, may transmit a motion sale request signal to the operating device 100 (S41).
  • the controller 210 may receive a motion sale command for at least one motion data on an application.
  • the motion sale command may be a command for selling at least one motion data stored in the terminal 41 or the action robot 42 to at least one of the content provider 20, the motion data producer 30, and the user 40. have.
  • FIG. 23 is an exemplary diagram of a user account screen according to an embodiment of the present invention.
  • the controller 210 may display the user account screen 1900.
  • the controller 210 may display the user account screen 1900 upon receiving a command to select the user icon 109 from the home screen 1000 of the application.
  • the user account screen 1900 may include at least one of user information 1901, a my motion icon 1902, a gift box icon 1903, and a like icon 1904.
  • the user information 1901 may include account information of a user who is logged in in the application.
  • the user account information may include a user ID and action robot information connected to the user ID.
  • the my motion icon 1902 may be an icon for displaying multimedia content and motion data held by the user.
  • the controller 210 includes a motion list 1500 including at least one of multimedia content and motion data being stored through at least one of the terminal 41 and the action robot 42. ) Can be displayed.
  • the gift box icon 1903 may be an icon for displaying multimedia content and motion data received as a gift from another user or the operating device 100.
  • the controller 210 may display at least one of multimedia content and motion data received as a gift from another user or the operating device 100.
  • the like icon 1904 may be an icon for displaying multimedia content and motion data marked by a user through an application.
  • the controller 210 may display at least one of previously marked multimedia content and motion data.
  • 24 is an exemplary diagram illustrating a method of receiving a motion sale command through a motion list according to an embodiment of the present invention.
  • the controller 210 may receive a command to select one of at least one motion data item 1510 displayed on the motion list 1500. When any one motion data item 1510 is selected from the motion list 1500, the controller 210 may display a sale icon 1530 corresponding to the selected motion data item 1510.
  • the controller 210 may display a selection mark 1520 on the selected motion data item 1510. In this case, the user can easily grasp the motion data item that is the target for sale.
  • the sale icon 1530 may be an icon for selling motion data of the action robot 42.
  • the motion data of the action robot 42 may include user-generated motion data created, extracted, or edited by the user, and user purchased motion data purchased by the user.
  • the controller 210 may display a sales icon 1530 for user-generated motion data.
  • the controller 210 When receiving a selection command of the sale icon 1530, the controller 210 recognizes that the motion sale command has been received, and may transmit a motion sale request signal to the operating device 100.
  • the controller 210 may transmit content data corresponding to the motion sale request signal to the operating device 100.
  • the operating device 100 can control the content data according to the motion sale request signal to be displayed on the store screen 1700 of the action robot content, and other users request the sale through the store screen 1700 of the action robot content.
  • Content data can be purchased.

Abstract

본 발명은 사용자가 액션 로봇의 움직임을 제어하는 모션 데이터를 용이하게 관리 가능한 액션 로봇용 단말기 및 그의 동작 방법에 관한 것으로, 모션 데이터를 저장하는 저장부, 액션 로봇으로 모션 데이터를 송신하는 무선 통신부, 모션 데이터를 생성하기 위한 모션 제작 화면을 표시하는 디스플레이부, 모션 제작 화면을 통해 액션 로봇의 움직임 각각을 제어하는 모션 파트 데이터를 생성하는 명령을 수신하는 입력부, 및 모션 파트 데이터를 합하여 모션 데이터를 생성하는 제어부를 포함할 수 있다.

Description

액션 로봇용 단말기 및 그의 동작 방법
본 발명은 액션 로봇용 단말기 및 그의 동작 방법에 관한 것이다.
보다 상세하게는, 사용자가 액션 로봇의 움직임을 제어하는 모션 데이터를 용이하게 관리 가능한 액션 로봇용 단말기 및 그의 동작 방법에 관한 것이다.
로봇 기술이 발달함에 따라 관절이나 바퀴 등을 모듈화하여 로봇을 구축하는 방법이 사용되고 있다. 예컨대, 로봇을 구성하는 다수의 액츄에이터 모듈(actuator module)을 전기적, 기계적으로 연결 및 조립하여 강아지, 공룡, 인간, 거미 등 다양한 형태의 로봇을 만들 수 있도록 하고 있다.
이러한 다수의 액츄에이터 모듈을 조립함으로써 제작될 수 있는 로봇을 통상적으로 모듈러 로봇(modular robot)이라 한다. 모듈러 로봇을 구성하는 각 액츄에이터 모듈은 내부에 모터가 구비되어 모터의 회전에 따라 로봇의 모션(motion)이 실행된다. 이러한 로봇의 모션은 동작, 춤 등과 같은 로봇의 움직임을 통칭하는 개념이다.
최근에는 엔터테인먼트용 로봇이 두각을 나타내면서 오락이나 사람의 흥미를 돋우기 위한 로봇에 대한 관심이 높아지고 있다. 예컨대 음악에 맞춰 춤을 추거나 이야기(동화 등)에 맞춰 모션이나 표정을 취하도록 하는 기술들이 개발되고 있다.
이는 음악이나 동화에 맞는 다수의 모션들을 미리 설정해 두고 외부장치에서 음악이나 동화가 재생되면 그에 맞게 미리 설정된 모션을 실행시킴으로써 액션 로봇이 모션을 수행하는 것이다.
그러나, 종래기술은 다양한 콘텐츠들 각각에 대해 모션 데이터를 생성하기 위한 인터페이스 등을 제공하지 못하고, 제조사에 의해 제공되는 일부 콘텐츠들에 대한 기 정의된 모션 데이터만을 이용하여 액션 로봇이 모션을 취하도록 하는 것에 불과하였다.
사용자는 액션 로봇과 같은 로봇을 통해 상기 음악 등 다양한 멀티미디어 콘텐츠를 이용하고자 할 수 있다. 이를 위해서는 상기 멀티미디어 콘텐츠 및 그와 대응하는 모션 데이터를 통합 관리하고, 사용자가 원하는 콘텐츠를 제공할 수 있는 시스템(서버 등)의 구현이 필요하다.
또한, 사용자가 액션 로봇의 모션 데이터를 자유롭게 생성, 편집, 판매 또는 구매하거나, 동영상 등으로부터 모션 데이터를 추출하는 방법이 필요할 수 있다.
본 발명은 액션 로봇의 움직임을 제어하는 모션 데이터를 생성, 추출, 편집, 판매, 및 구매 중 적어도 하나의 기능을 제공하는 액션 로봇용 단말기 및 그의 동작 방법을 제공하고자 한다.
본 발명의 실시 예에 따른 단말기는 모션 데이터를 저장하는 저장부, 액션 로봇으로 모션 데이터를 송신하는 무선 통신부, 모션 데이터를 생성하기 위한 모션 제작 화면을 표시하는 디스플레이부, 모션 제작 화면을 통해 액션 로봇의 모션 파트 각각을 제어하는 모션 파트 데이터를 생성하는 명령을 수신하는 입력부, 및 모션 파트 데이터를 합하여 모션 데이터를 생성하는 제어부를 포함할 수 있다.
제어부는 액션 로봇에서 움직이도록 제어되는 모션 파트와, 모션 파트의 틸팅 각도와, 모션 파트의 회전 각도 중 적어도 하나를 포함하는 모션 파트 데이터를 수신할 수 있다.
제어부는 복수의 모션 파트 데이터를 수신하고, 복수의 모션 파트 데이터 각각에 모션 시간을 설정하여 모션 데이터를 생성할 수 있다.
제어부는 동영상에 포함된 오브젝트의 움직임을 감지하여 모션 데이터를 추출할 수 있다.
제어부는 동영상에서 인식한 오브젝트의 관절 위치를 나타내는 가이드 아이콘을 표시할 수 있다.
제어부는 단말기와 연결된 액션 로봇의 움직임을 감지하고, 감지된 액션 로봇의 움직임을 재현하기 위한 모션 데이터를 생성할 수 있다.
제어부는 저장부에 저장된 모션 데이터 중 어느 하나를 구성하는 모션 파트 데이터를 표시하고, 표시된 모션 파트 데이터 중 적어도 일부를 변경하는 모션 편집 명령을 수신할 수 있다.
제어부는 저장부에 저장된 모션 데이터를 포함하는 모션 리스트를 표시하고, 모션 리스트를 표시하는 경우, 사용자 생성 모션 데이터와 사용자 구매 모션 데이터를 구분하여 표시할 수 있다.
제어부는 사용자 생성 모션 데이터 중 적어도 하나를 판매하기 위한 판매 아이콘을 더 표시할 수 있다.
제어부는 멀티미디어 콘텐츠의 재생에 따라 액션 로봇의 모션을 설정한 모션 데이터의 구매 아이콘을 더 표시할 수 있다.
본 발명의 실시 예에 따르면, 모션 데이터를 자유롭게 생성할 수 있는 기능을 사용자에게 제공함으로써, 액션 로봇의 이용 편의성을 증가시키고, 사용 범위를 넓힐 수 있는 이점이 있다.
또한, 모션 파트와, 틸팅 각도, 회전 각도를 설정할 수 있는 기능을 제공함으로써, 사용자가 액션 로봇의 움직임을 디테일하게 설정 가능하고, 이에 따라 액션 로봇의 움직임을 다양화할 수 있다.
또한, 모션 파트 데이터 각각에 모션 시간을 설정함으로써, 시간의 흐름에 따른 액션 로봇의 움직임을 설정 가능하고, 이에 따라 음악과 같은 멀티미디어 콘텐츠에 따른 액션 로봇의 모션 데이터를 생성 가능한 이점이 있다.
또한, 동영상을 통해 모션 데이터를 추출하거나, 액션 로봇을 직접 움직여 모션 데이터를 생성하는 기능을 제공함으로써, 모션 파트, 틸팅 각도 또는 회전 각도 등을 일일이 설정하지 않아도 모션 데이터를 용이하게 제작 가능한 이점이 있다.
또한, 동영상을 통해 모션 데이터를 추출하는 기능을 제공함으로써, 사용자가 좋아하는 가수의 댄스 등을 액션 로봇이 용이하게 재현 가능한 이점이 있다.
또한, 모션 데이터의 구매 및 판매 기능을 제공함으로써, 사용자간의 모션 데이터 거래가 활발해지고, 이에 따라 사용자는 다양한 종류의 모션 데이터를 용이하게 제공받을 수 있는 이점이 있다.
도 1은 본 발명의 일 실시 예에 따른 액션 로봇용 콘텐츠 판매 서비스의 운영 장치를 포함하는 시스템의 일례를 나타내는 개략적인 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 운영 장치의 개략적인 블록도이다.
도 3은 도 1에 도시된 운영 장치가 콘텐츠 제공 장치로부터 멀티미디어 콘텐츠 및 모션 데이터를 획득하는 예를 설명하기 위한 도면이다.
도 4는 도 1에 도시된 운영 장치가 콘텐츠 제공 장치 및 모션 데이터 생성 장치로부터 멀티미디어 콘텐츠 및 모션 데이터를 획득하는 예를 설명하기 위한 도면이다.
도 5는 도 1에 도시된 운영 장치가 사용자 단말기와 모션 데이터를 송수신하는 예를 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 단말기의 제어 블록도이다.
도 7은 본 발명의 실시 예에 따른 단말기의 동작 방법을 나타내는 순서도이다.
도 8에 도시된 어플리케이션 홈 화면은 예시적인 것으로, 도 8에 도시된 정보 및 아이콘 중 일부가 생략되거나, 다른 정보 또는 다른 아이콘을 더 포함할 수도 있다.
도 9는 본 발명의 실시 예에 따른 모션 제작 화면의 예시 도면이다.
도 10은 본 발명의 실시 예에 따른 동영상 촬영을 통한 모션 추출시 표시하는 촬영 가이드 화면의 예시 도면이다.
도 11 내지 도 12는 본 발명의 실시 예에 따른 동영상 촬영을 통한 모션 추출시 동영상 촬영 화면의 예시 도면이다.
도 13은 본 발명의 실시 예에 따른 동영상 위치 선택 화면의 예시 도면이다.
도 14는 본 발명의 실시 예에 따른 동영상 모션 추출 화면의 예시 도면이다.
도 15는 본 발명의 실시 예에 따른 단말기가 모션 파트 데이터의 생성 명령을 수신하는 방법을 나타내는 예시 도면이다.
도 16은 본 발명의 실시 예에 따른 모션 값 설정 화면의 예시 도면이다.
도 17은 본 발명의 실시 예에 따른 모션 데이터 생성 화면의 예시 도면이다.
도 18은 본 발명의 실시 예에 따른 단말기가 모션 리스트를 표시하는 방법을 나타내는 예시 도면이다.
도 19 내지 도 20은 본 발명의 실시 예에 따른 모션 편집 화면의 예시 도면이다.
도 21은 본 발명의 실시 예에 따른 액션 로봇 콘텐츠의 스토어 화면의 예시 도면이다.
도 22는 본 발명의 실시 예에 따른 콘텐츠 상세 화면의 예시 도면이다.
도 23은 본 발명의 실시 예에 따른 사용자 계정 화면의 예시 도면이다.
도 24는 본 발명의 실시 예에 따른 모션 리스트를 통한 모션 판매 명령의 수신 방법을 설명하기 위한 예시 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 액션 로봇용 콘텐츠 판매 서비스의 운영 장치를 포함하는 시스템의 일례를 나타내는 개략적인 블록도이다.
도 1을 참조하면, 액션 로봇용 콘텐츠 판매 서비스는 콘텐츠 판매 서비스의 전반적인 운영 및 관리를 수행하는 콘텐츠 판매 서비스 운영자(10), 멀티미디어 콘텐츠를 제공하는 적어도 하나의 콘텐츠 제공자(20), 멀티미디어 콘텐츠에 대응하는 모션 데이터를 제공하는 적어도 하나의 모션 데이터 제작자(30), 및 액션 로봇 콘텐츠를 구매하여 이용하는 사용자(40)로 구성될 수 있다.
도 1에서 사용자(40)는 제1 사용자(40a)와 제2 사용자(40b)만 도시되어 있으나, 이는 설명의 편의를 위해 예시로 든 것에 불과하며, 사용자의 수는 제한되지 않는다.
콘텐츠 판매 서비스 운영자(10)는 콘텐츠 판매 서비스 운영 장치(100; 이하 '운영 장치'라 함)와 데이터베이스(150)를 통해 콘텐츠 판매 서비스의 운영 및 관리를 수행할 수 있다. 콘텐츠 제공자(20)는 콘텐츠 제공 장치(21)를 통해 멀티미디어 콘텐츠 및/또는 모션 데이터를 운영 장치(100)로 제공할 수 있다. 모션 데이터 제작자(30)는 모션 데이터 생성 장치(31)를 통해 특정 멀티미디어 콘텐츠에 대응하는 모션 데이터를 제작(생성)하고, 생성된 모션 데이터를 운영 장치(100)로 제공할 수 있다.
복수의 사용자들(40) 각각은 단말기(41)를 통해 운영 장치(100)로 액션 로봇 콘텐츠의 구매를 요청하고, 단말기(41) 또는 액션 로봇(42)으로 액션 로봇 콘텐츠를 수신할 수 있다. 마찬가지로, 도 1에서, 단말기(41)는 제1 단말기(41a)와 제2 단말기(41b)만 도시되고, 액션 로봇(42)은 제1 액션 로봇(42a)과 제2 액션 로봇(42b)만 도시되어 있으나, 이는 설명의 편의를 위해 예시로 든 것에 불과하며, 사용자의 수는 제한되지 않는다.
상기 액션 로봇 콘텐츠는 멀티미디어 콘텐츠와, 상기 멀티미디어 콘텐츠에 대응하는 모션 데이터를 포함할 수 있다. 상기 멀티미디어 콘텐츠는 음악, 동화, 교육, 대화 등의 다양한 콘텐츠를 포함할 수 있다.
예컨대, 멀티미디어 콘텐츠가 음악인 경우, 상기 모션 데이터는 음악에 대응하는 춤(안무)을 나타낼 수 있다. 상기 멀티미디어 콘텐츠가 동화, 교육 콘텐츠, 또는 대화 콘텐츠인 경우, 상기 모션 데이터는 콘텐츠와 관련된 인물이나 캐릭터의 움직임이나 포즈, 감정 표현, 리액션 등의 다양한 모션을 나타낼 수 있다.
실시 예에 따라, 액션 로봇 콘텐츠는 특정 멀티미디어 콘텐츠에 대응하는 모션 데이터만을 포함하거나, 상기 모션 데이터 및 모션 데이터의 발현 조건 정보를 포함할 수 있다. 액션 로봇 콘텐츠에 대해서는 추후 도 3 내지 도 4를 통해 보다 상세히 설명하기로 한다.
이하 도 1에 도시된 각 구성에 대해 개략적으로 설명한다.
운영 장치(100)는 사용자의 단말기(41a, 41b)로 액션 로봇 콘텐츠(또는 멀티미디어 콘텐츠)의 정보(리스트 등)를 제공하고, 단말기(41a, 41b)로부터 액션 로봇 콘텐츠의 구매 요청을 수신할 수 있다. 수신된 구매 요청에 기초하여, 운영 장치(100)는 사용자가 보유한 액션 로봇(42a, 42b)에 대응하는 모션 데이터를 갖는 액션 로봇 콘텐츠를 생성하고, 생성된 액션 로봇 콘텐츠를 액션 로봇(42a, 42b)으로 제공할 수 있다. 실시 예에 따라, 운영 장치(100)는 생성된 액션 로봇 콘텐츠를 단말기(41a, 41b)를 통해 액션 로봇(42a, 42b)으로 제공할 수도 있다.
이러한 운영 장치(100)는 서버 등의 컴퓨팅 장치로 구현되고, 상술한 동작들을 수행하기 위한 복수의 구성들을 포함할 수 있다. 상기 복수의 구성들에 대해서는 추후 도 2를 참조하여 보다 상세히 설명한다.
데이터베이스(150)는 콘텐츠 판매 서비스의 제공과 관련된 다양한 정보를 저장할 수 있다. 예컨대, 데이터베이스(150)는 콘텐츠 DB(152) 및 사용자 DB(154)를 포함할 수 있다.
운영 장치(100)는 콘텐츠 제공자의 콘텐츠 제공 장치(21)로부터 획득되는 멀티미디어 콘텐츠를 콘텐츠 DB(152)에 저장할 수 있다. 또한, 운영 장치(100)는 콘텐츠 제공 장치(21) 또는 모션 데이터 생성 장치(31)로부터 획득되는 모션 데이터를 콘텐츠 DB(152)에 저장할 수 있다.
콘텐츠 DB(152)에는 복수의 콘텐츠 데이터가 저장될 수 있다. 예컨대, 상기 복수의 콘텐츠 데이터 각각은 액션 로봇 콘텐츠의 생성을 위한 멀티미디어 콘텐츠, 및/또는 상기 멀티미디어 콘텐츠에 대한 적어도 하나의 모션 데이터를 포함할 수 있다. 상기 적어도 하나의 모션 데이터 각각은, 다양한 종류의 액션 로봇들 중 적어도 하나에 대응할 수 있다. 즉, 액션 로봇은 콘텐츠 데이터에 포함된 적어도 하나의 모션 데이터 중, 상기 액션 로봇에 대응하는 모션 데이터를 처리하여 모션을 제공할 수 있다.
사용자 DB(154)에는 콘텐츠 판매 서비스를 이용하는 복수의 사용자들 각각의 사용자 데이터가 저장될 수 있다. 예컨대, 사용자 데이터는 사용자의 식별 정보(예컨대, ID 등), 사용자의 보유 액션 로봇 정보(예컨대, 모델 정보), 액션 로봇의 IP 주소 정보, 사용자의 콘텐츠 구매 내역 등을 포함할 수 있다.
실시 예에 따라, 데이터베이스(150)는 운영 장치(100)와 일체로 구성될 수도 있다.
콘텐츠 제공 장치(21)는 운영 장치(100)로 멀티미디어 콘텐츠를 제공하는 컴퓨팅 장치로 구현될 수 있다. 예컨대, 콘텐츠 제공 장치(21)는 콘텐츠 제공자(20)에 의해 운영되는 서버로 구현될 수 있다. 실시 예에 따라, 콘텐츠 제공 장치(21)는 PC, 스마트폰, 태블릿 PC 등의 단말기를 포함할 수도 있다.
모션 데이터 생성 장치(31)는 운영 장치(100)로 특정 멀티미디어 콘텐츠에 대한 모션 데이터를 제공하는 컴퓨팅 장치로 구현될 수 있다. 예컨대, 콘텐츠 판매 서비스 운영자(10)는 운영 장치(100) 또는 다른 컴퓨팅 장치를 통해, 모션 데이터 생성 장치(31)로 모션 데이터의 생성을 위한 어플리케이션을 제공할 수 있다.
모션 데이터 제작자(30)는 모션 데이터 생성 장치(31)에서 실행되는 어플리케이션을 통해, 멀티미디어 콘텐츠에 대한 모션 데이터를 생성할 수 있다. 모션 데이터 생성 장치(31)는 생성된 모션 데이터를 운영 장치(100)로 전송(업로드)할 수 있다. 운영 장치(100)는 수신된 모션 데이터를 콘텐츠 DB(152)에 저장하거나, 상기 모션 데이터 및 상기 모션 데이터에 대응하는 멀티미디어 콘텐츠를 콘텐츠 DB(152)에 함께 저장할 수 있다.
한편, 단말기(41)는 액션 로봇의 모션과 관련된 어플리케이션을 제공받을 수 있고, 단말기(41)에 제공되는 어플리케이션과 모션 데이터 생성 장치(31)에 제공되는 어플리케이션은 동일하거나, 유사할 수 있다.
한편, 콘텐츠 제공자(20)가 직접 모션 데이터를 생성하여 운영 장치(100)로 제공하는 경우, 콘텐츠 제공자(20)는 모션 데이터 제작자(30)에 포함될 수 있다.
단말기(41a, 41b)는 구매 가능한 액션 로봇 콘텐츠에 대응하는 멀티미디어 콘텐츠의 리스트를 제공하고, 사용자(40a, 40b)로부터 특정 액션 로봇 콘텐츠의 구매 요청을 수신할 수 있다. 이러한 단말기(41a, 41b)는 스마트폰, 태블릿 PC, 노트북 PC, PC 등을 포함할 수 있다.
예컨대, 상기 리스트는, 데이터베이스(150) 내에 대응하는 모션 데이터가 존재하는 적어도 하나의 멀티미디어 콘텐츠의 리스트를 포함할 수 있다. 단말기(41a, 41b)는 상기 리스트를 디스플레이 등을 통해 출력하고, 사용자는 상기 리스트에 포함된 적어도 하나의 멀티미디어 콘텐츠 중 원하는 멀티미디어 콘텐츠를 선택함으로써, 상기 멀티미디어 콘텐츠에 대응하는 액션 로봇 콘텐츠의 구매 요청을 입력할 수 있다. 단말기(41a, 41b)는 입력된 구매 요청을 운영 장치(100)로 전송할 수 있다.
운영 장치(100)는 수신된 구매 요청에 기초하여, 사용자의 액션 로봇(42a, 42b)으로 액션 로봇 콘텐츠를 전송할 수 있다.
액션 로봇(42a, 42b)은, 복수의 모터들을 포함하는 액츄에이터 모듈을 갖는 로봇 구동부를 통해 적어도 하나의 관절의 움직임을 제어하여, 춤이나 모션 등의 동작을 수행하는 로봇에 해당한다. 또한, 액션 로봇(42a, 42b)은 음악, 영상 등의 시각 또는 청각적 형태로 구현된 멀티미디어 콘텐츠를 출력하는 스피커 및/또는 디스플레이를 포함할 수 있다. 이에 따라, 액션 로봇(42a, 42b)은 액션 로봇 콘텐츠에 포함된 멀티미디어 콘텐츠 및 그에 대응하는 모션 데이터를 처리 및 출력함으로써 사용자에게 보다 생동감있는 콘텐츠의 제공이 가능하다.
실시 예에 따라 상기 액션 로봇(42a, 42b)은, 컴퓨팅 장치(PC 등)에 포함된 로봇 시뮬레이터 상에서 구현되는 액션 로봇을 포함할 수도 있다. 상기 로봇 시뮬레이터는 액션 로봇(42a, 42b)을 상기 컴퓨팅 장치의 디스플레이 등을 통해 그래픽 형태로 출력할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 운영 장치의 개략적인 블록도이다.
도 2를 참조하면, 운영 장치(100)는 통신부(102), 메모리(104), 및 제어부(110)를 포함할 수 있다. 도 2에 도시된 구성들은 운영 장치(100)를 구현하는 데 있어 필수적인 것은 아닌 바, 운영 장치(100)는 보다 많거나 적은 구성 요소들을 포함할 수 있다.
통신부(102)는, 운영 장치(100)를 데이터베이스(150)와 연결시키거나, 네트워크를 통해 운영 장치(100)를 콘텐츠 제공 장치(21), 모션 데이터 생성 장치(31), 단말기(41a, 41b), 액션 로봇(42a, 42b) 등과 연결하기 위한 적어도 하나의 통신 모듈을 포함할 수 있다. 예컨대, 통신부(102)는 Wi-Fi 등의 무선 인터넷 모듈, LTE(long term evolution) 등의 이동 통신 모듈과 같은 무선 통신 방식을 지원하는 모듈이나, 유선 인터넷 모듈 등의 유선 통신 방식을 지원하는 모듈을 포함할 수 있다.
도 1에서 상술한 바와 같이, 운영 장치(100)는 통신부(102)를 통해 연결된 콘텐츠 제공 장치(21)로부터 멀티미디어 콘텐츠 및/또는 모션 데이터를 수신하거나, 모션 데이터 생성 장치(31)로부터 모션 데이터를 수신할 수 있다. 또한, 운영 장치(100)는 통신부(102)를 통해 연결된 단말기(41a, 41b)로 구매 가능한 액션 로봇 콘텐츠에 대응하는 멀티미디어 콘텐츠의 리스트를 전송하거나, 단말기(41a, 41b)로부터 액션 로봇 콘텐츠의 구매 요청을 수신할 수 있다. 또한, 운영 장치(100)는 통신부(102)를 통해 액션 로봇(42a, 42b)으로 액션 로봇 콘텐츠를 전송할 수 있다.
메모리(104)에는, 운영 장치(100)에 포함된 구성 요소들의 동작을 제어하기 위한 제어 데이터, 통신부(102) 등을 통해 획득된 요청이나 명령에 대응하는 동작을 수행하기 위한 데이터 등의 각종 데이터가 저장될 수 있다.
또한, 메모리(104)에는 후술할 콘텐츠 DB 관리 모듈(112), 사용자 DB 관리 모듈(113), 액션 로봇 콘텐츠 생성 모듈(114), 콘텐츠 판매 관리 모듈(115), 및 수익 산출 모듈(116) 각각의 동작을 위한 프로그램 데이터가 저장될 수 있다. 제어부(110)의 프로세서(111) 또는 다른 컨트롤러는 상기 프로그램 데이터에 기초하여 모듈들(112~116) 각각의 동작을 제어할 수 있다.
실시 예에 따라, 도 1의 데이터베이스(150)가 운영 장치(100)와 일체의 구성으로 구현된 경우, 메모리(104)는 데이터베이스(150)까지도 포함하는 개념으로 이해될 수 있다.
이러한 메모리(104)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기를 포함할 수 있다.
제어부(110)는 모션 생성 장치(20)의 동작을 제어하는 적어도 하나의 프로세서나 컨트롤러 등을 포함할 수 있다. 구체적으로, 상기 적어도 하나의 프로세서나 컨트롤러 각각은, CPU, AP(application processor), 마이크로컴퓨터(또는 마이컴), 집적 회로, ASIC(application specific integrated circuit) 등으로 구현될 수 있다.
예컨대, 제어부(110)에 포함된 프로세서(111)는, 운영 장치(100)에 포함된 구성들의 전반적인 동작을 제어할 수 있다.
특히, 프로세서(111)는 메모리(104)에 저장된 모듈들(112~116) 각각의 프로그램 데이터를 로드함에 따라, 상기 모듈들(112~116) 각각을 실행할 수 있다. 즉, 모듈들(112~116) 각각의 동작은, 프로세서(111) 또는 제어부(110)에 포함된 다른 프로세서나 컨트롤러에 의해 제어될 수 있다.
콘텐츠 DB 관리 모듈(112)은, 콘텐츠 DB(152)에 저장되는 복수의 콘텐츠 데이터의 생성, 변경, 삭제 등과 같은 상기 복수의 콘텐츠 데이터의 관리를 수행할 수 있다.
구체적으로, 콘텐츠 DB 관리 모듈(112)은 콘텐츠 제공 장치(21)로부터 수신되는 멀티미디어 콘텐츠와, 모션 데이터 생성 장치(31)로부터 제공되는 상기 멀티미디어 콘텐츠에 대한 모션 데이터를 포함하는 콘텐츠 데이터를 생성하고, 생성된 콘텐츠 데이터를 콘텐츠 DB(152)에 저장할 수 있다. 실시 예에 따라, 모션 데이터는 콘텐츠 제공 장치(21)로부터 수신될 수도 있다.
한편, 콘텐츠 데이터 내에는, 멀티미디어 콘텐츠에 대응하는 복수의 모션 데이터가 포함될 수도 있다. 상기 복수의 모션 데이터는 적어도 하나의 모션 데이터 생성 장치(31)로부터 수신된 것일 수 있다. 상기 복수의 모션 데이터 각각은 다양한 종류의 액션 로봇들 중 적어도 하나에 대응할 수 있다.
콘텐츠 DB 관리 모듈(112)은 콘텐츠 DB(152)에 저장된 멀티미디어 콘텐츠에 대한 모션 데이터가 모션 데이터 생성 장치(31)로부터 추가로 수신되는 경우, 상기 수신된 모션 데이터를 포함하도록 상기 멀티미디어 콘텐츠에 대응하는 콘텐츠 데이터를 변경할 수 있다.
또한, 콘텐츠 DB 관리 모듈(112)은 콘텐츠 제공 장치(21) 또는 모션 데이터 생성 장치(31)로부터 수신되는 삭제 요청에 응답하여, 콘텐츠 DB(152)에 저장된 멀티미디어 콘텐츠 및/또는 모션 데이터를 삭제할 수도 있다.
한편, 콘텐츠 DB 관리 모듈(112)은 사용자의 단말기로부터 수신되는 구매 요청에 응답하여, 상기 구매 요청에 대응하는 콘텐츠 데이터를 콘텐츠 DB(152)로부터 로드할 수 있다. 콘텐츠 DB 관리 모듈(112)은 로드된 콘텐츠 데이터에 포함된 멀티미디어 콘텐츠 및 모션 데이터를 액션 로봇 콘텐츠 생성 모듈(114)로 제공할 수 있다. 실시 예에 따라, 콘텐츠 DB 관리 모듈(112)은 콘텐츠 데이터 내에 복수의 모션 데이터가 포함된 경우, 사용자의 액션 로봇에 대응하는 모션 데이터를 상기 액션 로봇 콘텐츠 생성 모듈(114)로 제공할 수 있다.
콘텐츠 DB 관리 모듈(112)과 관련된 동작에 대해서는 추후 다른 도면들을 통해 보다 구체적으로 설명하기로 한다.
사용자 DB 관리 모듈(113)은, 사용자 DB(154)에 저장되는 복수의 사용자 데이터의 생성, 변경, 삭제 등의 관리를 수행할 수 있다.
특히, 사용자 DB 관리 모듈(113)은 사용자의 단말기로부터 수신되는 액션 로봇 콘텐츠의 구매 요청에 응답하여, 상기 사용자에 대한 사용자 데이터를 사용자 DB(154)로부터 로드할 수 있다.
사용자 DB 관리 모듈(113)은 로드된 사용자 데이터에 포함된 액션 로봇 정보(예컨대, 모델 정보)를 콘텐츠 DB 관리 모듈(112)로 제공할 수 있다. 또한, 사용자 DB 관리 모듈(113)은 로드된 사용자 데이터에 포함된 액션 로봇의 주소 정보(예컨대, IP 주소)를 프로세서(111)로 제공할 수 있다.
액션 로봇 콘텐츠 생성 모듈(114)은, 콘텐츠 DB 관리 모듈(112)로부터 제공된 멀티미디어 콘텐츠와 모션 데이터를 포함하는 액션 로봇 콘텐츠를 생성할 수 있다. 실시 예에 따라, 사용자의 액션 로봇에 대응하는 모션 데이터가 복수인 경우, 액션 로봇 콘텐츠 생성 모듈(114)은 복수의 모션 데이터 중 사용자가 단말기를 통해 선택한 모션 데이터를 포함하는 액션 로봇 콘텐츠를 생성할 수도 있다.
프로세서(111)는 액션 로봇 콘텐츠 생성 모듈(114)에 의해 액션 로봇 콘텐츠가 생성되면, 상기 액션 로봇의 주소 정보에 기초하여 상기 액션 로봇 콘텐츠를 사용자의 액션 로봇으로 전송할 수 있다.
한편, 운영 장치(100)는 액션 로봇 콘텐츠에 포함된 멀티미디어 콘텐츠와 모션 데이터 각각의 판매 정보에 기초하여, 콘텐츠 제공자(20)와 모션 데이터 제작자(30)의 수익을 산출할 수 있다.
콘텐츠 판매 관리 모듈(115)은, 사용자들의 액션 로봇들로 제공(판매)되는 멀티미디어 콘텐츠와 모션 데이터 각각의 판매 정보(예컨대, 판매량)를 관리할 수 있다.
수익 산출 모듈(116)은, 상기 멀티미디어 콘텐츠의 판매량에 기초하여 콘텐츠 제공자(20)의 수익을 산출하고, 상기 모션 데이터의 판매량에 기초하여 모션 데이터 제작자(30)의 수익을 산출할 수 있다. 콘텐츠 판매 서비스 운영자(10)는 수익 산출 모듈(116)에 의해 산출된 수익에 기초하여, 콘텐츠 제공자(20) 및 모션 데이터 제작자(30) 각각으로, 각각의 수익에 대응하는 비용을 제공할 수 있다.
<액션 로봇 콘텐츠의 구성 관련>
도 3은 도 1에 도시된 운영 장치가 콘텐츠 제공 장치로부터 멀티미디어 콘텐츠 및 모션 데이터를 획득하는 예를 설명하기 위한 도면이다.
이하 도면들에서는, 멀티미디어 콘텐츠가 음악 콘텐츠인 경우를 가정하여 설명하나, 이하 실시 예들은 음악 콘텐츠가 아닌 다른 다양한 멀티미디어 콘텐츠(교육 콘텐츠, 대화 콘텐츠, 게임 콘텐츠, 동화 콘텐츠 등)에도 실질적으로 동일하게 적용될 수 있다.
도 3을 참조하면, 멀티미디어 콘텐츠 및 모션 데이터는 콘텐츠 제공 장치(21)로부터 제공될 수 있다. 즉, 콘텐츠 제공자(20)는 콘텐츠 제공 장치(21)를 통해, 상기 멀티미디어 콘텐츠에 대한 모션 데이터를 직접 생성하여 운영 장치(100)로 제공할 수 있다.
운영 장치(100)는 콘텐츠 제공 장치(21)로부터 멀티미디어 콘텐츠(예컨대, 음악 콘텐츠(301)) 및 모션 데이터(302)를 포함하는 콘텐츠 데이터(300)를 수신하고, 수신된 콘텐츠 데이터(300)를 콘텐츠 DB(152)에 저장할 수 있다.
실시 예에 따라, 콘텐츠 데이터(300)는 모션 발현 조건 정보(303)를 더 포함할 수 있다. 상기 모션 발현 조건 정보(303)는, 멀티미디어 콘텐츠(301)에 대한 모션 데이터를 모션 데이터 제작자(30)가 생성하기 위한 가이드 정보 또는 주요 모션에 대한 정보를 포함할 수 있다.
구체적으로, 모션 데이터(302)는 상기 음악 콘텐츠(301)와 관련된 모션을 위한 관절들의 제어값들(예컨대, 회전 각도), 또는 모터들의 제어 정보를 포함할 수 있다. 이 경우, 모션 데이터(302)는 상기 관절들을 포함하는 액션 로봇에 의해 처리될 수 있고, 상기 관절들 중 일부를 포함하지 않는 액션 로봇에 의해서는 처리되지 못할 수 있다.
이에 따라, 모션 발현 조건 정보(303)는 멀티미디어 콘텐츠(301)와 관련된 모션들 중 주요 모션들의 구현을 위한 가이드 정보 또는 관절들 각각의 회전 각도 정보 등을 포함할 수 있다.
실시 예에 따라, 콘텐츠 제공 장치(21)로부터 제공되는 모션 데이터(302)는, 특정 액션 로봇에 대응하는 모션 데이터가 아닌, 액션 로봇들 각각에 대응하는 모션 데이터의 생성을 위한 기준 모션 데이터일 수 있다.
프로세서(111)는 상기 모션 발현 조건 정보(303) 또는 상기 기준 모션 데이터를 모션 데이터 생성 장치(31)로 제공할 수 있다. 모션 데이터 제작자는 상기 모션 발현 조건 정보(303) 또는 기준 모션 데이터에 기초하여, 특정 액션 로봇에 대응하는 모션 데이터를 보다 편리하게 생성할 수 있다.
도 4는 도 1에 도시된 운영 장치가 콘텐츠 제공 장치 및 모션 데이터 생성 장치로부터 멀티미디어 콘텐츠 및 모션 데이터를 획득하는 예를 설명하기 위한 도면이다.
도 4를 참조하면, 운영 장치(100)는 콘텐츠 제공 장치(21)로부터 멀티미디어 콘텐츠(예컨대, 음악 콘텐츠(401))를 획득하고, 음악 콘텐츠(401)에 대한 모션 데이터(402)를 모션 데이터 생성 장치(31)로부터 획득할 수 있다.
운영 장치(100)는 획득된 음악 콘텐츠(401)와 모션 데이터(402)를 포함하는 콘텐츠 데이터(400)를 콘텐츠 DB(152)에 저장할 수 있다. 실시 예에 따라, 운영 장치(100)는 복수의 모션 데이터 생성 장치로부터 음악 콘텐츠(401)에 대한 서로 다른 모션 데이터(402)를 획득할 수 있다. 이 경우, 콘텐츠 데이터(400)는 복수의 모션 데이터를 포함할 수도 있다.
예컨대, 다양한 종류의 액션 로봇들이 존재하고, 액션 로봇들 각각의 관절 위치나 수 등이 서로 다른 경우, 액션 로봇들 각각에 대응하는 모션 데이터가 필요할 수 있다. 액션 로봇들 각각에 대응하는 복수의 모션 데이터를 콘텐츠 제공자(20)가 모두 제작하는 것은 어려울 수 있으므로, 모션 데이터(402)는 복수의 모션 데이터 제작자들에 의해 생성되어 제공될 수 있다.
실시 예에 따라, 운영 장치(100)는 모션 데이터 생성 장치(31)로부터 모션 데이터(402)에 대한 액션 로봇 호환 정보(403)를 더 획득할 수 있다. 운영 장치(100)는 음악 콘텐츠(401), 모션 데이터(402), 및 액션 로봇 호환 정보(403)를 포함하는 콘텐츠 데이터(400)를 콘텐츠 DB(152)에 저장할 수 있다.
액션 로봇 호환 정보(403)는 모션 데이터(402)를 처리가능한 적어도 하나의 액션 로봇에 대한 정보(예컨대, 모델 정보 등)를 포함할 수 있다. 실시 예에 따라, 액션 로봇 호환 정보(403)는 도 3의 모션 발현 조건 정보(303)에 대응할 수도 있다.
다른 실시 예에 따라, 콘텐츠 데이터(400)는 멀티미디어 콘텐츠를 포함하지 않을 수도 있다. 이 경우, 콘텐츠 데이터(400)는 모션 데이터(402), 액션 로봇 호환 정보(403), 및 모션 데이터(402)가 어느 멀티미디어 콘텐츠에 대응하는지를 나타내는 정보를 포함할 수 있다.
도 5는 도 1에 도시된 운영 장치가 사용자 단말기와 모션 데이터를 송수신하는 예를 설명하기 위한 도면이다.
운영 장치(100)는 콘텐츠 제공 장치(21) 및 모션 데이터 생성 장치(31)로부터 수신한 콘텐츠 데이터(400)를 콘텐츠 DB(152)에 저장할 수 있다.
또한, 운영 장치(100)는 사용자(40a, 40b)와 콘텐츠 데이터(400)를 송수신할 수 있다. 구체적으로, 운영 장치(100)가 단말기(41a, 41b) 및 액션 로봇(42a, 42b) 중 적어도 하나로 콘텐츠 데이터(400)를 전송하거나, 단말기(41a, 41b)가 운영 장치(100)로 콘텐츠 데이터(400)를 전송할 수 있다.
콘텐츠 데이터(400)는 음악 콘텐츠(401), 모션 데이터(402) 및 액션 로봇 호환 정보(403) 중 적어도 하나를 포함할 수 있다.
사용자(40a, 40b)는 단말기(41a, 41b)를 통해 운영 장치(100)에서 음악 콘텐츠(401) 및 모션 데이터(402) 중 적어도 하나를 구매할 수 있다. 또는, 사용자(40a, 40b)는 단말기(41a, 41b)를 통해 콘텐츠 제공자(20), 모션 데이터 제작자(30) 및 다른 사용자 중 적어도 하나에게 모션 데이터(402)를 판매할 수 있다.
단말기(41a, 41b)는 모션 데이터의 생성, 추출, 편집, 판매 및 구매 중 적어도 하나를 수행할 수 있다.
도 6은 본 발명의 실시 예에 따른 단말기의 제어 블록도이다.
단말기(41)는 제어부(210), 무선 통신부(220), 입력부(230), 디스플레이부(240), 음향 출력부(250), 저장부(260) 및 전원 공급부(270) 중 적어도 하나를 포함할 수 있다.
제어부(210)는 단말기(41)의 동작을 제어할 수 있다. 제어부(210)는 무선 통신부(220), 입력부(230), 디스플레이부(240), 음향 출력부(250), 저장부(260) 및 전원 공급부(270) 각각을 제어할 수 있다.
무선 통신부(220)는 단말기(41)와 외부 장치 사이에서 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 무선 통신부(220)는 운영 장치(100) 및 액션 로봇(42) 중 적어도 하나와 무선 통신할 수 있다.
제어부(210)는 무선 통신부(220)를 제어하여 운영 장치(100)와 콘텐츠 데이터(400)를 송수신할 수 있다. 또한, 무선 통신부(220)는 다른 단말기로 콘텐츠 데이터(400)를 직접 전송할 수도 있다.
무선 통신부(220)는 액션 로봇(42)과 콘텐츠 데이터(400)를 송수신할 수도 있다. 무선 통신부(220)는 단말기(41)에 연결된 액션 로봇(42)과 콘텐츠 데이터(400)를 송수신할 수 있다.
입력부(230)는 영상 신호 입력을 위한 카메라(231), 오디오 신호 입력을 위한 마이크로폰(233), 사용자로부터 정보를 입력 받기 위한 사용자 입력부(235)를 포함할 수 있다. 사용자 입력부(235)는 터치키(touch key), 푸시키(mechanical key) 등을 포함할 수 있다.
디스플레이부(240)는 정보를 표시할 수 있다. 예를 들어, 디스플레이부(240)는 모션 제작 화면, 모션 시뮬레이션 등을 표시할 수 있다.
디스플레이부(240)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다.
음향 출력부(250)는 오디오 신호를 출력할 수 있다.
저장부(260)는 단말기(41a, 41b)의 동작에 필요한 데이터 및 정보를 저장할 수 있다. 저장부(260)는 콘텐츠 데이터(400)를 저장할 수 있다. 저장부(260)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
전원 공급부(270)는 제어부(210)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 전원 공급부(270)는 배터리를 포함하며, 배터리는 충전 가능하도록 이루어지는 내장형 배터리가 될 수 있으며, 충전 등을 위하여 단말기 바디에 착탈 가능하게 결합될 수 있다.
도 7은 본 발명의 실시 예에 따른 단말기의 동작 방법을 나타내는 순서도이다.
본 발명의 실시 예에 따른 단말기(41)는 액션 로봇의 모션과 관련된 어플리케이션(이하, '어플리케이션'이라고 한다.)을 설치하고, 실행할 수 있다. 단말기(41)는 어플리케이션을 통해 액션 로봇의 모션 데이터를 생성, 추출, 편집, 판매 및 구매 중 적어도 하나를 수행할 수 있다.
단말기(41)는 운영 장치(100), 콘텐츠 제공자(20) 및 모션 데이터 제작자(30) 중 적어도 하나로부터 어플리케이션을 제공받을 수 있다. 한편, 모션 데이터 생성 장치(31)가 제공받는 어플리케이션은 단말기(41)에서 실행되는 어플리케이션과 동일 또는 유사할 수 있다.
디스플레이부(240)는 어플리케이션의 홈 화면을 표시할 수 있다(S11).
어플리케이션은 액션 로봇(42)의 모션 데이터를 생성, 추출, 편집, 판매 및 구매 중 적어도 하나의 기능을 제공하는 어플리케이션일 수 있다.
도 8은 본 발명의 실시 예에 따른 어플리케이션의 홈 화면을 나타내는 예시 도면이다.
단말기(41)의 디스플레이부(240)는 도 8에 도시된 바와 같은 어플리케이션의 홈 화면(1000)을 표시할 수 있다. 그러나, 도 8에 도시된 어플리케이션의 홈 화면(1000)은 설명의 편의를 위해 예시로 든 것에 불과하므로, 이에 제한되지 않는다.
어플리케이션의 홈 화면(1000)은 단말기(41)에 설치된 어플리케이션의 실행시 맨 처음 표시되는 화면일 수 있다.
어플리케이션의 홈 화면(1000)은 액션 로봇 연결 아이콘(1010), 선택 정보(1020), 모션 업데이트 정보(1030), 음성 인식 아이콘(1040), 홈 아이콘(1050), 콘텐츠 아이콘(1060), 모션 추가 아이콘(1070), 정보 아이콘(1080) 및 사용자 아이콘(1090) 중 적어도 하나를 포함할 수 있다.
액션 로봇 연결 아이콘(1010)은 어느 하나의 액션 로봇(42)과 연결하기 위한 아이콘일 수 있다. 제어부(210)는 액션 로봇 연결 아이콘(1010)의 선택 명령을 수신하면, 액션 로봇(42)과의 연결 상태 및 연결된 액션 로봇(42)의 정보 중 적어도 하나를 포함하는 액션 로봇 연결 화면(미도시)을 표시할 수 있다.
액션 로봇 연결 화면(미도시)은 단말기(41)와 액션 로봇(42)의 연결 상태(예를 들어, 정상 연결, 미연결, 연결 오류 등), 단말기(41)와 연결된 액션 로봇(42)의 정보(예를 들어, 모델 정보, ID) 등을 포함할 수 있다.
선택 정보(1020)는 사용자가 어플리케이션을 통해 미리 선택한 정보를 포함할 수 있다. 선택 정보(1020)는 특정 멀티미디어 콘텐츠와 관련된 정보일 수 있고, 여기서 특정 멀티미디어 콘텐츠는 단말기(41)와 연결된 액션 로봇(42)의 모델과 관련된 콘텐츠일 수 있다.
예를 들어, 단말기(41)와 연결된 액션 로봇(42)의 모델이 A 아티스트인 경우, 선택 정보(1020)는 A 아티스트의 스케쥴(schedule), 뉴스(news) 및 SNS 중 적어도 하나를 포함할 수 있다. 또한, 단말기(41)와 연결된 액션 로봇(42)의 모델이 B 교육 캐릭터인 경우, 선택 정보(1020)는 B 교육 캐릭터와 관련된 새로운 컨텐츠 소식 등을 포함할 수 있다.
모션 업데이트 정보(1030)는 단말기(41)와 연결된 액션 로봇(42)의 모션 데이터 소식을 포함할 수 있다. 예를 들어, 모션 업데이트 정보(1030)는 운영 장치(100)에 추가된 액션 로봇(42)의 모션 데이터 정보를 포함할 수 있다.
제어부(210)는 모션 업데이트 정보(1030)의 선택 명령을 수신하면, 선택된 모션 업데이트 정보(1030)에 따른 모션 정보 화면을 표시할 수 있다. 모션 정보 화면은 도 22에서 후술하기로 한다.
음성 인식 아이콘(1040)은 음성 명령을 입력받는 아이콘일 수 있다. 제어부(210)는 모션 데이터의 생성, 추출, 편집, 판매 및 구매 중 적어도 하나와 관련된 명령을 음성 인식 아이콘(1040)을 통해 수신할 수 있다.
홈 아이콘(1050), 콘텐츠 아이콘(1060), 모션 추가 아이콘(1070), 정보 아이콘(1080) 및 사용자 아이콘(1090) 중 적어도 하나는 어플리케이션이 실행 중인 동안 계속해서 표시될 수 있다.
홈 아이콘(1050)은 어플리케이션의 홈 화면을 표시하는 명령일 수 있다. 제어부(210)는 홈 아이콘(1050)의 선택 명령을 수신시 도 8에 도시된 바와 같은 어플리케이션의 홈 화면(1000)을 표시할 수 있다.
콘텐츠 아이콘(1060)은 액션 로봇 콘텐츠의 스토어 화면을 표시하기 위한 아이콘일 수 있다. 제어부(210)는 콘텐츠 아이콘(1060)의 선택 명령을 수신하면 액션 로봇 콘텐츠의 스토어 화면(1700, 도 21 참고)을 표시할 수 있다.
액션 로봇 콘텐츠의 스토어 화면(이하, '스토어 화면'이라고 한다.)은 음악, 동화, 교육, 대화 등과 같은 멀티미디어 콘텐츠의 판매 정보와, 멀티미디어 콘텐츠 및 그에 대응하는 모션 데이터의 판매 정보와, 모션 데이터의 판매 정보를 포함할 수 있다.
제어부(210)는 액션 로봇 콘텐츠의 스토어 화면(미도시)을 통해 멀티 미디어 콘텐츠의 구매 명령, 멀티미디어 콘텐츠 및 그에 대응하는 모션 데이터의 구매 명령, 모션 데이터의 구매 명령을 수신할 수 있다.
모션 추가 아이콘(1070)은 모션 데이터의 제작을 위한 아이콘일 수 있다. 사용자는 모션 추가 아이콘(1070)을 선택할 수 있고, 제어부(210)는 모션 추가 아이콘(1070)의 선택 명령을 수신하면 도 9에 도시된 바와 같은 모션 제작 화면을 표시할 수 있다. 모션 제작 화면은 도 9를 통해 후술하기로 한다.
정보 아이콘(1080)은 액션 로봇 콘텐츠의 관련 정보를 표시하기 위한 아이콘일 수 있다. 제어부(210)는 정보 아이콘(1080)의 선택 명령을 수신시 액션 로봇 콘텐츠의 관련 정보를 표시할 수 있다. 액션 로봇 콘텐츠의 관련 정보는 액션 로봇(42)과 관련된 정보, 액션 로봇(42)의 모션 데이터와 관련된 정보 등을 포함할 수 있다.
사용자 아이콘(1090)은 사용자의 계정 정보를 표시하기 위한 아이콘일 수 있다. 제어부(210)는 사용자 아이콘(1090)의 선택 명령을 수신시 사용자 계정 화면(1900, 도 23 참고)을 표시할 수 있고, 사용자 계정 화면은 사용자가 보유하고 있는 액션 로봇의 정보, 모션 데이터의 정보 등을 표시하기 위한 화면일 수 있다. 사용자 계정 화면은 도 23에서 후술하기로 한다.
도 8에 도시된 어플리케이션 홈 화면은 예시적인 것으로, 도 8에 도시된 정보 및 아이콘 중 일부가 생략되거나, 다른 정보 또는 다른 아이콘을 더 포함할 수도 있다.
다시, 도 7을 설명한다.
제어부(210)는 모션 추가 아이콘의 선택 명령을 수신하였는가 판단할 수 있다(S13).
제어부(210)는 도 8에 도시된 바와 같은 어플리케이션 홈 화면(1000)에 표시된 모션 추가 아이콘(1070)의 선택 명령을 수신할 수 있다.
제어부(210)는 모션 추가 아이콘(1070)의 선택 명령의 수신 여부를 획득할 수 있다.
제어부(210)는 모션 추가 아이콘(1070)의 선택 명령을 수신하면, 모션 제작 화면을 표시할 수 있다(S15).
여기서, 모션 제작 화면은 액션 로봇(42)의 모션 데이터를 제작하기 위한 아이콘으로, 새로운 모션 데이터를 생성하거나, 기 제작된 모션 데이터에서 적어도 일부를 편집하기 위한 화면일 수 있다. 즉, 모션 데이터의 제작은 모션 데이터의 생성 및 편집을 포함할 수 있다.
도 9는 본 발명의 실시 예에 따른 모션 제작 화면의 예시 도면이다.
제어부(210)는 모션 추가 아이콘(1070)의 선택 명령을 수신시 도 9에 도시된 바와 같은 모션 제작 화면(1100)을 표시할 수 있다.
모션 제작 화면(1100)은 모션 로딩 아이콘(1101), 음원 선택 아이콘(1103), 액션 로봇 시뮬레이션(1105), 모션 데이터 자동 생성 아이콘(1107), 멀티 뷰 아이콘(1109), 모션 효과 아이콘(1110), 지속시간 아이콘(1117), 모션 설정 아이콘(1120) 및 모션 제작 옵션 아이콘(1123) 중 적어도 하나를 포함할 수 있다.
모션 로딩 아이콘(1101)은 기 제작된 모션 데이터를 불러오기 위한 아이콘일 수 있다. 사용자는 모션 로딩 아이콘(1101)을 통해 기 제작된 모션 데이터를 로딩(loading)하여 모션 데이터를 편집할 수 있다.
음원 선택 아이콘(1103)은 음악, 동화, 교육, 대화 등의 멀티미디어 콘텐츠를 선택하기 위한 아이콘일 수 있다. 음원 선택 아이콘(1103)은 제작하고자 하는 모션 데이터와 함께 재생될 오디오 신호를 선택하기 위한 아이콘일 수 있다. 제어부(210)는 음원 선택 아이콘(1103)의 선택 명령을 수신시 단말기(41)에 저장된 멀티미디어 콘텐츠 및 운영 장치(100)를 통해 제공되는 멀티미디어 콘텐츠 중 적어도 하나를 표시할 수 있다.
액션 로봇 시뮬레이션(1105)은 액션 로봇(42)의 모션을 미리 표시하는 것으로, 제어부(210)는 모션 효과 아이콘(1110), 지속시간 아이콘(1117), 모션 설정 아이콘(1120) 및 모션 제작 옵션 아이콘(1123) 중 적어도 하나가 선택됨에 따라 액션 로봇(42)의 모션을 액션 로봇 시뮬레이션(1105)으로 미리 표시할 수 있다.
모션 데이터 자동 생성 아이콘(1107)은 단말기(41)와 연결된 액션 로봇(42)의 움직임을 재현하기 위한 모션 데이터를 자동으로 생성하기 위한 아이콘일 수 있다.
제어부(210)는 모션 데이터 자동 생성 기능이 오프(off)인 상태에서 모션 데이터 자동 생성 아이콘(1107)의 선택 명령을 수신하면 모션 데이터 자동 생성 기능을 온(on) 시키고, 모션 데이터 자동 생성 기능이 온(on)인 상태에서 모션 데이터 자동 생성 아이콘(1107)의 선택 명령을 수신하면 모션 데이터 자동 생성 기능을 오프(off) 시킬 수 있다.
제어부(210)는 모션 데이터 자동 생성 기능이 온인 경우, 단말기(41)와 연결된 액션 로봇(42)의 움직임을 감지하고, 감지되는 액션 로봇(42)의 움직임을 재현하기 위한 모션 데이터를 생성할 수 있다. 즉, 제어부(210)는 모션 데이터 자동 생성 기능이 온인 경우 단말기(41)와 연결된 액션 로봇(42)의 움직임 정보를 획득하고, 액션 로봇(42)의 움직임 정보에 기초하여 모션 데이터를 생성할 수 있다.
액션 로봇(42)이 모션 데이터 자동 생성 기능을 통해 생성된 모션 데이터로 구동하는 경우, 모션 데이터 자동 생성 기능이 온인 상태에서의 움직임과 동일한 모션을 수행할 수 있다.
사용자는 모션 데이터 자동 생성 기능을 온 시킨 상태에서 액션 로봇(42)을 수동으로 움직이게 함으로써 모션 데이터를 생성할 수 있다.
제어부(210)는 모션 데이터 자동 생성 기능의 온, 오프 상태에 따라 모션 데이터 자동 생성 아이콘(1107)을 상이하게 표시할 수 있다. 예를 들어, 제어부(210)는 모션 데이터 자동 생성 기능이 온인 경우와 오프인 경우, 모션 데이터 자동 생성 아이콘(1107)의 색상을 다르게 표시할 수 있다.
멀티 뷰 아이콘(1109)은 액션 로봇 시뮬레이션(1105)의 표시 방법을 변환하기 위한 아이콘일 수 있다.
제어부(210)는 멀티 뷰 아이콘(1109)의 선택 명령을 수신하면, 액션 로봇 시뮬레이션(1105)을 정면 뷰, 후면 뷰, 좌측 뷰, 우측 뷰, 상측 뷰, 하측 뷰, 투시 뷰(perspective view) 중 어느 하나로 표시할 수 있다.
정면 뷰는 액션 로봇(42)의 정면이 표시되는 뷰이고, 후면 뷰는 액션 로봇(42)의 후면이 표시되는 뷰이고, 좌측 뷰는 액션 로봇(42)의 왼쪽이 표시되는 뷰이고, 우측 뷰는 액션 로봇(42)의 오른쪽이 표시되는 뷰이고, 상측 뷰는 액션 로봇(42)의 위쪽이 표시되는 뷰이고, 하측 뷰는 액션 로봇(42)의 아래쪽이 표시되는 뷰이고, 투시 뷰는 액션 로봇(42)의 내부 관절이 드러나는 뷰일 수 있다.
제어부(210)는 멀티 뷰 아이콘(1109)이 선택될 때마다 액션 로봇 시뮬레이션(1105)의 표시 방법을 정면 뷰, 후면 뷰, 좌측 뷰, 우측 뷰, 상측 뷰, 하측 뷰 및 투시 뷰 중 적어도 하나로 변환할 수 있다. 제어부(210)는 멀티 뷰 아이콘(1109)이 선택될 때마다 정면 뷰, 후면 뷰, 좌측 뷰, 우측 뷰, 상측 뷰, 하측 뷰 및 투시 뷰 순서로 액션 로봇 시뮬레이션(1105)의 표시 방법을 변경할 수 있으나, 순서는 예시적인 것에 불과하므로 변경되거나, 특정 뷰가 생략 또는 추가될 수 있다.
또한, 제어부(210)는 투시 뷰 전환 명령을 수신시 액션 로봇 시뮬레이션(1105)을 투시 뷰로 표시할 수 있다.
구체적으로, 제어부(210)는 액션 로봇 시뮬레이션(1105)이 정면 뷰로 표시된 상태에서 투시 뷰 전환 명령을 수신하면 정면 뷰 상태에서 액션 로봇(42)의 내부 관절이 드러나는 정면 투시 뷰로 액션 로봇 시뮬레이션(1105)을 표시하고, 제어부(210)는 액션 로봇 시뮬레이션(1105)이 좌측 뷰로 표시된 상태에서 투시 뷰 전환 명령을 수신하면 좌측 뷰 상태에서 액션 로봇(42)의 내부 관절이 드러나는 좌측 투시 뷰로 액션 로봇 시뮬레이션(1105)을 표시할 수 있다. 제어부(210)는 후면 뷰, 우측 뷰, 상측 뷰 또는 하측 뷰로 표시된 상태에서 투시 뷰 전환 명령을 수신시 마찬가지로 현재 뷰 상태에서 액션 로봇(42)의 내부 관절이 드러나는 투시 뷰로 전환할 수 있다.
한편, 투시 뷰 전환 명령은 액션 로봇 시뮬레이션(1105)에서 두 지점을 선택하여 드래그하는 명령일 수 있으나, 이는 예시적인 것에 불과하다.
또한, 제어부(210)는 뷰 복귀 명령을 수신시 액션 로봇 시뮬레이션(1105)을 정면 뷰로 표시할 수 있다. 예를 들어, 제어부(210)는 액션 로봇 시뮬레이션(1105)이 후면 뷰, 좌측 뷰, 우측 뷰, 상측 뷰, 하측 뷰 또는 투시 뷰로 표시된 상태에서 뷰 복귀 명령을 수신시 액션 로봇 시뮬레이션(1105)을 정면 뷰로 표시할 수 있다.
한편, 뷰 복귀 명령은 액션 로봇 시뮬레이션(1105)을 연속해서 두 번 선택하는 명령(double tap)일 수 있으나, 이는 예시적인 것에 불과하다.
또한, 제어부(210)는 액션 로봇 시뮬레이션(1105)의 일 지점을 선택한 후 소정 방향으로 드래그하는 스와이프 명령을 수신함에 따라 액션 로봇 시뮬레이션(1105)의 표시 방법을 전환할 수 있다. 예를 들어, 제어부(210)는 정면 뷰로 표시된 액션 로봇 시뮬레이션(1105)의 일 지점이 선택된 후 우측으로 드래그하는 스와이프 명령을 수신시 액션 로봇 시뮬레이션(1105)을 우측 뷰로 표시하고, 우측 뷰로 표시된 액션 로봇 시뮬레이션(1105)의 일 지점이 선택된 후 우측으로 드래그하는 스와이프 명령을 수신시 액션 로봇 시뮬레이션(1105)을 후면 뷰로 표시할 수 있다. 이와 같이, 제어부(210)는 액션 로봇 시뮬레이션(1105)의 일 지점을 선택한 후 소정 방향으로 드래그하는 스와이프 명령을 수신시, 액션 로봇 시뮬레이션(1105)을 0도 내지 360도 중 일 각도로 회전시켜 표시할 수 있다.
모션 효과 아이콘(1110)은 액션 로봇(42)의 모션 효과를 설정하기 위한 아이콘일 수 있다.
모션 효과 아이콘(1110)은 반전 아이콘(1111), 속도 아이콘(1113) 및 역방향 아이콘(1115) 중 적어도 하나를 포함할 수 있다. 그러나, 도 9에 도시된 모션 효과 아이콘(1110)은 예시적인 것에 불과하며, 일부 모션 아이콘이 생략되거나 더 포함할 수 있다.
모션 효과 아이콘(1110)은 모션 설정 아이콘(1120)을 통해 설정된 적어도 하나의 모션 파트 데이터에 모션 효과를 적용하기 위한 아이콘일 수 있다. 제어부(210)는 모션 설정 아이콘(1120)을 통해 설정된 모션 파트 데이터 중 적어도 하나가 선택된 상태에서 모션 효과 아이콘(1110)의 선택 명령을 수신할 수 있다.
반전 아이콘(1111)은 액션 로봇(42)의 모션을 반전시키는 아이콘으로, 모션 파트 데이터를 반전시켜 저장하는 아이콘일 수 있다. 제어부(210)는 반전 아이콘(1111)의 선택 명령을 수신시, 모션 설정 아이콘(1120)에서 선택된 모션 파트 데이터를 좌우 반전 또는 상하 반전시켜 저장할 수 있다.
속도 아이콘(1113)은 액션 로봇(42)의 모션 속도를 설정하는 아이콘으로, 모션 파트 데이터의 속도값을 설정하는 아이콘일 수 있다. 제어부(210)는 속도 아이콘(1113)의 선택 명령을 수신시, 모션 설정 아이콘(1120)에서 선택된 모션 파트 데이터의 속도값을 0.2x, 0.5x, 1x, 2x 또는 4x 중 어느 하나로 설정할 수 있다.
역방향 아이콘(1115)은 액션 로봇(42)의 모션을 거꾸로 수행하도록 설정하는 아이콘일 수 있다. 제어부(210)는 역방향 아이콘(1115)의 선택 명령을 수신시, 모션 설정 아이콘(1120)에서 선택된 모션 파트 데이터의 모션을 거꾸로 수행하도록 설정할 수 있다. 예를 들어, 제어부(210)는 왼쪽 팔을 올리는 모션 파트 데이터가 선택된 상태에서 역방향 아이콘(1115)의 선택 명령을 수신시, 해당 모션 파트 데이터를 왼쪽 팔을 내리는 모션 파트 데이터로 변경할 수 있다.
지속시간 아이콘(1117)은 특정 모션의 지속 시간을 설정하기 위한 아이콘일 수 있다. 지속시간 아이콘(1117)은 모션 설정 아이콘(1120)을 통해 설정된 적어도 하나의 모션 파트 데이터의 모션 지속 시간을 설정하기 위한 아이콘일 수 있다.
모션 설정 아이콘(1120)은 적어도 하나의 모션 파트 데이터를 생성하기 위한 아이콘으로, 제어부(210)는 모션 설정 아이콘(1120)을 통해 모션 파트 데이터를 생성할 수 있다.
모션 파트 데이터는 액션 로봇(42)의 모션 파트 각각을 제어하는 데이터일 수 있다.
모션 데이터는 모션 파트 데이터의 조합으로 이루어질 수 있다. 모션 데이터는 복수의 모션 파트 데이터와, 복수의 모션 파트 데이터 각각이 발현되는 모션 시간을 포함할 수 있다. 제어부(210)는 복수의 모션 파트 데이터 각각에 모션 시간을 설정함으로써 모션 데이터를 생성할 수 있다.
모션 설정 아이콘(1120)을 통해 모션 파트 데이터를 생성하는 방법은 도 15에서 후술하기로 한다.
모션 제작 옵션 아이콘(1123)은 모션 데이터를 추출하기 위한 아이콘일 수 있다. 모션 제작 옵션 아이콘(1123)은 기 제작된 동영상으로부터 모션 데이터를 추출하거나, 동영상 촬영을 통해 모션 데이터를 추출하기 위한 아이콘일 수 있다.
사용자는 모션 제작 옵션 아이콘(1123)을 통해 모션 파트 데이터를 일일이 생성하지 않아도 모션 데이터를 제작할 수 있다.
제어부(210)는 모션 설정 아이콘(1120)에 생성된 모션 파트 데이터가 없는 경우에만 모션 제작 옵션 아이콘(1123)을 표시할 수 있다. 제어부(210)는 모션 설정 아이콘(1120)을 통해 적어도 하나의 모션 파트 데이터가 생성된 경우에는 모션 제작 옵션 아이콘(1123)을 제거하고, 모션 저장 아이콘(1340, 도 15 참고)을 표시할 수 있다.
도 9에 도시된 모션 제작 화면(1100)은 예시적인 것에 불과하며, 도 9에 도시된 아이콘 중 적어도 일부가 생략되거나, 다른 아이콘을 더 포함할 수 있다.
다시, 도 7을 설명한다.
제어부(210)는 모션 제작 화면(1100)이 표시된 상태에서, 모션 로딩 아이콘(1101)의 선택 명령을 수신하였는가 판단할 수 있다(S17).
제어부(210)는 모션 로딩 아이콘(1101)의 선택 명령을 수신하면, 기 제작된 모션 데이터를 편집 가능하도록 모션 데이터를 불러올 수 있다. 기 제작된 모션 데이터를 편집하는 방법에 대한 설명은 단계 S25 내지 S33을 통해 후술한다.
한편, 제어부(210)는 모션 제작 화면(1100)에서 모션 로딩 아이콘(1101)의 선택 명령을 수신하지 않으면, 모션 추출 명령의 수신 여부를 판단할 수 있다(S18).
제어부(210)는 모션 추출 명령을 수신하면, 동영상으로부터 모션 데이터를 추출할 수 있다(S19).
구체적으로, 제어부(210)는 모션 제작 화면(1100)에서 모션 제작 옵션 아이콘(1123)의 선택 명령을 모션 추출 명령으로 인식할 수 있다. 따라서, 제어부(210)는 모션 제작 옵션 아이콘(1123)의 선택 명령을 수신시 모션 추출 명령을 수신한 것으로 판단할 수 있다.
모션 제작 옵션 아이콘(1123)은 동영상 촬영 모션 제작 아이콘(1124)과, 동영상 선택 모션 제작 아이콘(1125)을 포함할 수 있다.
동영상 촬영 모션 제작 아이콘(1124)은 동영상을 실시간으로 촬영하고, 촬영된 동영상에 포함된 오브젝트(예를 들어, 사람, 동물 등)의 움직임을 감지하여 모션 데이터를 추출하기 위한 아이콘일 수 있다. 동영상 선택 모션 제작 아이콘(1125)은 기 제작된 동영상을 선택하고, 선택된 동영상에 포함된 포함된 오브젝트(예를 들어, 사람, 동물 등)의 움직임을 감지하여 모션 데이터를 추출하기 위한 아이콘일 수 있다.
이하, 모션 추출 명령을 수신시 동영상으로부터 모션 데이터를 추출하는 방법을 설명한다.
다음으로, 도 10 내지 도 12를 참조하여, 본 발명의 실시 예에 따른 동영상 촬영을 통한 모션 추출 방법을 설명한다.
도 10은 본 발명의 실시 예에 따른 동영상 촬영을 통한 모션 추출시 표시하는 촬영 가이드 화면의 예시 도면이다.
제어부(210)는 모션 제작 화면(1100)에서 동영상 촬영 모션 제작 아이콘(1124)의 선택 명령을 수신시 동영상 촬영 화면을 표시하기 전에 촬영 가이드 화면(1210)을 표시할 수 있다.
촬영 가이드 화면(1210)은 동영상으로부터 모션 추출이 용이하도록 동영상 촬영 방법을 안내하는 화면일 수 있다. 예를 들어, 촬영 가이드 화면(1210)은 카메라의 움직임을 고정시키는 메시지, 사람과 같은 오브젝트의 위치 안내 메시지, 배경 및 오브젝트의 밝기 안내 메시지 등을 포함할 수 있다.
일 실시 예에 따르면, 제어부(210)는 동영상 촬영 모션 제작 아이콘(1124)의 선택 명령을 수신할 때마다 촬영 가이드 화면(1210)을 표시할 수 있다.
다른 실시 예에 따르면, 제어부(210)는 동영상 촬영 모션 제작 아이콘(1124)의 선택 명령을 최초 수신한 경우에만 촬영 가이드 화면(1210)을 표시할 수 있다.
또 다른 실시 예에 따르면, 제어부(210)는 촬영 가이드 화면(1210)의 표시를 생략할 수 있다.
도 11 내지 도 12는 본 발명의 실시 예에 따른 동영상 촬영을 통한 모션 추출시 동영상 촬영 화면의 예시 도면이다.
제어부(210)는 모션 추출을 위한 동영상 촬영 화면(1220)을 표시할 수 있고, 동영상 촬영 화면(1220)은 가이드 기능 온/오프 아이콘(1221)을 포함할 수 있다.
가이드 기능 온/오프 아이콘(1221)은 가이드 기능을 온 또는 오프시키기 위한 아이콘으로, 가이드 기능은 촬영 중인 동영상에서 모션 데이터 추출을 위해 인식 중인 오브젝트의 관절 위치를 안내하는 기능일 수 있다.
제어부(210)는 가이드 기능 온/오프 아이콘(1221)의 선택 명령을 수신할 때마다 온 또는 오프될 수 있다.
제어부(210)는 가이드 기능이 온일 때, 동영상 촬영 화면(1220)에 적어도 하나의 가이드 아이콘(1222)을 표시할 수 있다. 가이드 아이콘(1222)은 모션 데이터 추출을 위해 인식 중인 오브젝트의 관절 위치에 표시될 수 있다.
도 11에 도시된 동영상 촬영 화면(1220)은 가이드 기능이 온인 경우로 동영상 촬영 화면(1220)이 적어도 하나의 가이드 아이콘(1222)을 포함하고, 도 12에 도시된 동영상 촬영 화면(1220)은 가이드 기능이 오프인 경우로 동영상 촬영 화면(1220)에 가이드 아이콘(1222)이 표시되지 않을 수 있다.
한편, 도 12에 도시된 바와 같이 동영상 촬영 화면(1220)은 가이드 박스(1223)를 더 포함할 수 있다. 가이드 박스(1223)는 오브젝트가 동영상 촬영 범위를 벗어나 오브젝트의 일부 관절이 촬영되지 않는 경우를 최소화하기 위해 표시되는 것일 수 있다. 가이드 박스(1223)의 크기는 동영상 촬영 범위의 크기 보다 좁을 수 있다.
다음으로, 도 13 내지 도 14를 참조하여, 본 발명의 실시 예에 따른 동영상 선택을 통한 모션 추출 방법을 설명한다.
도 13은 본 발명의 실시 예에 따른 동영상 위치 선택 화면의 예시 도면이고, 도 14는 본 발명의 실시 예에 따른 동영상 모션 추출 화면의 예시 도면이다.
제어부(210)는 동영상 선택 모션 제작 아이콘(1125)의 선택 명령을 수신하면 도 13에 도시된 바와 같은 동영상 위치 선택 화면(1230)을 표시할 수 있다.
동영상 위치 선택 화면(1230)은 모션 추출을 위한 동영상의 저장 위치를 선택하기 위한 화면일 수 있다. 예를 들어, 동영상 위치 선택 화면(1230)은 '저장부' 아이콘과, '외부' 아이콘을 포함할 수 있고, 제어부(210)는 '저장부' 아이콘의 선택 명령을 수신시 단말기(41)에 저장된 동영상을 표시하고, '외부' 아이콘의 선택 명령을 수신시 외부 서버, 다른 어플리케이션 등을 통해 수신 가능한 동영상을 표시할 수 있다. 그러나, 도 13은 예시적인 것에 불과하며, 동영상 위치 선택 화면(1230)은 동영상을 제공하는 어플리케이션 리스트를 포함할 수도 있다.
제어부(210)는 단말기(41)에 저장된 동영상 또는 외부에서 수신 가능한 동영상을 선택할 수 있다. 제어부(210)는 선택된 동영상에서 모션 데이터를 추출할 수 있고, 도 14에 도시된 바와 같은 동영상 모션 추출 화면(1240)을 표시할 수 있다.
동영상 모션 추출 화면(1240)은 모션 추출을 위해 선택된 동영상(1241)과, 추출 모션 정보(1243)를 포함할 수 있다. 추출 모션 정보(1243)은 선택된 동영상(1241)에서 추출된 모션 파트, 모션 값(예를 들어, 각도 등)을 포함할 수 있다. 또한, 추출 모션 정보(1243)는 모션 추출시에는 모션 생성 중임을 안내하는 가이드를 포함할 수 있다.
선택된 동영상(1241)은 동영상에서 인식한 오브젝트의 관절 위치를 나타내는 적어도 하나의 가이드 아이콘(1242)을 더 포함할 수 있다.
다시, 도 7을 설명한다.
제어부(210)는 모션 추출 명령을 수신하지 않은 경우, 모션 파트 데이터의 생성 명령을 수신할 수 있다(S20).
모션 파트 데이터의 생성 명령은 액션 로봇(42)의 움직임(motion) 하나하나를 설정하는 명령일 수 있다. 모션 파트 데이터의 생성 명령은 모션 데이터를 구성하는 모션 파트 데이터를 생성하는 명령일 수 있다.
모션 파트 데이터는 모션 파트(part of motion)와 모션 값(value of motion)과, 모션 시간 중 적어도 하나를 포함할 수 있다. 이하, 모션 파트는 액션 로봇(42)에 구비된 액츄에티어 모듈에 의해 구동 가능되는 부위를 의미하는 것으로, 관절 등을 포함할 수 있다. 모션 값은 틸팅 각도 및 회전 각도 중 적어도 하나를 포함할 수 있다. 모션 시간은 모션 파트 데이터에 따라 액션 로봇(42)의 액츄에이터 모듈이 구동되는 시간을 의미할 수 있다.
제어부(210)는 액션 로봇(42)에서 움직이도록 제어되는 모션 파트와, 모션 파트의 틸팅 각도와, 모션 파트의 회전 각도 중 적어도 하나를 포함하는 모션 파트 데이터를 수신할 수 있다.
도 15는 본 발명의 실시 예에 따른 단말기가 모션 파트 데이터의 생성 명령을 수신하는 방법을 나타내는 예시 도면이다.
제어부(210)는 모션 설정 아이콘(1120)을 통해 모션 파트 데이터의 생성 명령을 수신할 수 있다.
모션 설정 아이콘(1120)은 모션 파트 선택 아이콘(1310)과, 모션 추가 아이콘(1320)과, 모션 정보 아이콘(1330) 중 적어도 하나를 포함할 수 있다.
모션 파트 선택 아이콘(1310)은 액션 로봇(42)에서 움직일 파트를 선택하기 위한 아이콘일 수 있다. 액션 로봇(42)에서 움직일 파트는 액션 로봇(42)의 부위, 관절 등을 의미하는 것으로, 예를 들어, 머리, 왼쪽 어깨, 왼쪽 팔꿈치, 오른쪽 어깨, 오른쪽 팔꿈치 등을 포함할 수 있다.
예를 들어, 모션 파트 선택 아이콘(1310)은 제1 모션 파트(1311), 제2 모션 파트(1313), 제3 모션 파트(1315) 및 제4 모션 파트(1317)를 포함할 수 있고, 제1 모션 파트(1311)는 액션 로봇(42)의 머리를 의미하고, 제2 모션 파트(1313)는 액션 로봇(42)의 왼쪽 어깨를 의미하고, 제3 모션 파트(1315)는 액션 로봇(42)의 오른쪽 어깨를 의미하고, 제4 모션 파트(1317)는 왼쪽 팔꿈치를 의미할 수 있다.
도 15에서는 제1 내지 제4 모션 파트(1311, 1313, 1315, 1317)만이 도시되어 있으나, 이는 설명의 편의를 위한 것으로, 스크롤 바의 이동시 모션 파트 선택 아이콘(1310)은 더 많은 액션 로봇(42)의 부위, 관절을 나타내는 모션 파트를 포함할 수 있다.
제어부(210)는 제1 내지 제4 모션 파트(1311, 1313, 1315, 1317) 중 적어도 하나를 선택하는 명령을 수신하면, 선택된 모션 파트에 대응하는 모션 추가 아이콘(1320)을 표시할 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 제어부(210)는 제1 모션 파트(1311)의 선택 명령을 수신하면, 제1 모션 파트(1311)에 대응하는 모션 추가 아이콘(1320)을 표시할 수 있다.
모션 추가 아이콘(1320)은 선택된 파트에서의 모션 값을 설정하기 위한 아이콘일 수 있다. 제어부(210)는 모션 추가 아이콘(1320)의 선택 명령을 수신하면 모션 값 설정 화면을 표시할 수 있다.
도 16은 본 발명의 실시 예에 따른 모션 값 설정 화면의 예시 도면이다.
제어부(210)는 모션 추가 아이콘(1320)의 선택 명령을 수신하면 도 16에 도시된 바와 같은 모션 값 설정 화면(1400)을 표시할 수 있다.
모션 값 설정 화면(1400)은 틸트 아이콘(1410), 로테이트 아이콘(1420), 수치 선택 아이콘(1430), 취소 아이콘(1431) 및 적용 아이콘(1432) 중 적어도 하나를 포함할 수 있다.
틸트 아이콘(1410)은 선택된 파트의 기울기 각도를 설정하기 위한 아이콘일 수 있다. 제어부(210)는 틸트 아이콘(1410)이 선택된 상태에서 수치 선택 아이콘(1430)을 통해 특정 값을 선택하는 명령을 수신시, 선택된 파트가 수직방향으로 선택된 값만큼 이동되도록 제어하는 모션 파트 데이터를 생성할 수 있다.
로테이트 아이콘(1420)은 선택된 파트의 회전 각도를 설정하기 위한 아이콘일 수 있다. 제어부(210)는 로테이트 아이콘(1420)이 선택된 상태에서 수치 선택 아이콘(1430)을 통해 특정 값을 선택하는 명령을 수신시, 선택된 파트가 수평방향으로 선택된 값만큼 회전되도록 제어하는 모션 파트 데이터를 생성할 수 있다.
제어부(210)는 틸트 아이콘(1410) 및 로테이트 아이콘(1420)을 통해 수직방향 및 수평방향 중 적어도 구동되는 모션 파트 데이터를 생성할 수 있다.
수치 선택 아이콘(1430)은 수직방향으로의 틸팅 각도 또는 수평방향으로의 회전 각도를 설정하기 위한 각도 정보를 포함할 수 있다.
취소 아이콘(1431)은 모션 파트 데이터의 생성을 취소하기 위한 아이콘일 수 있다.
적용 아이콘(1432)는 모션 파트 데이터를 생성하기 위한 아이콘일 수 있다. 제어부(210)는 적용 아이콘(1432)의 선택 명령을 수신하면, 모션 파트와, 틸트 아이콘(1410) 및 로테이트 아이콘(1420) 중 적어도 하나를 통해 설정된 모션 값을 포함하는 모션 파트 데이터를 생성할 수 있다.
제어부(210)는 적용 아이콘(1432)의 선택 명령을 수신하면, 모션 파트 및 모션 값을 포함하는 모션 정보 아이콘(1330)을 표시할 수 있다.
제어부(210)는 모션 파트 데이터를 생성시 모션 파트 데이터에 따른 모션 정보 아이콘(1330)을 모션 설정 아이콘(1120) 상에 표시할 수 있다.
구체적으로, 모션 정보 아이콘(1330)은 모션 파트 데이터에 대응될 수 있다. 제어부(210)가 복수개의 모션 파트 데이터를 생성하는 경우, 복수개의 모션 파트 데이터 각각을 나타내는 모션 정보 아이콘(1330)을 표시할 수 있다.
제어부(210)는 복수의 모션 정보 아이콘(1330)을 표시하는 경우, 복수의 모션 정보 아이콘(1330)을 시간의 흐름에 따라 표시할 수 있다. 구체적으로, 모션 파트 데이터 각각은 액션 로봇(42)에서 구동되는 모션 시간을 포함할 수 있고, 제어부(210)는 모션 시간에 따라 모션 정보 아이콘(1330)을 표시할 수 있다. 즉, 제어부(210)는 모션 파트 데이터의 모션 시간이 빠를수록 모션 정보 아이콘(1330)을 왼쪽에 표시하고, 모션 파트 데이터의 모션 시간이 느릴수록 모션 정보 아이콘(1330)을 오른쪽에 표시할 수 있다.
예를 들어, 모션 정보 아이콘(1330)은 제1 모션 정보 아이콘(1331)과, 제2 모션 정보 아이콘(1333)과, 제3 모션 정보 아이콘(1335)과, 제4 모션 정보 아이콘(1337)을 포함할 수 있다.
제1 모션 정보 아이콘(1331)과 제2 모션 정보 아이콘(1333)의 모션 시간은 00:00이고, 제3 모션 정보 아이콘(1335)의 모션 시간은 01:00이고, 제4 모션 정보 아이콘(1337)의 모션 시간은 00:30일 수 있다. 이 경우, 제어부(210)는 제1 모션 정보 아이콘(1331)과 제2 모션 정보 아이콘(1333)을 가장 왼쪽에 표시하고, 제3 모션 정보 아이콘(1335)은 가장 오른쪽에 표시하고, 제4 모션 정보 아이콘(1337)은 제1 및 제2 모션 정보 아이콘(1331, 1333)과 제3 모션 정보 아이콘(1335)의 사이에 표시할 수 있다.
모션 정보 아이콘(1330)은 모션 파트에 대응하는 위치에 표시되며, 모션 값 정보를 포함할 수 있다.
제어부(210)는 모션 정보 아이콘(1330)의 선택 명령을 수신하면, 모션 값을 변경 가능하도록 모션 값 설정 화면(1400)을 다시 표시할 수 있다.
또한, 제어부(210)는 모션 정보 아이콘(1330)을 드래그 앤 드랍하는 명령을 통해 모션 파트 및 모션 시간 중 적어도 하나를 변경하는 명령을 수신할 수 있다.
제어부(210)는 적어도 하나의 모션 파트 데이터가 생성된 후 저장 아이콘(1340)의 선택 명령을 수신할 수 있다.
저장 아이콘(1340)은 모션 설정 아이콘(1120) 상에 표시된 모션 파트 데이터로 이루어지는 모션 데이터를 생성하기 위한 아이콘일 수 있다.
제어부(210)는 저장 아이콘(1340)의 선택 명령을 수신하면 모션 생성 명령을 수신한 것으로 인식할 수 있다. 제어부(210)는 모션 생성 명령을 수신하면, 모션 설정 아이콘(1120)을 통해 생성된 적어도 하나의 모션 파트 데이터로 구성되는 모션 데이터를 생성할 수 있다.
도 17은 본 발명의 실시 예에 따른 모션 데이터 생성 화면의 예시 도면이다.
제어부(210)는 모션 데이터를 생성시 도 17에 도시된 바와 같은 모션 데이터 생성 화면(1400)을 표시할 수 있다.
모션 데이터 생성 화면(1400)은 저장 완료 메시지(1440)를 포함할 수 있다.
저장 완료 메시지(1440)는 모션 데이터의 생성이 정상적으로 완료되었음을 나타내는 메시지일 수 있다.
저장 완료 메시지(1440)는 닫기 아이콘(1441)과, 체크 아이콘(1443)과, 공유 아이콘(1445) 중 적어도 하나를 포함할 수 있다.
닫기 아이콘(1441)은 모션 데이터의 생성 완료를 확인하는 아이콘으로, 모션 데이터의 생성을 종료하는 아이콘일 수 있다.
체크 아이콘(1443)은 생성된 모션 데이터에 따른 액션 로봇(42)의 모션을 확인하기 위한 아이콘일 수 있다. 제어부(210)는 체크 아이콘(1443)의 선택 명령을 수신하면 모션 데이터에 따른 액션 로봇(42)의 모션을 어플리케이션으로 확인할 지 또는 액션 로봇(42)으로 확인할 지 선택 받기 위한 아이콘(미도시)을 표시할 수 있다. 제어부(210)는 체크 아이콘(1443)의 선택 명령을 수신하면, 생성된 모션 데이터에 따른 액션 로봇(42)의 모션을 어플리케이션에 표시하거나, 액션 로봇(42)이 모션 데이터에 따라 움직이도록 제어할 수 있다.
공유 아이콘(1445)은 생성된 모션 데이터를 다른 사용자와 공유하기 위한 아이콘일 수 있다. 제어부(210)는 공유 아이콘(1445)의 선택 명령을 수신하면 생성된 모션 데이터를 운영 장치(100)로 전송하거나, 다른 사용자에게 전송할 수 있다.
다시, 도 7을 설명한다.
제어부(210)는 모션 파트 데이터의 생성 명령을 수신한 후, 모션 생성 명령의 수신 여부를 획득할 수 있다(S21).
앞에서 설명한 바와 같이, 제어부(210)는 모션 생성 명령을 수신하면 모션 파트 데이터로 구성되는 모션 데이터를 생성할 수 있다(S22).
한편, 본 발명의 실시 예에 따른 단말기는 기 제작된 모션 데이터를 편집할 수 있다.
도 7의 단계 S17에서, 제어부(210)는 모션 로딩 아이콘(1101)의 선택 명령을 수신하면, 모션 리스트를 표시할 수 있다(S25).
도 18은 본 발명의 실시 예에 따른 단말기가 모션 리스트를 표시하는 방법을 나타내는 예시 도면이다.
제어부(210)는 디스플레이부(240)에 모션 리스트(1500)를 표시할 수 있다.
모션 리스트(1500)는 단말기(41) 또는 액션 로봇(42)을 통해 사용자가 보유 중인 모션 데이터를 나타내는 모션 데이터 항목(1510)을 포함할 수 있다. 모션 리스트(1500)는 적어도 하나의 모션 데이터 항목(1510)을 포함할 수 있다.
제어부(210)는 모션 리스트(1500)를 표시할 경우, 사용자 생성 모션 데이터와, 사용자 구매 모션 데이터를 구분하여 표시할 수 있다. 예를 들어, 모션 리스트(1500)는 제작 탭(1501)과 구매 탭(1503)을 포함할 수 있다. 제어부(210)는 제작 탭(1501)의 선택 명령을 수신하면 모션 생성 명령, 모션 추출 명령 및 모션 편집 명령 중 적어도 하나에 기초하여 제작된 모션 데이터를 나타내는 모션 데이터 항목을 표시할 수 있다. 한편, 제어부(210)는 구매 탭(1503)의 선택 명령을 수신하면, 운영 장치(100)를 통해 구매한 모션 데이터를 나타내는 모션 데이터 항목(1510)을 표시할 수 있다.
모션 데이터 항목(1510)은 모션 썸네일과, 콘텐츠 이름과, 아티스트 이름과, 유효기간 중 적어도 하나를 포함할 수 있다.
제어부(210)는 모션 리스트(1500)에 포함된 적어도 하나의 모션 데이터 항목(1510) 중 어느 하나를 선택하는 명령을 수신할 수 있다.
다시, 도 7을 설명한다.
제어부(210)는 모션 리스트(1500)에서 선택된 모션 데이터의 모션 편집 화면(1600, 도 19 참고)을 표시할 수 있다(S27).
제어부(210)는 모션 편집 화면(1600)에서 적어도 하나의 모션 편집 명령을 수신할 수 있다(S29). 제어부(210)는 모션 편집 완료 명령의 수신 여부를 판단할 수 있고(S31), 모션 편집 완료 명령을 수신할 때까지 모션 편집 명령을 수신할 수 있다.
제어부(210)는 모션 편집 완료 명령을 수신하면, 모션 편집 명령에 따라 모션 데이터를 수정할 수 있다(S33).
다음으로, 도 19 내지 도 20을 참조하여, 모션 편집 화면을 통해 모션 편집 명령을 수신하는 방법을 설명한다.
도 19 내지 도 20은 본 발명의 실시 예에 따른 모션 편집 화면의 예시 도면이다.
제어부(210)는 모션 편집 화면(1600)을 표시할 수 있고, 모션 편집 화면(1600)은 기 제작된 모션 데이터에서 적어도 일부를 편집하기 위한 화면일 수 있다. 모션 편집 명령은 모션 편집 화면을 통해 수신되는 명령을 모두 포함할 수 있다.
모션 편집 화면(1600)은 멀티미디어 콘텐츠 정보(1601), 액션 로봇 렌더링 영상(1603), 콘텐츠 동기 정보(1604), 배경 옵션 항목(1610), 거울모드 항목(1620), 편집 아이콘(1621), 속도 아이콘(1622), 관절 아이콘(1623) 및 설정 아이콘(1624) 중 적어도 하나를 표시할 수 있다.
한편, 배경 옵션 항목(1621) 및 거울모드 항목(1620)은 설정 아이콘(1624)이 선택됨에 따라 표시되는 항목일 수 있다. 제어부(210)는 설정 아이콘(1624)이 아닌 편집 아이콘(1621), 속도 아이콘(1622) 또는 관절 아이콘(1623)이 선택된 경우 배경 옵션 항목(1621) 및 거울모드 항목(1620)이 아닌 다른 항목을 표시할 수 있다.
멀티미디어 콘텐츠 정보(1601)는 모션 데이터와 함께 재생되는 콘텐츠에 대한 정보일 수 있다. 예를 들어, 모션 데이터와 함께 재생되는 콘텐츠가 음악 콘텐츠인 경우, 멀티미디어 콘텐츠 정보(1601)는 음원 이름과 아티스트 이름을 포함할 수 있다. 다른 예로, 모션 데이터와 함께 재생되는 콘텐츠가 동화 콘텐츠인 경우, 멀티미디어 콘텐츠 정보(1601)는 동화 이름과 작가 이름을 포함할 수 있다.
액션 로봇 렌더링 영상(1603)은 모션 데이터에 따른 액션 로봇(42)의 모션이 3차원으로 표시되는 영상일 수 있다.
사용자는 선택한 모션 데이터에 따른 액션 로봇(42)의 모션과, 편집된 모션 데이터에 따른 액션 로봇(42)의 모션을 액션 로봇 렌더링 영상(1603)을 통해 용이하게 확인 가능한 이점이 있다.
콘텐츠 동기 정보(1604)는 멀티미디어 콘텐츠의 재생 정보(1605)와 모션 데이터의 재생 정보(1607)를 포함하며, 멀티미디어 콘텐츠의 재생 정보(1605)와 모션 데이터의 재생 정보(1067)는 동일한 재생 시점을 기준으로 나란하게 표시될 수 있다. 멀티미디어 콘텐츠의 재생 정보(1605)는 노래 가사, 사운드 크기 등을 포함하고, 모션 데이터의 재생 정보(1067)는 액션 로봇(42)의 모션을 포함할 수 있다.
배경 옵션 항목(1610)은 액션 로봇(42)의 모션이 재생되는 배경을 선택하기 위한 항목일 수 있다. 제어부(210)는 배경 옵션 항목(1610)에서 선택되는 배경을 액션 로봇 렌더링 영상(1603)의 배경으로 설정할 수 있다.
거울모드 항목(1620)은 액션 로봇(42)의 모션을 거울에 비친 모습으로 표시하기 위한 항목일 수 있다. 제어부(210)는 거울모드 항목(1620)에서 거울모드의 온, 오프에 따라 액션 로봇 렌더링 영상(1603)에서 액션 로봇(42)의 모습을 실제 모습으로 표시하거나, 거울에 비친 모습으로 표시할 수 있다.
편집 아이콘(1621)은 멀티미디어 콘텐츠를 변경하기 위한 아이콘일 수 있다.
속도 아이콘(1622)은 액션 로봇(42)의 모션 속도를 조절하기 위한 아이콘일 수 있다. 속도 아이콘(1622)은 모션 데이터를 구성하는 모션 파트 데이터 각각의 속도를 편집할 수 있다.
관절 아이콘(1623)은 액션 로봇(42)의 모션 부위를 변경하기 위한 아이콘일 수 있다. 속도 아이콘(1622)은 모션 데이터를 구성하는 모션 파트 데이터 각각의 모션 파트를 변경할 수 있다.
설정 아이콘(1624)은 액션 로봇(42)의 모션 데이터에 부가 효과를 설정하기 위한 아이콘으로, 도 19에서 예시로 든 배경 옵션 항목(1610)과 거울모드 항목(1620) 등을 포함할 수 있으나, 이는 예시적인 것에 불과하므로 이에 제한되지 않는다.
모션 편집 화면(1600)은 다음 아이콘(1630)을 더 포함할 수 있다. 제어부(210)는 다음 아이콘(1630)의 선택 명령을 수신하면 커버 편집 화면(1640)을 표시할 수 있다.
커버 편집 화면(1640)은 편집된 모션 데이터의 커버를 편집하기 위한 화면으로, 커버 미리보기 이미지(1630), 커버 교체 항목(1641), 제목 추가 항목(1642), 멀티미디어 콘텐츠 항목(1643), 설명 추가 항목(1644) 및 스토어 판매 항목(1650) 중 적어도 하나를 포함할 수 있다.
모션 데이터의 커버는 모션 리스트(1600)에 표시되는 모션 데이터의 요약 정보, 운영 장치(100)를 통해 판매될 모션 데이터의 요약 정보를 의미할 수 있다.
커버 미리보기 이미지(1630)는 액션 로봇(42)가 모션 데이터에 따라 움직이는 이미지일 수 있다. 커버 미리보기 이미지(1630)는 정지 이미지거나, 재생 시간이 설정 시간(예를 들어, 10초) 이내의 짧은 영상일 수 있다.
커버 미리보기 이미지(1630)는 커버 교체 항목(1641)을 통해 변경될 수 있다.
제어부(210)는 커버 교체 항목(1641)이 선택되면 액션 로봇(42)이 모션 데이터에 따라 움직이는 시뮬레이션 영상을 표시할 수 있고, 시뮬레이션 영상에서 적어도 일부를 선택하는 명령을 통해 커버 미리보기 이미지를 설정할 수 있다.
제목 추가 항목(1642)은 멀티미디어 콘텐츠 및 모션 데이터를 대표하는 제목을 설정하는 항목일 수 있다. 사용자는 제목 추가 항목(1642)을 통해 모션 데이터의 커버에 표시될 제목을 설정할 수 있다.
멀티미디어 콘텐츠 항목(1643)은 멀티미디어 콘텐츠의 정보가 표시되는 항목일 수 있다.
설명 추가 항목(1644)은 멀티미디어 콘텐츠 및 모션 데이터에 대한 설명 정보를 설정하는 항목일 수 있다. 사용자는 설명 추가 항목(1644)을 통해 모션 데이터의 커버에 표시될 설명 정보를 설정할 수 있다.
스토어 판매 항목(1650)은 편집 중인 모션 데이터가 판매 가능하도록 어플리케이션 스토어에의 업로드 여부를 설정하기 위한 항목일 수 있다. 제어부(210)는 스토어 판매 항목(1650)을 통해 판매 온/오프 기능의 설정 명령을 수신할 수 있다.
제어부(210)는 판매 온 기능이 설정된 경우 편집된 모션 데이터가 운영 장치(100)를 통해 판매 가능하도록 어플리케이션 스토어에 업로드할 수 있다. 반면에, 제어부(210)는 판매 오프 기능이 설정된 경우 편집된 모션 데이터를 어플리케이션 스토어에 업로드하지 않을 수 있다.
커버 편집 화면(1640)은 등록 아이콘(1660)을 더 포함할 수 있다. 제어부(210)는 등록 아이콘(1660)의 선택 명령을 수신하면, 모션 편집 화면(1600) 및 커버 편집 화면(1640)에서 수신된 모션 편집 명령에 기초하여 모션 데이터를 수정할 수 있다.
한편, 커버 편집 화면(1640)은 모션 편집 화면(1600)의 일부일 수 있다. 디스플레이부(240)의 크기에 의해 커버 편집 화면(1640)이 별도로 표시될 수 있을 뿐, 커버 편집 화면(1640)은 모션 편집 화면(1600)에 포함될 수 있다.
도 7에서, 모션 편집 명령은 커버 편집 화면(1640)과 모션 편집 화면(1600)을 통해 수신되는 명령을 포함하고, 모션 편집 완료 명령은 커버 편집 화면(1640)또는 모션 편집 화면(1600))에 포함된 등록 아이콘(1660)의 선택 명령을 포함할 수 있다.
다시, 도 7을 설명한다.
단계 S13에서, 제어부(210)는 모션 추가 아이콘의 선택 명령을 수신하지 않은 경우, 모션 구매 명령 및 모션 판매 명령 중 적어도 하나의 수신 여부를 획득할 수 있다.
먼저, 제어부(210)는 모션 구매 명령을 수신하였는가 판단하고(S35), 모션 구매 명령을 수신하면 운영 장치(100)로 모션 구매 요청 신호를 전송할 수 있다(S37).
제어부(210)는 어플리케이션 상에서 적어도 하나의 모션 데이터에 대한 모션 구매 명령을 수신할 수 있다.
예를 들어, 제어부(210)는 스토어 화면(1700, 도 21 참고)을 통해 적어도 하나의 모션 데이터에 대한 모션 구매 명령을 수신할 수 있다.
다음으로, 도 21 내지 도 22를 참조하여, 본 발명의 일 실시 예에 따른 단말기가 모션 구매 명령을 수신하는 방법을 설명한다.
도 21은 본 발명의 실시 예에 따른 액션 로봇 콘텐츠의 스토어 화면의 예시 도면이다.
제어부(210)는 스토어 화면(1700)을 표시할 수 있다. 예를 들어, 제어부(210)는 어플리케이션의 홈 화면(1000)에서 콘텐츠 아이콘(1060)의 선택 명령을 수신함에 따라 스토어 화면(1700)을 표시할 수 있다.
스토어 화면(1700)은 뮤직 탭(1710), 액션 탭(1720), 인기 탭(1730), 스타일 탭(1740) 및 콘텐츠 리스트 중 적어도 하나를 포함할 수 있다.
여기서, 콘텐츠 리스트는 멀티미디어 콘텐츠 및 모션 데이터 중 적어도 하나를 포함할 수 있다.
뮤직 탭(1710)은 구매 가능한 멀티미디어 콘텐츠(예를 들어, 음원) 만을 제공하기 위한 것일 수 있다. 제어부(210)는 뮤직 탭(1710)의 선택 명령을 수신하면, 구매 가능한 멀티미디어 콘텐츠를 포함하는 콘텐츠 리스트를 표시할 수 있다.
액션 탭(1720)은 구매 가능한 모션 데이터 리스트만을 제공하기 위한 것일 수 있다. 제어부(210)는 액션 탭(1720)의 선택 명령을 수신하면, 구매 가능한 모션 데이터를 포함하는 콘텐츠 리스트를 표시할 수 있다.
인기 탭(1730)은 구매 횟수가 기준 횟수 이상인 멀티미디어 콘텐츠 및 모션 데이터를 제공하기 위한 것일 수 있다. 제어부(210)는 인기 탭(1730)의 선택 명령을 수신하면, 구매 횟수가 기준 횟수 이상인 멀티미디어 콘텐츠 및 모션 데이터를 포함하는 콘텐츠 리스트를 표시할 수 있다.
스타일 탭(1740)은 모션 데이터를 모션 방식(motion style)에 따라 분류하여 제공하기 위한 것일 수 있다. 모션 데이터는 모션 부위, 모션 속도, 모션 각도 등에 따라 복수의 모션 방식으로 분류될 수 있다. 즉, 음원이 댄스, 발라드 등과 같은 복수의 장르로 분류되는 것과 유사하게 모션 데이터는 복수의 모션 방식으로 분류될 수 있다. 제어부(210)는 스타일 탭(1740)의 선택 명령을 수신하면, 구매 가능한 모션 데이터를 복수의 모션 방식으로 분류하여 콘텐츠 리스트를 표시할 수 있다.
콘텐츠 리스트는 멀티미디어 콘텐츠 또는 모션 데이터를 나타내는 제1 내지 제6 콘텐츠 항목(1701 내지 1706)을 포함할 수 있다. 도 21에서 콘텐츠 항목은 6개인 것으로 도시되어 있으나, 이는 예시적인 것에 불과하므로 이에 제한되지 않는다.
제어부(210)는 제1 내지 제6 콘텐츠 항목(1701 내지 1706) 중 어느 하나의 선택 명령을 수신할 수 있고, 어느 하나의 콘텐츠 항목을 선택하는 명령을 수신하면 선택된 콘텐츠 항목에 대응하는 콘텐츠 상세 화면(1800)을 표시할 수 있다.
도 22는 본 발명의 실시 예에 따른 콘텐츠 상세 화면의 예시 도면이다.
제어부(210)는 도 22에 도시된 바와 같은 콘텐츠 상세 화면(1800)을 표시할 수 있다.
콘텐츠 상세 화면(1800)은 콘텐츠 데이터에 대한 정보와 구매 아이콘(1801)을 포함할 수 있다.
콘텐츠 데이터에 대한 정보는 멀티미디어 콘텐츠 및 모션 데이터 중 적어도 하나에 대한 정보를 의미하는 것으로, 커버 이미지, 콘텐츠 이름, 아티스트 이름, 가격, 장르, 스타일 및 유사 콘텐츠 등 중 적어도 하나를 포함할 수 있다.
구매 아이콘(1801)은 멀티미디어 콘텐츠의 재생에 따라 액션 로봇(42)의 움직임을 설정한 모션 데이터의 구매 기능을 제공하는 아이콘일 수 있다. 구매 아이콘(1801)은 콘텐츠 상세 화면(1800)을 통해 표시 중인 콘텐츠 데이터에 대한 구매를 요청하기 위한 것일 수 있다. 제어부(210)는 구매 아이콘(1801)의 선택 명령을 수신하면 모션 구매 명령을 수신한 것으로 인식하고, 운영 장치(100)로 모션 구매 요청 신호를 전송할 수 있다.
운영 장치(100)는 모션 구매 요청 신호를 수신하면, 모션 구매 요청 신호에 대응하는 콘텐츠 데이터를 단말기(41) 또는 단말기(41)와 연결된 액션 로봇(42)으로 전송할 수 있다. 콘텐츠 데이터는 멀티미디어 콘텐츠 및 모션 데이터 중 적어도 하나를 포함할 수 있다.
단말기(41)가 콘텐츠 데이터를 수신할 경우, 수신된 콘텐츠 데이터를 단말기(41)와 연결된 액션 로봇(42)으로 전송할 수 있다.
액션 로봇(42)은 수신된 콘텐츠 데이터를 저장할 수 있다.
한편, 다른 예로, 제어부(210)는 홈 화면(1000, 도 8 참고)의 모션 업데이트 정보(1030) 중 적어도 하나를 선택하는 명령을 수신하는 경우 도 22에 도시된 바와 같은 콘텐츠 상세 화면(1800)을 표시할 수 있다.
그러나, 상술한 방법은 설명의 편의를 위해 예시로 든 것에 불과하며, 제어부(210)는 어플리케이션을 통해 다양한 방법으로 모션 구매 명령을 수신할 수 있다.
다시, 도 7을 설명한다.
제어부(210)는 모션 판매 명령을 수신 여부를 판단하고(S39), 모션 판매 명령을 수신하면 운영 장치(100)로 모션 판매 요청 신호를 전송할 수 있다(S41).
제어부(210)는 어플리케이션 상에서 적어도 하나의 모션 데이터에 대한 모션 판매 명령을 수신할 수 있다. 모션 판매 명령은 단말기(41) 또는 액션 로봇(42)에 저장 중인 적어도 하나의 모션 데이터를 콘텐츠 제공자(20), 모션 데이터 제작자(30) 및 사용자(40) 중 적어도 하나에게 판매하기 위한 명령일 수 있다.
다음으로, 도 23 내지 도 24를 참조하여, 본 발명의 일 실시 예에 따른 단말기가 모션 판매 명령을 수신하는 방법을 설명한다.
도 23은 본 발명의 실시 예에 따른 사용자 계정 화면의 예시 도면이다.
제어부(210)는 사용자 계정 화면(1900)을 표시할 수 있다. 예를 들어, 제어부(210)는 어플리케이션의 홈 화면(1000)에서 사용자 아이콘(109)의 선택 명령을 수신함에 따라 사용자 계정 화면(1900)을 표시할 수 있다.
사용자 계정 화면(1900)은 사용자 정보(1901), 마이 모션 아이콘(1902), 기프트박스 아이콘(1903) 및 좋아요 아이콘(1904) 중 적어도 하나를 포함할 수 있다.
사용자 정보(1901)는 어플리케이션에서 로그인 상태인 사용자의 계정 정보를 포함할 수 있다. 사용자 계정 정보는 사용자 ID 및 사용자 ID와 연결된 액션 로봇 정보 등을 포함할 수 있다.
마이 모션 아이콘(1902)은 사용자가 보유 중인 멀티미디어 콘텐츠 및 모션 데이터를 표시하기 위한 아이콘일 수 있다. 제어부(210)는 마이 모션 아이콘(1902)의 선택 명령을 수신하면, 단말기(41) 및 액션 로봇(42) 중 적어도 하나를 통해 저장 중인 멀티미디어 콘텐츠 및 모션 데이터 중 적어도 하나를 포함하는 모션 리스트(1500)를 표시할 수 있다.
기프트박스 아이콘(1903)은 다른 사용자 또는 운영 장치(100)로부터 선물 받은 멀티미디어 콘텐츠 및 모션 데이터를 표시하기 위한 아이콘일 수 있다. 제어부(210)는 기프트박스 아이콘(1903)의 선택 명령을 수신하면, 다른 사용자 또는 운영 장치(100)로부터 선물 받은 멀티미디어 콘텐츠 및 모션 데이터 중 적어도 하나를 표시할 수 있다.
좋아요 아이콘(1904)은 어플리케이션을 통해 사용자가 마크한 멀티미디어 콘텐츠 및 모션 데이터를 표시하기 위한 아이콘일 수 있다. 제어부(210)는 좋아요 아이콘(1904)의 선택 명령을 수신하면, 이전에 마크된 멀티미디어 콘텐츠 및 모션 데이터 중 적어도 하나를 표시할 수 있다.
도 24는 본 발명의 실시 예에 따른 모션 리스트를 통한 모션 판매 명령의 수신 방법을 설명하기 위한 예시 도면이다.
제어부(210)는 모션 리스트(1500)에 표시된 적어도 하나의 모션 데이터 항목(1510) 중 어느 하나의 선택 명령을 수신할 수 있다. 제어부(210)는 모션 리스트(1500)에서 어느 하나의 모션 데이터 항목(1510)이 선택되면, 선택된 모션 데이터 항목(1510)에 대응하는 판매 아이콘(1530)을 표시할 수 있다.
제어부(210)는 선택된 모션 데이터 항목(1510)에 선택 마크(1520)를 표시할 수 있다. 이 경우, 사용자는 판대 대상인 모션 데이터 항목을 용이하게 파악할 수 있다.
판매 아이콘(1530)은 액션 로봇(42)의 모션 데이터를 판매하기 위한 아이콘일 수 있다.
액션 로봇(42)의 모션 데이터는 사용자가 생성, 추출 또는 편집한 사용자 생성 모션 데이터와, 사용자가 구매한 사용자 구매 모션 데이터를 포함할 수 있다. 제어부(210)는 사용자 생성 모션 데이터에 대해 판매 아이콘(1530)을 표시할 수 있다.
제어부(210)는 판매 아이콘(1530)의 선택 명령을 수신하면 모션 판매 명령을 수신한 것으로 인식하고, 운영 장치(100)로 모션 판매 요청 신호를 전송할 수 있다.
제어부(210)는 모션 판매 요청 신호를 수신하면, 모션 판매 요청 신호에 대응하는 콘텐츠 데이터를 운영 장치(100)로 전송할 수 있다.
운영 장치(100)는 모션 판매 요청 신호에 따른 콘텐츠 데이터가 액션 로봇 콘텐츠의 스토어 화면(1700)에 표시되도록 제어할 수 있고, 다른 사용자들은 액션 로봇 콘텐츠의 스토어 화면(1700)을 통해 사용자가 판매 요청한 콘텐츠 데이터를 구매할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (16)

  1. 모션 데이터를 저장하는 저장부;
    액션 로봇으로 상기 모션 데이터를 송신하는 무선 통신부;
    상기 모션 데이터를 생성하기 위한 모션 제작 화면을 표시하는 디스플레이부;
    상기 모션 제작 화면을 통해 상기 액션 로봇의 모션 파트 각각을 제어하는 모션 파트 데이터를 생성하는 명령을 수신하는 입력부; 및
    상기 모션 파트 데이터를 합하여 상기 모션 데이터를 생성하는 제어부를 포함하는
    단말기.
  2. 제1항에 있어서,
    상기 제어부는
    상기 액션 로봇에서 움직이도록 제어되는 모션 파트와, 상기 모션 파트의 틸팅 각도와, 상기 모션 파트의 회전 각도 중 적어도 하나를 포함하는 상기 모션 파트 데이터를 수신하는
    단말기.
  3. 제1항에 있어서,
    상기 제어부는
    복수의 모션 파트 데이터를 수신하고, 상기 복수의 모션 파트 데이터 각각에 모션 시간을 설정하여 상기 모션 데이터를 생성하는
    단말기.
  4. 제1항에 있어서,
    상기 제어부는
    동영상에 포함된 오브젝트의 움직임을 감지하여 상기 모션 데이터를 추출하는
    단말기.
  5. 제4항에 있어서,
    상기 제어부는
    상기 동영상에서 인식한 오브젝트의 관절 위치를 나타내는 가이드 아이콘을 표시하는
    단말기.
  6. 제1항에 있어서,
    상기 제어부는
    상기 단말기와 연결된 액션 로봇의 움직임을 감지하고, 감지된 액션 로봇의 움직임을 재현하기 위한 모션 데이터를 생성하는
    단말기.
  7. 제1항에 있어서,
    상기 제어부는
    상기 저장부에 저장된 모션 데이터 중 어느 하나를 구성하는 모션 파트 데이터를 표시하고, 표시된 모션 파트 데이터 중 적어도 일부를 변경하는 모션 편집 명령을 수신하는
    단말기.
  8. 제1항에 있어서,
    상기 제어부는
    상기 저장부에 저장된 모션 데이터를 포함하는 모션 리스트를 표시하고,
    상기 모션 리스트를 표시하는 경우, 사용자 생성 모션 데이터와 사용자 구매 모션 데이터를 구분하여 표시하는
    단말기.
  9. 제8항에 있어서,
    상기 제어부는
    상기 사용자 생성 모션 데이터 중 적어도 하나를 판매하기 위한 판매 아이콘을 더 표시하는
    단말기.
  10. 제1항에 있어서,
    상기 제어부는
    멀티미디어 콘텐츠의 재생에 따라 상기 액션 로봇의 움직임을 설정한 모션 데이터의 구매 아이콘을 더 표시하는
    단말기.
  11. 제1항에 있어서,
    상기 모션 파트는
    상기 액션 로봇에 구비된 액추에이터 모듈에 의해 구동 되는 부위인
    단말기.
  12. 액션 로봇의 움직임을 제어하는 모션 데이터를 생성하기 위한 모션 제작 화면을 표시하는 단계;
    상기 모션 제작 화면을 통해 상기 액션 로봇의 모션 파트 각각을 제어하는 모션 파트 데이터를 생성하는 명령을 수신하는 단계;
    상기 모션 파트 데이터를 합하여 상기 모션 데이터를 생성하는 단계; 및
    상기 모션 데이터를 상기 액션 로봇으로 전송하는 단계를 포함하는
    단말기의 동작 방법.
  13. 제12항에 있어서,
    상기 모션 파트 데이터를 생성하는 명령을 수신하는 단계는
    상기 액션 로봇에서 움직이도록 제어되는 모션 파트의 선택 명령을 수신하는 단계와,
    상기 모션 파트의 틸팅 각도를 선택하는 명령을 수신하는 단계와,
    상기 모션 파트의 회전 각도를 선택하는 명령을 수신하는 단계를 포함하는
    단말기의 동작 방법.
  14. 제12항에 있어서,
    상기 모션 데이터를 생성하는 단계는
    복수의 모션 파트 데이터 각각에 모션 시간을 설정하는 단계를 포함하는
    단말기의 동작 방법.
  15. 제12항에 있어서,
    동영상에 포함된 오브젝트의 움직임을 감지하여 상기 모션 데이터를 추출하는 단계를 더 포함하는
    단말기의 동작 방법.
  16. 제12항에 있어서,
    사용자 생성 모션 데이터와 사용자 구매 모션 데이터를 구분하여 모션 리스트를 표시하는 단계; 및
    상기 사용자 생성 모션 데이터 중 적어도 하나를 판매하기 위한 판매 아이콘을 표시하는 단계를 더 포함하는
    단말기의 동작 방법.
PCT/KR2019/001640 2019-02-11 2019-02-11 액션 로봇용 단말기 및 그의 동작 방법 WO2020166731A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020197031025A KR20210115068A (ko) 2019-02-11 2019-02-11 액션 로봇용 단말기 및 그의 동작 방법
PCT/KR2019/001640 WO2020166731A1 (ko) 2019-02-11 2019-02-11 액션 로봇용 단말기 및 그의 동작 방법
US16/783,619 US20200254358A1 (en) 2019-02-11 2020-02-06 Terminal for action robot and method of operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/001640 WO2020166731A1 (ko) 2019-02-11 2019-02-11 액션 로봇용 단말기 및 그의 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/783,619 Continuation US20200254358A1 (en) 2019-02-11 2020-02-06 Terminal for action robot and method of operating the same

Publications (1)

Publication Number Publication Date
WO2020166731A1 true WO2020166731A1 (ko) 2020-08-20

Family

ID=71946477

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/001640 WO2020166731A1 (ko) 2019-02-11 2019-02-11 액션 로봇용 단말기 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US20200254358A1 (ko)
KR (1) KR20210115068A (ko)
WO (1) WO2020166731A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116847957A (zh) 2021-06-28 2023-10-03 三星电子株式会社 机器人和用于操作机器人的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004148492A (ja) * 2002-10-11 2004-05-27 Sony Corp ロボット装置のためのモーション編集装置及びモーション編集方法、ロボット装置及びロボット装置の制御方法、並びにコンピュータ・プログラム
JP2008254074A (ja) * 2007-03-30 2008-10-23 Sega Corp ロボットのモーション編集装置及びそのプログラム
KR20090106783A (ko) * 2008-04-07 2009-10-12 주식회사 케이티 로봇 ｕｃｃ 커뮤니티 시스템, 로봇 ｕｃｃ 제작 방법,로봇 ｕｃｃ 서비스 제공 방법 및 그 로봇
KR20100062320A (ko) * 2008-12-02 2010-06-10 홍익대학교 산학협력단 영상 데이터를 이용한 로봇 움직임 데이터 생성 방법 및 생성 장치
KR20140115902A (ko) * 2013-03-22 2014-10-01 주식회사 케이티 로봇 컨텐츠 저작 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374721B2 (en) * 2005-12-02 2013-02-12 Irobot Corporation Robot system
JP6684556B2 (ja) * 2015-08-28 2020-04-22 株式会社電通 データ変換装置、ロボット、プログラム及び情報処理方法
US10984575B2 (en) * 2019-02-06 2021-04-20 Snap Inc. Body pose estimation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004148492A (ja) * 2002-10-11 2004-05-27 Sony Corp ロボット装置のためのモーション編集装置及びモーション編集方法、ロボット装置及びロボット装置の制御方法、並びにコンピュータ・プログラム
JP2008254074A (ja) * 2007-03-30 2008-10-23 Sega Corp ロボットのモーション編集装置及びそのプログラム
KR20090106783A (ko) * 2008-04-07 2009-10-12 주식회사 케이티 로봇 ｕｃｃ 커뮤니티 시스템, 로봇 ｕｃｃ 제작 방법,로봇 ｕｃｃ 서비스 제공 방법 및 그 로봇
KR20100062320A (ko) * 2008-12-02 2010-06-10 홍익대학교 산학협력단 영상 데이터를 이용한 로봇 움직임 데이터 생성 방법 및 생성 장치
KR20140115902A (ko) * 2013-03-22 2014-10-01 주식회사 케이티 로봇 컨텐츠 저작 장치 및 방법

Also Published As

Publication number Publication date
US20200254358A1 (en) 2020-08-13
KR20210115068A (ko) 2021-09-27

Similar Documents

Publication Publication Date Title
WO2019168383A1 (en) Electronic device
WO2019168380A1 (en) Electronic device
WO2017069324A1 (ko) 이동단말기 및 그 제어방법
WO2016099141A2 (ko) 멀티미디어 콘텐츠 제작 및 재생 방법, 이를 수행하는 전자 기기 및 이를 실행하는 프로그램이 저장된 기록 매체
WO2016018086A1 (en) System and method of managing metadata
WO2015005639A1 (ko) 완구 부착형 애드온 장치를 이용한 증강현실 컨텐츠 제공 시스템
WO2014098465A1 (en) Method and terminal for reproducing content
WO2020231202A1 (ko) 복수 개의 스피커들을 포함하는 전자 장치 및 그 제어 방법
WO2017010651A1 (ko) 디스플레이 시스템
WO2015163555A1 (ko) 자막 삽입 시스템 및 방법
WO2017018602A1 (ko) 이동단말기 및 그 제어방법
WO2016013705A1 (ko) 원격제어장치 및 그의 동작 방법
WO2016126048A1 (ko) 디스플레이 장치
WO2015160039A1 (en) Method for operating image display device
WO2018048098A1 (en) Portable camera and controlling method therefor
WO2021060590A1 (ko) 디스플레이 장치 및 인공 지능 시스템
WO2018088667A1 (en) Display device
WO2020166731A1 (ko) 액션 로봇용 단말기 및 그의 동작 방법
WO2017018561A1 (ko) 전시공간 제어 시스템 및 전시공간 제어방법
WO2017082472A1 (ko) 이동단말기 및 그 제어방법
WO2016182124A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2019066133A1 (ko) 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
WO2015020494A1 (ko) 모바일용 동영상 편집도구의 이펙트 설정을 위한 플러그인의 배포방법
WO2020022571A1 (ko) 스마트 디바이스 및 그 제어 방법
WO2021070976A1 (ko) 소스 기기 및 무선 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19914726

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19914726

Country of ref document: EP

Kind code of ref document: A1