WO2017090887A1 - 웨어러블 디바이스 및 웨어러블 디바이스의 제어방법 - Google Patents

웨어러블 디바이스 및 웨어러블 디바이스의 제어방법 Download PDF

Info

Publication number
WO2017090887A1
WO2017090887A1 PCT/KR2016/011461 KR2016011461W WO2017090887A1 WO 2017090887 A1 WO2017090887 A1 WO 2017090887A1 KR 2016011461 W KR2016011461 W KR 2016011461W WO 2017090887 A1 WO2017090887 A1 WO 2017090887A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
state
wearable device
target state
Prior art date
Application number
PCT/KR2016/011461
Other languages
English (en)
French (fr)
Inventor
김덕환
김혜수
박정록
전우람
아그르왈판카즈
Original Assignee
삼성전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160050165A external-priority patent/KR20170061051A/ko
Priority claimed from KR1020160120637A external-priority patent/KR102464925B1/ko
Application filed by 삼성전자(주) filed Critical 삼성전자(주)
Publication of WO2017090887A1 publication Critical patent/WO2017090887A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G06Q50/40—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements

Definitions

  • the present invention relates to a wearable device and a control method thereof. Specifically, the present invention relates to a wearable device and a method of controlling the same, based on state information of a user wearing the wearable device, to guide a user's state to a desired target state.
  • the learning guide function implemented in the smart device is a kind of artificial intelligence growth program that leads the user of the smart device to the desired target state based on the state information of the user acquired through various sensors of the smart device.
  • Such a learning guide function may determine whether the state of the user meets the target state only when the accuracy of the state information of the user obtained through the smart device is high, and may guide the user to the desired target state based on the accuracy.
  • the user's status information is obtained through a smart device that is physically separated from the user, the user's status information cannot be accurately determined whether the user's status meets the target status because the user's status information is low in accuracy, and thus the user's desired target status. Cannot be derived.
  • an object of the present invention is to provide a wearable device and a method of controlling the same, which can lead a user to a desired target state by improving the accuracy of the determination of whether the state information of the user and the state of the user meet the target state. .
  • a wearable device that can be worn on a user's body, comprising: a storage unit configured to store information about a target state of a user provided for at least one situation, and guide information corresponding to the target state; A sensor unit which detects a state of the user and generates state detection information; And determining whether the user state corresponds to the target state based on the information about the target state of the user stored in the storage unit and the state detection information generated by the sensor unit, wherein the user state corresponds to the target state. If it does not meet the target state, it may be achieved by a wearable device including a control unit for providing guide information corresponding to the target state stored in the storage unit.
  • the wearable device may include a voice output unit capable of outputting a voice, and the controller may control the voice output unit to output a voice corresponding to the guide information.
  • the wearable device may include a voice receiver configured to receive a voice of the user, and the controller may output a voice corresponding to the guide information by reflecting the voice of the user received through the voice receiver. Can be controlled.
  • the wearable device may include a display capable of displaying an image, and the controller may control the display to display a character corresponding to the guide information.
  • the wearable device may include an image acquisition unit for capturing an image of the user, and the controller may control the display unit to display the character by reflecting the image of the user captured through the image acquisition unit.
  • the storage unit stores information about a reward corresponding to the target state
  • the controller may provide information about the reward when the user state matches the target state based on the state detection information. have.
  • the information about the reward may include at least one of information about the growth of the character step by step and information about the wish of the user.
  • the object of the present invention in the control method of the wearable device wearable on the user's body, the information on the target state of the user provided for at least one situation, and stores the guide information corresponding to the target state Making a step; Generating state detection information by detecting a state of the user; Determining whether the user state corresponds to the target state based on the stored information about the target state of the user and the generated state detection information; And providing the guide information corresponding to the stored target state when the user state does not correspond to the target state.
  • the providing of the guide information may include outputting a voice corresponding to the guide information.
  • the outputting of the voice may include receiving a voice of the user and outputting a voice corresponding to the guide information by reflecting the received voice of the user.
  • the providing of the guide information may include displaying a character corresponding to the guide information.
  • the displaying of the character may include capturing an image of the user and displaying the character by reflecting the captured image of the user.
  • the storing may include storing information about a reward corresponding to the target state, and the providing of the guide information may include the user state corresponding to the target state based on the state detection information.
  • the method may include providing information regarding the reward.
  • the information about the reward may include at least one of information about the growth of the character step by step and information about the wish of the user.
  • the object of the present invention is a computer-readable recording medium having a computer program containing code for performing a method of controlling a wearable device, the control method of the wearable device, at least one situation, Storing information regarding a target state of the user and guide information corresponding to the target state; Generating state detection information by detecting a state of the user; Determining whether the user state corresponds to the target state based on the stored information about the target state of the user and the generated state detection information; And providing the guide information corresponding to the stored target state when the user state does not match the target state.
  • a wearable device and a control method thereof capable of leading the user to a desired target state by improving the accuracy of determining whether the state information of the user and the state of the user meet the target state.
  • 1 is an exemplary view of a learning guide system.
  • FIG. 2 is a block diagram of a parent device of FIG. 1.
  • FIG. 3 is a block diagram of the wearable device of FIG. 1.
  • 4 and 5 are exemplary diagrams of a wearable device.
  • 6 to 9 are exemplary diagrams of a learning guide program performed by a wearable device.
  • FIG. 10 illustrates an example of information stored in a wearable device.
  • 11 is an exemplary view illustrating a process of determining whether a state of a user corresponds to a target state.
  • 12 to 19 are flowcharts illustrating a method of controlling a wearable device.
  • 20 to 23 illustrate examples of a method of controlling a wearable device.
  • 24 is an exemplary diagram of a smart network system including a wearable device.
  • FIG. 25 is a flowchart illustrating a control method of the wearable device of FIG. 24.
  • FIG. 26 is an exemplary diagram of the smart network system of FIG. 24.
  • FIG. 27 is an exemplary diagram of the smart network system of FIG. 26.
  • 28 is an exemplary view of a behavior development guide program performed by the smart network system.
  • 29 is a flowchart illustrating a schedule based analysis process.
  • 30 and 31 are flowcharts and exemplary diagrams of a control method of the smart network system of FIG. 28.
  • the study guide system 100 includes a mother device 110, a wearable device 120, and a server 130.
  • the mother device 110 is equipped with a plurality of applications that perform various functions, and is a smart device that can execute an application by itself and perform a function accordingly.
  • the mother device 110 may be a smartphone, a netbook, a tablet, a notebook, or the like.
  • the mother device 110 will be described on the assumption that the mother device 110 is a smartphone.
  • the parent device 110 may execute the learning guide application on its own among a plurality of applications to allow the learning guide program to proceed in the wearable device 120. That is, the mother device 110 may display a setting screen of the learning guide program on the display 115 and set the learning guide program for a specific mission in a specific wearable device 120 among a plurality of wearable devices.
  • the learning guide program is a program that provides a mission that the user of the wearable device 120 should achieve in various situations, and induces the mission to be accomplished.
  • the wearable device 120 acquires user state information such as a user's motion and movement, and determines whether the user properly accomplishes the corresponding mission based on the obtained user state information. . That is, the wearable device 120 determines whether a state of the user of the wearable device 120 corresponds to a target state indicating a state in which the corresponding mission is achieved based on the user state information. If the state of the user does not meet the target state, the wearable device 120 provides guide information so that the state of the user corresponds to the target state, and the reward information is provided if the state of the user meets the target state.
  • the parent device 110 may monitor the progress of the learning guide program performed in the wearable device 110 in real time. That is, the parent device 110 may check in real time whether the state of the user of the wearable device 110 meets the target state, and whether to continue the study guide program for the mission according to the check result, or to another mission You can decide whether to proceed with the study guide program.
  • the wearable device 120 may also be equipped with a plurality of applications that perform various functions, such as the parent device 110, and may be a smart device capable of executing the application itself.
  • the wearable device 120 may proceed with the learning guide program set under the control of the parent device 110.
  • the wearable device 120 is a smart device that can be worn, attached, or implanted on a user's body, such as a smart watch, bracelet, glasses, hat, microchip, or the like. Therefore, since the accuracy of the user state information acquired by the wearable device 120 is high, the accuracy of the determination as to whether the state of the user meets the target state can be increased. However, hereinafter, it will be described on the assumption that the wearable device 120 is a smart watch.
  • the wearable device 120 may selectively provide the guide information or the reward information to the user depending on whether the state of the user corresponds to the target state.
  • the guide information is information for helping the user's state to meet the target state when the user's state does not meet the target state because the user does not achieve the given mission through the learning guide program.
  • the reward information is information about the reward given to the user when the user achieves the given mission through the learning guide program and the user's state is determined to meet the target state.
  • the wearable device 120 may provide the user with guide information and reward information in various ways.
  • the wearable device 120 displays the virtual character on the display unit 125 and guides and rewards the motion and voice of the displayed virtual character. Information can be provided to the user.
  • the server 130 may store information about the mission, information about the target state corresponding to the mission, guide information, reward information, information about the character, information about the reward items required during the progress of the learning guide program .
  • the server 130 may provide the information to the mother device 110 or the wearable device 120 according to a request of the mother device 110 or the wearable device 120.
  • the server 130 may receive the user state information acquired by the wearable device 120 and directly determine whether the state of the user corresponds to the target state, and guide information or reward information according to the determination result. May be provided to the wearable device 120.
  • the learning guide system 100 may accurately determine whether the state of the user of the wearable device 120 corresponds to the target state based on the highly accurate user state information while the learning guide program is in progress. have. Accordingly, the state of the user of the wearable device 120 may be effectively induced to become the target state.
  • the parent device 110 includes a display 115, a storage 210, a sensor 220, a communicator 230, and a controller 240.
  • the display 115 is provided with a panel such as an LCD, a PDP, or an OLED that displays an image based on image data processed to be displayed.
  • the storage unit 210 is a memory that stores data for executing a plurality of applications or applications that perform various functions. To this end, the storage unit 210 is provided with an HDD, SSD, memory card, RAM, ROM, and the like.
  • the input unit 220 includes a voice receiver for obtaining a voice and an image acquisition unit for acquiring an image.
  • the voice receiver may be provided as a microphone and the image acquisition unit may be provided as a camera.
  • the communication unit 230 includes a mobile communication module for transmitting and receiving wireless data with at least one of the base station, the wearable device 120, and the server 130 through a mobile communication network, and a Bluetooth module capable of short-range communication.
  • the controller 240 is a processor that generally controls the operation of the configuration of the parent device 110.
  • the controller 240 may execute the learning guide application stored in the storage 210 to control the learning guide program for the specific mission to be performed in the wearable device 120.
  • the configuration of the parent device 110 is not limited to that shown in FIG. 2, a configuration necessary to smoothly perform functions related to a phone call, text message transmission, chat message transmission, and email transmission and reception, which are general functions of a smartphone, may be used. It may further include.
  • the parent device 110 may provide a user interface for receiving a user input, a sensor unit for sensing peripheral information of the parent device 110, and supply power to each component of the parent device 110.
  • the battery may further include a sound output unit for outputting sound and a hap tip unit for generating vibration.
  • the wearable device 120 may include an input unit 310, a display unit 320, a sensor unit 330, a control unit 340, a communication unit 350, a user interface unit 360, and a storage unit 370. ), A battery 380, and an output unit 390.
  • the input unit 310 is provided with a voice receiver 311 for acquiring a voice such as a microphone and an image acquirer 312 for acquiring an image such as a camera.
  • the display unit 320 corresponds to the display unit 125 of FIG. 1 and is provided with a panel such as an LCD, an OLED, or a PDP that displays an image based on image data processed to be displayed.
  • the sensor unit 330 may include an acceleration sensor 332 for detecting a motion of the wearable device 200, a six-axis sensor 331 such as a gyroscope sensor 333, a lung meter 335, and a heart rate sensor ( 336).
  • the sensor unit 330 may further include a biosensor such as a position sensor, a blood glucose sensor or a blood pressure sensor, a chemical sensor measuring a chemical substance, and a temperature sensor.
  • the controller 340 is a processor that generally controls the operation of each component of the wearable device 120. For example, the controller 340 executes a learning guide program for a specific mission or by itself under the control of the parent device 110 and obtains user state information through the sensor unit 330. The controller 340 determines whether the current user's state corresponds to the target state based on the obtained user state information, and outputs the guide information or the reward information according to the determination result. To control.
  • the communication unit 350 includes a mobile communication module for transmitting and receiving wireless data with at least one of the base station, the parent device 110, and the server 130 through a mobile communication network, and a Bluetooth module 351 capable of short-range communication.
  • the Bluetooth module 351 may transmit and receive data for a long time at low power with the mother device 110, the server 130, and other smart devices using Bluetooth low power technology.
  • the storage unit 370 is a memory that stores data for executing a plurality of applications or applications. For example, the storage unit 370 not only stores the learning guide application, but also the information about the mission of the learning guide program that proceeds according to the execution of the learning guide application, the information about the target state corresponding to the mission, guide information, and Reward information can be stored. To this end, the storage unit 210 is provided with an HDD, SSD, memory card, RAM, ROM, and the like.
  • the battery 380 supplies power to each component of the wearable device 110, and may be detachably coupled to the wearable device 110 for charging.
  • the output unit 390 has a sound output unit 391 for outputting the other party's voice or audio data in a call, and a haptic unit 392 for generating a vibration that can be felt by the user.
  • the wearable device 120 may further include various components as necessary.
  • the wearable device 120 includes a main body 410 that forms various shapes such as a circle and a polygon.
  • the main body 410 is provided with a voice receiver 311, a sound output unit 391, and a display 320.
  • the wearable device 120 may include a band unit 440 that fixes the main body 410 to a user's wrist.
  • the wearable device 120 may be executed in various modes.
  • the home screen may be configured by displaying a plurality of icons 430 representing a plurality of executable applications on the display 320.
  • the plurality of icons 430 may be arranged in a circle or in a matrix form.
  • the home screen may be configured as a weather screen, a clock screen, a calendar screen, or the like.
  • the wearable device 120 executes an application corresponding to the selected icon.
  • the wearable device 120 performs an operation corresponding to the executed application and displays a screen indicating the performed operation.
  • the wearable device 120 executes a learning guide application corresponding to an icon selected according to a user input, and performs an operation corresponding to the learning guide application. That is, the wearable device 120 proceeds with the learning guide program.
  • the learning guide program acquires state information of the user of the wearable device 120 for a specific mission prepared in various situations, and determines whether the state of the user meets the target state based on the obtained state information, This is a program that provides guide information or reward information.
  • the virtual character 530 that the user may have intimacy with may be displayed on the display 320. If the guide information or reward information is appropriately provided while the learning guide program is progressed through the virtual character 530, the user can smoothly perform the mission.
  • the type and shape of the virtual character 530 is not limited, it is preferable that the user of the wearable device 120 may feel intimacy and homogeneity.
  • the virtual character 530 may include a picture of the user of the wearable device 120, a caricature resembling the user, a cartoon, a favorite animal, and the like.
  • the virtual character 530 may be directly configured in the wearable device 120, but may be provided through the parent device 110 or the server 130.
  • the study guide program may be started by the parent device 110.
  • the parent device 110 displays a list of various situations, missions, and submissions that can be progressed through the study guide program. ) Can be displayed.
  • the situation may be a higher category including various missions and submissions, and the mission may mean a specific target state that the user must achieve in a specific situation.
  • a submission is a sub-concept of a mission and can mean a more specific target state than a mission.
  • the situation may be 'home'
  • the mission may be 'meal' that can be performed in 'home'
  • the submission may be a part of the 'meal' mission.
  • the parent device 110 may display only one of a situation, a mission, and a submission list that can be progressed through the learning guide program.
  • 'missions' situations, missions, and submissions will be collectively referred to as 'missions'.
  • the parent device 110 transmits command data to the wearable device 120 so that the learning guide program of the corresponding mission is progressed in the wearable device 120. .
  • the wearable device 120 executes the learning guide application according to the command data of the parent device 110 to start the learning guide program for the corresponding mission. For example, when the user of the parent device 110 selects the 'sit at the table' 610 of the 'meal' in the 'house', the wearable device 120 executes the learning guide application to 'sit at the table' (610) A study guide program for the mission will be conducted.
  • the wearable device 120 may provide the user with guide information corresponding to the target state when the mission to 'sit at the table' 610 is performed.
  • the guide information may be provided in various contents at an appropriate timing so that the user of the wearable device 120 may perform the corresponding mission while the learning guide program is in progress.
  • 'Sit at the table' (610)
  • the user starts the "Sit at the table mission. It's time for a meal. Let's sit in a chair.”
  • Guide information can be provided.
  • the guide information may be about the 'sit at the table', which is the target state of the 'sit at the table' 610 mission, or may be intended to lead to the target state.
  • the user may provide the guide information "stop playing, let's sit in a chair because it is meal time" as a warning.
  • the guide information may be provided as an animation of the voice and motion of the virtual character 530.
  • the virtual character 530 is a caricature resembling a user of the wearable device 120
  • the caricature repeatedly displays an animation of sitting on a dining table while outputting a user's own voice
  • the wearable device 120 The user of the) can be encouraged to perform more naturally 'sitting at the table' (610) mission.
  • the information or guide information about the target state may be appropriately changed according to the gender, age, learning level, disability or the like of the user of the wearable device 120.
  • the preferred target state for the 'sitting at the table' 610 mission is that the user boards the wheelchair and moves to the table. State ".
  • the wearable device 120 may provide an animation of moving the virtual character 530 to the table in the wheelchair and the voice “Let's eat at the wheelchair and move to the table” as guide information corresponding to the target state. .
  • the wearable device 120 Since the wearable device 120 according to the present embodiment is a smart watch worn on a user's wrist, the wearable device 120 has a higher accuracy of acquiring user state information than other smart devices that are physically separated from the user. Based on this accuracy, the wearable device 120 can accurately determine whether the user's state corresponds to the target state. If the user does not perform the mission of sitting at the table 610, and the user's state does not correspond to the target state, the wearable device 120 may provide guide information so that the user's state corresponds to the target state. to provide. The guide information provided at this time may be provided differently from the guide information provided at the start of the 'sit at the table' 610 mission.
  • the wearable device 120 may provide “Let's sit at a chair because it is meal time” at a higher volume or in a strong tone.
  • the virtual character 730 may be displayed in a state different from that of the virtual character 530 displayed at the start of the mission.
  • the state of the character may be divided into a general state and a special state, where the general state represents a feeling of goodness, depression, joy, and the like, and the special state represents an excitement, joy, anger, lethargy, and the like.
  • the virtual character 530 indicating the pleasantness or the pleasure is displayed in the normal state, and when the user's state does not meet the target state, the virtual character 730 indicating the anger or lethargy in the special state is displayed.
  • a number or graph indicating the weight or size 740 of the virtual character 730 may be reduced in steps.
  • the wearable device 120 When it is determined that the state of the user corresponds to the target state, the wearable device 120 outputs "good work" by the voice of the virtual character 830 as reward information, or the virtual character 830 is excited or excited during a special state. You can display an animation indicating. In some cases, a number or graph indicating the weight or size 840 of the character 830 may be adjusted and displayed.
  • the number is displayed step by step by applying weight to the degree of excitement or joy of the virtual character 830 according to the number of repetitions, or the number indicating the weight or size 840.
  • the graph can be displayed step by step by applying weights.
  • the wearable device 120 provides guide information or reward information to the user according to the determination of whether the user's state corresponds to the target state based on the user's state information, thereby providing the user with the wearable device 120.
  • the state can be induced to meet the target state.
  • the wearable device 120 determines that the state of the user corresponds to the target state, the wearable device 120 is the reward information 940, and information about the growth of the virtual character 530, information about an item, and At least one of the information about the wish may be provided.
  • the information about the growth of the virtual character 530 is information for changing the size, shape, weight, and maturity of the character.
  • the information about the growth of the virtual character 530 is a guide of the age, gender, maturity, growth rate, the user's state of the wearable device 120 does not correspond to the time or speed to reach the target state, the target state It can be configured in stages by comprehensively considering the number of times the information is output.
  • the information about the item refers to information about an item that can be reflected and displayed on the virtual character 530.
  • the item is preferably provided corresponding to a mission performed by a user of the wearable device 120. For example, when the user's state meets the target state with respect to the '1km running' mission, the training suit or training shoes may be reflected and displayed on the virtual character 530. In the opposite case, the training suit or training sneaker may be deleted and the virtual character 530 may be displayed.
  • the information about the user's wishes refers to reward information that may be arbitrarily provided to the user of the wearable device 120 in addition to the virtual character 530 and the item. It is preferable that the information regarding the wishes of the user is arbitrarily set and provided by the parent device 110. That is, the user of the parent device 110 may set the reward information of the most appropriate form in consideration of the age, gender, maturity, growth rate, etc. of the user of the wearable device 120. For example, the user of the parent device 110 is information about the user's wishes for the 'sit at the table' (610) mission, such as 'going to the water' or 'going to the zoo,' Can be set as information about wishes. If the state of the user meets the target state, information about the set wish will be provided to the user of the wearable device 120 in the form of a coupon, and this fact will be transmitted to the parent device 110.
  • the wearable device 120 may store information about a target state of the user, guide information corresponding to the target state, and reward information according to various missions in the storage unit 370. In some cases, such information may be stored in the parent device 110 or the server 130 and provided from them.
  • the 'dining' situation includes 'sitting at the table' (m1), 'eating evenly' (m2) and 'concentrating eating' (m3). It may consist of 'Eating to the end' (m4), 'Cleaning up' (m5), and 'Greeting' (m5) missions.
  • the target state for the 'sitting at the table' (m1) mission may be 'the state sitting on the table' (t1), and the guide information is 'sit at the table because it's meal time' (g1).
  • the character 530 may be an animation of repeating an operation of sitting on a dining table chair.
  • a target state and guide information may be set to obtain a predetermined score or more by performing a game of moving a chair to a table for a 'sitting at a table' (m1) mission.
  • the information about the target state and the guide information may be set through interaction with the parent device 110, for example, the 'evenly eat' (m2) mission is designated by the parent device 110.
  • the intake of a plurality of side dishes at least a predetermined number of times may be set as a target state, and the content of encouraging the intake of the side dishes may be set as guide information.
  • the wearable device 120 obtains the state information of the user through the sensor unit 330 and generates the state detection information of the user.
  • the state detection information is composed of the user's motion information a1, voice state information b1, and face state information c1.
  • the wearable device 120 may perform a 'sit at the table' (m1) state of the user's state S1 based on at least one of the user's movement information a1, the voice state information b1, and the face state information c1. Determine whether it meets the target state of 'sit in the dining table' (t1).
  • the wearable device 120 may transmit the user's motion information a1 of the wearable device 120 through the acceleration sensor 332, the gyroscope sensor 333, the pedometer 335, and the heart rate sensor 336. If the motion information a1 of the user is greater than the first upper limit value, the user may determine that the user is still moving. That is, when the user's movement information a1 is greater than the first upper limit value, the wearable device 120 determines that the user's state S1 does not correspond to the target state 'sitting in the dining table' t1. In addition, the guide information g11 is provided to the user to encourage the user's state to meet the target state t1.
  • the wearable device 120 determines that the user's state corresponds to the target state t1, and reward information g12 compliments the user. ) Can be provided.
  • the wearable device 120 generates the voice state information b1 of the user based on the voice of the user received through the voice receiver 311, and if the voice state information b1 of the user is greater than the second upper limit value, It may be determined that the state S1 of the user does not correspond to the target state t1. For example, if the user's voice is greater than or equal to a predetermined decibel, it is determined that the user's voice state information b1 is greater than the second upper limit value, and the guide information g11 of the content is encouraged to meet the target state t1. To the user. However, it may be determined whether the state of the user corresponds to the target state t1 based on the ambient noise in addition to the voice of the user.
  • the wearable device 120 generates the face state information c1 of the user based on the image of the user acquired through the image acquisition unit 312, and if the face state information c1 of the user is greater than the third upper limit value.
  • the user's state S1 may be determined to be inconsistent with the target state t1. For example, when the user is sleeping with his eyes closed, the user's face state information c1 is determined to be greater than the third upper limit value, and the guide information g11 encourages the user's state to meet the target state t1. ) To the user. However, it may be determined whether the user's state corresponds to the target state t1 using the surrounding image in addition to the user's image.
  • the wearable device 120 may execute a learning guide application by itself or by the control of the parent device 110, and display various missions to be progressed through the learning guide program (S1201).
  • the wearable device 120 proceeds with the learning guide program for the corresponding mission (S1202).
  • a specific situation including a plurality of missions may be selected.
  • the learning guide program for the plurality of missions included in the specific situation may be sequentially performed.
  • the wearable device 120 may detect a state of the user (S1203). In particular, since the wearable device 120 may be attached, worn, or implanted on the user's body, the wearable device 120 may accurately detect the user's condition. The wearable device 120 determines whether the user performs a given mission based on the detected state of the user (S1204). Since the accuracy of the user's state is high, the accuracy of the determination of whether the user performs the mission is also increased. The wearable device 120 provides the guide information or the reward information to the user according to the determination result (S1205). Accordingly, the wearable device 120 may effectively induce a user to perform a mission.
  • the wearable device 120 stores target state information about a mission and guide information corresponding to the target state in the storage unit 370 (S1301).
  • the wearable device 120 detects a state of the user through the sensor unit 330 and generates state detection information (S1302).
  • the wearable device 120 may compare the target state information stored in the storage unit 370 with the state detection information generated by the sensor unit 330 to determine whether the target state matches the state of the user (S1303). . If the target state and the user state do not match, the wearable device 120 provides the user with guide information corresponding to the target state stored in the storage unit 370 (S1304).
  • control method of the wearable device 120 may be implemented as a computer-readable recording medium. Specifically, storing information about the target state of the user provided for at least one situation, and guide information corresponding to the target state, generating the state detection information by detecting the user's state, the stored user Determining whether the user state corresponds to the target state based on the information about the target state of the target state and the generated state detection information; and if the user state does not correspond to the target state, guide information corresponding to the stored target state.
  • a program for performing a control method of the wearable device 120 including providing the stored program may be implemented as a recording medium.
  • the wearable device 120 may store target state information and guide information corresponding to the target state for various missions (S1401).
  • the guide information may include reward information.
  • the wearable device 120 provides the guide information to the user in advance (S1402). This allows the user to prepare to perform a given mission.
  • the wearable device 120 detects a state of the user through the sensor unit 330 and generates state detection information (S1403).
  • the wearable device 120 compares the target state information stored in the storage unit 370 with the state detection information generated by the sensor unit 330 (S1404).
  • the wearable device 120 may determine whether the state of the user corresponds to the target state based on the comparison result (S1405).
  • the wearable device 120 If the target state and the user state do not match, the wearable device 120 provides the guide information again (S1406). On the other hand, otherwise, the wearable device 120 provides guide information corresponding to the completion state, that is, reward information (S1407).
  • the wearable device 120 receives the user's voice through the voice receiver 311 (S1505) and reflects the received voice of the user. Information is provided (S1506).
  • the present invention is not limited to receiving the user's voice only when the target state and the user's state do not match. Therefore, the voice of the user may be received before the mission is performed or the voice of the user may be received at an appropriate time during the mission. As such, if the user's voice is reflected and provided in the guide information, the rejection of the mission may be reduced, thereby inducing the user to naturally perform the mission.
  • the wearable device 120 captures an image of the user through the image acquisition unit 312 (S1604) and reflects the captured image of the user in the guide information. To the user (S1605).
  • the present invention is not limited to photographing the user's image only when the target state and the user's state do not match. Therefore, the user's image may be photographed before the mission is performed or the user's image may be photographed at an appropriate time during the mission execution process. In this way, if the user's image is reflected and provided in the guide information, the rejection of the mission may be reduced, thereby inducing the user to naturally perform the mission.
  • the wearable device 120 determines an operation pattern of the user based on the generated state detection information (S1704), and the determined operation pattern corresponds to the target state. Reflected in the guide information (S1705).
  • the wearable device 120 may output a voice indicating that only a specific side dish is ingested as guide information or an animation of a virtual character ingesting only a specific side dish. In this way, if the user's operation pattern is reflected and provided in the guide information, the user can directly check his or her own behavior and induce the user to voluntarily perform the mission.
  • the wearable device 120 stores target state information, guide information corresponding to the target state, and reward information for various missions that can be progressed to the learning guide program (S1801).
  • the wearable device 120 provides the user with guide information corresponding to the target state of the mission (S1802).
  • the wearable device 120 may provide the user with reward information along with the guide information to induce a voluntary participation of the user.
  • the wearable device 120 detects a state of the user and generates state detection information (S1803).
  • the wearable device 120 may compare the stored target state information with the generated state detection information (S1804) and determine whether the target state and the user state coincide with each other (S1805).
  • the wearable device 120 If the target state and the user state do not match, the wearable device 120 provides the guide information again so that the user can perform the mission again (S1806). On the other hand, if the target state and the user state is consistent, the wearable device 120 provides the reward information to the user (S1807).
  • the wearable device 120 advances a learning guide program for a given mission and senses a user's motion (S1901).
  • the wearable device 120 may analyze a user's exercise amount, activity amount, eating habits, and latent habits based on the sensed user's motion (S1902).
  • the analysis target depends on the mission. For example, when the exercise mission proceeds, the user's exercise amount or activity amount is analyzed, and when the meal mission progresses, the eating habits and meal amount are analyzed.
  • the wearable device 120 analyzes an analysis target and extracts a growth amount of the user (S1903).
  • the wearable device 120 determines a growth factor of the character (S1904).
  • the growth factor of the character refers to an attribute of the character used to reflect the extracted growth amount to the virtual character 530.
  • the attribute of the character may include at least one of a shape, a size, an expression, and an item of the virtual character 530.
  • the growth factor of the character may also include abstract concepts such as intimacy and sociality.
  • the growth factor of the character is an abstract concept, the character may be embodied in numbers or graphs.
  • the wearable device 120 changes the growth factor of the character according to the extracted growth amount (S1905). For example, when the '1 km running' mission is performed, the wearable device 120 may display the virtual character 830 having an increased external size, which is one of the character's growth factors. In some cases, the wearable device 120 may provide compensation according to the growth amount (S1906).
  • the reward may be provided as reward information of various contents and types.
  • the wearable device 120 may provide guide information according to the growth amount (S1907).
  • the guide information according to the growth amount is different from the guide information that leads the user to achieve the mission of the learning guide program. That is, when the user performs the mission, the guide information according to the growth amount may include advice on a later mission in consideration of the time or speed until the mission is performed. For example, if the time or speed to perform the '1km running' mission is delayed than before, the virtual character 530 outputting a guide information “Please refrain from excessive exercise” or using a tired expression. Can be displayed.
  • 20 to 23 are exemplary views illustrating a control method of the wearable device 120.
  • the parent device 110 executes the learning guide application, selects a specific mission from a plurality of missions, and transmits the specific mission to the wearable device 120 (S2001).
  • the wearable device 120 proceeds with the learning guide program for the transmitted mission, and determines whether the user completes the corresponding mission based on the obtained user state information (S2002).
  • the wearable device 120 changes the virtual character 530 according to whether the user completes the corresponding mission (S2004), and transmits the changed virtual characters 740 and 840 to the parent device 110 (S2004).
  • the wearable device 120 when it is determined that the user completes the mission, the wearable device 120 requests an item from the server 130 as a reward for this (S2103).
  • the item requesting the server may be related to the completed mission.
  • the server 130 transmits the item to the wearable device 120 (S2104), so that the item can be reflected to the virtual character 530 (S2105).
  • the wearable device 120 when it is determined that the user completes the mission (S2202), the wearable device 120 notifies the parent device 110 that the mission is completed (S2203). As a reward for this, when the parent device 110 requests the server 130 to provide an item to the wearable device 120 (S2204), the server 130 transmits the item to the wearable device 120 (S2205).
  • the parent device 110 may execute a learning guide application, select a specific mission from a plurality of missions, and request the server 130 for data related to the selected mission (S2301).
  • the server 130 may provide data related to the mission of the learning guide program selected by the parent device 110 to the wearable device 120 (S2302).
  • the smart network system 2400 is a system for providing an IoT environment between a plurality of smart devices through a network, and includes a plurality of smart devices and a smart gateway 180.
  • Smart devices may include smart appliances, security devices, lighting devices, energy devices, medical devices, and the like.
  • Smart home appliances can be PCs, cameras, telephones, TVs, air conditioners, robot cleaners, humidifiers, electric toothbrushes, security devices can be door locks, security cameras, CCTV (closed circuit television), security sensors, etc.
  • the lighting device may be a light emitting diode (LED), a lamp, or the like
  • the energy device may be a heating device, a power meter, a power socket, an electrical outlet, a power strip, and the like
  • the medical device may include a blood pressure monitor, a blood glucose meter, a load electrocardiograph, It may be a thermometer, weight scale, or the like.
  • These smart devices can communicate with the smart gateway 180 according to a wired or wireless communication method, receive a control command from the smart gateway 180 and operate according to the control command, and receive information or data requested from the smart gateway 180. It may transmit to the smart gateway 180.
  • the smart gateway 180 may be implemented as an independent device or may be implemented as a device having a smart gateway 180 function.
  • the smart gateway 180 may be implemented as a PC, a camera, a phone, a TV, or the like. That is, the smart network system 2400 may control all types of smart devices by connecting them to one network.
  • the wearable device 120 may exchange data with each other by remotely accessing another smart device or directly connecting with another smart device through the smart gateway 180. Since the interchangeable data is not limited, the wearable device 120 may receive additional information about a user's state from another smart device.
  • the additional information about the state of the user refers to information that the wearable device 120 receives from another smart device to generate the state detection information of the user.
  • the smart sensor 153 is a smart device capable of detecting a user's location and motion.
  • the wearable device 120 may access the smart sensor 153 to receive additional information regarding whether the user of the wearable device 120 is in a restaurant where the user can perform a 'sitting at a table' mission or is located at a location other than the restaurant. have.
  • the wearable device 120 receives additional information about the user's meal operation from the smart fork 151 with the accelerometer sensor or receives additional information about the user's meal amount from the smart bowl 152 with the weight sensor. Can be received.
  • the wearable device 120 may receive additional information from a plurality of smart devices, determine whether the user's state corresponds to the target state, and provide guide information or reward information according to the determination result.
  • the wearable device 120 may induce the user of the wearable device 120 to perform the mission more effectively based on the improved accuracy.
  • FIG. 25 is a flowchart illustrating a control method of the wearable device 120 of FIG. 24.
  • the wearable device 120 stores information about a target state for the mission that can proceed with the learning guide program and guide information corresponding to the target state (S2501).
  • the wearable device 120 not only detects the user's state by itself but also receives additional information about the user's state from another smart device (S2502).
  • the wearable device 120 generates state detection information of the user based on this (S2503).
  • the wearable device 120 may determine whether the target state matches the state of the user by comparing the information about the target state of the mission with the generated state detection information (S2504). If it is determined that the target state matches the state of the user, the wearable device 120 may provide guide information (S2505).
  • FIG. 26 is an exemplary diagram of the smart network system 2400 of FIG. 24.
  • the smart network system 2600 of FIG. 26, like the smart network system 2400 of FIG. 24, provides an IoT environment between the parent device 110, the wearable device 120, and the plurality of smart devices.
  • the plurality of smart devices may include a smart meal tool such as the smart fork 151, a medical device such as the smart thermometer 154, and a living tool such as the smart glasses 155.
  • the wearable device 120 may display an icon 560 for configuring a plurality of smart devices and an IoT environment. That is, when the icon 560 is selected, the wearable device 120 may communicate with smart devices, such as the smart fork 151, the smart thermometer 154, and the smart glasses 155, which are within a communication range. Is set. This setting is possible in the wearable device 120 itself, but the parent device 110 may be controlled to configure the IoT environment between the wearable device 120 and the plurality of smart devices. When the parent device 110 controls the configuration of the IoT environment between the wearable device 120 and the plurality of smart devices, information 2660 indicating a configuration process of the IoT environment may be displayed on the parent device 120. have.
  • the wearable device 120 receives information about the smart device from the smart device.
  • the information about the smart device may be information about a name, a shape, a function, a communication method, and the like of the smart device.
  • the wearable device 120 may display an icon representing the smart device in the IoT environment on the display 320 based on the information about the smart device.
  • the user may identify a smart device capable of data communication with the wearable device 120 in the current IoT environment.
  • Information about the smart device capable of data communication with the wearable device 120 may be provided to the parent device 110.
  • the smart device in the IoT environment when the smart device in the IoT environment is identified, it is easy to select a mission that can be performed through the wearable device 120. For example, if it is confirmed that there is a smart fork 151 in the IoT environment, the user of the parent device 110 may select a 'evenly eat' mission that can proceed using the smart fork 151.
  • the wearable device 120 When the user of the wearable device 120 holds and uses the smart fork 151 in the IoT environment, the item 550 corresponding to the smart fork 151 is displayed on the wearable device 120, and the same item 2650 is used. It is also displayed on the parent device 110.
  • the wearable device 120 may be configured to automatically receive the user status information from the smart fork 151.
  • FIG. 27 is an exemplary diagram of the smart network system 2600 of FIG. 26.
  • the wearable device 120 may connect to a smart thermometer 154 in the smart network system 2600 to receive temperature information of a user.
  • the wearable device 120 may display the received temperature information on the display 320 through the UI 570, and the parent device 110 may also display the temperature information acquired through the wearable device 120 on the UI 2770. It may be displayed on the display 115.
  • the wearable device 120 displays the UI 570 only on the wearable device 120 to provide guide information so that the user of the wearable device 120 can take appropriate action on their own. It can be, and can be set to notify the temperature information to the mother device 110 or an external medical institution only when the specific temperature or more.
  • the wearable device 120 may acquire not only health information such as body temperature information but also environment information of the wearable device 120.
  • the environmental information may be information on temperature, humidity, wind direction, ultraviolet rays, fine dust, and the like as natural conditions that directly or indirectly affect the user.
  • the wearable device 120 may provide appropriate guide information based on user's health information and environment information. For example, the wearable device 120 determines whether the user has a cold or pneumonia, based on the obtained body temperature information, and determines the current air pollution state based on the environmental information, and goes out to the user of the wearable device 120.
  • the wearable device 120 may provide guide information 2780 to the parent device 110 so that a user of the parent device 110 may take appropriate measures.
  • the wearable device 120 may receive user health information from a high priority smart device. Such priority may be determined according to a user's health state such as a heart rate, an electrocardiogram, a disability, a history such as a heart disease, and a disease diagnosis index such as a stress index of the user of the wearable device 120. Information about the state of health of the user may be input through the parent device 110 or the wearable device 120, or may be provided from the server 130 interworking with an external medical institution or a medical institution.
  • the user of the wearable device 120 when a history of a user of the wearable device 120 has a history of heart disease is stored, the user of the wearable device 120 is classified as a heart disease risk group, and among the plurality of smart devices, the heart disease is related to the heart disease.
  • User health information may be preferentially received from a smart ECG or a heart rate monitor.
  • the smart network system 2800 may be configured as a large smart network system by connecting small network systems such as the smart network system 2400 of FIG. 24 through a network.
  • the smart network system 2400 of FIG. 24 may be configured as a home network system of a home or an office network system of an office.
  • the smart network system 2800 according to the present embodiment may be a home network system and an office network.
  • the system can be integrated.
  • the office network system is assumed to be an educational institution network system such as a kindergarten or a nursery school.
  • the smart network system 2800 may proceed with a behavior development guide program of the user of the wearable device 120.
  • the behavior development guide program not only determines whether the user's status meets the target status for a specific mission, but also shows the user's behavior development status according to the user's gender, age, learning level, and disability. It is a program that determines whether or not meets the status, and provides the guide information corresponding to the target status of each behavior development stage.
  • the server 130 may store information about the target state and guide information corresponding to the target state in advance for each action development step.
  • the guide information means information for inducing the user to meet the target state when the behavior development state of the user of the wearable device 120 does not correspond to the target state of the behavior development step.
  • the wearable device 120 acquires user state information or additional information and monitors the state of the user.
  • the user state information is obtained by the wearable device 120
  • the additional information is obtained by a smart device in the smart network system 2800 in addition to the wearable device 120.
  • the wearable device 120 may obtain user state information and additional information based on the basic state information of the user.
  • the basic state information refers to information that is arbitrarily input in addition to information collected by an educational institution or a smart device in the home to which the user of the wearable device 120 belongs.
  • the basic medical health information, medical records, counseling history information, etc. of the infant provided by an external medical institution or counseling institution may be included in the basic state information, and the previous state information of the user provided by the server 130 may also be included.
  • the wearable device 120 may obtain specific state information and additional information based on the basic state information. For example, when basic state information indicating that the user falls frequently is input, the wearable device 120 may receive user state information or information through the acceleration sensor 332 or the gyroscope sensor 333 rather than the heart rate sensor 336. Additional information can be obtained.
  • the wearable device 120 monitors a user's behavior of the wearable device 120 based on user state information or additional information and provides a monitoring result to the server 130.
  • the server 130 may provide the monitoring result to a small unit smart network system such as a home, an education institution, an external medical institution, or a counseling institution.
  • the wearable device 120 may provide the information of interest to the server 130.
  • the interest information is information about an unusual behavior or state of a user which is previously designated among user state information and additional information. For example, when a user of the wearable device 120 falls down frequently, information about a falling behavior or a falling state may be information of interest.
  • the server 130 analyzes the behavior development state of the user of the wearable device 120 based on the monitoring result and the interest information.
  • the server 130 may perform schedule based analysis, behavior based analysis, and cohort comparison analysis to analyze the behavior development state of the user.
  • Schedule-based analysis is a technique of analyzing whether a user of the wearable device 120 acts according to a schedule based on previously input schedule information.
  • the schedule-based analysis process will be described in more detail with reference to FIG. 29.
  • schedule information regarding a user of the wearable device 120 is stored (S2901).
  • schedule information regarding a user of the wearable device 120 may be schedule information.
  • the server 130 compares the schedule information and the state information of the user (S2902).
  • the server 130 may allow the schedule information and the user's status information to be digitized and compared with each other.
  • the server 130 determines whether the state of the user conforms to the schedule based on the comparison result (S2903). According to the determination result, the schedule information and the state information of the user may be stored as special matters (S2904). For example, the server 130 compares the schedule information with the status information, and determines whether the user of the wearable device 120 is active at the moving time in the kindergarten, eating at the meal time, or reading at the reading time. Can be. If it is determined that the user rhythms during the rhythm, but it is determined that the user does not eat at the meal time or do not read at the reading time, the server 130 stores the user's status information at the meal time and the reading time as unusual items. Can be. In some cases, these specificities may be provided to the home parent device 110.
  • the server 130 may check whether there is an unusual change in the voice or movement of the user of the wearable device 120 and analyze whether there is an abnormality. To this end, the server 130 stores information about the behavior of the wearable device 120, and can determine whether there is an abnormality in the state of the user by comparing the behavior information with the user state information. Here, the server 130 may digitize the behavior information to be compared with the state information of the user. As a result of the comparison, when it is determined that the user of the wearable device 120 has an abnormality, the corresponding behavior information may be stored as a specific matter.
  • the server 130 may store behavior information about a fall, the server 130 may determine whether the user of the wearable device 120 is in a fall state. However, behavior-based analysis is recommended to accumulate behavioral trends on a weekly or monthly basis to rule out one-shot behaviors.
  • Cohort comparison analysis is a technique that compares peer behavior in the same situation as the user of wearable device 120.
  • the server 130 stores state information or additional information of friends who take classes according to the same curriculum in kindergarten as the same group information, and the state information of the user of the wearable device 120 matches the same group information. Determine. If the status information or additional information is excessively different from its average of friends, the server 130 stores this as an unusual matter.
  • the server 130 determines whether the behavior development state of the user corresponds to the target state for each behavior development stage according to the analysis result through the schedule based analysis, the behavior based analysis, and the same group comparison analysis.
  • Appropriate guide information can be provided according to the determination result. That is, the server 130 provides guide information for inducing the behavior development state of the user of the wearable device 120 to meet the target state together with the result of the behavior development state determination. And the parent device 111 of the educational institution, respectively.
  • the server 130 provides the parent device 110 with the guide information that the parent can proceed with the user at home, the educational institution
  • the parent device 111 may provide guide information for a user to proceed under the guidance of a teacher in an educational institution. If necessary, the server 130 may download this guide information from another server and provide it.
  • the server 130 may provide a behavior development status determination result to the external professional medical institution or counseling agency and request professional guide information.
  • the server 130 may receive the professional guide information from them, and provide them to the wearable device 120, the home parent device 110, and the parent device 111 of the educational institution, respectively.
  • the smart device system 2800 may obtain the state information and the additional information with high accuracy through the wearable device 120, and provide the same to the server 130, and the user through the server 130.
  • the smart device system 2800 may obtain the state information and the additional information with high accuracy through the wearable device 120, and provide the same to the server 130, and the user through the server 130.
  • the smart network system 2800 may proceed with the behavior development guide program of the user of the wearable device 120 (S3001).
  • the behavior development guide program may be executed by the parent device 110 or 111 or the wearable device 120 having an application corresponding thereto.
  • the wearable device 120 receives basic state information of the user (S3002), and acquires user state information or additional information based on this (S3003).
  • the wearable device 120 monitors user behavior based on the obtained user state information and additional information, and provides the server 130 with information of interest regarding the monitoring result and the unusual behavior (S3004).
  • the server 130 analyzes the behavior development state of the user of the wearable device 120 based on the monitoring result and the interest information (S3005). Here, schedule based analysis, behavior based analysis, and cohort comparison analysis can be used.
  • the server 130 determines whether the behavior development state of the user of the wearable device 120 corresponds to the target state for each behavior development stage according to the analysis result (S3006).
  • the server 130 may provide the guide information according to the determination result.
  • the server 130 receives the professional guide information from an external professional medical institution or a counseling institution (S3007), and wears the wearable device 120 and the home parent device. 110 and the parent device 111 of the educational institution may be provided (S3008).
  • the wearable device 120 of the smart network system 2800 of FIG. 28 assumes basic user status information of a user, an education institution, an external medical institution, a counseling institution, and the like. And it may be received from the server 130 (S3101), Here, the basic state information provided by the server 130 may include the previous state information or abnormal behavior information of the user of the wearable device 120.
  • the wearable device 120 monitors a user's behavior of the wearable device 120 based on the basic state information (S3102).
  • the server 130 may provide it to a home, an education institution, an external medical institution, and a counseling institution (S3104).
  • the wearable device 120 may also monitor information of interest, such as the user's particularity.
  • the wearable device 120 may calculate a peak value of the user's exercise amount or the impact amount based on the shock detected by the sensor unit, and monitor whether the calculated peak value is within a predetermined range, and the peak value is predetermined If it is out of range, it is monitored by information of interest.
  • the wearable device 120 may flexibly adjust a predetermined range according to the calculated peak value.
  • the server 130 analyzes and determines the behavior development state of the user of the wearable device 120 based on the monitoring result and the interest information (S3106).
  • the server 130 requests professional guide information from an external professional medical institution or a counseling institution according to the determination result (S3107).
  • the server 130 provides them to the wearable device 120, the home parent device 110, and the parent device 111 of the educational institution, respectively. Can be done (S3109). If necessary, the server 130 may download this guide information from another server and provide it.

Abstract

웨어러블 디바이스는, 사용자의 목표상태에 관한 정보와 목표상태에 대응하는 가이드정보를 저장하는 저장부를 구비한다. 센서부는 사용자의 상태를 감지하여 상태감지정보를 생성한다. 제어부는, 목표상태에 관한 정보와 상태감지정보에 기초하여 사용자 상태가 목표상태에 부합하는지 여부를 판단하고, 부합하지 않는 경우 가이드정보를 사용자에게 제공한다. 사용자의 상태정보에 따라 사용자의 상태가 바람직한 목표상태가 되도록 사용자를 유도할 수 있다.

Description

웨어러블 디바이스 및 웨어러블 디바이스의 제어방법
본 발명은 웨어러블 디바이스 및 그 제어방법에 관한 것이다. 상세하게는, 웨어러블 디바이스를 착용한 사용자의 상태정보에 기초하여, 사용자의 상태가 바람직한 목표상태에 이르도록 유도하는 웨어러블 디바이스 및 그 제어방법에 관한 것이다.
스마트 디바이스에서 구현되는 학습 가이드 기능이란, 스마트 디바이스의 다양한 센서를 통해 획득되는 사용자의 상태정보에 기초하여 스마트 디바이스의 사용자를 바람직한 목표상태로 유도하는 인공지능 성장 프로그램의 일종이다. 이러한 학습 가이드 기능은, 스마트 디바이스를 통해 획득되는 사용자의 상태정보에 대한 정확도가 높아야, 사용자의 상태가 목표상태에 부합하는지를 판단할 수 있고, 이에 기초하여 사용자를 바람직한 목표상태로 유도할 수 있다.
그러나, 사용자와 물리적으로 분리되어 있는 스마트 디바이스를 통해 사용자의 상태정보를 획득하면, 사용자의 상태정보의 정확도가 낮기 때문에 사용자의 상태가 목표상태에 부합하는지를 정확하게 판단할 수 없고, 사용자를 바람직한 목표상태로 유도할 수 없다.
따라서, 본 발명의 목적은 사용자의 상태정보와 사용자의 상태가 목표상태에 부합하는지에 대한 판단의 정확도를 향상시켜서, 사용자를 바람직한 목표상태로 유도할 수 있는 웨어러블 디바이스 및 그 제어방법을 제공하는 것이다.
본 발명의 상기 목적은, 사용자의 신체에 착용 가능한 웨어러블 디바이스에 있어서, 적어도 하나의 상황에 대하여 마련되는 사용자의 목표상태에 관한 정보와, 상기 목표상태에 대응하는 가이드정보를 저장하는 저장부와; 상기 사용자의 상태를 감지하여 상태감지정보를 생성하는 센서부와; 및 상기 저장부에 저장된 상기 사용자의 목표상태에 관한 정보와, 상기 센서부에 의해 생성된 상기 상태감지정보에 기초하여 상기 사용자 상태가 상기 목표상태에 부합하는지 여부를 판단하고, 상기 사용자 상태가 상기 목표상태에 부합하지 않는 경우, 상기 저장부에 저장된 상기 목표상태에 대응하는 가이드정보를 제공하는 제어부를 포함하는 웨어러블 디바이스에 의해 달성할 수 있다.
여기서, 상기 웨어러블 디바이스는 음성 출력이 가능한 음성출력부를 포함하고, 상기 제어부는 상기 가이드정보에 대응하는 음성을 출력하도록 상기 음성출력부를 제어할 수 있다.
여기서, 상기 웨어러블 디바이스는 상기 사용자의 음성을 수신하는 음성수신부를 포함하고, 상기 제어부는 상기 음성수신부를 통해 수신한 상기 사용자의 음성을 반영하여 상기 가이드정보에 대응하는 음성을 출력하도록 상기 음성출력부를 제어할 수 있다.
여기서, 상기 웨어러블 디바이스는 영상의 표시가 가능한 디스플레이부를 포함하고, 상기 제어부는 상기 가이드정보에 대응하는 캐릭터를 표시하도록 상기 디스플레이부를 제어할 수 있다.
여기서, 상기 웨어러블 디바이스는 상기 사용자의 이미지를 촬상하는 영상획득부를 포함하고, 상기 제어부는 상기 영상획득부를 통해 촬상한 상기 사용자의 이미지를 반영하여 상기 캐릭터를 표시하도록 상기 디스플레이부를 제어할 수 있다.
여기서, 상기 저장부는 상기 목표상태에 대응하는 리워드에 관한 정보를 저장하고, 상기 제어부는 상기 상태감지정보에 기초하여 상기 사용자 상태가 상기 목표상태에 부합하는 경우, 상기 리워드에 관한 정보를 제공할 수 있다.
여기서, 상기 리워드에 관한 정보는 상기 캐릭터의 단계별 성장에 관한 정보 및 상기 사용자의 소원에 관한 정보 중 적어도 하나를 포함할 수 있다.
또한, 본 발명의 상기 목적은, 사용자의 신체에 착용 가능한 웨어러블 디바이스의 제어방법에 있어서, 적어도 하나의 상황에 대하여 마련되는 사용자의 목표상태에 관한 정보와, 상기 목표상태에 대응하는 가이드정보를 저장하는 단계와; 상기 사용자의 상태를 감지하여 상태감지정보를 생성하는 단계와; 상기 저장된 상기 사용자의 목표상태에 관한 정보와, 상기 생성된 상기 상태감지정보에 기초하여 상기 사용자 상태가 상기 목표상태에 부합하는지 여부를 판단하는 단계와; 및 상기 사용자 상태가 상기 목표상태에 부합하지 않는 경우, 상기 저장된 상기 목표상태에 대응하는 가이드정보를 제공하는 단계를 포함하는 웨어러블 디바이스의 제어방법에 의해서 달성될 수 있다.
여기서, 상기 가이드정보를 제공하는 단계는 상기 가이드정보에 대응하는 음성을 출력하는 단계를 포함할 수 있다.
여기서, 상기 음성을 출력하는 단계는 상기 사용자의 음성을 수신하는 단계 및 상기 수신한 상기 사용자의 음성을 반영하여 상기 가이드정보에 대응하는 음성을 출력하는 단계를 포함할 수 있다.
여기서, 상기 가이드정보를 제공하는 단계는 상기 가이드정보에 대응하는 캐릭터를 표시하는 단계를 포함할 수 있다.
여기서, 상기 캐릭터를 표시하는 단계는 상기 사용자의 이미지를 촬상하는 단계 및 상기 촬상한 상기 사용자의 이미지를 반영하여 상기 캐릭터를 표시하는 단계를 포함할 수 있다.
여기서, 상기 저장하는 단계는 상기 목표상태에 대응하는 리워드에 관한 정보를 저장하는 단계를 포함하고, 상기 가이드정보를 제공하는 단계는 상기 상태감지정보에 기초하여 상기 사용자 상태가 상기 목표상태에 부합하는 경우, 상기 리워드에 관한 정보를 제공하는 단계를 포함할 수 있다.
여기서, 상기 리워드에 관한 정보는 상기 캐릭터의 단계별 성장에 관한 정보 및 상기 사용자의 소원에 관한 정보 중 적어도 하나를 포함할 수 있다.
또한, 본 발명의 상기 목적은, 컴퓨터가 읽을 수 있는 코드로서 웨어러블 디바이스의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 상기 웨어러블 디바이스의 제어방법은, 적어도 하나의 상황에 대하여 마련되는 사용자의 목표상태에 관한 정보와, 상기 목표상태에 대응하는 가이드정보를 저장하는 단계와; 상기 사용자의 상태를 감지하여 상태감지정보를 생성하는 단계와; 상기 저장된 상기 사용자의 목표상태에 관한 정보와, 상기 생성된 상기 상태감지정보에 기초하여 상기 사용자 상태가 상기 목표상태에 부합하는지 여부를 판단하는 단계와; 및 상기 사용자 상태가 상기 목표상태에 부합하지 않는 경우, 상기 저장된 상기 목표상태에 대응하는 가이드정보를 제공하는 단계를 포함하는 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체에 의해서 달성될 수 있다.
본 발명에 의하면, 사용자의 상태정보와 사용자의 상태가 목표상태에 부합하는지에 대한 판단의 정확도가 향상되어, 사용자를 바람직한 목표상태로 유도할 수 있는 웨어러블 디바이스 및 그 제어방법을 제공할 수 있다.
도 1은 학습 가이드 시스템에 관한 예시도이다.
도 2는 도 1의 모 디바이스에 관한 블록도이다.
도 3은 도 1의 웨어러블 디바이스에 관한 블록도이다.
도 4 및 도 5는 웨어러블 디바이스에 관한 예시도이다.
도 6 내지 도 9은 웨어러블 디바이스에 의해 진행되는 학습 가이드 프로그램에 관한 예시도이다.
도 10은 웨어러블 디바이스에 저장되는 정보에 관한 예시도이다.
도 11은 사용자의 상태가 목표상태에 부합하는지 여부를 판단하는 과정에 관한 예시도이다.
도 12 내지 도 19는 웨어러블 디바이스의 제어방법에 관한 순서도이다.
도 20 내지 도 23은 웨어러블 디바이스의 제어방법에 관한 예시도이다.
도 24는 웨어러블 디바이스를 포함하는 스마트 네트워크 시스템에 관한 예시도이다.
도 25는 도 24의 웨어러블 디바이스의 제어방법에 관한 순서도이다.
도 26는 도 24의 스마트 네트워크 시스템의 예시도이다.
도 27은 도 26의 스마트 네트워크 시스템의 예시도이다.
도 28은 스마트 네트워크 시스템에 의해 진행되는 행동발달 가이드 프로그램에 관한 예시도이다.
도 29은 스케쥴 기반 분석 과정을 나타내는 순서도이다.
도 30 및 도 31은 도 28의 스마트 네트워크 시스템의 제어방법에 관한 순서도 및 예시도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 이하 실시예에서는 본 발명의 사상과 직접적인 관련이 있는 구성들에 관해서만 설명하며, 그 외의 구성에 관해서는 설명을 생략한다. 그러나, 본 발명의 사상이 적용된 장치 또는 시스템을 구현함에 있어서, 이와 같이 설명이 생략된 구성이 불필요함을 의미하는 것이 아님을 밝힌다.
도 1은 학습 가이드 시스템(100)에 관한 예시도이다. 도 1을 참조하면, 본 실시예에 따른 학습 가이드 시스템(100)은 모 디바이스(110), 웨어러블 디바이스(120), 및 서버(130)로 구성된다. 모 디바이스(110)는 다양한 기능을 수행하는 복수의 어플리케이션을 탑재하고 있으며, 자체적으로 어플리케이션을 실행하여 그에 따른 기능을 수행할 수 있는 스마트 디바이스이다. 예를 들어, 모 디바이스(110)는 스마트폰, 넷북, 태블릿, 노트북 등이 될 수 있다, 다만, 이하에서는 모 디바이스(110)가 스마트폰인 경우를 가정하고 설명한다.
모 디바이스(110)는 복수의 어플리케이션 중에서 학습 가이드 어플리케이션을 자체적으로 실행하여, 웨어러블 디바이스(120)에서 학습 가이드 프로그램이 진행되게 할 수 있다. 즉, 모 디바이스(110)는 학습 가이드 프로그램의 설정화면을 디스플레이부(115)에 표시하고, 복수의 웨어러블 디바이스 중에서 특정한 웨어러블 디바이스(120)에서 특정한 미션에 대한 학습 가이드 프로그램이 진행되도록 설정할 수 있다.
여기서, 학습 가이드 프로그램이란, 다양한 상황 속에서 웨어러블 디바이스(120)의 사용자가 달성해야 하는 미션을 제공하고, 미션을 달성할 수 있도록 유도하는 프로그램이다. 구체적으로, 학습 가이드 프로그램의 미션이 시작되면, 웨어러블 디바이스(120)는 사용자의 동작, 움직임 등과 같은 사용자 상태정보를 획득하고, 획득한 사용자 상태정보에 기초하여 사용자가 해당 미션을 제대로 달성하는지를 판단한다. 즉, 웨어러블 디바이스(120)는 사용자 상태정보에 기초하여 웨어러블 디바이스(120)의 사용자의 상태가 해당 미션이 달성된 상태를 나타내는 목표상태에 부합하는지를 판단한다. 만일, 사용자의 상태가 목표상태에 부합하지 않으면, 웨어러블 디바이스(120)는 사용자의 상태가 목표상태에 부합하도록 가이드정보를 제공하며, 사용자의 상태가 목표상태에 부합하면 리워드정보를 제공한다.
모 디바이스(110)는 웨어러블 디바이스(110)에서 진행되는 학습 가이드 프로그램의 경과를 실시간으로 모니터링할 수 있다. 즉, 모 디바이스(110)는 웨어러블 디바이스(110)의 사용자의 상태가 목표상태에 부합하는지를 실시간으로 확인할 수 있고, 확인 결과에 따라 해당 미션에 대한 학습 가이드 프로그램을 재차 진행할 지, 아니면, 다른 미션에 대한 학습 가이드 프로그램을 진행할 지를 판단할 수 있다.
웨어러블 디바이스(120)도 모 디바이스(110)와 같이 다양한 기능을 수행하는 복수의 어플리케이션을 탑재하고, 어플리케이션을 자체적으로 실행할 수 있는 스마트 기기이다. 웨어러블 디바이스(120)는 모 디바이스(110)의 제어에 의해 설정된 학습 가이드 프로그램을 진행할 수 있다. 이러한, 웨어러블 디바이스(120)는 스마트워치, 팔찌, 안경, 모자, 마이크로 칩 등과 같이 사용자의 신체에 착용, 부착, 또는 이식이 가능한 스마트 디바이스이다. 따라서, 웨어러블 디바이스(120)가 획득하는 사용자 상태정보에 대한 정확도가 높기 때문에, 이에 기초하여 사용자의 상태가 목표상태에 부합하는지에 대한 판단의 정확도도 높일 수 있는 것이다. 다만, 이하에서는 웨어러블 디바이스(120)가 스마트워치인 경우를 가정하여 설명한다.
웨어러블 디바이스(120)는 사용자의 상태가 목표상태에 부합하는지에 여부에 따라 가이드정보 또는 리워드정보를 선택적으로 사용자에게 제공할 수 있다. 여기서, 가이드정보는 학습 가이드 프로그램을 통하여 주어진 미션을 사용자가 달성하지 못하여 사용자의 상태가 목표상태에 부합하지 않는 것으로 판단되는 경우에, 사용자의 상태가 목표상태에 부합하도록 도와주기 위한 정보이다. 한편, 리워드정보는 학습 가이드 프로그램을 통하여 주어진 미션을 사용자가 달성하여 사용자의 상태가 목표상태에 부합하는 것으로 판단되는 경우에, 사용자에게 주어지는 보상에 관한 정보이다. 웨어러블 디바이스(120)는 다양한 방법으로 가이드정보와 리워드정보를 사용자에게 제공할 수 있으나, 바람직하게는, 가상 캐릭터를 디스플레이부(125)에 표시하고, 표시된 가상 캐릭터의 동작과 음성으로 가이드정보와 리워드정보를 사용자에게 제공할 수 있다.
한편, 서버(130)는 학습 가이드 프로그램의 진행 과정에서 필요한 미션에 관한 정보, 미션에 대응하는 목표상태에 관한 정보, 가이드정보, 리워드정보, 캐릭터에 관한정보, 보상 아이템에 관한 정보를 저장할 수 있다. 서버(130)는 모 디바이스(110)나 웨어러블 디바이스(120)의 요청에 따라 이러한 정보를 모 디바이스(110)나 웨어러블 디바이스(120)에 제공할 수 있다. 경우에 따라서, 서버(130)는 웨어러블 디바이스(120)가 획득하는 사용자 상태정보를 수신하여 이를 기초로 사용자의 상태가 목표상태에 부합하는지를 직접 판단할 수 있고, 판단 결과에 따라 가이드정보나 리워드정보를 웨어러블 디바이스(120)로 제공할 수 있다.
이와 같이, 본 실시예에 따른 학습 가이드 시스템(100)은 학습 가이드 프로그램을 진행하면서, 정확도가 높은 사용자 상태정보에 기초하여 웨어러블 디바이스(120)의 사용자의 상태가 목표상태에 부합하는지를 정확하게 판단할 수 있다. 따라서, 웨어러블 디바이스(120)의 사용자의 상태가 목표상태가 되도록 효과적으로 유도할 수 있다.
도 2는 도 1의 모 디바이스(110)에 관한 블록도이다. 도 2를 참조하면, 모 디바이스(110)는 디스플레이부(115), 저장부(210), 센서부(220), 통신부(230), 및 제어부(240)를 갖는다. 디스플레이부(115)는 표시 가능하도록 처리된 영상 데이터에 기초하여 영상을 표시하는 LCD, PDP, OLED 등의 패널로 마련된다.
저장부(210)는 다양한 기능을 수행하는 복수의 어플리케이션이나 어플리케이션을 실행하기 위한 데이터를 저장하는 메모리(memory)이다. 이를 위해, 저장부(210)는 HDD, SSD, 메모리 카드, RAM, ROM 등으로 마련된다. 입력부(220)는 음성을 획득하는 음성수신부 및 영상을 획득하는 영상획득부를 갖는다. 음성수신부는 마이크로 마련되며 영상획득부는 카메라로 마련될 수 있다. 통신부(230)는 이동 통신망을 통하여 기지국, 웨어러블 디바이스(120), 서버(130) 중 적어도 하나와 무선 데이터를 송수신하는 이동통신 모듈과, 근거리 통신이 가능한 블루투스 모듈을 갖는다.
제어부(240)는 모 디바이스(110)의 구성의 동작을 전반적으로 제어하는 프로세서(processor)이다. 예를 들어, 제어부(240)는 저장부(210)에 저장된 학습 가이드 어플리케이션을 실행하여, 특정한 미션에 대한 학습 가이드 프로그램이 웨어러블 디바이스(120)에서 진행되도록 제어할 수 있다. 다만, 모 디바이스(110)의 구성은 도 2에 도시된 바에 한정되지 않으므로, 스마트폰의 일반적인 기능인 전화 통화, 문자메시지 송수신, 채팅메시지 송수신, 이메일 송수신 등과 관련된 기능을 원활하게 수행하기 위해 필요한 구성을 더 포함할 수 있다. 예를 들어, 모 디바이스(110)는 사용자 입력을 수신하는 사용자 인터페이스부(user interface), 모 디바이스(110)의 주변 정보를 감지하는 센서부, 모 디바이스(110)의 각 구성에 전원을 공급하는 배터리, 음향을 출력하는 음향출력부, 진동을 발생시키는 햅팁부 등을 더 포함할 수 있다.
도 3은 도 1의 웨어러블 디바이스(120)에 관한 블록도이다. 도 3을 참조하면, 웨어러블 디바이스(120)는 입력부(310), 디스플레이부(320), 센서부(330), 제어부(340), 통신부(350), 사용자 인터페이스부(360), 저장부(370), 배터리(380), 및 출력부(390)을 갖는다. 입력부(310)는 마이크와 같이 음성을 획득하는 음성수신부(311)와 카메라와 같이 영상을 획득하는 영상획득부(312)로 마련된다. 디스플레이부(320)는 도 1의 디스플레이부(125)에 대응되며, 표시 가능하도록 처리된 영상 데이터에 기초하여 영상을 표시하는 LCD, OLED, PDP 등의 패널로 마련된다. 센서부(330)는 웨어러블 디바이스(200)의 모션을 감지하는 가속도 센서(332), 자이로스코프(gyroscope) 센서(333)와 같은 6축 센서(331), 폐도미터(335), 심박수 센서(336)로 마련된다. 이 외에도, 센서부(330)는 위치 센서, 혈당 센서나 혈압 센서와 같은 바이오 센서(biosensor), 화학물질을 측정하는 화학 센서, 온도 센서를 더 포함할 수 있다.
제어부(340)는 웨어러블 디바이스(120)의 각 구성의 동작을 전반적으로 제어하는 프로세서(processor)이다. 예를 들어, 제어부(340)는 모 디바이스(110)의 제어에 의해서나 자체적으로 특정 미션에 대한 학습 가이드 프로그램을 실행하고, 센서부(330)를 통하여 사용자 상태정보를 획득한다. 제어부(340)는 획득되는 사용자 상태정보에 기초하여 현재 사용자의 상태가 목표상태에 부합하는지를 판단하고, 판단 결과에 따라 가이드정보나 리워드정보를 출력하도록 디스플레이부(320)나 출력부(390)를 제어한다.
통신부(350)는 이동 통신망을 통하여 기지국, 모 디바이스(110), 서버(130) 중 적어도 하나와 무선 데이터를 송수신하는 이동통신 모듈과, 근거리 통신이 가능한 블루투스 모듈(351)을 갖는다. 블루투스 모듈(351)은 블루투스 저전력 기술을 사용하여, 모 디바이스(110), 서버(130), 다른 스마트 디바이스와 저전력으로 장시간 데이터를 송수신할 수 있다. 저장부(370)는 복수의 어플리케이션이나 어플리케이션을 실행하기 위한 데이터를 저장하는 메모리(memory)이다. 예를 들어, 저장부(370)는 학습 가이드 어플리케이션을 저장할 뿐만 아니라, 학습 가이드 어플리케이션의 실행에 따라 진행되는 학습 가이드 프로그램의 미션에 관한 정보, 미션에 대응하는 목표상태에 관한 정보, 가이드정보, 및 리워드정보를 저장할 수 있다. 이를 위해, 저장부(210)는 HDD, SSD, 메모리 카드, RAM, ROM 등으로 마련된다.
배터리(380)는 웨어러블 디바이스(110)의 각 구성에 전원을 공급하며, 충전 등을 위하여 웨어러블 디바이스(110)에 착탈이 가능하게 결합될 수 있다. 출력부(390)는 통화 중인 상대방 음성이나 오디오 데이터를 출력하는 음향출력부(391)와, 사용자가 촉각으로 느낄 수 있는 진동을 발생시키는 햅틱부(392)를 갖는다. 이 외에도, 웨어러블 디바이스(120)는 필요에 따라 다양한 구성을 더 포함할 수 있다.
도 4 및 도 5는 웨어러블 디바이스(120)에 관한 예시도이다. 도 4를 참조하면, 웨어러블 디바이스(120)는 원형, 다각형 등 다양한 모양의 외형을 형성하는 본체(410)를 포함한다. 본체(410)에는 음성수신부(311), 음향출력부(391), 및 디스플레이부(320)가 마련된다. 경우에 따라서, 웨어러블 디바이스(120)는 본체(410)를 사용자의 손목에 고정하는 밴드부(440)를 포함할 수 있다.
웨어러블 디바이스(120)는 다양한 모드로 실행이 가능한데, 홈 모드에서는 실행 가능한 복수의 어플리케이션을 나타내는 복수의 아이콘(430)을 디스플레이부(320)에 표시하여 홈 화면을 구성할 수 있다. 복수의 아이콘(430)은 원형으로 배열되거나 매트릭스 형태로 배열될 수 있다. 다만, 홈 화면의 종류나 구성에는 제한이 없으므로, 날씨 화면, 시계 화면, 달력 화면 등으로 홈 화면이 구성될 수 있다. 웨어러블 디바이스(120)는 복수의 아이콘(430)을 표시하고 있는 홈 화면에서 복수의 아이콘(430) 중 적어도 하나를 선택하는 사용자 입력이 수신되면, 선택된 아이콘에 대응하는 어플리케이션을 실행한다. 웨어러블 디바이스(120)는 실행된 어플리케이션에 대응하는 동작을 수행하고, 수행되는 동작을 나타내는 화면을 표시한다.
예를 들어, 도 5를 참조하면, 웨어러블 디바이스(120)는 사용자의 입력에 따라 선택된 아이콘에 대응하는 학습 가이드 어플리케이션을 실행하고, 학습 가이드 어플리케이션에 대응하는 동작을 수행한다. 즉, 웨어러블 디바이스(120)는 학습 가이드 프로그램을 진행한다. 학습 가이드 프로그램은 다양한 상황 속에서 마련되는 특정한 미션에 대해 웨어러블 디바이스(120)의 사용자의 상태정보를 획득하고, 획득된 상태정보에 기초하여 사용자의 상태가 목표상태에 부합하는지를 판단하여, 판단 결과에 따라 가이드정보나 리워드정보를 제공하는 프로그램이다. 특정한 미션에 대한 학습 가이드 프로그램을 진행하기 위해서는, 웨어러블 디바이스(120)의 사용자가 해당 미션에 대해 거부감을 갖지 않도록 환경을 조성할 필요가 있다. 따라서, 사용자가 친밀감을 가질 수 있는 가상 캐릭터(530)를 디스플레이부(320)에 표시할 수 있다. 이러한 가상 캐릭터(530)를 통해 학습 가이드 프로그램을 진행하면서, 적절하게 가이드정보나 리워드정보를 제공하면, 사용자가 미션을 원활하게 수행할 수 있게 된다.
가상 캐릭터(530)의 종류 및 형상에는 제한이 없지만, 웨어러블 디바이스(120)의 사용자가 친밀감과 동질감을 느낄 수 있는 것이 좋다. 예를 들어, 웨어러블 디바이스(120)의 사용자의 사진, 사용자를 닮은 캐리커쳐, 만화, 평소 좋아하는 동물 등을 가상 캐릭터(530)로 구성할 수 있다. 이러한 가상 캐릭터(530)는 웨어러블 디바이스(120)에서 직접 구성할 수 있지만, 모 디바이스(110)나 서버(130)를 통해 제공받을 수도 있다.
도 6 내지 도 9은 웨어러블 디바이스(120)에서 진행되는 학습 가이드 프로그램에 관한 예시도이다. 도 6을 참조하면, 학습 가이드 프로그램은 모 디바이스(110)에 의해 시작될 수 있는데, 모 디바이스(110)는 학습 가이드 프로그램을 통해 진행할 수 있는 다양한 상황, 미션, 서브 미션에 관한 목록을 디스플레이부(115)에 표시할 수 있다. 여기서, 상황은 다양한 미션과 서브 미션을 포함하는 상위 카테고리이며, 미션은 특정 상황에서 사용자가 달성해야 하는 구체적인 목표상태를 의미할 수 있다. 서브 미션은 미션의 하위개념으로서 미션보다 좀더 구체적인 목표상태를 의미할 수 있다. 예를 들어, 도 6에 도시된 바와 같이 상황은 '집안'이 될 수 있고, 미션은 '집안'에서 수행할 수 있는 '식사'가 될 수 있고, 서브 미션은 '식사' 미션의 일부 단계인 '식탁에 앉기'가 될 수 있다. 다만, 이러한 구분이 필연적인 것은 아니므로, 모 디바이스(110)는 학습 가이드 프로그램을 통해 진행할 수 있는 목록을 상황, 미션, 서브 미션 중 어느 하나로만 표시할 수 있다. 이하에서는, 설명의 편의를 위해서 상황, 미션, 및 서브 미션은 '미션'으로 통칭하기로 한다.
모 디바이스(110)의 사용자가 표시된 목록 중에서 특정한 미션을 선택하면, 모 디바이스(110)는 웨어러블 디바이스(120)에서 해당 미션에 관한 학습 가이드 프로그램이 진행되도록 명령 데이터를 웨어러블 디바이스(120)에 전송한다. 웨어러블 디바이스(120)는 모 디바이스(110)의 명령 데이터에 따라 학습 가이드 어플리케이션을 실행하여, 해당 미션에 대한 학습 가이드 프로그램을 시작한다. 예를 들어, 모 디바이스(110)의 사용자가 '집안'에서 '식사' 중 '식탁에 앉기'(610) 미션을 선택하면, 웨어러블 디바이스(120)는 학습 가이드 어플리케이션을 실행하여 '식탁에 앉기'(610) 미션에 대한 학습 가이드 프로그램을 진행하게 된다.
이하에서는, 도 7을 참조하여, '식탁에 앉기'(610) 미션에 대해 사용자의 상태가 목표상태에 부합하지 않는 경우, 웨어러블 디바이스(120)의 동작에 대해 좀더 자세히 설명한다. 웨어러블 디바이스(120)는 '식탁에 앉기'(610) 미션이 진행되면, 목표상태에 대응하는 가이드정보를 사용자에게 제공할 수 있다. 가이드정보는 학습 가이드 프로그램이 진행되는 동안 웨어러블 디바이스(120)의 사용자가 해당 미션을 수행할 수 있도록 적절한 타이밍에 다양한 내용으로 제공될 수 있다. '식탁에 앉기'(610) 미션에 대한 학습 가이드 프로그램이 시작되면, 사용자가 해당 미션에 대한 학습 가이드 프로그램이 시작되었음을 인지할 수 있도록 "식탁에 앉기 미션 시작되었어. 식사 시간이니 의자에 앉자"라는 가이드정보를 제공할 수 있다. 이러한 가이드정보는 '식탁에 앉기'(610) 미션의 목표상태인 '식탁에 앉아 있는 상태'에 대한 것일 수도 있고, 목표상태로 유도하기 위한 것일 수도 있다.
그럼에도 불구하고, 웨어러블 디바이스(120)의 사용자가 해당 미션을 수행하지 않는 경우에는, 경고 차원에서 "그만 놀고, 식사 시간이니 의자에 앉자"라는 가이드정보를 제공할 수 있다. 바람직하게는, 이러한 가이드정보를 가상 캐릭터(530)의 음성과 동작의 애니메이션으로 제공할 수 있다. 예를 들어, 가상 캐릭터(530)가 웨어러블 디바이스(120)의 사용자를 닮은 캐리커쳐인 경우에, 캐릭커쳐가 사용자 자신의 음성을 출력하면서, 식탁 의자에 앉는 애니메이션을 반복적으로 표시되면, 웨어러블 디바이스(120)의 사용자가 좀더 '식탁에 앉기'(610) 미션을 자연스럽게 수행하도록 유도할 수 있는 것이다.
한편, 목표상태에 관한 정보나 가이드정보는 웨어러블 디바이스(120)의 사용자의 성별, 연령, 학습 수준, 장애 여부 등에 따라 적절하게 변경될 수 있다. 예를 들어, 웨어러블 디바이스(120)의 사용자가 휠체어를 타고 이동해야 하는 장애 아동인 경우에는, '식탁에 앉기'(610) 미션에 대한 바람직한 목표상태는 '사용자가 휠체어에 탑승하여 식탁으로 이동한 상태'가 될 수 있다. 따라서, 웨어러블 디바이스(120)는 목표상태에 대응하는 가이드정보로서 "식사 시간이니 휠체어를 타고 식탁으로 이동하자"라는 음성과 가상 캐릭터(530)가 휠체어를 타고 식탁으로 이동하는 애니메이션을 제공할 수 있다.
본 실시예에 따른 웨어러블 디바이스(120)는 사용자의 손목에 착용되는 스마트워치이므로, 사용자와 물리적으로 분리되어 있는 다른 스마트 디바이스와 비교해서, 획득하는 사용자 상태정보의 정확도가 높다. 이러한 정확도를 바탕으로, 웨어러블 디바이스(120)는 사용자의 상태가 목표상태에 부합하는지를 정확하게 판단할 수 있는 것이다. 만일, 사용자가 '식탁에 앉기'(610) 미션을 수행하지 않은 결과 사용자의 상태가 목표상태에 부합하지 않는 것으로 판단되면, 웨어러블 디바이스(120)는 사용자의 상태가 목표상태에 부합하도록 가이드정보를 제공한다. 이 때 제공되는 가이드정보는 '식탁에 앉기'(610) 미션 시작 시에 제공되는 가이드정보와 상이하게 제공될 수 있다. 즉, 웨어러블 디바이스(120)는 "식사 시간이니 의자에 앉자"를 좀더 높은 음량으로 제공하거나 강한 어조로 제공할 수 있을 것이다. 또한, 미션 시작 시에 표시되는 가상 캐릭터(530)의 상태와 다른 상태의 가상 캐릭터(730)를 표시할 수도 있다. 여기서, 캐릭터의 상태는 일반 상태와 특별 상태로 구분할 있는데, 일반 상태는 기분 좋음, 우울함, 즐거움 등을 나타내며, 특별 상태는 신남, 기쁨, 화남, 무기력함 등을 나타낸다. 즉, 미션 시작 시에는 일반 상태 중 기분 좋음이나 즐거움을 나타내는 가상 캐릭터(530)를 표시하다가, 사용자의 상태가 목표상태에 부합하지 않는 경우에는, 특별 상태 중 화남이나 무기력함을 나타내는 가상 캐릭터(730)를 표시할 수 있다. 경우에 따라서, 가상 캐릭터(730)의 몸무게나 크기(740)를 나타내는 숫자나 그래프를 단계적으로 줄여서 표시할 수 있다.
이하에서는, 도 8을 참조하여, '식탁에 앉기'(610) 미션에 대해 사용자의 상태가 목표상태에 부합하는 경우, 웨어러블 디바이스(120)의 동작에 대해 좀더 자세히 설명한다. 사용자의 상태가 목표상태에 부합하는 것으로 판단하면, 웨어러블 디바이스(120)는 리워드정보로서 가상 캐릭터(830)의 음성으로 "참 잘했어"를 출력하거나 가상 캐릭터(830)가 특별 상태 중에 신남이나 기쁨을 나타내는 애니메이션을 표시할 수 있다. 경우에 따라서는, 캐릭터(830)의 몸무게나 크기(840)를 나타내는 숫자나 그래프를 조절하여 표시할 수 있다. 만일, 사용자의 상태가 목표상태에 부합하는 횟수가 반복되면, 반복 횟수에 따라 가상 캐릭터(830)의 신남이나 기쁨의 정도에 가중치를 적용하여 단계적으로 표시하거나, 몸무게나 크기(840)를 나타내는 숫자나 그래프에 가중치를 적용하여 단계적으로 표시할 수 있을 것이다.
이와 같이, 웨어러블 디바이스(120)는 사용자의 상태정보에 기초하여 사용자의 상태가 목표상태에 부합하는지에 대한 판단에 따라, 사용자에게 가이드정보나 리워드정보를 제공함으로써, 웨어러블 디바이스(120)의 사용자의 상태가 목표상태에 부합하도록 유도할 수 있다.
이하에서는, 도 9를 참조하여, '식탁에 앉기'(610) 미션에 대해 사용자의 상태가 목표상태에 부합하는 경우, 웨어러블 디바이스(120)의 다른 동작에 대해 좀더 자세히 설명한다. 웨어러블 디바이스(120)는 사용자의 상태가 목표상태에 부합하는 것으로 판단하면, 웨어러블 디바이스(120)는 리워드정보(940)로서 가상 캐릭터(530)의 성장에 관한 정보, 아이템에 관한 정보, 및 사용자의 소원에 관한 정보 중 적어도 하나를 제공할 수 있다.
가상 캐릭터(530)의 성장에 관한 정보는 캐릭터의 크기, 형상, 몸무게, 및 성숙도 등을 변경하기 위한 정보이다. 이러한 가상 캐릭터(530)의 성장에 관한 정보는 웨어러블 디바이스(120)의 사용자의 연령, 성별, 성숙도, 성장 속도, 사용자의 상태가 목표상태에 이르는 시간이나 속도, 목표상태에 부합하지 않는다는 내용의 가이드정보를 출력한 횟수 등을 종합적으로 고려하여 단계적으로 구성할 수 있다.
아이템에 관한 정보는 가상 캐릭터(530)에 반영하여 표시할 수 있는 아이템에 관한 정보를 의미한다. 아이템은 웨어러블 디바이스(120)의 사용자가 수행하는 미션에 대응하여 제공되는 것이 바람직하다. 예를 들어, '1km 러닝(running)' 미션에 대해 사용자의 상태가 목표상태에 부합하는 경우에는, 트레이닝 복이나 트레이닝 운동화를 가상 캐릭터(530)에 반영하여 표시할 수 있다. 반대의 경우에는, 트레이닝 복이나 트레이닝 운동화를 삭제하고 가상 캐릭터(530)를 표시할 수 있다.
사용자의 소원에 관한 정보는 가상 캐릭터(530)와 아이템 이외에 웨어러블 디바이스(120)의 사용자에게 임의적으로 제공 가능한 리워드정보를 의미한다. 이러한 사용자의 소원에 관한 정보는 모 디바이스(110)에서 임의적으로 설정하여 제공하는 것이 바람직하다. 즉, 모 디바이스(110)의 사용자는 웨어러블 디바이스(120)의 사용자의 연령, 성별, 성숙도, 성장 속도 등을 고려하여 가장 적절한 형태의 리워드정보를 설정할 수 있다. 예를 들어, 모 디바이스(110)의 사용자는 '식탁에 앉기'(610) 미션에 대한 사용자의 소원에 관한 정보로서 '물놀이 가기'나 '동물원 가기'와 같이 사용자의 호기심을 자극할 만한 내용을 소원에 관한 정보로 설정할 수 있다. 만일, 사용자의 상태가 목표상태에 부합되면, 설정된 소원에 관한 정보가 쿠폰 형태로 웨어러블 디바이스(120)의 사용자에게 제공될 것이며, 이러한 사실이 모 디바이스(110)에 전송될 것이다.
도 10은 웨어러블 디바이스(120)에 저장되는 정보에 관한 예시도이다. 웨어러블 디바이스(120)는 다양한 미션에 따른 사용자의 목표상태에 관한 정보, 목표상태에 대응하는 가이드정보, 및 리워드정보를 저장부(370)에 저장할 수 있다. 경우에 따라서, 이러한 정보는 모 디바이스(110)나 서버(130)에 저장된 것이어서 이들로부터 제공된 것일 수 있다.
'식탁에 앉기' 미션을 포함하고 있는 '식사' 상황을 예로 들어 설명하면, '식사' 상황은 '식탁에 앉기'(m1), '골고루 먹기'(m2), '집중해서 먹기'(m3), '끝까지 먹기'(m4), '정리하기'(m5), '인사하기'(m5) 미션으로 구성될 수 있다. 이 중에서 '식탁에 앉기'(m1) 미션에 대한 목표상태는 '식탁 의자에 앉아 있는 상태'(t1)가 될 수 있고, 가이드정보는 '식사 시간이니 의자에 앉자'(g1)라는 음성과 가상 캐릭터(530)가 식탁 의자에 앉는 동작을 반복하는 애니메이션이 될 수 있다. 다만, 각 미션에 관한 목표상태에 관한 정보와 가이드정보는 필요에 따라 다양한 종류와 내용으로 설정할 수 있다. 예를 들어, '식탁에 앉기'(m1) 미션에 대해 식탁으로 의자를 옮기는 게임을 수행하게 하여 소정 점수 이상을 획득하도록 목표상태와 가이드정보를 설정할 수 있다.
한편, 목표상태에 관한 정보와 가이드정보는 모 디바이스(110)와 인터랙션(interaction)을 통해 설정될 수도 있으므로, 예를 들어, '골고루 먹기'(m2) 미션에 대해, 모 디바이스(110)에서 지정한 다수의 반찬을 소정 횟수 이상 각각 섭취하는 것을 목표상태로 설정하고, 해당 반찬을 골고루 섭취하도록 독려하는 내용을 가이드정보로 설정할 수 있다.
도 11은 사용자의 상태가 목표상태에 부합하는지 여부를 판단하는 과정에 관한 예시도이다. '식탁에 앉기'(m1) 미션을 예로 들어 설명하면, 웨어러블 디바이스(120)는 센서부(330)를 통해 사용자의 상태정보를 획득하여, 사용자의 상태감지정보를 생성한다. 여기서, 상태감지정보는 사용자의 움직임 정보(a1), 음성 상태 정보(b1), 및 얼굴 상태 정보(c1)로 구성된다. 웨어러블 디바이스(120)는 사용자의 움직임 정보(a1), 음성 상태 정보(b1), 및 얼굴 상태 정보(c1) 중 적어도 하나에 기초하여 사용자의 상태(S1)가 '식탁에 앉기'(m1) 미션의 목표상태인 '식탁 의자에 앉아 있는 상태'(t1)에 부합하는지를 판단한다.
구체적으로, 웨어러블 디바이스(120)는 가속도 센서(332), 자이로스코프 센서(333), 페도미터(335) 및 심박수 센서(336) 등을 통해 웨어러블 디바이스(120)의 사용자의 움직임 정보(a1)를 생성하고, 사용자의 움직임 정보(a1)가 제1 상한값보다 크면, 사용자가 여전히 움직이는 것으로 판단할 수 있다. 즉, 웨어러블 디바이스(120)는 사용자의 움직임 정보(a1)가 제1 상한값보다 크면, 사용자의 상태(S1)는 목표상태인 '식탁 의자에 앉아 있는 상태'(t1)에 부합하지 않는 것으로 판단하고, 사용자의 상태가 목표상태(t1)에 부합하도록 독려하는 내용의 가이드정보(g11)를 사용자에게 제공한다. 반면에, 웨어러블 디바이스(120)는 사용자의 움직임 정보(a1)가 제1 상한값보다 작으면, 사용자의 상태는 목표상태(t1)에 부합하는 것으로 판단하고, 사용자를 칭찬하는 내용의 리워드정보(g12)를 제공할 수 있다.
또한, 웨어러블 디바이스(120)는 음성수신부(311)를 통해 수신한 사용자의 음성에 기초하여 사용자의 음성 상태 정보(b1)를 생성하고, 사용자의 음성 상태 정보(b1)가 제2 상한값보다 크면, 사용자의 상태(S1)는 목표상태(t1)에 부합하지 않는 것으로 판단할 수 있다. 예를 들어, 사용자의 음성이 소정 데시벨 이상이면 사용자의 음성 상태 정보(b1)가 제2 상한값보다 크다고 판단하고, 사용자의 상태가 목표상태(t1)에 부합하도록 독려하는 내용의 가이드정보(g11)를 사용자에게 제공한다. 다만, 사용자의 음성 외에 주변 소음에 기초하여 사용자의 상태가 목표상태(t1)에 부합하는지를 판단할 수 있다.
또한, 웨어러블 디바이스(120)는 영상획득부(312)를 통해 획득한 사용자의 이미지에 기초하여 사용자의 얼굴 상태 정보(c1)를 생성하고, 사용자의 얼굴 상태 정보(c1)가 제3 상한값보다 크면, 사용자의 상태(S1)는 목표상태(t1)에 부합하지 않는 것으로 판단할 수 있다. 예를 들어, 사용자가 눈을 감고 자고 있는 경우에 사용자의 얼굴 상태 정보(c1)가 제3 상한값보다 크다고 판단하고, 사용자의 상태가 목표상태(t1)에 부합하도록 독려하는 내용의 가이드정보(g11)를 사용자에게 제공한다. 다만, 사용자의 이미지 외에 주변 이미지를 사용하여 사용자의 상태가 목표상태(t1)에 부합하는지를 판단할 수 있다.
도 12 내지 도 19는 웨어러블 디바이스(120)의 제어방법에 관한 순서도이다. 도 12를 참조하면, 웨어러블 디바이스(120)는 모 디바이스(110)의 제어에 의하거나 자체적으로 학습 가이드 어플리케이션을 실행하고, 학습 가이드 프로그램을 통해 진행할 다양한 미션을 표시할 수 있다(S1201). 모 디바이스(110)의 제어에 의하거나 자체적으로 특정한 미션이 선택되면, 웨어러블 디바이스(120)는 해당 미션에 대한 학습 가이드 프로그램을 진행한다(S1202). 다만, 복수의 미션을 포함하는 특정한 상황이 선택될 수 있으며, 이 경우, 특정한 상황에 포함되는 복수의 미션에 대한 학습 가이드 프로그램이 순차적으로 진행될 수 있다.
웨어러블 디바이스(120)는 사용자의 상태를 감지할 수 있다(S1203). 특히, 웨어러블 디바이스(120)는 사용자의 신체에 부착, 착용, 또는 이식이 가능하므로, 사용자의 상태를 정확하게 감지할 수 있다. 웨어러블 디바이스(120)는 감지된 사용자의 상태에 기초하여, 사용자가 주어진 미션을 수행하는지 여부를 판단한다(S1204). 사용자의 상태의 정확도가 높으므로, 사용자의 미션 수행 여부에 대한 판단의 정확도도 높아지게 된다. 웨어러블 디바이스(120)는 판단 결과에 따라 가이드정보나 리워드정보를 사용자에게 제공한다(S1205). 따라서, 웨어러블 디바이스(120)는 사용자가 미션을 수행할 수 있도록 효과적으로 유도할 수 있다.
도 13을 참조하면, 웨어러블 디바이스(120)는 미션에 대한 목표상태 정보와 목표상태에 대응하는 가이드정보를 저장부(370)에 저장한다(S1301). 웨어러블 디바이스(120)는 센서부(330)를 통하여 사용자의 상태를 감지하여 상태감지정보를 생성한다(S1302). 웨어러블 디바이스(120)는 저장부(370)에 저장된 목표상태 정보와 센서부(330)에 의해 생성된 상태감지정보를 비교하여, 목표상태와 사용자의 상태가 상호 부합하는지를 판단할 수 있다(S1303). 만일, 목표상태와 사용자 상태가 부합하지 않으면, 웨어러블 디바이스(120)는 저장부(370)에 저장된 목표상태에 대응하는 가이드정보를 사용자에게 제공한다(S1304).
한편, 이러한 웨어러블 디바이스(120)의 제어방법은, 컴퓨터가 읽을 수 있는 기록매체로 구현될 수 있다. 구체적으로, 적어도 하나의 상황에 대하여 마련되는 사용자의 목표상태에 관한 정보와, 이러한 목표상태에 대응하는 가이드정보를 저장하는 단계, 사용자의 상태를 감지하여 상태감지정보를 생성하는 단계, 저장된 상기 사용자의 목표상태에 관한 정보 및 생성된 상기 상태감지정보에 기초하여 사용자 상태가 목표상태에 부합하는지 여부를 판단하는 단계, 및 사용자 상태가 목표상태에 부합하지 않는 경우, 저장된 목표상태에 대응하는 가이드정보를 제공하는 단계를 포함하는 웨어러블 디바이스(120)의 제어방법을 수행하는 프로그램이 저장된 기록매체로 구현이 가능하다.
도 14를 참조하면, 웨어러블 디바이스(120)는 다양한 미션에 대한 목표상태 정보 및 목표상태에 대응하는 가이드정보를 저장할 수 있다(S1401). 여기서, 가이드정보는 리워드정보를 포함할 수 있다. 웨어러블 디바이스(120)는 가이드정보를 사용자에게 미리 제공한다(S1402). 이로써, 사용자가 주어진 미션을 수행할 수 있는 준비를 할 수 있게 한다. 웨어러블 디바이스(120)는 센서부(330)를 통하여 사용자의 상태를 감지하여 상태감지정보를 생성한다(S1403). 웨어러블 디바이스(120)는 저장부(370)에 저장된 목표상태 정보와 센서부(330)에 의해 생성된 상태감지정보를 비교한다(S1404). 웨어러블 디바이스(120)는 비교결과에 기초하여, 사용자의 상태가 목표상태에 부합하는지를 판단할 수 있다(S1405).
만일, 목표상태와 사용자 상태가 부합하지 않으면, 웨어러블 디바이스(120)는 가이드정보를 재차 제공한다(S1406). 반면에, 그렇지 않으면, 웨어러블 디바이스(120)는 완료상태에 대응하는 가이드정보, 즉, 리워드정보를 제공한다(S1407).
도 15에서 도 14과 중복되는 내용은 생략한다. 도 15를 참조하면, 웨어러블 디바이스(120)는 목표상태와 사용자 상태가 부합하지 않는 경우에는, 음성수신부(311)를 통하여 사용자의 음성을 수신하고(S1505), 수신된 사용자의 음성을 반영하여 가이드정보를 제공한다(S1506). 다만, 목표상태와 사용자 상태가 부합하지 않는 경우에만 사용자의 음성을 수신하는 것에 한정되지 않으므로, 미션 수행 전에 사용자의 음성을 수신하거나 미션 수행 과정 중 적절한 시기에 사용자의 음성을 수신할 수 있다. 이와 같이, 가이드정보에 사용자의 음성을 반영하여 제공하면, 미션에 대해 거부감이 줄어들어 사용자가 자연스럽게 미션을 수행하도록 유도할 수 있다.
도 16에서 도 14와 중복되는 내용은 생략한다. 도 16을 참조하면, 웨어러블 디바이스(120)는 목표상태와 사용자 상태가 부합하지 않으면, 영상획득부(312)를 통하여 사용자의 이미지를 촬상하고(S1604), 촬상된 사용자의 이미지를 가이드정보에 반영하여 사용자에게 제공한다(S1605). 다만, 목표상태와 사용자 상태가 부합하지 않는 경우에만 사용자의 이미지를 촬상하는 것에 한정되지 않으므로, 미션 수행 전에 사용자의 이미지를 촬상하거나 미션 수행 과정 중 적절한 시기에 사용자의 이미지를 촬상할 수 있다. 이와 같이, 가이드정보에 사용자의 이미지를 반영하여 제공하면, 미션에 대해 거부감이 줄어들어 사용자가 자연스럽게 미션을 수행하도록 유도할 수 있다.
도 17에서 도 14과 중복되는 설명은 생략한다. 도 17을 참조하면, 웨어러블 디바이스(120)는 목표상태와 사용자 상태가 부합하지 않으면, 생성된 상태감지정보에 기초하여 사용자의 동작 패턴을 결정하고(S1704), 결정된 동작 패턴을 목표상태에 대응하는 가이드정보에 반영한다(S1705).
예를 들어, '골고루 먹기'(m2) 미션에 학습 가이드 프로그램이 진행되고 있는 경우에, 웨어러블 디바이스(120)의 사용자가 특정 반찬만을 가져오는 동작을 반복하여 목표상태에 부합하지 않는 것으로 판단되면, 웨어러블 디바이스(120)는 가이드정보로서 특정 반찬만을 섭취한다는 내용의 음성을 출력하거나 특정 반찬만을 섭취하는 가상 캐릭터를 애니메이션으로 표시할 수 있다. 이렇게, 사용자의 동작 패턴을 가이드정보에 반영하여 제공하면, 사용자가 자신의 행동을 직접 확인하게 되고, 자발적으로 미션을 수행하도록 유도할 수 있게 된다.
도 18을 참조하면, 웨어러블 디바이스(120)는 학습 가이드 프로그램으로 진행할 수 있는 다양한 미션에 대한 목표상태 정보, 목표상태에 대응하는 가이드정보, 및 리워드정보를 저장한다(S1801). 웨어러블 디바이스(120)는 학습 가이드 프로그램이 시작되면, 미션에 관한 목표상태에 대응하는 가이드정보를 사용자에게 제공한다(S1802). 경우에 따라서, 웨어러블 디바이스(120)는 가이드정보와 함께 리워드정보를 사용자에게 제공하여 사용자의 자발적인 참여를 유도할 수 있다. 웨어러블 디바이스(120)는 사용자의 상태를 감지하여 상태감지정보를 생성한다(S1803). 웨어러블 디바이스(120)는 저장된 목표상태 정보와 생성된 상태감지정보를 비교하여(S1804), 목표상태와 사용자 상태가 상호 부합하는지를 판단할 수 있다(S1805).
만일, 목표상태와 사용자 상태가 부합하지 않으면, 웨어러블 디바이스(120)는 사용자가 미션을 다시 수행할 수 있도록 가이드정보를 재차 제공한다(S1806). 반면에, 목표상태와 사용자 상태가 부합하면, 웨어러블 디바이스(120)는 리워드정보를 사용자에게 제공한다(S1807).
도 19를 참조하면, 웨어러블 디바이스(120)는 주어진 미션에 관한 학습 가이드 프로그램을 진행하고, 사용자의 동작을 감지한다(S1901). 웨어러블 디바이스(120)는 감지된 사용자의 동작에 기초하여 사용자의 운동량, 활동량, 식습관, 잠습관 등을 분석할 수 있다(S1902). 여기서, 분석 대상은 미션에 따라 달라진다. 예를 들어, 운동 미션이 진행되면, 사용자의 운동량이나 활동량이 분석 대상이 되고, 식사 미션이 진행되면, 식습관이나 식사량이 분석 대상이 된다. 웨어러블 디바이스(120)는 분석 대상을 분석하여 사용자의 성장량을 추출한다(S1903). 웨어러블 디바이스(120)는 캐릭터의 성장 팩터를 결정한다(S1904). 여기서, 캐릭터의 성장 팩터란, 추출된 성장량을 가상 캐릭터(530)에 반영하기 위해 사용되는 캐릭터의 속성을 의미한다. 캐릭터의 속성은 가상 캐릭터(530)의 형상, 크기, 표정, 아이템 중 적어도 하나를 포함할 수 있다. 또한, 캐릭터의 성장 팩터는 친밀성, 사회성 등의 추상적 개념도 포함할 수 있는데, 캐릭터의 성장 팩터가 추상적 개념인 경우에는 숫자나 그래프로 구체화하여 표시할 수 있을 것이다. 웨어러블 디바이스(120)는 추출된 성장량에 따라 캐릭터의 성장 팩터를 변경한다(S1905). 예를 들어, '1km 러닝' 미션을 수행하면, 웨어러블 디바이스(120)는 캐릭터의 성장 팩터 중 하나인 외형적 크기가 증가된 가상 캐릭터(830)을 표시할 수 있다. 경우에 따라서, 웨어러블 디바이스(120)는 성장량에 따른 보상을 제공할 수 있다(S1906). 보상은 다양한 내용과 종류의 리워드정보로서 제공될 수 있다.
특히, 웨어러블 디바이스(120)는 성장량 추이에 따른 가이드정보를 제공할 수 있다(S1907). 성장량 추이에 따른 가이드정보는 학습 가이드 프로그램의 미션을 달성하도록 사용자를 유도하는 가이드정보와는 다르다. 즉, 성장량 추이에 따른 가이드정보는 사용자가 미션을 수행한 경우에, 미션을 수행하기까지의 시간이나 속도 등을 고려하여, 차후 진행되는 미션에 대한 조언을 포함할 수 있다. 예를 들어, '1km 러닝' 미션을 수행하기까지의 시간이나 속도 등이 예전보다 지연되는 경우에는 "과도한 운동을 삼가하세요"라는 가이드정보를 음성으로 출력하거나 지친 표정을 하고 있는 가상 캐릭터(530)를 표시할 수 있다.
도 20 내지 도 23은 웨어러블 디바이스(120)의 제어방법에 관한 예시도이다. 도 20을 참조하면, 모 디바이스(110)는 학습 가이드 어플케이션을 실행하고, 복수의 미션 중에서 특정한 미션을 선택하여 웨어러블 디바이스(120)로 전송한다(S2001). 웨어러블 디바이스(120)는 전송된 미션에 대한 학습 가이드 프로그램을 진행하고, 획득된 사용자 상태정보에 기초하여 사용자가 해당 미션을 완료하는지를 판단한다(S2002). 웨어러블 디바이스(120)는 사용자가 해당 미션을 완료하는지에 따라 가상 캐릭터(530)를 변경하고(S2004), 변경된 가상 캐릭터(740, 840)을 모 디바이스(110)에 전송한다(S2004).
도 21에서 도 20과 중복되는 설명은 생략한다. 도 21을 참조하면, 웨어러블 디바이스(120)은 사용자가 미션을 완료한 것으로 판단하면, 이에 대한 보상으로 서버(130)에 아이템을 요청한다(S2103). 여기서, 서버에 요청하는 아이템은 완료된 미션과 관련된 것일 수 있다. 서버(130)는 웨어러블 디바이스(120)에 아이템을 전송하여(S2104), 가상 캐릭터(530)에 아이템을 반영할 수 있도록 한다(S2105).
도 22에서 도 20과 중복되는 설명은 생략한다. 도 22를 참조하면, 웨어러블 디바이스(120)는 사용자가 미션을 완료한 것으로 판단하면(S2202), 모 디바이스(110)으로 미션이 완료되었음을 알린다(S2203). 이에 대한 보상으로 웨어러블 디바이스(120)로 아이템을 제공해 달라고 모 디바이스(110)가 서버(130)에 요청하면(S2204), 서버(130)는 아이템을 웨어러블 디바이스(120)에 전송한다(S2205).
도 23을 참조하면, 모 디바이스(110)는 학습 가이드 어플리케이션을 실행하고, 복수의 미션 중에서 특정한 미션을 선택하고, 선택된 미션과 관련된 데이터를 서버(130)에 요청할 수 있다(S2301). 서버(130)는 모 디바이스(110)에 의해 선택된 학습 가이드 프로그램의 미션과 관련된 데이터를 웨어러블 디바이스(120)에 제공할 수 있다(S2302).
도 24은 웨어러블 디바이스(120)를 포함하는 스마트 네트워크 시스템(2400)에 관한 예시도이다. 도 24를 참조하면, 스마트 네트워크 시스템(2400)은 네트워크를 통하여 복수의 스마트 디바이스 간에 사물 인터넷 환경을 제공하기 위한 시스템이며, 복수의 스마트 디바이스 및 스마트 게이트웨이(180)로 구성된다.
스마트 디바이스들은 스마트 가전기기(Smart Appliance), 보안기기(security devices), 조명기구(Lighting devices), 에너지기기(Energy devices), 및 의료기기(Medical devices) 등을 포함할 수 있다. 스마트 가전기기는 PC, 카메라, 전화, TV, 에어컨, 로봇 청소기, 가습기, 전동 칫솔 등이 될 수 있으며, 보안기기는 도어락, 보안 카메라, CCTV(Closed Circuit Television), 보안 센서 등이 될 수 있고, 조명기구는 LED(Light Emitting Diode), 램프 등이 될 수 있고, 에너지기기는 난방기기, 전력측정기, 전력 소켓, 전기 콘센트, 멀티탭 등이 될 수 있고, 의료기기는 혈압계, 혈당계, 부하심전도계, 체온계, 체중계 등이 될 수 있다.
이러한 스마트 디바이스들은 유무선 통신 방식에 따라 스마트 게이트웨이(180)와 통신이 가능하며, 스마트 게이트웨이(180)로부터 제어 명령을 수신하여 제어 명령에 따라 동작하고, 스마트 게이트웨이(180)로부터 요구된 정보나 데이터를 스마트 게이트웨이(180)에게 전송할 수 있다. 스마트 게이트웨이(180)는 독립적인 장치로 구현되거나 혹은 스마트 게이트웨이(180) 기능을 구비하는 장치로서 구현될 수 있다. 예를 들어, 스마트 게이트웨이(180)는 PC, 카메라, 전화, TV 등으로 구현될 수 있다. 즉, 스마트 네트워크 시스템(2400)에서는 모든 형태의 스마트 디바이스들을 하나의 네트워크로 연결하여 통제할 수 있다.
따라서, 웨어러블 디바이스(120)는 스마트 게이트웨이(180)를 통하여 다른 스마트 디바이스와 원격 접속하거나 다른 스마트 디바이스와 직접 접속하여 상호 데이터를 교환할 수 있다. 상호 교환 가능한 데이터에는 제한이 없으므로, 웨어러블 디바이스(120)는 다른 스마트 디바이스로부터 사용자의 상태에 관한 부가정보를 수신할 수 있다. 여기서, 사용자의 상태에 관한 부가정보란, 웨어러블 디바이스(120)가 사용자의 상태감지정보를 생성하기 위하여 다른 스마트 디바이스로부터 수신하는 정보를 의미한다. 예를 들어, 스마트 센서(153)는 사용자의 위치 및 동작을 감지할 수 있는 스마트 디바이스인데, 웨어러블 디바이스(120)에서 '식탁에 앉기' 미션에 대한 학습 가이드 프로그램이 진행되고 있을 때, 웨어러블 디바이스(120)는 스마트 센서(153)에 접속하여, 웨어러블 디바이스(120)의 사용자가 '식탁에 앉기' 미션을 수행할 수 있는 식당에 있는지, 아니면 식당 이외의 위치에 있는지에 관한 부가정보를 수신할 수 있다. 이 외에도, 웨어러블 디바이스(120)는 가속도 센서가 부착된 스마트 포크(151)로부터 사용자의 식사 동작에 관한 부가정보를 수신하거나 무게 센서가 부착된 스마트 그릇(152)으로부터 사용자의 식사량에 관한 부가정보를 수신할 수 있다. 웨어러블 디바이스(120)는 다수의 스마트 디바이스로부터 부가정보를 수신하여, 사용자의 상태가 목표상태에 부합하는지를 판단하고 판단 결과에 따라 가이드정보나 리워드정보를 제공할 수 있다.
이와 같이, 웨어러블 디바이스(120)를 포함하는 스마트 네트워크 시스템(2400)을 사용하면, 사용자의 상태정보의 정확도가 높아질 뿐만 아니라, 사용자의 상태가 목표상태에 부합하는지 여부에 대한 판단의 정확도도 비약적으로 향상된다. 따라서, 웨어러블 디바이스(120)는 이렇게 향상된 정확도를 바탕으로 웨어러블 디바이스(120)의 사용자가 좀더 효과적으로 미션을 수행할 수 있도록 유도할 수 있다.
도 25는 도 24의 웨어러블 디바이스(120)의 제어방법에 관한 순서도이다. 웨어러블 디바이스(120)는 학습 가이드 프로그램으로 진행할 수 있는 미션에 대한 목표상태에 관한 정보 및 목표상태에 대응하는 가이드정보를 저장한다(S2501). 웨어러블 디바이스(120)은 스스로 사용자의 상태를 감지할 뿐만 아니라 다른 스마트 디바이스로부터 사용자의 상태에 관한 부가정보를 수신한다(S2502). 웨어러블 디바이스(120)는 이에 기초하여 사용자의 상태감지정보를 생성한다(S2503). 웨어러블 디바이스(120)는 미션의 목표상태에 관한 정보와 생성된 상태감지정보를 비교하여, 목표상태와 사용자의 상태가 상호 부합하는지를 판단할 수 있다(S2504). 만일, 목표상태와 사용자의 상태가 상호 부합하는 것으로 판단되면, 웨어러블 디바이스(120)는 가이드정보를 제공할 수 있다(S2505).
도 26은 도 24의 스마트 네트워크 시스템(2400)의 예시도이다. 도 26의 스마트 네트워크 시스템(2600)은 도 24의 스마트 네트워크 시스템(2400)과 같이 모 디바이스(110), 웨어러블 디바이스(120), 및 복수의 스마트 디바이스 간에 사물 인터넷 환경을 제공한다. 여기서, 복수의 스마트 디바이스는 스마트 포크(151)와 같은 스마트 식사도구, 스마트 체온계(154)와 같은 의료기기, 스마트 안경(155)과 같은 생활도구를 포함할 수 있다.
웨어러블 디바이스(120)는 복수의 스마트 디바이스와 사물 인터넷 환경을 구성하기 위한 아이콘(560)을 표시할 수 있다. 즉, 해당 아이콘(560)이 선택되면, 웨어러블 디바이스(120)는 통신 가능한 거리 내에 있는, 스마트 포크(151), 스마트 체온계(154), 스마트 안경(155)와 같은 스마트 디바이스와 데이터 통신이 가능하도록 설정된다. 이러한 설정은, 웨어러블 디바이스(120)에서 자체적으로 가능하지만, 모 디바이스(110)에서도 웨어러블 디바이스(120)와 복수의 스마트 디바이스 간에 사물 인터넷 환경을 구성하도록 제어가 가능하다. 모 디바이스(110)에서 웨어러블 디바이스(120)와 복수의 스마트 디바이스 간에 사물 인터넷 환경을 구성하도록 제어하는 경우에는, 사물 인터넷 환경의 구성 과정을 나타내는 정보(2660)를 모 디바이스(120)에 표시할 수 있다.
사물 인터넷 환경이 구성되면, 웨어러블 디바이스(120)는 스마트 디바이스로부터 스마트 디바이스에 관한 정보를 수신한다. 여기서, 스마트 디바이스에 관한 정보는 스마트 디바이스의 명칭, 형상, 기능, 통신 방식 등에 관한 정보일 수 있다. 웨어러블 디바이스(120)는 스마트 디바이스에 관한 정보에 기초하여 사물 인터넷 환경 내에 있는 스마트 디바이스를 나타내는 아이콘을 디스플레이부(320)에 표시할 수 있다. 이로써, 현재 사물 인터넷 환경 내에서 웨어러블 디바이스(120)와 데이터 통신이 가능한 스마트 디바이스를 사용자가 확인할 수 있게 한다. 웨어러블 디바이스(120)와 데이터 통신이 가능한 스마트 디바이스에 관한 정보는 모 디바이스(110)에 제공될 수 있다.
이렇게, 사물 인터넷 환경 내에 있는 스마트 디바이스가 확인되면, 웨어러블 디바이스(120)를 통해 수행할 수 있는 미션을 선택하기가 쉬워진다. 예를 들어, 사물 인터넷 환경 내에 스마트 포크(151)가 있다는 것이 확인되면, 모 디바이스(110)의 사용자는 스마트 포크(151)를 사용하여 진행할 수 있는 '골고루 먹기' 미션을 선택할 수 있게 된다.
사물 인터넷 환경 내에서 웨어러블 디바이스(120)의 사용자가 스마트 포크(151)를 들고 사용하면, 스마트 포크(151)에 대응하는 아이템(550)이 웨어러블 디바이스(120)에 표시되고, 동일한 아이템(2650)이 모 디바이스(110)에도 표시된다. 이 경우, 웨어러블 디바이스(120)는 스마트 포크(151)로부터 사용자 상태정보를 자동적으로 수신할 수 있도록 설정할 수 있다. 다만, 사용자의 선택에 따라 특정한 스마트 디바이스로부터 사용자 상태정보를 수신하는 것도 가능하다. 이 경우에는 선택된 스마트 디바이스에 대응하는 아이템이 웨어러블 디바이스(120)나 모 디바이스(110)에 표시될 것이다.
도 27은 도 26의 스마트 네트워크 시스템(2600)의 예시도이다. 도 27을 참조하면, 웨어러블 디바이스(120)는 스마트 네트워크 시스템(2600) 내에 있는 스마트 체온계(154)에 연결하여 사용자의 체온 정보를 수신할 수 있다. 웨어러블 디바이스(120)는 수신한 체온 정보를 UI(570)로 디스플레이부(320)에 표시할 수 있고, 모 디바이스(110)도 웨어러블 디바이스(120)를 통하여 획득한 체온 정보를 UI(2770)로 디스플레이부(115)에 표시할 수 있다. 이 경우, 웨어러블 디바이스(120)는 측정된 체온이 특정 온도 이하인 경우에는 웨어러블 디바이스(120)에만 UI(570)를 표시하여 웨어러블 디바이스(120)의 사용자가 스스로 적절한 조치를 할 수 있도록 가이드정보를 제공할 수 있고, 특정 온도 이상인 경우에만 모 디바이스(110)나 외부 의료기관에 체온 정보를 알리도록 설정할 수 있다.
한편, 웨어러블 디바이스(120)는 체온 정보와 같은 건강 정보뿐만 아니라 웨어러블 디바이스(120)의 환경 정보도 획득할 수 있다. 여기서, 환경 정보는 사용자에게 직간접으로 영향을 주는 자연적 조건으로서 기온, 습도, 풍향, 자외선, 미세먼지 등에 관한 정보일 수 있다. 웨어러블 디바이스(120)는 사용자의 건강 정보와 환경 정보에 기초하여 적절한 가이드정보를 제공할 수 있다. 예를 들어, 웨어러블 디바이스(120)는 획득되는 체온 정보에 기초하여 사용자가 감기나 폐렴 등에 걸렸는지를 판단하고, 환경 정보에 기초하여 현재 공기 오염상태를 판단하여, 웨어러블 디바이스(120)의 사용자에게 외출을 자제하거나 "오늘은 먼지가 많아! 마스크를 착용했니"와 같이 마스크를 착용할 것을 독려하는 가이드정보를 제공할 수 있다. 또한, 웨어러블 디바이스(120)는 모 디바이스(110)의 사용자가 적절한 조치를 취할 수 있도록 가이드정보(2780)를 모 디바이스(110)에 제공할 수 있다.
경우에 따라서, 사물 인터넷 환경 내에 복수의 스마트 디바이스가 있는 경우에 웨어러블 디바이스(120)는 우선순위가 높은 스마트 디바이스로부터 사용자 건강정보를 수신할 수 있다. 이러한 우선순위는 웨어러블 디바이스(120)의 사용자의 심박수, 심전도, 장애 여부, 심장 질환과 같은 병력, 스트레스 지수와 같은 질병 진단 지수 등 사용자의 건강상태에 따라 결정될 수 있다. 사용자의 건강상태에 관한 정보는 모 디바이스(110)나 웨어러블 디바이스(120)를 통해 입력될 수 있고, 외부 의료기관이나 진료기관과 연동되는 서버(130)로부터 제공받을 수도 있다. 예를 들어, 웨어러블 디바이스(120)의 사용자가 심장 질환을 앓은 적이 있다는 병력이 저장되어 있는 경우에, 웨어러블 디바이스(120)의 사용자는 심장 질환 위험군으로 분류되고, 복수의 스마트 디바이스 중에서 심장 질환과 관계되는 스마트 심전도계나 심박수계로부터 우선적으로 사용자 건강정보를 수신할 수 있다.
도 28은 스마트 네트워크 시스템(2800)에 의해 진행되는 행동발달 가이드 프로그램에 관한 예시도이다. 본 실시예에 따른 스마트 네트워크 시스템(2800)은 도 24의 스마트 네트워크 시스템(2400)과 같은 소단위 네트워크 시스템들을 네트워크를 통해 연결하여, 대단위 스마트 네트워크 시스템으로 구성될 수 있다. 예를 들어, 도 24의 스마트 네트워크 시스템(2400)는 가정집의 홈 네트워크 시스템이나 사무실의 오피스 네트워크 시스템으로 각각 구성될 수 있지만, 본 실시예에 따른 스마트 네트워크 시스템(2800)는 홈 네트워크 시스템과 오피스 네트워크 시스템을 통합할 수 있다. 다만, 도 28에서는 설명의 편의를 위해, 오피스 네트워크 시스템을 유치원이나 어린이집과 같은 교육기관 네트워크 시스템으로 가정하여 설명한다.
스마트 네트워크 시스템(2800)은 웨어러블 디바이스(120)의 사용자의 행동발달 가이드 프로그램을 진행할 수 있다. 행동발달 가이드 프로그램이란, 특정한 미션에 대해 사용자의 상태가 목표상태에 부합하는지를 판단하는 것뿐만 아니라, 사용자의 성별, 연령, 학습 수준, 장애 여부 등에 따른 사용자의 행동발달 상태가 각 행동발달 단계의 목표상태에 부합하는지를 판단하고, 사용자의 상태가 각 행동발달 단계의 목표상태에 대응하는 가이드정보를 제공하는 프로그램이다. 이를 위해, 서버(130)는 행동발달 단계 별로 목표상태에 관한 정보와 목표상태에 대응하는 가이드정보를 미리 저장할 수 있다. 여기서, 가이드정보는 웨어러블 디바이스(120)의 사용자의 행동발달 상태가 행동발달 단계의 목표상태에 부합하지 않는 경우에, 목표상태에 부합하도록 사용자를 유도하기 위한 정보를 의미한다.
행동발달 가이드 프로그램이 진행되면, 웨어러블 디바이스(120)는 사용자 상태정보이나 부가정보를 획득하고 사용자의 상태를 모니터링한다. 여기서, 사용자 상태정보는 웨어러블 디바이스(120)에 의해 획득되며, 부가정보는 웨어러블 디바이스(120) 이외에 스마트 네트워크 시스템(2800) 내의 스마트 디바이스에 의해 획득된다. 웨어러블 디바이스(120)는 사용자의 기본 상태정보에 기초하여 사용자 상태정보 및 부가정보를 획득할 수 있다. 여기서, 기본 상태정보란 웨어러블 디바이스(120)의 사용자가 속한 교육기관이나 가정 내의 스마트 디바이스에 의해 수집되는 정보 이외에 임의적으로 입력되는 정보를 의미한다. 예를 들어, 웨어러블 디바이스(120)의 사용자가 유아인 경우에, 유치원 시간표, 놀이 시간, 독서 시간, 식단, 신체 정보 등이 기본 상태정보에 포함될 수 있다. 또한, 외부 진료기관이나 상담기관이 제공하는 유아의 건강 검진 정보, 진료 기록, 상담 이력 정보 등이 기본 상태정보에 포함될 수 있으며, 서버(130)가 제공하는 사용자의 이전 상태정보도 포함될 수 있다.
웨어러블 디바이스(120)는 이러한 기본 상태정보에 기초하여 특정한 상태정보 및 부가정보를 획득할 수 있다. 예를 들어, 사용자가 자주 넘어진다는 기본 상태정보가 입력되면, 웨어러블 디바이스(120)는 심박수 센서(336)보다는 가속도 센서(332)나 자이로스코프(gyroscope) 센서(333)를 통해 사용자 상태정보나 부가정보를 획득할 수 있다.
웨어러블 디바이스(120)는 사용자 상태정보나 부가정보에 기초하여 웨어러블 디바이스(120)의 사용자의 행동을 모니터링하고 모니터링 결과를 서버(130)에 제공한다. 서버(130)는 모니터링 결과를 가정, 교육기관, 외부 진료기관, 상담기관과 같은 소단위 스마트 네트워크 시스템에도 제공할 수 있다.
경우에 따라서, 웨어러블 디바이스(120)는 서버(130)에 관심 정보를 제공할 수 있다. 관심 정보는 사용자 상태정보나 부가정보 중에서 미리 지정한 사용자의 특이한 행동이나 상태에 관한 정보이다. 예를 들어, 웨어러블 디바이스(120)의 사용자가 자주 넘어지는 경우에, 넘어지는 행동이나 넘어진 상태에 관한 정보가 관심 정보가 될 수 있다.
서버(130)는 모니터링 결과와 관심 정보에 기초하여 웨어러블 디바이스(120)의 사용자의 행동발달 상태를 분석한다. 특히, 서버(130)는 사용자의 행동발달 상태를 분석하기 위해서, 스케쥴 기반 분석, 행동 기반 분석, 및 동일 집단 비교 분석을 수행할 수 있다. 스케쥴 기반 분석이란, 사전에 입력된 스케쥴 정보에 기초하여, 스케쥴 대로 웨어러블 디바이스(120)의 사용자가 행동을 하는지를 분석하는 기법이다. 여기서, 도 29을 참조하여, 스케쥴 기반 분석 과정에 대한 좀더 자세하게 설명한다.
도 29는 스케쥴 기반 분석 과정을 나타내는 순서도이다. 도 29를 참조하면, 웨어러블 디바이스(120)의 사용자에 대한 스케쥴 정보를 저장한다(S2901). 예를 들어, 사용자가 유아인 경우에, 유치원 시간표, 놀이 시간, 독서 시간 등이 스케쥴 정보가 될 수 있다. 서버(130)는 스케쥴 정보와 사용자의 상태정보를 비교한다(S2902). 여기서, 서버(130)는 스케쥴 정보와 사용자의 상태정보를 수치화하여 상호 비교할 수 있게 할 수 있다.
서버(130)는 비교 결과에 기초하여 사용자의 상태가 스케쥴에 부합하는지를 판단한다(S2903). 판단 결과에 따라 해당 스케쥴 정보 및 사용자의 상태정보를 특이 사항으로 저장할 수 있다(S2904). 예를 들어, 서버(130)는 스케쥴 정보와 상태정보를 비교하여, 웨어러블 디바이스(120)의 사용자가 유치원에서 율동 시간에 율동을 하는지, 식사 시간에 식사를 하는지, 독서 시간에 독서를 하는지를 판단할 수 있다. 율동 시간에 사용자가 율동을 하는 것으로 판단되지만, 식사 시간에 식사를 하거나, 독서 시간에 독서를 하지 않는 것으로 판단되면, 서버(130)는 식사 시간과 독서 시간에 사용자의 상태정보를 특이 사항으로 저장할 수 있다. 경우에 따라서, 이러한 특이 사항은 가정의 모 디바이스(110)에 제공될 수 있다.
이러한 스케쥴 기반 분석 과정은 이하에서 설명되는 행동 기반 분석이나 동일 집단 비교 분석에 적용될 수 있다. 즉, 서버(130)는 웨어러블 디바이스(120)의 사용자의 음성이나 움직임에 특이한 변화가 있는지를 확인하고 이상이 있는지를 분석할 수 있다. 이를 위해, 서버(130)는 웨어러블 디바이스(120)의 행동에 관한 정보를 저장하고 있으며, 행동 정보와 사용자 상태정보의 비교를 통해, 사용자의 상태에 이상이 있는지를 판단할 수 있다. 여기서, 서버(130)는 행동 정보를 사용자의 상태정보와 비교할 수 있도록 수치화할 수 있다. 비교 결과, 웨어러블 디바이스(120)의 사용자에게 이상이 있는 것으로 판단되면, 해당 행동 정보를 특이 사항으로 저장할 수 있다. 예를 들어, 서버(130)는 낙상에 대한 행동 정보를 저장할 수 있기 때문에, 웨어러블 디바이스(120)의 사용자가 낙상한 상태인지를 판단할 수 있다. 다만, 행동 기반 분석은 단발성 행동을 배제하기 위해 주간이나 월간 단위로 행동의 추이를 누적하여 분석하는 것이 바람직하다.
동일 집단 비교 분석이란, 웨어러블 디바이스(120)의 사용자와 동일한 상황에 있는 또래의 행동과 비교하는 기법이다. 예를 들어, 서버(130)는 유치원에서 같은 커리큘럼에 따라 수업을 받는 친구들의 상태정보나 부가정보를 동일 집단 정보로 저장하고, 이러한 동일 집단 정보에 웨어러블 디바이스(120)의 사용자의 상태정보가 부합하는지를 판단한다. 만일, 상태정보나 부가정보가 친구들의 그것의 평균과 과도하게 차이나는 경우에, 서버(130)는 이를 특이 사항으로 저장한다.
다시, 도 28을 참조하면, 서버(130)는 스케쥴 기반 분석, 행동 기반 분석, 및 동일 집단 비교 분석을 통한 분석 결과에 따라 사용자의 행동발달 상태가 행동발달 단계 별로 목표상태에 부합하는지를 판단하고, 판단 결과에 따라 적절한 가이드정보를 제공할 수 있다. 즉, 서버(130)는 행동발달 상태 판단 결과와 함께 웨어러블 디바이스(120)의 사용자의 행동발달 상태가 목표상태에 부합되도록 유도하는 가이드정보를 웨어러블 디바이스(120), 가정의 모 디바이스(110), 및 교육기관의 모 디바이스(111))에 각각 제공할 수 있다. 예를 들어, 행동발달 상태 판단 결과로서, 사용자의 활동성에 문제가 있다면, 서버(130)는 가정의 모 디바이스(110)에는 가정에서 사용자와 함께 부모가 진행할 수 있는 가이드정보를 제공하고, 교육기관의 모 디바이스(111)에는 교육기관에서 선생님의 지도하에 사용자가 진행할 수 있는 가이드정보를 제공할 수 있다. 필요한 경우에, 서버(130)가 이러한 가이드정보를 다른 서버로부터 다운로드하여 제공할 수 있다.
한편, 서버(130)는 외부 전문 진료기관이나 상담기관에 행동발달 상태 판단 결과를 제공하고 전문적 가이드정보를 요청할 수 있다. 서버(130)는 이들로부터 전문적 가이드정보를 수신하고, 이를 웨어러블 디바이스(120), 가정의 모 디바이스(110), 및 교육기관의 모 디바이스(111)에 각각 제공할 수 있다.
이와 같이, 본 실시예에 따른 스마트 디바이스 시스템(2800)은 웨어러블 디바이스(120)를 통하여 정확도가 높은 상태정보 및 부가정보를 획득하여 서버(130)에 제공할 수 있고, 서버(130)를 통하여 사용자의 행동발달 상태를 정확하게 판단함으로써, 사용자의 행동발달 상태가 적절한 단계에 이르도록 종합적인 가이드를 제공할 수 있다.
도 30 및 도 31은 도 28의 스마트 네트워크 시스템(2800)의 제어방법에 관한 순서도 및 예시도이다. 도 30을 참조하면, 스마트 네트워크 시스템(2800)은 웨어러블 디바이스(120)의 사용자의 행동발달 가이드 프로그램을 진행할 수 있다(S3001). 행동발달 가이드 프로그램은 이에 대응하는 어플리케이션을 탑재하고 있는 모 디바이스(110, 111)나 웨어러블 디바이스(120)에 의해 실행될 수 있다. 웨어러블 디바이스(120)는 사용자의 기본 상태정보를 수신하고(S3002), 이에 기초하여 사용자 상태정보나 부가정보를 획득한다(S3003). 웨어러블 디바이스(120)는 획득한 사용자 상태정보 및 부가정보에 기초하여 사용자 행동을 모니터링하고, 모니터링 결과와 특이한 행동에 관한 관심 정보를 서버(130)에 제공한다(S3004). 서버(130)는 모니터링 결과와 관심 정보에 기초하여 웨어러블 디바이스(120)의 사용자의 행동발달 상태를 분석한다(S3005). 여기서, 스케쥴 기반 분석, 행동 기반 분석, 및 동일 집단 비교 분석이 사용될 수 있다. 서버(130)는 분석 결과에 따라 웨어러블 디바이스(120)의 사용자의 행동발달 상태가 행동발달 단계 별로 목표상태에 부합하는지를 판단한다(S3006). 서버(130)는 판단 결과에 따라 가이드정보를 제공할 수 있는데, 바람직하게는, 외부 전문 진료기관이나 상담기관으로부터 전문적 가이드정보를 수신하고(S3007), 이를 웨어러블 디바이스(120), 가정의 모 디바이스(110), 및 교육기관의 모 디바이스(111)에 각각 제공할 수 있다(S3008).
도 31을 참조하면, 도 28의 스마트 네트워크 시스템(2800)의 웨어러블 디바이스(120)는 사용자의 행동발달 가이드 프로그램이 진행되면, 사용자의 기본 상태정보를 가정, 교육기관, 외부 진료기관, 상담기관, 및 서버(130)로부터 수신할 수 있다(S3101), 여기서, 서버(130)가 제공하는 기본 상태정보에는 웨어러블 디바이스(120)의 사용자의 이전 상태정보나 이상행동 정보를 포함할 수 있다. 웨어러블 디바이스(120)는 이러한 기본 상태정보에 기초하여 웨어러블 디바이스(120)의 사용자의 행동을 모니터링한다(S3102). 웨어러블 디바이스(120)가 모니터링 결과를 서버(130)에 제공하면(S3103), 서버(130)는 이를 가정, 교육기관, 외부 진료기관, 및 상담기관에 제공할 수 있다(S3104). 경우에 따라서, 웨어러블 디바이스(120)는 사용자의 특이 사항과 같은 관심 정보도 모니터링할 수 있다. 여기서, 웨어러블 디바이스(120)는 센서부에 의해 감지되는 충격에 기초하여 사용자의 운동량이나 충격량의 피크값을 산출하고, 산출된 피크값이 소정 범위 내에 있는지를 모니터링 할 수 있는데, 이러한 피크값이 소정 범위를 벗어나는 경우에 이를 관심 정보로 모니터링하는 것이다. 경우에 따라서, 웨어러블 디바이스(120)는 산출된 피크값의 추이에 따라 소정 범위를 유동적으로 조절할 수도 있다.
이러한 관심 정보가 웨어러블 디바이스(120)로부터 수신되면(S3105), 서버(130)는 모니터링 결과와 관심 정보에 기초하여 웨어러블 디바이스(120)의 사용자의 행동발달 상태를 분석 및 판단한다(S3106). 서버(130)는 판단 결과에 따라 외부 전문 진료기관이나 상담기관에 전문적 가이드정보를 요청한다(S3107). 외부 전문 진료기관이나 상담기관으로부터 전문적 가이드정보를 수신하면(S3108), 서버(130)는 이를 웨어러블 디바이스(120), 가정의 모 디바이스(110), 및 교육기관의 모 디바이스(111)에 각각 제공할 수 있다(S3109). 필요한 경우에, 서버(130)가 이러한 가이드정보를 다른 서버로부터 다운로드하여 제공할 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.

Claims (15)

  1. 사용자의 신체에 착용 가능한 웨어러블 디바이스에 있어서,
    적어도 하나의 상황에 대하여 마련되는 사용자의 목표상태에 관한 정보와, 상기 목표상태에 대응하는 가이드정보를 저장하는 저장부;
    상기 사용자의 상태를 감지하여 상태감지정보를 생성하는 센서부; 및
    상기 저장부에 저장된 상기 사용자의 목표상태에 관한 정보와, 상기 센서부에 의해 생성된 상기 상태감지정보에 기초하여 상기 사용자 상태가 상기 목표상태에 부합하는지 여부를 판단하고, 상기 사용자 상태가 상기 목표상태에 부합하지 않는 경우, 상기 저장부에 저장된 상기 목표상태에 대응하는 가이드정보를 제공하는 제어부;
    를 포함하는 웨어러블 디바이스.
  2. 제1항에 있어서,
    음성 출력이 가능한 음성출력부를 더 포함하고,
    상기 제어부는 상기 가이드정보에 대응하는 음성을 출력하도록 상기 음성출력부를 제어하는 웨어러블 디바이스.
  3. 제2항에 있어서,
    상기 사용자의 음성을 수신하는 음성수신부를 포함하고,
    상기 제어부는 상기 음성수신부를 통해 수신한 상기 사용자의 음성을 반영하여 상기 가이드정보에 대응하는 음성을 출력하도록 상기 음성출력부를 제어하는 웨어러블 디바이스.
  4. 제1항에 있어서,
    영상의 표시가 가능한 디스플레이부를 더 포함하고,
    상기 제어부는 상기 가이드정보에 대응하는 캐릭터를 표시하도록 상기 디스플레이부를 제어하는 웨어러블 디바이스.
  5. 제4항에 있어서,
    상기 사용자의 이미지를 촬상하는 영상획득부를 더 포함하고,
    상기 제어부는 상기 영상획득부를 통해 촬상한 상기 사용자의 이미지를 반영하여 상기 캐릭터를 표시하도록 상기 디스플레이부를 제어하는 웨어러블 디바이스.
  6. 제4항에 있어서,
    상기 저장부는 상기 목표상태에 대응하는 리워드에 관한 정보를 저장하고,
    상기 제어부는 상기 사용자 상태가 상기 목표상태에 부합하는 경우, 상기 리워드에 관한 정보를 제공하는 웨어러블 디바이스.
  7. 제6항에 있어서,
    상기 리워드에 관한 정보는 상기 캐릭터의 단계별 성장에 관한 정보 및 상기 사용자의 소원에 관한 정보 중 적어도 하나를 포함하는 웨어러블 디바이스.
  8. 사용자의 신체에 착용 가능한 웨어러블 디바이스의 제어방법에 있어서,
    적어도 하나의 상황에 대하여 마련되는 사용자의 목표상태에 관한 정보와, 상기 목표상태에 대응하는 가이드정보를 저장하는 단계;
    상기 사용자의 상태를 감지하여 상태감지정보를 생성하는 단계;
    상기 저장된 상기 사용자의 목표상태에 관한 정보와, 상기 생성된 상기 상태감지정보에 기초하여 상기 사용자 상태가 상기 목표상태에 부합하는지 여부를 판단하는 단계; 및
    상기 사용자 상태가 상기 목표상태에 부합하지 않는 경우, 상기 저장된 상기 목표상태에 대응하는 가이드정보를 제공하는 단계;
    를 포함하는 웨어러블 디바이스의 제어방법.
  9. 제8항에 있어서,
    상기 가이드정보를 제공하는 단계는 상기 가이드정보에 대응하는 음성을 출력하는 단계를 포함하는 웨어러블 디바이스의 제어방법.
  10. 제9항에 있어서,
    상기 음성을 출력하는 단계는,
    상기 사용자의 음성을 수신하는 단계, 및
    상기 수신한 상기 사용자의 음성을 반영하여 상기 가이드정보에 대응하는 음성을 출력하는 단계
    를 포함하는 웨어러블 디바이스의 제어방법.
  11. 제8항에 있어서,
    상기 가이드정보를 제공하는 단계는 상기 가이드정보에 대응하는 캐릭터를 표시하는 단계를 포함하는 웨어러블 디바이스의 제어방법.
  12. 제11항에 있어서,
    상기 캐릭터를 표시하는 단계는,
    상기 사용자의 이미지를 촬상하는 단계, 및
    상기 촬상한 상기 사용자의 이미지를 반영하여 상기 캐릭터를 표시하는 단계
    를 포함하는 웨어러블 디바이스의 제어방법.
  13. 제11항에 있어서,
    상기 저장하는 단계는 상기 목표상태에 대응하는 리워드에 관한 정보를 저장하는 단계를 포함하고,
    상기 가이드정보를 제공하는 단계는 상기 상태감지정보에 기초하여 상기 사용자 상태가 상기 목표상태에 부합하는 경우, 상기 리워드에 관한 정보를 제공하는 단계를 포함하는 웨어러블 디바이스의 제어방법.
  14. 제13항에 있어서,
    상기 리워드에 관한 정보는 상기 캐릭터의 단계별 성장에 관한 정보 및 상기 사용자의 소원에 관한 정보 중 적어도 하나를 포함하는 웨어러블 디바이스의 제어방법.
  15. 웨어러블 디바이스의 제어방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 웨어러블 디바이스의 제어방법은,
    적어도 하나의 상황에 대하여 마련되는 사용자의 목표상태에 관한 정보와, 상기 목표상태에 대응하는 가이드정보를 저장하는 단계;
    상기 사용자의 상태를 감지하여 상태감지정보를 생성하는 단계;
    상기 저장된 상기 사용자의 목표상태에 관한 정보와, 상기 생성된 상기 상태감지정보에 기초하여 상기 사용자 상태가 상기 목표상태에 부합하는지 여부를 판단하는 단계; 및
    상기 사용자 상태가 상기 목표상태에 부합하지 않는 경우, 상기 저장된 상기 목표상태에 대응하는 가이드정보를 제공하는 단계;
    를 포함하는 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체.
PCT/KR2016/011461 2015-11-25 2016-10-13 웨어러블 디바이스 및 웨어러블 디바이스의 제어방법 WO2017090887A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2015-0165846 2015-11-25
KR20150165846 2015-11-25
KR1020160050165A KR20170061051A (ko) 2015-11-25 2016-04-25 웨어러블 디바이스 및 웨어러블 디바이스의 제어방법
KR10-2016-0050165 2016-04-25
KR10-2016-0120637 2016-09-21
KR1020160120637A KR102464925B1 (ko) 2015-11-25 2016-09-21 웨어러블 디바이스 및 웨어러블 디바이스의 제어방법

Publications (1)

Publication Number Publication Date
WO2017090887A1 true WO2017090887A1 (ko) 2017-06-01

Family

ID=58763855

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/011461 WO2017090887A1 (ko) 2015-11-25 2016-10-13 웨어러블 디바이스 및 웨어러블 디바이스의 제어방법

Country Status (1)

Country Link
WO (1) WO2017090887A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090016168A1 (en) * 2007-07-12 2009-01-15 Emily Smith Timepiece Device
US20120244503A1 (en) * 2011-03-22 2012-09-27 Carrie Neveldine Method of Attention Recovery and Behavioral Modification
JP2014500740A (ja) * 2010-11-01 2014-01-16 ナイキ インターナショナル リミテッド アスレチック機能を有するウェアラブル装置アセンブリ
JP5714855B2 (ja) * 2010-09-16 2015-05-07 オリンパス株式会社 画像生成システム、プログラム及び情報記憶媒体
KR20150093914A (ko) * 2014-02-08 2015-08-19 이정훈 안전업무 소통 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090016168A1 (en) * 2007-07-12 2009-01-15 Emily Smith Timepiece Device
JP5714855B2 (ja) * 2010-09-16 2015-05-07 オリンパス株式会社 画像生成システム、プログラム及び情報記憶媒体
JP2014500740A (ja) * 2010-11-01 2014-01-16 ナイキ インターナショナル リミテッド アスレチック機能を有するウェアラブル装置アセンブリ
US20120244503A1 (en) * 2011-03-22 2012-09-27 Carrie Neveldine Method of Attention Recovery and Behavioral Modification
KR20150093914A (ko) * 2014-02-08 2015-08-19 이정훈 안전업무 소통 시스템 및 방법

Similar Documents

Publication Publication Date Title
JP5519278B2 (ja) 可搬型使用者器具の使用の監視
US10432841B2 (en) Wearable apparatus and method for selectively categorizing information derived from images
Miller The smartphone psychology manifesto
US9569986B2 (en) System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
Rehg et al. Behavioral imaging and autism
Stephanidis et al. Human factors in ambient intelligence environments
CN108133742A (zh) 身体活动和健身监视器
Chung et al. Real‐world multimodal lifelog dataset for human behavior study
KR102606689B1 (ko) 전자 장치에서 생체 정보 제공 방법 및 장치
Westlund et al. Motion Tracker: Camera-based monitoring of bodily movements using motion silhouettes
CN103597530B (zh) 用于针对涉及具有隐匿解剖结构的身体部位的医学检查而进行训练的系统、方法和计算机程序
CN108937969A (zh) 一种评测认知状态的方法及装置
WO2017033529A1 (ja) 情報処理装置、情報処理方法およびプログラム
Luperto et al. Integrating social assistive robots, IoT, virtual communities and smart objects to assist at-home independently living elders: the MoveCare project
Zhu et al. Naturalistic recognition of activities and mood using wearable electronics
Llorente et al. Wearable computers and big data: Interaction paradigms for knowledge building in higher education
Pedroli et al. Brain M-app’s structure and usability: A new application for cognitive rehabilitation at home
Yfantidou et al. 14 Years of Self-Tracking Technology for mHealth—Literature Review: Lessons Learned and the PAST SELF Framework
KR20200032927A (ko) 감정 상태를 개선시키는 방법 및 그 장치
Landowska Emotion monitor-concept, construction and lessons learned
CN107111808A (zh) 对与对象的交互进行排程
CN108937970A (zh) 一种评测情感状态的方法及装置
WO2020122463A1 (ko) 가상 현실을 이용한 치매 환자 훈련 시스템
WO2017090887A1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스의 제어방법
KR102464925B1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스의 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16868786

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16868786

Country of ref document: EP

Kind code of ref document: A1