WO2018110854A1 - 서버, 휴대 단말 장치, 전자 장치 및 그 제어 방법 - Google Patents

서버, 휴대 단말 장치, 전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2018110854A1
WO2018110854A1 PCT/KR2017/013440 KR2017013440W WO2018110854A1 WO 2018110854 A1 WO2018110854 A1 WO 2018110854A1 KR 2017013440 W KR2017013440 W KR 2017013440W WO 2018110854 A1 WO2018110854 A1 WO 2018110854A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
avatar
information
terminal device
user terminal
Prior art date
Application number
PCT/KR2017/013440
Other languages
English (en)
French (fr)
Inventor
정현주
오영재
조성제
조철호
최형선
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/467,670 priority Critical patent/US11651842B2/en
Publication of WO2018110854A1 publication Critical patent/WO2018110854A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training

Definitions

  • the present invention relates to a server, a portable terminal device, an electronic device, and a control method thereof, and more particularly, to a server, a portable terminal device, a tram device, and a control method capable of providing guide information for health care.
  • telemedicine which has been widely discussed recently, is based on health information accumulated while living by the user himself in order to obtain user-related data.
  • a number of personalized health care apps using wearable devices and personal terminals have been developed.
  • an object of the present invention is to provide a guide information for health management using the user's avatar, server, portable to effectively manage the health of the user for a long time
  • a terminal device, an electronic device, and a control method thereof are provided.
  • a server including: a communication interface communicating with a user terminal device and an electronic device; A storage configured to store healthcare information corresponding to the avatar of the user; When information including the avatar and the health data of the user is received from the user terminal device, the healthcare information corresponding to the avatar of the user is obtained from the storage, and the obtained healthcare information and the received health data are obtained. And a processor configured to control the communication interface to transmit guide information for inducing a user's action based on at least one of the user terminal device and the electronic device.
  • the processor may transmit the guide information in a form in which the avatar induces the user's action to at least one of the user terminal device and the electronic device.
  • the processor transmits the guide information to at least one of the user terminal device and the electronic device, when the information according to the user's action is received from the electronic device, the processor stores the guide information in the storage based on the received information.
  • the healthcare information may be updated.
  • the processor may transmit guide information related to the function of the electronic device.
  • the processor may change a state of the avatar based on the updated health care information and transmit the changed avatar to at least one of the user terminal device and the electronic device.
  • the processor may change the motion of the avatar in real time based on the health data and transmit the same to at least one of the user terminal device and the electronic device.
  • the user terminal device a display; Storage for storing the avatar of the user; A communication interface communicating with a server storing health care information corresponding to the avatar of the user and the wearable device; And displaying a user's avatar according to a predetermined event, and when the health data is received from the wearable device, transmitting the user's avatar and the health data to the server and inducing the user's action from the server. And a processor configured to receive information and display the same through the display, wherein the guide information may be health information corresponding to the avatar and information generated based on the health data.
  • the user terminal device may further include a camera; the processor, the guide for transmitting information about the peripheral device of the user terminal device to the server, and guides the access to the peripheral device from the server
  • the avatar of the user may be synthesized and displayed on the image captured by the camera.
  • the processor may display the guide information in a form in which the avatar induces the user's action.
  • the processor may display the avatar of the other user together with the avatar of the other user if the other user terminal device of another user is located within a preset distance range from the user terminal device, and based on the guide information.
  • the avatar of the user may display guide information in a form of inducing an action of the avatar of the user.
  • the processor may change and display a motion of the avatar in real time based on the health data.
  • control method of the server to communicate with the user terminal device and the electronic device the step of receiving information including the user's avatar and health data from the user terminal device; Obtaining health care information corresponding to the avatar of the user; And transmitting, to at least one of the user terminal device and the electronic device, guide information for inducing a user's action based on the obtained health care information and the received health data.
  • the guide information may be information of a form in which the avatar induces the user's action.
  • the control method of the server may include receiving information according to the user's action from the electronic device; And updating the health care information based on the received information.
  • the method may further include displaying guide information related to a function of the electronic device when it is determined that the user terminal device has approached the location of the electronic device.
  • the control method of the server may include changing a state of the avatar based on the updated health care information; And transmitting the changed avatar to one of the user terminal device and the electronic device.
  • the control method of the server may further include changing the motion of the avatar in real time based on the health data and transmitting the same to at least one of the user terminal device and the electronic device.
  • guide information for inducing a user's behavior using the user's avatar may be provided, and health information of the user may be accumulated, so that the user's health state may be more efficiently for a long time. Can manage.
  • FIG. 1 is a view for explaining a guide information providing system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a user terminal device according to an exemplary embodiment.
  • FIG. 3 is a block diagram illustrating a server according to an embodiment of the present invention.
  • FIG. 4 is a diagram for describing guide information displayed on a user terminal device according to an exemplary embodiment.
  • 5A and 5B are diagrams for describing guide information displayed on an electronic device according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for describing a method of transmitting and receiving information including an avatar and health data from a user terminal device to an electronic device according to an embodiment of the present disclosure.
  • 7 (a) and 7 (b) are diagrams for explaining guide information displayed by changing a state of an avatar based on updated health care information according to an embodiment of the present invention.
  • 8 (a) and 8 (b) are diagrams for explaining a process of changing and displaying a motion of an avatar in real time based on health data according to an embodiment of the present invention.
  • 9 (a) and 9 (b) are diagrams for explaining guide information displayed by synthesizing an avatar of a user to an image captured by a camera according to an embodiment of the present invention.
  • 10 (a) and 10 (b) are diagrams for explaining guide information displayed by an avatar of another user along with the avatar of a user according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a guide information providing system according to an exemplary embodiment.
  • FIG. 12 is a flowchart illustrating a method of providing guide information according to an embodiment of the present invention.
  • FIG. 1 is a view for explaining a guide information providing system according to an embodiment of the present invention.
  • the guide information providing system 1000 may include a wearable device 100, a user terminal device 200, an electronic device 300, and a server 400. Can be.
  • the wearable device 100 may generate health data by sensing or monitoring a biosignal of a user.
  • the wearable device 100 may measure blood sugar of a user.
  • the wearable device 100 may include a continuous glucose monitoring system (cgms).
  • cgms refers to a continuous glucose measuring system that measures glucose values that change in real time by inserting a glucose sensor under human skin.
  • the cgms measuring blood glucose values in the invasive manner may correspond to one embodiment of the wearable device 100, and various types such as a non-invasive manner, for example, a blood glucose measurement sensor attached to the user's body.
  • the sensor may be included in the wearable device 100.
  • the wearable device 100 may measure a user's exercise level, heart rate, and the like.
  • the wearable device 100 may include an acceleration sensor, a gyro sensor, and the like.
  • the wearable device 100 may measure an exercise degree, a heart rate, and the like of the user using an acceleration sensor and a gyro sensor.
  • the wearable device 100 may measure body composition using a human body resistance, and may measure various types of health data such as measuring sleep information of a user using a Kinect sensor. Of course, it can measure.
  • the wearable device 100 may transmit health data to the user terminal device 200.
  • the wearable device 100 may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, a wireless communication chip, and an NFC chip.
  • the wearable device 100 is illustrated as a smart watch. However, this is only an example, and the wearable device 100 is worn on a user's wrist, arm, waist, or ankle, etc. Of course, it can be implemented in various types of devices that can measure the health data.
  • the user terminal device 200 may display an avatar of the user according to a preset event.
  • the predetermined event may be an authentication procedure for identifying the user through fingerprint input, iris recognition, or password input of the user.
  • the user terminal device 200 may pre-store the user's fingerprint data, iris data or password data, and may include a scanner for fingerprint recognition of the user, a camera for iris recognition, and the like.
  • the user terminal device 200 may display an avatar corresponding to the authenticated user. To this end, different avatars may be matched and stored for each user in the user terminal device 200.
  • the user terminal device 200 may transmit the avatar and the health data of the user to at least one of the electronic device 300 and the server 400.
  • the avatar transmitted to at least one of the electronic device 300 and the server 400 may be an image of the avatar displayed on the user terminal device 200.
  • the transmitted avatar may be an avatar image displayed on the user terminal device 200 according to user authentication.
  • the avatar and the health data may be transmitted to at least one of the electronic device 300 and the server 400, respectively.
  • the health data is at least one of the electronic device 300 and the server 400 together with the avatar. It may be sent as one.
  • the user terminal device 200 may match the received health data to the avatar.
  • the user terminal device 200 may match the received health data to the avatar through a tag.
  • the matching method is not limited to the tag, and various matching methods capable of matching data to an image may be used.
  • the user terminal device 200 may transmit health data matched with the avatar to at least one of the electronic device 300 and the server 400 together with the avatar.
  • the user may acquire health information corresponding to the user's avatar.
  • the health data is data generated by sensing or monitoring the user's current biosignal in the wearable device 100
  • the health care information may be health data and behavior information of the user stored in the server 400.
  • the health data of the user stored in the server 400 may be blood sugar, body fat index, body temperature, blood pressure, etc. of the user from the past to the present
  • the behavior information may include food information, which has been ingested by the user from the past to the present, Exercise information on exercise time, exercise type, and the like.
  • the server 400 may receive and store health care information from at least one of the wearable device 100, the user terminal device 200, and the electronic device 300.
  • the server 400 may receive and store health data from at least one of the wearable device 100 and the user terminal device 200, and may store the health data from at least one of the user terminal device 200 and the electronic device 300. May receive and store information about the ingested food information and the user's exercise time.
  • the server 400 may store the health care information of the user in an avatar corresponding to each user. That is, when information including the avatar and the health data is received from the user terminal device 200, the server 400 determines which user's avatar is the avatar, and corresponds to the avatar from one or more stored healthcare information. The healthcare information of the user may be obtained. In this case, the server 400 may compare the image of the avatar itself with the pre-stored image, or compare the identification information included in the avatar with the pre-stored identification information to obtain the user's healthcare information corresponding to the user's avatar. Can be.
  • the healthcare information may include biometric information and behavior information of the user.
  • the biometric information may be a user's blood sugar, body fat index, body temperature, blood pressure, and the like
  • the behavior information may be food information ingested by the user, exercise information of the user, exercise type, and the like.
  • the server 400 may generate guide information for inducing a user's action based on the obtained healthcare information and the received health data.
  • the server 400 may mutually feedback the acquired health care information and the received health data to determine a necessary action for the current user, and generate guide information for inducing the user to perform the currently required action.
  • the server 400 mutually feedback the acquired health care information and the received health data to determine a user's currently required behavior.
  • Guide information may be generated to induce a user to eat foods that may reduce blood sugar levels.
  • the server 400 may transmit guide information to at least one of the user terminal device 200 and the electronic device 300.
  • the server 400 may be implemented as a central server (or integrated server) or a cloud server using cloud computing technology, which is responsible for interaction between various operating systems and applications in a network system.
  • cloud computing refers to internet-based computing technology, and is a web-based software service that places a program in a utility data server on the Internet and loads a program on a computer or a mobile phone.
  • the wearable device 100 may communicate with the server 400 to receive and display guide information.
  • the wearable device 100 may further include a display (not shown), a communication interface for communicating with a server (not shown), storage for storing a user's avatar (not shown), a sensor for user authentication, and the like. Can be.
  • the wearable device 100 (for example, the smart watch) may transmit the user's health data to the server 400 and display the guide information received from the server 400. According to this, even when the user does not have the user terminal device 200, the wearable device 100 can be provided with guide information including atta through the wearable device 100, thereby effectively managing health. .
  • FIG. 2 is a block diagram illustrating a user terminal device according to an exemplary embodiment.
  • the user terminal device 200 may include a communication interface 210, a storage 220, a display 230, and a processor 240.
  • the user terminal device 200 includes a tablet PC, including a mobile phone, and can communicate with an external device, a digital camera, a camcorder, a notebook PC. It may be implemented in various electronic devices such as a desktop, a PDA, and an MP3.
  • the communication interface 210 may communicate with various types of external devices according to various types of communication methods.
  • the communication interface 210 may communicate with the wearable device 100, the electronic device 300, and the server 400.
  • the communication interface 210 may communicate with the wearable device 100 to receive health data, and communicate with the electronic device 300 or the server 400 to transmit avatars and health data to the electronic device 300 and the server. At least one of 400 may be transmitted.
  • the communication interface 210 may include various communication chips such as a Wi-Fi chip, a Bluetooth chip, a wireless communication chip, an NFC chip.
  • the Wi-Fi chip and the Bluetooth chip communicate with each other by WiFi and Bluetooth.
  • various connection information such as SSID and session key may be transmitted and received first, and then various communication information may be transmitted and received by using the same.
  • the wireless communication chip refers to a chip that performs communication according to various communication standards such as IEEE, Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evoloution (LTE), and the like.
  • the NFC chip refers to a chip operating in a near field communication (NFC) method using a 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860-960 MHz, and 2.45 GHz.
  • NFC near field communication
  • the storage 220 may store various programs and data necessary for the operation of the user terminal device 200.
  • the storage 220 may store user identification information and an avatar.
  • the storage 220 may classify and store avatars corresponding to user identification information for each user.
  • the user identification information may be information about a fingerprint, an iris and a password of the user.
  • the storage 220 may store health data received from the wearable device 100.
  • the storage 220 may be implemented with various storage media such as a hard disk, a nonvolatile memory, and a volatile memory.
  • the storage 220 may store an operating system (OS) for controlling the overall operation of the components of the user terminal device 200 and commands or data related to the components of the user terminal device 200.
  • OS operating system
  • the processor 240 may boot the operating system to control a plurality of hardware or software components connected to the processor 240, and may transmit instructions or data received from at least one of the other components to the volatile memory. It can be loaded and processed, and various data can be stored in nonvolatile memory.
  • the display 230 may display various screens.
  • the display 230 may display guide information received from the server 400.
  • the display 230 may be implemented as a liquid crystal display (LCD), organic light emitting diodes (OLED) display, or the like. Meanwhile, specific contents related to the guide information will be described later.
  • LCD liquid crystal display
  • OLED organic light emitting diodes
  • the processor 240 controls the overall operation of the user terminal device 200. To this end, the processor 240 may include operations related to control of other components included in the user terminal device 200, including a central processing unit (CPU), a random access memory (RAM), and a read only memory (ROM). Data processing can be performed.
  • CPU central processing unit
  • RAM random access memory
  • ROM read only memory
  • the processor 240 may control the communication interface 210 to transmit a transmission request command for health data to the wearable device 100.
  • the processor 240 is connected to the wearable device 100 through the communication interface 210 without separately transmitting a request for transmitting health data to the wearable device 100, the health from the wearable device 100 automatically
  • the communication interface 210 may be controlled to receive data.
  • the wearable device 100 may transmit information about health data of the user to the user terminal device 200, and the processor 240 may store the health data received from the wearable device 100 in the storage 220.
  • the processor 240 may not only automatically store the health data received from the wearable device 100 in the storage 200, but also may store the health data in a predetermined method according to a user operation.
  • the processor 240 may store the received health data through an additional user input when there is a user setting related to whether to store the received health data or a storage period.
  • the processor 240 may control the display 230 to display the avatar of the user when a predetermined event occurs.
  • the preset event may be an authentication procedure for identifying a user as described above. For example, if a user enters a fingerprint into a fingerprint scanner of the user terminal device 200, recognizes an iris through a camera, or enters a password, the processor 240 determines whether the user is an authenticated user, If it is determined that the user is an authenticated user, the display 230 may be controlled to display an avatar corresponding to the authenticated user.
  • the processor 240 may control the communication interface 210 to transmit the displayed avatar and the health data received from the wearable device 100 to at least one of the electronic device 300 and the server 400.
  • the avatar and the health data may be transmitted to at least one of the electronic device and the server 400, respectively, but if only the avatar is transmitted to the server 400, the health data is mapped to the avatar and It may also be transmitted to at least one of the electronic device 300 and the server 400 together.
  • the processor 240 may control the communication interface 210 to receive the guide information from the server 400.
  • the guide information may be guide information for inducing a user's action. Meanwhile, specific contents related to the guide information will be described later.
  • the user terminal device 200 may further include various components in addition to the components described with reference to FIG. 2.
  • the user terminal device 200 may further include a camera.
  • the camera is a component for capturing a still image or a moving image under the control of a user, and may be implemented as a plurality of cameras, such as a front camera and a rear camera.
  • the user terminal device 200 may display the guide information by synthesizing the avatar with the image captured by the camera.
  • the guide information may be provided using Augmented Reality technology.
  • augmented reality technology unlike the virtual reality technology means a technology that represents the AR content is superimposed on the image actually captured through a special interface based on real-time processing.
  • the processor 240 may provide an AR content including guide information by synthesizing an avatar with the captured image.
  • the processor 240 may transmit the captured image to the server 400 together with the location information of the user terminal device 200, and may receive and provide AR content from the server 400.
  • the user terminal device 200 matches a position sensor for detecting a location of the user terminal device 200, an image captured in real time, and AR content provided from the server 400.
  • the AR content-image matcher may be further included.
  • FIG. 3 is a block diagram illustrating a server according to an embodiment of the present invention.
  • the server 400 may include a communication interface 410, a storage 420, and a processor 430.
  • the server 400 may be implemented in various forms, such as an external server of the user terminal device 200, an embedded server embedded in the user terminal device 200, and an embedded chip embedded in the user terminal device 200.
  • the communication interface 410 may communicate with various types of external devices according to various types of communication methods.
  • the communication interface 410 may communicate with the user terminal device 200 and the electronic device 300.
  • the communication interface 410 may receive information including an avatar and health data from the user terminal device 200 or the electronic device 300, and generate the generated guide information from the user terminal device 200 and the electronic device. At least one of 300 may be transmitted.
  • the communication interface 410 may include various communication chips.
  • the Wi-Fi chip and the Bluetooth chip communicate with each other by WiFi and Bluetooth.
  • various connection information such as SSID and session key may be transmitted and received first, and then various communication information may be transmitted and received by using the same.
  • the wireless communication chip refers to a chip that performs communication according to various communication standards such as IEEE, Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evoloution (LTE), and the like.
  • the NFC chip refers to a chip operating in a near field communication (NFC) method using a 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860-960 MHz, and 2.45 GHz.
  • NFC near field communication
  • the storage 420 may store various programs and data necessary for the operation of the server 400.
  • the storage 420 may classify and store healthcare information corresponding to the avatar of the user for each avatar.
  • the storage 420 may map and store the first healthcare information corresponding to the first user to the first avatar, and map the second healthcare information corresponding to the second user to the second avatar. May be stored.
  • the storage 420 may be implemented with various storage media such as a hard disk, a nonvolatile memory, and a volatile memory.
  • the storage 420 may store an operating system (OS) for controlling the overall operation of the components of the server 400, and commands or data related to the user terminal device 300 and the electronic device 300.
  • OS operating system
  • the processor 430 may boot the operating system to control a plurality of hardware or software components connected to the processor 430, and may store instructions or data received from at least one of the other components in the volatile memory.
  • the data can be loaded and processed, and various data can be stored in a nonvolatile memory.
  • the processor 430 controls the overall operation of the server 400.
  • the processor 430 includes operations such as a central processing unit (CPU), a random access memory (RAM), and a read only memory (ROM), such as operations or data processing related to the control of other components included in the server 400. You can run
  • CPU central processing unit
  • RAM random access memory
  • ROM read only memory
  • the processor 430 when the processor 430 is connected to at least one of the user terminal device 200 and the electronic device 300 through the communication interface 410, the user from the at least one of the user terminal device 200 and the electronic device 300.
  • the communication interface 410 may be controlled to receive information including an avatar and health data of the user.
  • the communication interface 410 may receive information including the user's avatar and health data from at least one of the user terminal device 200 and the electronic device 300, and the processor 430 may use the user terminal device ( Information including the avatar and the health data of the user received from at least one of the 200 and the electronic device 300 may be stored in the storage 420.
  • the processor 430 may obtain healthcare information corresponding to the avatar of the user from the at least one healthcare information stored in the storage 420.
  • the processor 430 may obtain healthcare information corresponding to an avatar received from at least one of the user terminal device 200 and the electronic device 300 from among the healthcare information classified and stored for each avatar.
  • the healthcare information corresponding to the avatar may include biometric information and behavior information related to the user corresponding to the avatar.
  • the healthcare information may include biometric information such as blood sugar, body fat index, body temperature, and blood pressure of the user corresponding to the avatar, food information ingested by the user, exercise information about the user's exercise time, and exercise type. Can be.
  • the processor 430 may generate guide information for inducing a user's action based on the obtained health care information and the received health data.
  • the processor 430 may determine an action required by the current user based on the obtained health information and the received health data. For example, when the processor 430 analyzes the obtained health care information and the received health data, and determines that the user's blood sugar level is higher than the reference value, the processor 430 may determine that the current user needs food intake to control the blood sugar level. Can be. Accordingly, the processor 430 may generate guide information for inducing a user to eat food required for blood sugar control.
  • the guide information may be information in a form in which the avatar induces a user's action.
  • the processor 430 may generate guide information including a message indicating that green tea is desired by using an avatar when it is determined that the current user needs food intake for blood sugar control.
  • the processor 430 may generate guide information including a message that a user wants to run using the avatar.
  • the message may be in the form of the avatar speaking, and the shape of the avatar may also be modified according to the message of the avatar.
  • the avatar may include an avatar having a shape of running.
  • the processor 430 may control the communication interface 410 to transmit the generated guide information to at least one of the user terminal device 200 and the electronic device 400.
  • the user terminal device 200 or the electronic device 400 may display the received guide information through a display.
  • the processor 430 transmits the generated guide information to at least one of the user terminal device 200 and the electronic device 400.
  • the processor 430 transmits the generated guide information to at least one of the user terminal device 200 and the electronic device 400.
  • the health care information stored in the storage may be performed based on the received information.
  • the processor 430 receives the information that the user drank the green tea from at least one of the user terminal device 200 and the electronic device 400 after transmitting the guide information recommending the green tea for blood sugar control.
  • the health information stored in the storage may be updated based on the information that the user drank green tea.
  • the information according to the user's action may be transmitted to the server 400 according to a user manipulation performed on the user terminal device 200 or the electronic device 300.
  • the input user behavior information may be transmitted to the server 400.
  • a user directly inputs information that the user drank green tea to the user terminal device 200 and transmits the information to the server 400 through the communication interface 210, or touches the green tea displayed on the electronic device 300.
  • the electronic device 300 may automatically transmit information that the user drank green tea to the server 400 through a communication interface (not shown).
  • the processor 430 may change the state of the avatar based on the updated healthcare information, and transmit the changed avatar to at least one of the user terminal device and the electronic device.
  • the processor 430 may include guide information including a crying avatar as at least one of the user terminal device and the electronic device, based on the health information and the health data. If it is determined that the blood sugar level of the user has returned to the normal value based on the updated healthcare information after the guide information is transmitted, the guide information including the smiling avatar may be transmitted.
  • the user terminal device 200 and the electronic device 300 may store avatar information and guide messages of various shapes.
  • the avatar stored in advance according to the control signal of the server 400.
  • guide information including guide messages.
  • the processor 430 may transmit guide information related to the function of the electronic device 300.
  • the information related to the function of the electronic device 300 may vary according to the type of the electronic device. For example, when it is determined that the electronic device 300 is a refrigerator, the processor 430 may transmit guide information including information about food to be consumed by the current user, and determine that the electronic device 300 is a treadmill. If so, the guide information including information on the calories consumed by the current user can be transmitted.
  • the processor 430 may receive information about the location of the user terminal device 200 and the electronic device 300 from the user terminal device 200.
  • the user terminal device 200 and the electronic device 300 may receive a GPS signal including information about a location from a satellite by using a GPS chip, and transmit the received GPS signal to the server 400. have.
  • the processor 430 may receive information about the location of the user terminal device 200 and the electronic device 300, and the user terminal device 200 may use the received GPS signal to determine the electronic device 300. If it is determined that the location of the device has approached, guide information related to the function of the electronic device 300 may be transmitted.
  • the processor 430 may determine whether the user terminal device 200 approaches the location of the electronic device 300 by using a beacon which is a short range wireless communication device based on a Bluetooth protocol.
  • the user terminal device 100 may receive a beacon signal from the beacon attached to the electronic device 300 and transmit the beacon signal to the server 400. Accordingly, the processor 430 may determine that the user terminal device 100 is connected to the user terminal device 100. It may be determined that the electronic device 200 has approached.
  • the processor 430 may determine whether the user terminal device 200 approaches the location of the electronic device 300 by using the NFC method.
  • the user terminal device 100 may tag the electronic device 300 on which the NFC tag is mounted and then transmit the tag to the server 400. Accordingly, the processor 430 may allow the user terminal device 100 to display the electronic device. It can be determined that the approach (200).
  • the user terminal device 200 and the electronic device 300 may use a variety of methods, such as WiFi, CDMA, in addition to the GPS, beacon, and NFC methods, such as the user terminal device 200 or the electronic device 300.
  • the location information of can be transmitted to the server 400.
  • the user terminal device 100 may prestore the location information of the electronic device 300.
  • the user terminal device 100 may coordinate and store a location where the electronic device 200 exists in a home where the user resides.
  • the position of the electronic device 200 may be a gps coordinate including latitude and longitude.
  • the processor 430 may determine whether the user terminal device 100 is close to the electronic device 200 by using the location information received from the user terminal device 100 and the location coordinates of the electronic device 200. Can be. In this case, even if the network module is not mounted on the electronic device 200 itself, the server 400 may determine whether the user terminal device 100 and the electronic device 200 are close to each other.
  • the processor 430 may pre-store information about the location of the electronic device 300 in the storage 420. For example, when the communication module is not installed in the electronic device 300, the electronic device 300 may not receive information regarding the position of the electronic device 300 from the electronic device 300. 300 may be stored in advance. Accordingly, the processor 430 may determine whether the user terminal device 200 approaches the location of the electronic device 300 by using the information about the location of the predetermined electronic device 300.
  • the processor 430 may change the motion of the avatar in real time based on the health data and transmit the same to at least one of the user terminal device and the electronic device.
  • the processor 430 may determine the degree of blood glucose control and the change in heart rate of the user based on the health data received from the user terminal device 200 or the electronic device 300, thereby recognizing the user's behavior.
  • the avatar motion may be changed in real time to correspond to the motion of the user and transmitted to at least one of the user terminal device and the electronic device.
  • the processor 430 may recognize that the user is running and transmit a form in which the avatar runs to correspond to the motion.
  • the processor 430 may recognize that the user is sleeping and transmit a form in which the avatar sleeps to correspond thereto.
  • the processor 430 may transmit the user's healthcare information to the user terminal device of the other user.
  • the server 400 may be stored in advance as another user has access to the health care information of the user's avatar 820.
  • the server 400 may be pre-stored as the first avatar having access rights to the health care information of the second avatar. Accordingly, if the received avatar corresponds to the first user, the server 400 may transmit health information of the second user to the terminal device of the first user.
  • the guardian can manage the health care information in real time. Manage your health
  • server 400 may further include various components in addition to the components described with reference to FIG. 3.
  • the method may further include components for implementing augmented reality technology.
  • the server 400 matches augmented reality by extracting a location determiner for calculating a location of the user terminal device 200 using the location information received from the user terminal device 200 and extracting content corresponding to the calculated location.
  • An AR content generator for converting the format into a predetermined format, and a communication unit for transmitting the generated AR content to the user terminal device 200 may be further included.
  • the server 400 extracts the content corresponding to the image according to the image provided from the user terminal device 200 and the position of the user terminal device 200, and converts the extracted content into AR content to the user terminal device 200 may be provided.
  • FIG. 4 is a diagram for describing guide information displayed on a user terminal device according to an exemplary embodiment.
  • guide information for inducing a user's action may be displayed on the display 230 of the user terminal device 200.
  • the server 400 when the server 400 receives information including the user's avatar 500 and health data from the user terminal device 200, the health care information corresponding to the user's avatar 500 is stored among the previously stored health care information. May be obtained and the health state of the current user may be determined based on the obtained health care information and the received health data. In detail, the server 400 may determine the health state of the current user by mutually feeding back the biometric information of the user stored in the obtained healthcare information or the biometric information of the current user.
  • the server 400 may determine an action required for the current user based on the health state of the current user. For example, the server 400 may determine that food consumption for blood sugar control is necessary when it is determined that the current blood sugar level of the user exceeds the reference value, and body fat control when the body fat value of the user is determined to exceed the reference value is determined. You may decide you need exercise for yourself.
  • the server 400 may provide guide information including information for inducing an actual user to perform an action determined to be necessary by the user. For example, as shown in FIG. 4, when the server 400 determines that the user's blood sugar level exceeds the reference value and the intake of green tea is required for blood sugar control, the user's avatar 500 and the green tea want to eat a message.
  • the guide information including the reference information 600 may be transmitted to the user terminal device 200. In some cases, it is also possible to transmit only the guide information including the message 600 that green tea wants to be eaten to the user terminal device 200.
  • the guide information may include information on the current health state of the user, for example, information on the physical strength (HP), blood pressure, blood sugar, heart rate and body temperature.
  • the user's physical strength (HP) is the sleep time and healthcare information measured using the Kinect sensor included in the wearable device 100, that is, the user's health data and behavior information stored in the server 400.
  • the server 400 feedback the health data and the health care information to each other to determine the user's sleep time, the intake of healthy food, and the like, and based on the user's physical strength HP included in the guide information.
  • the blood pressure may be generated based on the blood pressure measured by the blood pressure measuring sensor included in the wearable device 100.
  • the blood pressure measurement sensor is an infrared sensor that can calculate the average arterial blood pressure by measuring the pulse wave (PPG, Photo Plethysmo-Graphy) of the finger or wrist, the electrocardiogram (ECG) and pulse wave of the user to measure the pulse wave propagation time
  • PPG Pulplethysmo-Graphy
  • ECG electrocardiogram
  • the body temperature may be generated based on the temperature measured by the temperature measuring sensor included in the wearable device 100.
  • the user may visually determine his or her current health condition, and may feel the need to act according to the guide information, thereby managing his / her health more efficiently.
  • 5A and 5B are diagrams for describing guide information displayed on an electronic device according to an embodiment of the present disclosure.
  • guide information for inducing a user's action may be displayed on the display 230 of the electronic device 300.
  • the server 400 obtains the health care information corresponding to the user's avatar 500, and obtains the obtained health.
  • the health state of the current user may be determined based on the care information and the received health data.
  • the server 400 may determine the health state of the current user by mutually feeding back the biometric information of the user stored in the obtained healthcare information or the biometric information of the current user.
  • the server 400 may determine guided actions required by the current user based on the health state of the user, and provide guide information including information for inducing the actual user to perform the determined actions.
  • the user's avatar 500 and the green tea may want to eat.
  • the guide information including the message 600 may be transmitted to the electronic device 300.
  • the server 400 determines that the user's body fat value exceeds the reference value to exercise for body fat control, the user's avatar 500 and the message that the exercise is necessary 600
  • the guide information including) may be transmitted to the electronic device 300.
  • the electronic device 200 may display the received guide information to induce a user to drink green tea according to the guide information.
  • the guide information may be guide information related to a function of the electronic device 300.
  • the server 400 may determine that both food intake and exercise are necessary based on the health state of the user. At this time, if it is determined that the user has approached the refrigerator location, the server 400 transmits guide information related to the refrigerator function to the electronic device 300 as shown in FIG. If determined to have approached, as shown in FIG. 5B, guide information related to a treadmill function may be transmitted to the electronic device 300.
  • the server 400 may determine the location of the user based on the location of the user terminal device 200.
  • the location of the user terminal device 200 may be detected by a GPS signal and the like, and the detailed description related to the location information has been described above.
  • the user may be provided with guide information related to the function of the electronic device 300 in proximity, and accordingly, the user may directly perform necessary actions, thereby managing health more efficiently.
  • 6 (a) and 6 (b) illustrate a method of transmitting information including an avatar and health data from the user terminal device 200 to the electronic device 400 according to an embodiment of the present invention.
  • an avatar 500 corresponding to a user may be displayed on the user terminal device 200.
  • the user terminal device 200 when the user touches and pushes the avatar 500, that is, a swipe operation, the user terminal device 200 communicates with the electronic device 300 to move the avatar 500 to the electronic device 300. Can be sent to.
  • the user terminal device 200 is preset to transmit the touched avatar to the electronic device 300 when a swiping motion of the user is detected while the communication with the electronic device 300 is made through a user input. There may be.
  • the user terminal device 200 may automatically connect the communication with the electronic device 300.
  • the user terminal device 200 and the electronic device 300 may be connected through an Internet of Things (IoT) based network.
  • IoT Internet of Things
  • the electronic device 300 may transmit a sensing signal to an IoT management server (not shown).
  • the user terminal device 200 may be preset to perform a communication connection with the electronic device 300.
  • the avatar transmitted from the user terminal device 200 to the electronic device 300 may include information regarding health data. Specifically, by mapping the health data to the avatar displayed on the user terminal device 200, the avatar may include information about the health data. Accordingly, the electronic device 300 may receive an avatar including information on health data and transmit the same to the server 400 to receive guide information based on the health data.
  • the electronic device 300 may directly receive the guide information from the server 400 and display the guide information.
  • the user since the user may be directly provided with the guide information through the display of the electronic device 300, the user may immediately perform the necessary action and thus may manage the health more efficiently.
  • the avatar may be transmitted to the electronic device 300 through a swiping operation.
  • the operation of touching the avatar or shaking the user terminal device 200 may be performed.
  • the avatar may be transmitted to the electronic device 300 by various methods.
  • 7 (a) and 7 (b) are diagrams for explaining guide information displayed by changing a state of an avatar based on updated health care information according to an embodiment of the present invention.
  • the server 400 when it is determined that the current blood sugar level of the user is higher than the reference value, the server 400 generates guide information including the avatar 710 of a sick state based on the health information and the health data. It may transmit to the mobile terminal device 200.
  • the server 400 may update the healthcare information based on the received information. For example, if the information according to the user's action is the information that the green tea was drank according to the guide information, the server 400 may update and store the information that the user drank the green tea in the healthcare information.
  • the server 400 determines that the blood glucose level of the user is adjusted to an appropriate value based on the updated health care information and the health data received from the wearable device 100, the server 400 is sick as shown in FIG. 7B.
  • the avatar 710 may be changed to transmit the guide information including the smiling avatar 720 to the user terminal device 200.
  • the wearable device 100 may generate health data by measuring a user's biosignal in real time, and the server 400 may receive the health data generated by the wearable device 100 in real time. Accordingly, the server 400 may receive health data reflecting the user's behavior, for example, updated health data with reduced blood sugar levels when the user drinks green tea, and the server 400 may update the health.
  • the shape of the avatar may be changed and displayed based on the data and the updated healthcare information described above. On the other hand, since the method of receiving information according to the user's action has been described above, it will be omitted here.
  • the user can check his or her health status in real time through the avatar changed based on the updated health care information, so that the user can manage his health more efficiently.
  • 8 (a) and 8 (b) are diagrams for explaining a process of changing and displaying a motion of an avatar in real time based on health data according to an embodiment of the present invention.
  • a user may be running by using the electronic device 300, for example, a treadmill.
  • the wearable device 100 may measure an exercise degree, a heart rate, etc. of the user using an acceleration sensor, a gyro sensor, and the like, and the server 400 may detect the user from the wearable device 100 or the user terminal device 200.
  • the server 400 may analyze the health data including the heart rate to determine that the user is running. Accordingly, as shown in FIG. 8B, the server 400 may generate an avatar of a running figure to correspond to the user who is running and transmit the avatar to the electronic device 300. Accordingly, the user can interestingly perform the exercise while watching the avatar's real time change.
  • 9 (a) and 9 (b) are diagrams for explaining guide information displayed by synthesizing an avatar of a user to an image captured by a camera according to an embodiment of the present invention.
  • guide information in a form of inducing a user's behavior may be provided using Augmented Reality technology.
  • the user terminal device 200 transmits an image frame generated by capturing an image and location information of the user terminal device 200 to the server 400, and AR content for the corresponding image provided by the server 400. Can be displayed on the display along with the live image.
  • the AR content may be guide information including an avatar which suggests an action required by the current user by guiding the user to a location where the electronic device 300 is located.
  • the server 400 may receive location information about the electronic device 300 from the user terminal device 200 or the electronic device 300 or use location information of the pre-stored electronic device 300. I've done it.
  • the user may receive guide information including information related to the function of the electronic device 300 through the user terminal device 200. .
  • 10 (a) and 10 (b) are diagrams for explaining guide information displayed by an avatar of another user along with the avatar of a user according to an embodiment of the present invention.
  • the server 400 may be stored in advance as another user has access to the health care information of the user's avatar 820.
  • the server 400 may be pre-stored as the first user having access to the health care information of the second user.
  • the user terminal device 200 when the user terminal device of the other user and the user terminal device 200 are located within a preset distance range, as shown in FIGS. 10 (a) and 10 (b), the user terminal device 200 is not displayed.
  • the avatar 810 of the user terminal device and the avatar 820 of the user terminal device 200 may be displayed together on a real time image captured by the camera of the user terminal device 200.
  • the guide information in the form of inducing a user's behavior using the avatar 810 of another user may be provided using Augmented Reality technology.
  • the guardian can provide guide information through the guardian avatar 810, so that the guardian can more effectively control the behavior of the guardian. .
  • FIG. 11 is a flowchart illustrating a guide information providing system according to an exemplary embodiment.
  • the wearable device 100 may be worn on a user's body to measure health data (S1110).
  • the health data measured through communication with the user terminal device 200 may be transmitted to the user terminal device 200 (S1120).
  • the health data may be blood sugar, calories, sleep information, and the like of the user.
  • the user terminal device 200 may generate an avatar corresponding to the user (S1130), and transmit the generated avatar to the server 400 together with the health data received from the wearable device 100. Can be.
  • the server 400 may obtain healthcare information corresponding to the avatar of the user from among the healthcare information corresponding to one or more pre-stored avatars.
  • guide information for inducing a user's action may be generated based on the obtained health care information and the received health data.
  • the generated guide information may be transmitted to at least one of the user terminal device 200 and the electronic device 300 (S1160 and S1170). Thereafter, the user terminal device 200 or the electronic device 300 may display the received guide information to induce a specific action of the user (S1180, S1190).
  • FIG. 12 is a flowchart illustrating a method of providing guide information according to an embodiment of the present invention.
  • the server 400 may receive information including the user's avatar and health data from the user terminal device 200 (S1210).
  • the server 400 may obtain healthcare information corresponding to the avatar of the user from among the healthcare information corresponding to one or more avatars stored in advance.
  • the server 400 generates guide information for inducing a user's action based on the obtained health care information and the received health data (S1230), and generates the generated guide information as at least one of the user terminal device and the electronic device. Can be transmitted (S1240).
  • guide information in a form of inducing a user's behavior may be provided, so that the user may manage health more effectively.
  • the health data generated by the wearable device 100 can be stored and processed in the server 300 as well as the user terminal device 200, not only personal data can be accumulated for a long time, but also passive data of simple data accumulation can be achieved. Based on the accumulated data, not the concept, it is possible to recommend in real time guide information suitable for a situation according to the user activity radius and the electronic device 300.
  • control method of the server, the user terminal device, and the electronic device may be implemented as a program and stored in various recording media. That is, a computer program processed by various processors and capable of executing the various control methods described above may be used in a state stored in a recording medium.
  • a program for receiving information including a user's avatar and health data, obtaining health information corresponding to the avatar, and generating guide information based on the health information and health data A stored non-transitory computer readable medium may be provided.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Information Transfer Between Computers (AREA)
  • Human Computer Interaction (AREA)
  • Conveying And Assembling Of Building Elements In Situ (AREA)

Abstract

서버가 개시된다. 서버는, 사용자 단말 장치 및 전자 장치와 통신하는 통신 인터페이스, 사용자의 아바타에 대응되는 헬스 케어 정보를 저장하는 스토리지, 사용자 단말 장치로부터, 사용자의 아바타 및 헬스 데이터를 포함하는 정보가 수신되면, 스토리지로부터 사용자의 아바타에 대응되는 헬스 케어 정보를 획득하고, 획득된 헬스 케어 정보 및 수신된 헬스 데이터에 기초하여 사용자의 행동을 유도하는 가이드 정보를 사용자 단말 장치 및 전자 장치 중 적어도 하나로 전송하도록 통신 인터페이스를 제어하는 프로세서를 포함한다.

Description

서버, 휴대 단말 장치, 전자 장치 및 그 제어 방법
본 발명은 서버, 휴대 단말 장치, 전자 장치 및 그 제어 방법에 대한 것으로 보다 상세하게는 건강 관리를 위한 가이드 정보를 제공할 수 있는 서버, 휴대 단말 장치, 전차 장치 및 그 제어 방법에 대한 것이다.
최근 전자기술의 급속한 발전으로 네트워크 환경에서 개인의 건강을 관리 할 수 있는 기술 개발에 대한 관심이 증대되고 있다. 일 예로, 웨어러블 기기나 스마트 기기 등을 이용하여 생체 정보를 감지하여 제공하는 기술이 개발되고 있다. 또한 이렇게 감지된 사용자의 생체 정보는 사용자 단말기에 저장될 뿐만 아니라 적극적으로 사용자 건강관리에 대한 피드백을 제공하는 데에 쓰이고 있다.
한편, 최근 폭넓게 논의되고 있는 원격 진료는 사용자 관련 데이터를 획득하기 위해서 사용자 스스로 생활하면서 축적된 건강정보를 기반으로 한다. 이를 위해서 웨어러블 기기, 개인 단말기를 활용한 개인 맞춤형 건강 관리 앱 등이 다수 개발되기도 하였다.
그러나, 이러한 기술은 다양한 웨어러블 기기 혹은 저장 플랫폼간의 데이터 호환이 어렵고, 사용 수명이 2-3년 가량인 모바일 혹은 웨어러블 기기의 특성상 기기간의 데이터 연속성을 확보하기에 용이하지 않은 상황이다. 특히, 개인 건강 관리가 특정 몇 년 간의 관리가 아닌 일생 전반에 걸친 수십년 동안의 평생 관리라는 측면으로 보았을 때, 개인 건강정보의 지속적이고 연속적인 축적은 개인 건강 관리의 필수 불가결한 요소라고 할 수 있다. 이에 따라, 보다 효과적으로 장기간 사용자의 건강 상태를 관리하기 위한 방안의 모색이 요청된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 사용자의 아바타를 이용하여 건강 관리를 위한 가이드 정보를 제공할 수 있고, 사용자의 건강을 장기간 효과적으로 관리할 수 있는 서버, 휴대 단말 장치, 전자 장치 및 그 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 서버는, 사용자 단말 장치 및 전자 장치와 통신하는 통신 인터페이스; 사용자의 아바타에 대응되는 헬스 케어 정보를 저장하는 스토리지; 상기 사용자 단말 장치로부터, 상기 사용자의 아바타 및 헬스 데이터를 포함하는 정보가 수신되면, 상기 스토리지로부터 상기 사용자의 아바타에 대응되는 헬스 케어 정보를 획득하고, 상기 획득된 헬스 케어 정보 및 상기 수신된 헬스 데이터에 기초하여 사용자의 행동을 유도하는 가이드 정보를 상기 사용자 단말 장치 및 상기 전자 장치 중 적어도 하나로 전송하도록 상기 통신 인터페이스를 제어하는 프로세서;를 포함한다.
여기서, 상기 프로세서는 상기 아바타가 상기 사용자의 행동을 유도하는 형태의 상기 가이드 정보를 상기 사용자 단말 장치 및 상기 전자 장치 중 적어도 하나로 전송할 수 있다.
또한, 상기 프로세서는 상기 가이드 정보를 상기 사용자 단말 장치 및 상기 전자 장치 중 적어도 하나로 전송한 이후, 상기 전자 장치로부터 상기 사용자의 행동에 따른 정보가 수신되면, 상기 수신된 정보에 기초하여 상기 스토리지에 저장된 헬스 케어 정보를 업데이트할 수 있다.
그리고, 상기 프로세서는 상기 사용자 단말 장치가 상기 전자 장치의 위치에 접근한 것으로 판단되면, 상기 전자 장치의 기능과 관련된 가이드 정보를 전송할 수 있다.
그리고, 상기 프로세서는 상기 업데이트된 헬스 케어 정보에 기초하여 상기 아바타의 상태를 변경하고, 상기 변경된 아바타를 상기 사용자 단말 장치 및 상기 전자 장치 중 적어도 하나로 전송할 수 있다.
또한, 상기 프로세서는, 상기 헬스 데이터에 기초하여 상기 아바타의 모션을 실시간으로 변경하여 상기 사용자 단말 장치 및 상기 전자 장치 중 적어도 하나로 전송할 수 있다.
한편, 본 발명의 일 실시 예에 따른 사용자 단말 장치는, 디스플레이; 사용자의 아바타를 저장하는 스토리지; 상기 사용자의 아바타에 대응되는 헬스 케어 정보를 저장하는 서버 및 상기 웨어러블 기기와 통신하는 통신 인터페이스; 및 기설정된 이벤트에 따라 상기 사용자의 아바타를 디스플레이하고, 상기 웨어러블 기기로부터 헬스 데이터가 수신되면, 상기 사용자의 아바타 및 상기 헬스 데이터를 상기 서버로 전송하고, 상기 서버로부터 상기 사용자의 행동을 유도하는 가이드 정보를 수신하여 상기 디스플레이를 통해 디스플레이하는 프로세서;를 포함하고, 여기서, 상기 가이드 정보는, 상기 아바타에 대응되는 헬스 케어 정보 및 상기 헬스 데이터에 기초하여 생성된 정보일 수 있다.
여기서, 상기 사용자 단말 장치는 카메라;를 더 포함할 수 있고, 상기 프로세서는, 상기 사용자 단말 장치의 주변 기기에 대한 정보를 상기 서버로 전송하고, 상기 서버로부터 상기 주변 기기로의 접근을 유도하는 가이드 정보가 수신되면, 상기 카메라를 통해 촬영된 영상에 상기 사용자의 아바타를 합성하여 디스플레이 할 수 있다.
그리고, 상기 프로세서는, 상기 사용자 단말 장치가 상기 주변 기기의 위치에 접근하면, 상기 아바타가 상기 사용자의 행동을 유도하는 형태의 상기 가이드 정보를 디스플레이 할 수 있다.
또한, 상기 프로세서는, 타 사용자의 타 사용자 단말 장치가 상기 사용자 단말 장치와 기 설정된 거리 범위 내에 위치하면, 상기 타 사용자의 아바타를 상기 사용자의 아바타와 함께 디스플레이하고, 상기 가이드 정보에 기초하여 상기 타 사용자의 아바타가 상기 사용자의 아바타의 행동을 유도하는 형태의 가이드 정보를 디스플레이 할 수 있다.
또한, 상기 프로세서는, 상기 헬스 데이터에 기초하여 상기 아바타의 모션을 실시간으로 변경하여 디스플레이 할 수 있다.
한편, 본 발명의 일 실시 예에 따른 사용자 단말 장치 및 전자 장치와 통신하는 서버의 제어 방법은, 상기 사용자 단말 장치로부터, 사용자의 아바타 및 헬스 데이터를 포함하는 정보를 수신하는 단계; 상기 사용자의 아바타에 대응되는 헬스 케어 정보를 획득하는 단계; 및 상기 획득된 헬스 케어 정보 및 상기 수신된 헬스 데이터에 기초하여 사용자의 행동을 유도하는 가이드 정보를 상기 사용자 단말 장치 및 상기 전자 장치 중 적어도 하나로 전송하는 단계;를 포함한다.
여기서, 상기 가이드 정보는, 상기 아바타가 상기 사용자의 행동을 유도하는 형태의 정보일 수 있다.
그리고, 상기 서버의 제어 방법은, 상기 전자 장치로부터 상기 사용자의 행동에 따른 정보를 수신하는 단계; 및 상기 수신된 정보에 기초하여 상기 헬스 케어 정보를 업데이트하는 단계;를 더 포함할 수 있다.
또한, 상기 서버의 제어 방법은, 상기 사용자 단말 장치가 상기 전자 장치의 위치에 접근한 것으로 판단되면, 상기 전자 장치의 기능과 관련된 가이드 정보를 디스플레이하는 단계;를 더 포함할 수 있다.
또한, 상기 서버의 제어 방법은, 상기 업데이트된 헬스 케어 정보에 기초하여 상기 아바타의 상태를 변경하는 단계; 및 상기 변경된 아바타를 상기 사용자 단말 장치 및 상기 전자 장치 중 하나로 전송하는 단계;를 더 포함할 수 있다.
또한, 상기 서버의 제어 방법은, 상기 헬스 데이터에 기초하여 상기 아바타의 모션을 실시간으로 변경하여 상기 사용자 단말 장치 및 상기 전자 장치 중 적어도 하나로 전송하는 단계;를 더 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자의 아바타를 이용하여 사용자의 행동을 유도하는 가이드 정보가 제공될 수 있고, 사용자의 건강 정보를 축적할 수 있으므로, 보다 효율적으로 장기간 사용자의 건강 상태를 관리할 수 있다.
도 1은 본 발명의 일 실시 예에 따른, 가이드 정보 제공 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른, 사용자 단말 장치를 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른, 서버를 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른, 사용자 단말 장치에 디스플레이되는 가이드 정보를 설명하기 위한 도면이다.
도 5(a) 및 도 5(b)는 본 발명의 일 실시 예에 따른, 전자 장치에 디스플레이되는 가이드 정보를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른, 사용자 단말 장치에서 전자 장치로 아바타 및 헬스 데이터를 포함하는 정보를 송수신 방법을 설명하기 위한 도면이다.
도 7(a) 및 도 7(b)는 본 발명의 일 실시 예에 따른, 업데이트된 헬스 케어 정보에 기초하여 아바타의 상태를 변경하여 디스플레이되는 가이드 정보를 설명하기 위한 도면이다.
도 8(a) 및 도 8(b)는 본 발명의 일 실시 예에 따른, 헬스 데이터에 기초하여 아바타의 모션이 실시간으로 변경되어 디스플레이되는 과정을 설명하기 위한 도면이다.
도 9(a) 및 도 9(b)는 본 발명의 일 실시 예에 따른, 카메라를 통해 촬영된 영상에 사용자의 아바타를 합성하여 디스플레이되는 가이드 정보를 설명하기 위한 도면이다.
도 10(a) 및 도 10(b)는 본 발명의 일 실시 예에 따른, 타 사용자의 아바타가 사용자의 아바타와 함께 디스플레이되는 가이드 정보를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른, 가이드 정보 제공 시스템을 설명하기 위한 흐름도이다.
도 12는 본 발명의 일 실시 예에 따른, 가이드 정보를 제공하는 방법을 설명하기 위한 흐름도이다.
-
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 디스플레이 장치에 대하여 설명한다.
도 1은 본 발명의 일 실시 예에 따른, 가이드 정보 제공 시스템을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 가이드 정보 제공 시스템(1000)은 웨어러블 기기(100), 사용자 단말 장치(200), 전자 장치(300) 및 서버(400)를 포함할 수 있다.
웨어러블 기기(100)는 사용자의 생체 신호를 센싱 또는 모니터링하여 헬스 데이터를 생성할 수 있다.
예를 들어, 웨어러블 기기(100)는 사용자의 혈당을 측정할 수 있다. 이를 위해, 웨어러블 기기(100)는 cgms(continuous glucose monitoring system)를 포함할 수 있다. 여기에서, cgms는 사람의 피부 아래에 포도당 센서를 삽입하여 실시간으로 변하는 혈당값을 측정하는 연속혈당측정 시스템을 의미한다. 다만, 이와 같이 침습 방식으로 혈당값을 측정하는 cgms는 웨어러블 기기(100)의 일 실시 예에 해당 할 뿐, 비침습 방식, 예를 들어 사용자의 신체에 부착하는 패치 형태의 혈당 측정 센서 등 다양한 유형의 센서가 웨어러블 기기(100)에 포함될 수 있음은 물론이다. 또한, 웨어러블 기기(100)는 사용자의 운동 정도, 심박수 등을 측정할 수 있다. 이를 위해, 웨어러블 기기(100)는 가속도 센서, 자이로 센서 등을 구비할 수 있다. 구체적으로, 웨어러블 기기(100)는 가속도 센서, 자이로 센서 등을 이용하여 사용자의 운동 정도, 심박수 등을 측정할 수 있다. 다만, 이는 일 실시 예일 뿐, 웨어러블 기기(100)는 인체 저항도를 이용하여 체성분을 측정할 수 있고, 키넥트(Kinect) 센서를 이용하여 사용자의 수면 정보를 측정할 수 있는 등 다양한 헬스 데이터를 측정할 수 있음은 물론이다.
그리고, 웨어러블 기기(100)는 헬스 데이터를 사용자 단말 장치(200)로 전송할 수 있다. 이를 위해, 웨어러블 기기(100)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC 칩등 다양한 통신 칩을 포함할 수 있다.
한편, 도 1에서는 웨어러블 기기(100)를 스마트 워치와 같은 형태로 도시하였으나, 이는 일 실시 예에 해당할 뿐, 웨어러블 기기(100)는 패치 형태 등, 사용자의 손목, 팔, 허리 또는 발목 등에 착용하여 헬스 데이터를 측정할 수 있는 다양한 유형의 장치로 구현될 수 있음은 물론이다.
사용자 단말 장치(200)는 기설정된 이벤트에 따라 사용자의 아바타를 디스플레이 할 수 있다.
여기에서, 기설정된 이벤트는 사용자의 지문 입력, 홍채 인식 또는 비밀번호 입력 등을 통하여 사용자를 식별하는 인증 절차가 될 수 있다. 이를 위해, 사용자 단말 장치(200)는 사용자의 지문 데이터, 홍채 데이터 또는 비밀번호 데이터를 기저장하고 있을 수 있고, 사용자의 지문 인식을 위한 스캐너, 홍채 인식을 위한 카메라 등을 구비할 수 있다.
이 후 사용자 인증이 완료되면, 사용자 단말 장치(200)는 인증된 사용자에 대응되는 아바타를 디스플레이할 수 있다. 이를 위해, 사용자 단말 장치(200)에는 사용자 별로 서로 다른 아바타가 매칭되어 저장 되어 있을 수 있다.
그리고, 사용자 단말 장치(200)는 웨어러블 기기(100)로부터 헬스 데이터가 수신되면 사용자의 아바타 및 헬스 데이터를 전자 장치(300) 및 서버(400) 중 적어도 하나로 전송할 수 있다. 여기에서, 전자 장치(300) 및 서버(400) 중 적어도 하나로 전송되는 아바타는 사용자 단말 장치(200)에 디스플레이 된 아바타의 이미지가 될 수 있다. 예를 들어, 전송되는 아바타는 사용자 인증에 따라 사용자 단말 장치(200)에 디스플레이된 아바타 이미지가 될 수 있다.
한편, 여기에서 아바타 및 헬스 데이터는 전자 장치(300) 및 서버(400) 중 적어도 하나로 각각 전송될 수도 있으나, 아바타만 전송하면 헬스 데이터는 아바타와 함께 전자 장치(300) 및 서버(400) 중 적어도 하나로 전송될 수도 있다. 이를 위해, 사용자 단말 장치(200)는 웨어러블 기기(100)로부터 헬스 데이터가 수신되면 수신한 헬스 데이터를 아바타에 매칭시킬 수 있다. 예를 들어, 사용자 단말 장치(200)는 수신한 헬스 데이터를 태그를 통해 아바타에 매칭시킬 수 있다. 다만, 매칭 방법이 태그에 한정되는 것은 아니고, 데이터를 이미지에 매칭할 수 있는 다양한 매칭 방법이 이용될 수 있음은 물론이다. 이에 따라, 사용자 단말 장치(200)는 아바타를 전송하는 사용자 명령이 입력되면, 아바타와 함께 아바타에 매칭된 헬스 데이터를 함께 전자 장치(300) 및 서버(400) 중 적어도 하나로 전송할 수 있다.서버(400)는 사용자 단말 장치(200) 또는 전자 장치(300)로부터 사용자의 아바타 및 헬스 데이터를 포함하는 정보가 수신되면, 사용자의 아바타에 대응되는 헬스 케어 정보를 획득할 수 있다. 여기에서, 헬스 데이터는 웨어러블 기기(100)에서 사용자의 현재의 생체 신호를 센싱 또는 모니터링하여 생성한 데이터인 반면에, 헬스 케어 정보는 서버(400)에 저장된 사용자의 헬스 데이터 및 행동 정보가 될 수 있다. 예를 들어, 서버(400)에 저장된 사용자의 헬스 데이터는 과거부터 현재까지의 사용자의 혈당, 체지방 지수, 체온, 혈압 등이 될 수 있고, 행동 정보는 과거부터 현재까지 사용자가 섭취한 음식 정보, 운동 시간, 운동 종류 등에 대한 운동 정보 등이 될 수 있다.
이를 위해, 서버(400)는 헬스 케어 정보를 웨어러블 기기(100), 사용자 단말 장치(200) 및 전자 장치(300) 중 적어도 하나로부터 수신하여 기저장하고 있을 수 있다. 구체적으로, 서버(400)는 웨어러블 기기(100) 및 사용자 단말 장치(200) 중 적어도 하나로부터 헬스 데이터를 수신하여 저장할 수 있고, 사용자 단말 장치(200) 및 전자 장치(300) 중 적어도 하나로부터 사용자가 섭취한 음식 정보 내지 사용자의 운동 시간 등에 관한 정보를 수신하여 저장할 수 있다.
또한, 서버(400)는 사용자의 헬스 케어 정보를 각각의 사용자에 대응되는 아바타에 구분하여 기저장하고 있을 수 있다. 즉, 서버(400)는 사용자 단말 장치(200)로부터 아바타 및 헬스 데이터를 포함하는 정보가 수신되면, 수신한 아바타가 어느 사용자의 아바타인지를 판단하고, 기저장된 하나 이상의 헬스 케어 정보 중에서 아바타에 대응되는 사용자의 헬스 케어 정보를 획득할 수 있다. 이 경우, 서버(400)는 아바타의 이미지 자체를 기저장된 이미지와 비교하거나, 아바타에 포함된 식별 정보를 비교하여 기저장된 식별 정보와 비교하여 사용자의 아바타에 대응되는 사용자의 헬스 케어 정보를 획득할 수 있다.
한편, 여기에서 헬스 케어 정보는 사용자의 생체 정보 및 행동 정보를 포함할 수 있다. 구체적으로, 생체 정보는 사용자의 혈당, 체지방 지수, 체온, 혈압 등이 될 수 있고, 행동 정보는 사용자가 섭취한 음식 정보, 사용자의 운동 시간, 운동 종류 등에 대한 운동 정보 등이 될 수 있다.
그리고, 서버(400)는 획득된 헬스 케어 정보 및 수신된 헬스 데이터에 기초하여 사용자의 행동을 유도하는 가이드 정보를 생성할 수 있다.
구체적으로, 서버(400)는 획득된 헬스 케어 정보 및 수신된 헬스 데이터를 상호 피드백하여 현재 사용자에 필요한 행동을 판단하고, 사용자가 현재 필요한 행동을 하도록 유도하는 가이드 정보를 생성할 수 있다. 예를 들어, 서버(400)는 획득된 헬스 케어 정보 및 수신된 헬스 데이터를 상호 피드백하여 사용자에게 현재 필요한 행동을 판단하고, 그 결과 사용자의 혈당이 기준치보다 높아서 혈당량 조절이 필요하다고 판단될 경우, 사용자가 혈당 수치를 감소시킬 수 있는 음식을 섭취하도록 유도하는 가이드 정보를 생성할 수 있다.
이 후, 서버(400)는 사용자 단말 장치(200) 및 전자 장치(300) 중 적어도 하나로 가이드 정보를 전송할 수 있다.
한편, 서버(400)는 네트워크 시스템에서 각종 운영 체계와 어플리케이션(application) 간의 상호 작용을 담당하는 중앙 서버(또는 통합 서버) 또는 클라우드 컴퓨팅 기술을 이용하는 클라우드 서버 등으로 구현될 수 있다. 여기서, 클라우드 컴퓨팅(cloud computing)은 인터넷 기반의 컴퓨팅 기술을 의미하는 것으로, 인터넷 상의 유틸리티 데이터 서버(utility data server)에 프로그램을 두고 그때 그때 컴퓨터나 휴대폰 등에 불러와서 사용하는 웹에 기반한 소프트웨어 서비스이다.
한편, 본 발명의 다른 실시 예에 따르면, 웨어러블 기기(100)는 서버(400)와 통신을 수행하여 가이드 정보를 수신하고 이를 디스플레이 할 수 있다. 구체적으로, 웨어러블 기기(100)는 디스플레이(미도시), 서버와 통신을 수행하는 통신 인터페이스(미도시), 사용자의 아바타를 저장하는 스토리지(미도시) 및 사용자 인증을 위한 센서 등을 더 포함할 수 있다. 이에 따라, 웨어러블 기기(100)(예를 들어, 스마트 워치)는 사용자의 헬스 데이터를 서버(400)로 전송할 수 있고, 서버(400)로부터 수신한 가이드 정보를 디스플레이 할 수 있다. 이에 의하면, 사용자가 사용자 단말 장치(200)를 구비하고 있지 않은 상태에서도, 웨어러블 기기(100)를 통해서 아타타를 포함하는 가이드 정보를 제공받을 수 있어, 보다 효과적으로 건강을 관리할 수 있다는 효과가 있다.
이하에서는, 도면을 참조하여 가이드 정보를 생성하고 제공하는 방법에 대해서 보다 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른, 사용자 단말 장치를 설명하기 위한 블록도이다.
도 2를 참조하면, 사용자 단말 장치(200)는 통신 인터페이스(210), 스토리지(220), 디스플레이(230) 및 프로세서(240)를 포함할 수 있다. 여기에서, 사용자 단말 장치(200)는 휴대폰을 포함하여 디스플레이를 구비하고 외부 장치와 통신 가능한 태블릿 PC, 디지털 카메라, 캠코더, 노트북 PC. 데스크 탑, PDA, MP3 등과 같은 다양한 전자 장치로 구현될 수 있다.
통신 인터페이스(210)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부기기와 통신을 수행할 수 있다.
특히, 통신 인터페이스(210)는 웨어러블 기기(100), 전자 장치(300) 및 서버(400)와 통신 할 수 있다. 구체적으로, 통신 인터페이스(210)는 웨어러블 기기(100)와 통신하여 헬스 데이터를 수신할 수 있고, 전자 장치(300) 또는 서버(400)와 통신하여 아바타 및 헬스 데이터를 전자 장치(300) 및 서버(400) 중 적어도 하나로 전송할 수 있다.
이를 위해, 통신 인터페이스(210)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC 칩등 다양한 통신 칩을 포함할 수 있다. 여기에서, 와이파이 칩, 블루투스 칩은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩은135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
스토리지(220)는 사용자 단말 장치(200)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 특히, 스토리지(220)는 사용자 식별 정보 및 아바타를 저장할 수 있다.
이 경우, 스토리지(220)는 사용자의 식별 정보에 대응되는 아바타를 사용자 별로 구분하여 저장할 수 있다. 여기에서, 사용자 식별 정보는 사용자의 지문, 홍채 및 비빌번호 등에 대한 정보가 될 수 있다.
또한, 스토리지(220)는 웨어러블 기기(100)로부터 수신한 헬스 데이터를 저장할 수 있다.
이를 위해, 스토리지(220)는 하드디스크, 비휘발성 메모리, 휘발성 메모리 등과 같은 다양한 저장매체로 구현될 수 있다.
한편, 스토리지(220)는 사용자 단말 장치(200)의 구성요소의 전반적인 동작을 제어하기 위한 운영체제(Operating System: OS) 및 사용자 단말 장치(200의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다. 이에 따라, 프로세서(240)는 운영체제의 부팅을 수행하여, 프로세서(240)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
디스플레이(230)는 다양한 화면을 디스플레이 할 수 있다.
예를 들어, 디스플레이(230)는 서버(400)로부터 수신한 가이드 정보를 디스플레이할 수 있다. 이를 위해, 디스플레이(230)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이 등으로 구현될 수 있다. 한편, 가이드 정보와 관련된 구체적인 내용은 후술하기로 한다.
프로세서(240)는 사용자 단말 장치(200)의 전반적인 동작을 제어한다. 이를 위해, 프로세서(240)는 CPU(central processing unit), RAM(Random Access Memory) 및 ROM(Read Only Memory)을 포함하여, 사용자 단말 장치(200)에 포함된 다른 구성요소들의 제어에 관한 연산이나 데이터 처리를 실행할 수 있다.
먼저, 프로세서(240)는 통신 인터페이스(210)를 통해서 웨어러블 기기(100)와 연결되면, 웨어러블 기기(100)로 헬스 데이터에 대한 전송 요청 명령을 전송하도록 통신 인터페이스(210)를 제어할 수 있다. 한편, 프로세서(240)는 웨어러블 기기(100)로 헬스 데이터에 대한 전송 요청 명령을 별도로 보내지 않고, 통신 인터페이스(210)를 통해서 웨어러블 기기(100)와 연결되면, 자동으로 웨어러블 기기(100)로부터 헬스 데이터를 수신하도록 통신 인터페이스(210)를 제어할 수도 있음은 물론이다.
이 경우, 웨어러블 기기(100)는 사용자의 헬스 데이터에 대한 정보를 사용자 단말 장치(200)로 전송할 수 있으며, 프로세서(240)는 웨어러블 기기(100)로부터 수신된 헬스 데이터를 스토리지(220)에 저장할 수 있다. 여기에서, 프로세서(240)는 웨어러블 기기(100)로부터 수신된 헬스 데이터를 자동적으로 스토리지(200)에 저장할 수 있을 뿐만 아니라, 사용자 조작에 따라 기설정된 방법으로 저장할수도 있다. 예를 들어, 프로세서(240)는 수신한 헬스 데이터의 저장 여부 또는 저장 기간과 관련된 사용자 설정이 있을 경우, 추가적인 사용자 입력 등을 통해서 수신한 헬스 데이터를 저장할 수 있다.
또한, 프로세서(240)는 기설정된 이벤트가 발생하면 사용자의 아바타를 디스플레이하도록 디스플레이(230)를 제어할 수 있다. 한편, 여기에서 기설정된 이벤트는 전술한 바와 같이 사용자를 식별하기 위한 인증 절차가 될 수 있다. 예를 들어, 사용자가 사용자 단말 장치(200)의 지문 스캐너에 지문을 입력한다든가, 카메라를 통해서 홍채를 인식시킨다든가, 비밀번호를 입력하면 프로세서(240)는 사용자가 인증된 사용자인지를 판단하고, 인증된 사용자로 판단되면 인증된 사용자에 대응하는 아바타를 디스플레이하도록 디스플레이(230)를 제어 할 수 있다.
그리고, 프로세서(240)는 디스플레이된 아바타 및 웨어러블 기기(100)로부터 수신한 헬스 데이터를 전자 장치(300) 및 서버(400) 중 적어도 하나로 전송하도록 통신 인터페이스(210)를 제어할 수 있다. 한편, 여기에서 아바타 및 헬스 데이터는 전술한 바와 같이, 각각 전자 장치 및 서버(400) 중 적어도 하나로 전송될 수도 있으나, 아바타만 서버(400)로 전송하면 헬스 데이터는 아바타에 매핑된 상태에서 아바타와 함께 전자 장치(300) 및 서버(400) 중 적어도 하나로 전송될 수도 있다.
이 후, 프로세서(240)는 서버(400)로부터 가이드 정보를 수신하도록 통신 인터페이스(210)를 제어할 수 있다. 여기에서, 가이드 정보는 사용자의 행동을 유도하는 가이드 정보가 될 수 있다. 한편, 가이드 정보와 관련된 구체적인 내용은 후술하기로 한다.
한편, 사용자 단말 장치(200)는 도 2에서 설명한 구성요소 외에도 다양한 구성요소를 더 포함할 수 있다.
특히, 사용자 단말 장치(200)는 카메라를 더 포함할 수 있다. 여기에서, 카메라는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성요소로써, 전면 카메라 및 후면 카메라와 같이 복수 개로 구현될 수 있다.
그리고, 사용자 단말 장치(200)는 카메라를 통해 촬영된 영상에 아바타를 합성하여 가이드 정보를 디스플레이할 수 있다. 구체적으로, 가이드 정보는 증강 현실(Augmented Reality) 기술을 이용하여 제공될 수 있다.
여기에서, 증강현실 기술은 가상현실 기술과는 달리 실시간 처리를 바탕으로 AR 컨텐츠를 특수 인터페이스를 통해 실제로 촬영되는 영상에 겹쳐서 표현 하는 기술을 의미한다.
이 경우, 프로세서(240)는 사용자 단말 장치(200)이 특정 위치에 접근한 것으로 판단되면, 촬영된 이미지에 아바타를 합성하여 가이드 정보를 포함하는 AR 컨텐츠를 제공할 수 있다.
또는, 프로세서(240)는 촬영된 이미지를 사용자 단말 장치(200)의 위치 정보와 함께 서버(400)로 전송하고, 서버(400)로부터 AR 컨텐츠를 수신하여 제공하는 것도 가능하다. 이를 위해, 사용자 단말 장치(200)는 영상을 촬영하기 위한 카메라 외에도, 사용자 단말 장치(200)의 위치를 감지하기 위한 위치센서, 실시간으로 촬영되는 영상과 서버(400)로부터 제공되는 AR 컨텐츠를 정합시키기 위한 AR 컨텐츠-영상 정합기를 더 포함할 수 있다.
도 3은 본 발명의 일 실시 예에 따른, 서버를 설명하기 위한 블록도이다.
도 3을 참조하면, 서버(400)는 통신 인터페이스(410), 스토리지(420) 및 프로세서(430)를 포함할 수 있다. 서버(400)는 사용자 단말 장치(200)의 외부 서버, 사용자 단말 장치(200)에 내장된 임베디드 서버, 사용자 단말 장치(200)에 내장된 임베디드 칩 등 다양한 형태로 구현 가능하다.
통신 인터페이스(410)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부기기와 통신을 수행할 수 있다.
특히, 통신 인터페이스(410)는 사용자 단말 장치(200) 및 전자 장치(300)와 통신을 수행할 수 있다. 구체적으로, 통신 인터페이스(410)는 사용자 단말 장치(200) 또는 전자 장치(300)로부터 아바타 및 헬스 데이터를 포함하는 정보를 수신할 수 있고, 생성한 가이드 정보를 사용자 단말 장치(200) 및 전자 장치(300) 중 적어도 하나로 전송할 수 있다.
이를 위해, 통신 인터페이스(410)는 다양한 통신 칩을 포함할 수 있다. 여기에서, 와이파이 칩, 블루투스 칩은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩은135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
스토리지(420)는 서버(400)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 특히, 스토리지(420)는 사용자의 아바타에 대응되는 헬스 케어 정보를 아바타 별로 구분하여 저장할 수 있다. 예를 들어, 스토리지(420)는 제1 아바타에 제1 사용자에 대응되는 제1 헬스 케어 정보를 매핑하여 저장하고 있을 수 있고, 제2 아바타에 제2 사용자에 대응되는 제2 헬스 케어 정보를 매핑하여 저장하고 있을 수 있다.
이를 위해, 스토리지(420)는 하드디스크, 비휘발성 메모리, 휘발성 메모리 등과 같은 다양한 저장매체로 구현될 수 있다.
한편, 스토리지(420)는 서버(400)의 구성요소의 전반적인 동작을 제어하기 위한 운영체제(Operating System: OS) 및 사용자 단말 장치(300) 및 전자 장치(300)와 관련된 명령 또는 데이터를 저장할 수 있다. 이에 따라, 프로세서(430)는 운영체제의 부팅을 수행하여, 프로세서(430)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
프로세서(430)는 서버(400)의 전반적인 동작을 제어한다. 이를 위해, 프로세서(430)는 CPU(central processing unit), RAM(Random Access Memory) 및 ROM(Read Only Memory)을 포함하여, 서버(400)에 포함된 다른 구성요소들의 제어에 관한 연산이나 데이터 처리를 실행할 수 있다.
먼저, 프로세서(430)는 통신 인터페이스(410)를 통해서 사용자 단말 장치(200) 및 전자 장치(300) 중 적어도 하나와 연결되면, 사용자 단말 장치(200) 및 전자 장치(300) 중 적어도 하나로부터 사용자의 아바타 및 헬스 데이터를 포함하는 정보를 수신하도록 통신 인터페이스(410)를 제어할 수 있다.
이 경우, 통신 인터페이스(410)는 사용자 단말 장치(200) 및 전자 장치(300) 중 적어도 하나로부터 사용자의 아바타 및 헬스 데이터를 포함하는 정보를 수신할 수 있으며, 프로세서(430)는 사용자 단말 장치(200) 및 전자 장치(300) 중 적어도 하나로부터 수신된 사용자의 아바타 및 헬스 데이터를 포함하는 정보를 스토리지(420)에 저장할 수 있다.
그리고, 프로세서(430)는 스토리지(420)에 저장된 적어도 하나의 헬스 케어 정보에서, 사용자의 아바타에 대응되는 헬스 케어 정보를 획득할 수 있다. 구체적으로, 프로세서(430)는 아바타 별로 구분되어 저장된 헬스 케어 정보 중에서 사용자 단말 장치(200) 및 전자 장치(300) 중 적어도 하나로부터 수신한 아바타에 대응되는 헬스 케어 정보를 획득할 수 있다.
여기에서, 아바타에 대응되는 헬스 케어 정보에는 아바타에 대응되는 사용자와 관련된 생체정보, 행동정보 등이 포함되어 있을 수 있다. 예를 들어, 헬스 케어 정보에는 아바타에 대응되는 사용자의 혈당, 체지방 지수, 체온, 혈압 등의 생체 정보 및 사용자가 섭취한 음식 정보, 사용자의 운동 시간, 운동 종류 등에 대한 운동 정보 등이 포함되어 있을 수 있다.
이 후, 프로세서(430)는 획득된 헬스 케어 정보 및 수신된 헬스 데이터에 기초하여 사용자의 행동을 유도하는 가이드 정보를 생성할 수 있다.
구체적으로, 프로세서(430)는 획득된 헬스 케어 정보 및 수신된 헬스 데이터에 기초하여 현재 사용자에게 필요한 행동을 판단할 수 있다. 예를 들어, 프로세서(430)는 획득된 헬스 케어 정보 및 수신된 헬스 데이터를 분석한 결과, 사용자의 혈당 수치가 기준치보다 높다고 판단될 경우, 현재 사용자에게는 혈당량 조절을 위한 음식 섭취가 필요하다고 판단할 수 있다. 이에 따라, 프로세서(430)는 사용자가 혈당량 조절에 필요한 음식을 섭취하도록 유도하는 가이드 정보를 생성할 수 있다.
여기에서, 가이드 정보는 아바타가 사용자의 행동을 유도하는 형태의 정보가 될 수 있다.
예를 들어, 프로세서(430)는 현재 사용자에게 혈당량 조절을 위한 음식 섭취가 필요하다고 판단될 경우 아바타를 이용하여 녹차가 먹고 싶다는 메시지를 포함하는 가이드 정보를 생성할 수 있다. 또 다른 실시 예로, 프로세서(430)는 현재 사용자의 체지방 지수가 기준치보다 높다고 판단될 경우, 아바타를 이용하여 달리기를 하고 싶다는 메시지를 포함하는 가이드 정보를 생성할 수 있다. 이 경우, 메시지는 아바타가 발화하는 형태가 될 수 있으며, 아바타의 메시지에 따라 아바타의 형상도 변형될 수 있다. 예를 들어, 아바타가 달리기를 하고 싶다는 메시지를 포함하는 가이드 정보의 경우 달리기 하는 형상의 아바타를 포함할 수 있다.
이 후, 프로세서(430)는 생성한 가이드 정보를 사용자 단말 장치(200) 및 전자 장치(400) 중 적어도 하나로 전송하도록 통신 인터페이스(410)를 제어할 수 있다.
이에 따라, 사용자 단말 장치(200) 또는 전자 장치(400)는 수신한 가이드 정보를 디스플레이를 통해서 디스플레이할 수 있다.
한편, 프로세서(430)는 생성한 가이드 정보를 사용자 단말 장치(200) 및 전자 장치(400) 중 적어도 하나로 전송한 이 후, 사용자 단말 장치(200) 및 전자 장치(400) 중 적어도 하나로부터 사용자의 행동에 따른 정보가 수신되면, 수신된 정보에 기초하여 스토리지에 저장된 헬스 케어 정보를 할 수 있다.
예를 들어, 프로세서(430)는 혈당량 조절을 위하여 녹차를 추천하는 가이드 정보를 전송한 이후에 사용자 단말 장치(200) 및 전자 장치(400) 중 적어도 하나로부터 사용자가 녹차를 마셨다는 정보가 수신되면, 사용자가 녹차를 마셨다는 정보에 기초하여 스토리지에 저장된 헬스 케어 정보를 업데이트 할 수 있다.
여기에서, 사용자의 행동에 따른 정보는 사용자 단말 장치(200) 또는 전자 장치(300)에서 이루어지는 사용자 조작에 따라 서버(400)로 전송될 수 있다. 구체적으로, 사용자가 사용자 단말 장치(200) 또는 전자 장치(300)에 특정 행동을 수행하였음을 입력하면, 입력된 사용자 행동 정보가 서버(400)로 전송될 수 있다. 예를 들어, 사용자가 사용자 단말 장치(200)에 녹차를 마셨다는 정보를 직접 입력하여 통신 인터페이스(210)를 통하여 서버로(400)로 전송하거나, 전자 장치(300)에 디스플레이된 녹차를 터치되면 전자 장치(300)는 자동으로 통신 인터페이스(미도시)를 통하여 서버(400)로 사용자가 녹차를 마셨다는 정보를 전송할 수 있다.
그리고, 프로세서(430)는 업데이트 된 헬스 케어 정보에 기초하여 아바타의 상태를 변경하고, 변경된 아바타를 사용자 단말 장치 및 전자 장치 중 적어도 하나로 전송할 수 있다.
예를 들어, 프로세서(430)는 헬스 케어 정보 및 헬스 데이터에 기초하여 현재 사용자의 혈당량이 기준치보다 높다고 판단될 경우, 울고 있는 형태의 아바타를 포함하는 가이드 정보를 사용자 단말 장치 및 전자 장치 중 적어도 하나로 전송할 수 있고, 가이드 정보 전송 후 사용자 행동에 따라 업데이트 된 헬스 케어 정보에 기초하여 사용자의 혈당량이 정상 수치로 돌아왔다고 판단될 경우, 웃고 있는 형태의 아바타를 포함하는 가이드 정보를 전송할 수 있다.
다만, 다른 실시 예에 따르면, 사용자 단말 장치(200) 및 전자 장치(300)사 다양한 형상의 아바타 정보 및 가이드 메시지를 저장하고 있을 수도 있으며, 이 경우 서버(400)의 제어 신호에 따라 기 저장된 아바타 및 가이드 메시지를 포함하는 가이드 정보를 제공하는 것도 가능하다.
그리고, 프로세서(430)는 사용자 단말 장치(200)가 전자 장치(300)의 위치에 접근한 것으로 판단되면, 전자 장치(300)의 기능과 관련된 가이드 정보를 전송할 수 있다.
여기에서, 전자 장치(300)의 기능과 관련된 정보는 전자 장치의 종류에 따라서 달라질 수 있다. 예를 들어, 프로세서(430)는 전자 장치(300)가 냉장고라고 판단될 경우 현재 사용자가 섭취해야 할 음식에 관한 정보를 포함하는 가이드 정보를 전송할 수 있고, 전자 장치(300)라 러닝 머신으로 판단될 경우 현재 사용자가 소모해야 할 칼로리에 관한 정보를 포함하는 가이드 정보를 전송할 수 있다.
이를 위해, 프로세서(430)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200) 및 전자 장치(300)의 위치에 대한 정보를 수신할 수 있다. 구체적으로, 사용자 단말 장치(200) 및 전자 장치(300)는 GPS칩을 이용하여 위성으로부터 위치에 관한 정보를 포함하는 GPS 신호를 수신할 수 있고, 수신한 GPS신호를 서버(400)로 전송할 수 있다. 이에 따라, 프로세서(430)는 사용자 단말 장치(200) 및 전자 장치(300)의 위치에 대한 정보를 수신할 수 있고, 수신한 GPS신호를 이용하여 사용자 단말 장치(200)가 전자 장치(300)의 위치에 접근한 것으로 판단되면, 전자 장치(300)의 기능과 관련된 가이드 정보를 전송할 수 있다.
또한, 프로세서(430)는 블루투스 프로토콜 기반의 근거리 무선통신 장치인 비콘을 이용하여 사용자 단말 장치(200)가 전자 장치(300)의 위치에 접근한 것인지를 판단할 수 있다. 구체적으로, 사용자 단말 장치(100)는 전자 장치(300)에 부착된 비콘으로부터 비콘 신호를 수신한 후 이를 서버(400)로 전송할 수 있고, 이에 따라 프로세서(430)는 사용자 단말 장치(100)가 전자 장치(200)에 접근한 것으로 판단할 수 있다. 또한, 프로세서(430)는 NFC 방식을 이용하여 사용자 단말 장치(200)가 전자 장치(300)의 위치에 접근한 것인지를 판단할 수 있다. 구체적으로, 사용자 단말 장치(100)는 NFC 태그가 탑재된 전자 장치(300)에 태깅한 후 이를 서버(400)로 전송할 수 있고, 이에 따라 프로세서(430)는 사용자 단말 장치(100)가 전자 장치(200)에 접근한 것으로 판단할 수 있다.
다만, 이는 일 실시 예 일 뿐, 사용자 단말 장치(200) 및 전자 장치(300)는 GPS, 비콘, NFC 방식 이외에 WiFi, CDMA 방식 등 다양한 방식을 이용하여 사용자 단말 장치(200) 또는 전자 장치(300)의 위치 정보를 서버(400)로 전송할 수 있음은 물론이다.
한편, 사용자 단말 장치(100)는 전자 장치(300)의 위치 정보를 기저장하고 있을 수도 있다. 예를 들어, 사용자 단말 장치(100)는 사용자가 거주하는 가정 내에서 전자 장치(200)가 존재하는 위치를 좌표화하여 저장하고 있을 수 있다. 여기에서, 전자 장치(200)의 위치는 위도 및 경도를 포함하는 gps 좌표가 될 수 있다. 이에 따라, 프로세서(430)는 사용자 단말 장치(100)로부터 수신한 위치 정보 및 전자 장치(200)의 위치 좌표를 이용하여 사용자 단말 장치(100)가 전자 장치(200)에 근접하였는지 여부를 판단할 수 있다. 이 경우, 전자 장치(200) 자체에 네트워크 모듈이 탑재되어 있지 않더라도 서버(400)가 사용자 단말 장치(100) 및 전자 장치(200)의 근접 여부를 판단할 수 있는 효과가 있다.
한편, 프로세서(430)는 전자 장치(300)의 위치에 대한 정보를 스토리지(420)에 기저장하고 있을 수도 있다. 예를 들어, 전자 장치(300)에 통신 모듈이 탑재되어 있지 않은 경우, 전자 장치(300)로부터 전자 장치(300)의 위치에 관한 정보를 수신할 수 없다는 점에서, 사용자 입력에 의해서 전자 장치(300)의 위치를 기저장하고 있을 수 있다. 이에 따라, 프로세서(430)는 기정된 전자 장치(300)의 위치에 관한 정보를 이용하여, 사용자 단말 장치(200)가 전자 장치(300)의 위치에 접근한 것인지를 판단할 수도 있다.
또한, 프로세서(430)는 헬스 데이터에 기초하여 아바타의 모션을 실시간으로 변경하여 사용자 단말 장치 및 전자 장치 중 적어도 하나로 전송할 수 있다.
구체적으로, 프로세서(430)는 사용자 단말 장치(200) 또는 전자 장치(300)로부터 수신한 헬스 데이터에 기초하여, 사용자의 혈당량 조절 정도, 심박수 변동 정도를 파악하고, 이에 따라 사용자의 행동을 인지하여 사용자의 모션에 대응되도록 아바타의 모션을 실시간으로 변경하여 사용자 단말 장치 및 전자 장치 중 적어도 하나로 전송할 수 있다.
예를 들어, 프로세서(430)는 사용자의 움직임 정보 내지 속도 정보를 포함하는 헬스 데이터를 수신 받은 경우, 사용자가 러닝중임을 인지하고 이에 대응되도록 아바타가 달리는 모션인 형태를 전송할 수 있고, 사용자의 움직임 정보 내지 뒤척임 정보를 포함하는 헬스 데이터를 수신 받은 경우, 사용자의 수면중임을 인식하고 이에 대응되도록 아바타가 수면하는 모션인 형태를 전송할 수 있다.
한편, 프로세서(430)는 타 사용자의 아바타가 사용자의 아바타에 대하여 접근 권한이 있는 아바타로 판단되면, 타 사용자의 사용자 단말 장치로 사용자의 헬스 케어 정보를 전송할 수 있다.
이를 위해, 서버(400)에는 타 사용자가 사용자의 아바타(820)의 헬스 케어 정보에 대한 접근 권한이 있는 것으로 기저장되어 있을 수 있다. 예를 들어, 서버(400)에는 제1 아바타가 제2 아바타의 헬스 케어 정보에 대하여 접근 권한이 있는 것으로 기저장되어 있을 수 있다. 이에 따라, 서버(400)는 수신한 아바타가 제1 사용자에 대응하는 것이면, 제2 사용자의 헬스 케어 정보를 제1사용자의 단말 장치로 전송할 수 있다.
이에 따라, 제2 아바타에 대응되는 사용자가 어린 아이이고 제1 아바타에대응되는 사용자가 그 보호자일 경우, 헬스 케어 정보를 보호자가 실시간으로 관리할 수 있다는 점에서, 보호자는 보다 효율적으로 어린 아이의 건강을 관리할 수 있다.
한편, 서버(400)는 도 3에서 설명한 구성요소 외에도 다양한 구성요소를 더 포함할 수 있다.
특히, 증강 현실 기술을 구현하기 위한 구성요소를 더 포함할 수 있다. 구체적으로, 서버(400)는 사용자 단말 장치(200)로부터 수신한 위치 정보를 이용하여 사용자 단말 장치(200)의 위치를 산출하는 위치 판단기, 산출된 위치에 대응되는 컨텐츠를 추출하여 증강현실 부합되는 포맷으로 변환하는 AR컨텐츠 생성기, 생성된 AR컨텐츠를 사용자 단말 장치(200)로 전송하기 위한 통신부가 더 포함될 수 있다.
이에 따라, 서버(400)는 사용자 단말 장치(200)로부터 제공된 이미지와 사용자 단말 장치(200)의 위치에 따라 해당 이미지에 대응되는 컨텐츠를 추출하고, 추출된 컨텐츠를 AR컨텐츠로 변환하여 사용자 단말 장치(200)로 제공할 수 있다.
이하에서는 도면을 참조하여 본 발명의 실시 예를 보다 구체적으로 살펴보도록 한다. 한편, 상술한 내용과 중복되는 부분에 대한 설명은 생략하기로 한다.
도 4는 본 발명의 일 실시 예에 따른, 사용자 단말 장치에 디스플레이되는 가이드 정보를 설명하기 위한 도면이다.
도 4를 참조하면, 사용자 단말 장치(200)의 디스플레이(230)에는 사용자의 행동을 유도하는 가이드 정보가 디스플레이될 수 있다.
이를 위해, 서버(400)는 사용자 단말 장치(200)로부터 사용자의 아바타(500) 및 헬스 데이터를 포함하는 정보가 수신되면, 기저장된 헬스 케어 정보 중에서 사용자의 아바타(500)에 대응되는 헬스 케어 정보를 획득하고, 획득된 헬스 케어 정보 및 수신된 헬스 데이터에 기초하여 현재 사용자의 건강 상태를 판단할 수 있다. 구체적으로, 서버(400)는 획득된 헬스 케어 정보에 저장된 사용자의 생체 정보 내지 현재 사용자의 생체 정보를 상호 피드백하여 현재 사용자의 건강 상태를 판단할 수 있다.
그리고, 서버(400)는 현재 사용자의 건강 상태에 기초하여 현재 사용자에게 필요한 행동을 판단할 수 있다. 예를 들어, 서버(400)는 현재 사용자의 혈당량이 기준치를 초과하고 있다고 판단되면 혈당량 조절을 위한 음식 섭취가 필요하다고 판단할 수 있고, 현재 사용자의 체지방 수치가 기준치를 초과하고 있다고 판단되면 체지방 조절을 위한 운동이 필요하다고 판단할 수 있다.
이 후, 서버(400)는 사용자에게 필요하다고 판단된 행동을 실제 사용자가 수행할 수 있도록 유도하는 정보를 포함하는 가이드 정보를 제공할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 서버(400)는 사용자의 혈당량이 기준치를 초과하여 혈당량 조절을 위해 녹차의 섭취가 필요하다고 판단되면, 사용자의 아바타(500) 및 녹차가 먹고 싶다는 메시지(600)를 포함하는 가이드 정보를 사용자 단말 장치(200)로 전송할 수 있다. 경우에 따라서는, 녹차가 먹고 싶다는 메시지(600)를 포함하는 가이드 정보 만을 사용자 단말 장치(200)로 전송하는 것도 가능하다.
한편, 도 4에 도시된 바와 같이, 가이드 정보에는 사용자의 현재 건강 상태에 대한 정보, 예를 들어 체력(HP), 혈압, 혈당, 심박수 및 체온 등에 대한 정보가 포함될 수 있다. 여기에서, 사용자의 체력(HP)은 웨어러블 기기(100)에 포함된 키넥트(Kinect) 센서를 이용하여 측정된 수면 시간 및 헬스 케어 정보, 즉 서버(400)에 저장된 사용자의 헬스 데이터 및 행동 정보에 기초하여 생성될 수 있다. 구체적으로, 서버(400)는 헬스 데이터 및 헬스 케어 정보를 상호 피드백하여 사용자의 수면 시간, 건강에 좋은 음식의 섭취 여부 등을 판단하고, 이에 기초하여 가이드 정보에 포함되는 사용자의 체력(HP)을 달리하여 생성 할 수 있다. 한편, 혈압의 경우는 웨어러블 기기(100)에 포함된 혈압 측정 센서에 의해서 측정된 혈압에 기초하여 생성될 수 있다. 여기에서, 혈압 측정 센서는 손가락 또는 손목의 맥파(PPG, Photo Plethysmo-Graphy)를 측정하여 동맥 평균 혈압을 산출할 수 있는 적외선 센서, 사용자의 심전도(ECG, Electrocardiogram) 및 맥파를 측정하여 맥파 전달 시간을 산출하여 혈압을 산출할 수 있는 적외선 센서 등 실시간으로 사용자의 혈압을 측정할 수 있는 센서가 될 수 있다. 또한, 체온의 경우는 웨어러블 기기100)에 포함된 온도 측정 센서에 의해서 측정된 온도에 기초하여 생성될 수 있다. 한편, 혈당 및 심박수에 대한 정보를 생성하는 방법은 상술한 바 있으므로, 여기서는 생략하기로 한다.
이에 따라, 사용자는 시각적으로 현재 자신의 건강 상태를 판단할 수 있고, 가이드 정보에 따라 행동해야 할 필요성을 느끼게 되어 자신의 건강을 보다 효율적으로 관리할 수 있다.
도 5(a) 및 도 5(b)는 본 발명의 일 실시 예에 따른, 전자 장치에 디스플레이되는 가이드 정보를 설명하기 위한 도면이다.
도 5(a) 및 도 5(b)를 참조하면, 전자 장치(300)의 디스플레이(230)에는 사용자의 행동을 유도하는 가이드 정보가 디스플레이될 수 있다.
이를 위해, 서버(400)는 전자 장치(300)로부터 사용자의 아바타(500) 및 헬스 데이터를 포함하는 정보가 수신되면, 사용자의 아바타(500)에 대응되는 헬스 케어 정보를 획득하고, 획득된 헬스 케어 정보 및 수신된 헬스 데이터에 기초하여 현재 사용자의 건강 상태를 판단할 수 있다. 구체적으로, 서버(400)는 획득된 헬스 케어 정보에 저장된 사용자의 생체 정보 내지 현재 사용자의 생체 정보를 상호 피드백하여 현재 사용자의 건강 상태를 판단할 수 있다.
그리고, 서버(400)는 사용자의 건강 상태에 기초하여 현재 사용자에게 필요한 행동을 판단하여, 판단된 행동을 실제 사용자가 수행할 수 있도록 유도하는 정보를 포함하는 가이드 정보를 제공할 수 있다.
예를 들어, 도 5(a) 를 참조하면, 서버(400)는 사용자의 혈당량이 기준치를 초과하여 혈당량 조절을 위해 녹차의 섭취가 필요하다고 판단되면, 사용자의 아바타(500) 및 녹차가 먹고 싶다는 메시지(600)를 포함하는 가이드 정보를 전자 장치(300)로 전송할 수 있다.
또한, 도 5(b)를 참조하면, 서버(400)는 사용자의 체지방 수치가 기준치를 초과하여 체지방 조절을 위한 운동이 필요하다고 판단되면, 사용자의 아바타(500) 및 운동이 필요하다는 메시지(600)를 포함하는 가이드 정보를 전자 장치(300)로 전송할 수 있다.
이에 따라, 전자 장치(200)는 수신한 가이드 정보를 디스플레이하여 사용자가 가이드 정보에 따라 녹차를 마시도록 유도할 수 있다.
한편, 이러한 가이드 정보는 전자 장치(300)의 기능과 관련된 가이드 정보일 수 있다.
예를 들어, 서버(400)는 사용자의 건강 상태에 기초하여 음식 섭취 및 운동이 모두 필요하다고 판단할 수 있다. 이 때, 서버(400)는 사용자가 냉장고 위치에 접근한 것으로 판단되면 도 5(a)에 도시된 바와 같이 냉장고 기능과 관련된 가이드 정보를 전자 장치(300)로 전송하고, 사용자가 러닝 머신 위치에 접근한 것으로 판단되면 도 5(b)에 도시된 바와 같이 러닝 머신 기능과 관련된 가이드 정보를 전자 장치(300)로 전송할 수 있다.
한편, 서버(400)는 사용자의 위치를 사용자 단말 장치(200)의 위치에 기초하여 판단할 수 있다. 여기에서, 사용자 단말 장치(200)의 위치는 GPS 신호 등에 의해서 감지할 수 있으며 위치 정보와 관련된 구체적인 설명은 상술한 바 있다.
이에 따라, 사용자는 근접한 전자 장치(300)의 기능과 관련된 가이드 정보를 제공받을 수 있고, 이에 따라 필요한 행동을 바로 수행할 수 있다는 점에서, 보다 효율적으로 건강을 관리할 수 있다.
도 6(a) 및 도 6(b)는 본 발명의 일 실시 예에 따른, 사용자 단말 장치(200)에서 전자 장치(400)로 아바타 및 헬스 데이터를 포함하는 정보를 전송하는 방법을 설명하기 위한 도면이다.
먼저, 도 6(a)에 도시된 바와 같이, 사용자 단말 장치(200)에는 사용자에 대응되는 아바타(500)가 디스플레이되어 있을 수 있다.
이 때, 사용자 단말 장치(200)는 사용자가 아바타(500)를 터치 후 미는 동작, 즉 스와이프 동작을 수행하면, 전자 장치(300)와 통신을 수행하여 아바타(500)를 전자 장치(300)로 전송할 수 있다. 구체적으로, 사용자 단말 장치(200)는 사용자 입력을 통해서 전자 장치(300)와 통신 연결이 된 상태에서, 사용자의 스와이핑 동작이 감지되면 터치된 아바타를 전자 장치(300)로 전송하도록 기설정되어 있을 수 있다.
한편, 사용자 단말 장치(200)는 사용자가 전자 장치(300)의 위치에 접근한 것으로 판단되면 자동적으로 전자 장치(300)와 통신을 연결할 수 있다. 여기에서, 사용자 단말 장치(200) 및 전자 장치(300)는 IoT(Internet Of Things) 기반의 네트워크를 통해 연결될 수 있다. 예를 들어, 사용자 단말 장치(200)가 전자 장치(300)로부터 기설정된 거리 범위 내에 존재하면 전자 장치(300)는 센싱 신호를 IoT 관리 서버(미도시)에 송신할 수 있다. 그리고, IoT 관리 서버(미도시)에 의해서 센싱 신호가 사용자 단말 장치(200)에 송신되면, 사용자 단말 장치(200)는 전자 장치(300)와 통신 연결을 수행하도록 기설정되어 있을 수 있다.
한편, 사용자 단말 장치(200)에서 전자 장치(300)로 전송되는 아바타는 헬스 데이터에 관한 정보를 포함할 수 있다. 구체적으로, 사용자 단말 장치(200)에 디스플레이 되어 있는 아바타에 헬스 데이터를 매핑 시켜놓음으로써, 아바타는 헬스 데이터에 관한 정보를 포함할 수 있다. 이에 따라, 전자 장치(300)는 헬스 데이터에 관한 정보를 포함하는 아바타를 수신 받고, 이를 서버(400)에 전송함으로써 헬스 데이터에 기초한 가이드 정보를 수신 받을 수 있다.
이후, 전자 장치(300)는 서버(400)로부터 가이드 정보를 직접 전송받아서 디스플레이 할 수 있다.
이에 따라, 사용자는 전자 장치(300)의 디스플레이를 통해서 직접 가이드 정보를 제공 받을 수 있다는 점에서, 현재 필요한 행동을 즉각적으로 수행할 수 있고 이에 따라 보다 효율적으로 건강 관리를 할 수 있다.
한편, 도 6(a) 및 도 6(b)에서는 스와이핑 동작을 통해서 아바타를 전자 장치(300)로 전송할 수 있는 것으로 설명하였으나, 아바타를 터치하는 동작 내지 사용자 단말 장치(200)를 흔드는 동작 등 다양한 방식에 의해서 아바타를 전자 장치(300)로 전송할 수 있음은 물론이다.
도 7(a) 및 도 7(b)는 본 발명의 일 실시 예에 따른, 업데이트된 헬스 케어 정보에 기초하여 아바타의 상태를 변경하여 디스플레이되는 가이드 정보를 설명하기 위한 도면이다.
도 7(a)를 참조하면, 서버(400)는 헬스 케어 정보 및 헬스 데이터에 기초하여 사용자의 현재 혈당량이 기준치보다 높다고 판단될 경우 아픈 모습의 아바타(710)를 포함하는 가이드 정보를 생성하여 사용자 휴대 단말 장치(200)로 전송할 수 있다.
이후, 서버(400)는 전자 장치(300)로부터 사용자의 행동에 따른 정보가 수신되면 수신된 정보에 기초하여 헬스 케어 정보를 업데이트 할 수 있다. 예를 들어, 사용자의 행동에 따른 정보가 가이드 정보에 따라 녹차를 마셨다는 정보이면, 서버(400)는 헬스 케어 정보에 사용자가 녹차를 마셨다는 정보를 업데이트하여 저장할 수 있다.
그리고, 서버(400)는 업데이트된 헬스 케어 정보 및 웨어러블 기기(100)로부터 수신한 헬스 데이터에 기초하여 사용자의 혈당량이 적정 수치로 조절되었다고 판단되면, 도 7(b)에 도시된 바와 같이 아픈 모습의 아바타(710)를 변경하여 웃는 모습의 아바타(720)를 포함하는 가이드 정보를 사용자 단말 장치(200)로 전송할 수 있다. 구체적으로, 웨어러블 기기(100)는 실시간으로 사용자의 생체 신호를 측정하여 헬스 데이터를 생성하고, 서버(400)는 웨어러블 기기(100)에서 생성된 헬스 데이터를 실시간으로 수신할 수 있다. 이에 따라, 서버(400)는 사용자의 행동이 반영된 헬스 데이터, 예를 들어 사용자가 녹차를 마시는 행동을 한경우 혈당 수치가 감소된 업데이트된 헬스 데이터를 수신할 수 있고, 서버(400)는 업데이트된 헬스 데이터 및 상술한 업데이트된 헬스 케어 정보에 기초하여 아바타의 형태를 변경하여 디스플레이 할 수 있다. 한편, 사용자의 행동에 따른 정보의 수신 방법은 전술한 바 있으므로 여기서는 생략한다.
이에 따라, 업데이트된 헬스 케어 정보에 기초하여 변경되는 아바타를 통해서 사용자는 자신의 건강 상태를 실시간으로 확인할 수 있다는 점에서, 사용자는 보다 효율적으로 자신의 건강을 관리할 수 있다.
도 8(a) 및 도 8(b)는 본 발명의 일 실시 예에 따른, 헬스 데이터에 기초하여 아바타의 모션이 실시간으로 변경되어 디스플레이되는 과정을 설명하기 위한 도면이다.
도 8(a)에 도시된 바와 같이, 사용자는 전자 장치(300), 예를 들어 러닝 머신을 이용하여 달리기를 하고 있을 수 있다. 이 경우 웨어러블 기기(100)는 가속도 센서, 자이로 센서 등을 이용하여 사용자의 운동 정도, 심박수 등을 측정할 수 있고, 서버(400)는 웨어러블 기기(100) 또는 사용자 단말 장치(200)로부터 사용자의 심박수를 포함하는 헬스 데이터가 수신되면, 헬스 데이터를 분석하여 사용자가 달리기 중임을 판단할 수 있다. 이에 따라, 서버(400)는 도8(b)에 도시된 바와 같이, 달리기 중인 사용자에 대응되도록 달리는 모습의 아바타를 생성하여 전자 장치(300)로 전송할 수 있다. 이에 따라, 사용자는 아바타의 실시간 변경 모습을 보면서 운동을 흥미롭게 수행할 수 있다.
도 9(a) 및 도 9(b)는 본 발명의 일 실시 예에 따른, 카메라를 통해 촬영된 영상에 사용자의 아바타를 합성하여 디스플레이되는 가이드 정보를 설명하기 위한 도면이다.
도 9(a) 및 도 9(b)에 도시된 바와 같이, 사용자의 행동을 유도하는 형태의 가이드 정보는 증강현실(Augmented Reality) 기술을 이용하여 제공될 수 있다.
구체적으로, 사용자 단말 장치(200)는 영상의 촬영으로 인해 생성된 이미지 프레임과 사용자 단말 장치(200)의 위치 정보를 서버(400)로 전달하고, 서버(400)에서 제공된 해당 이미지에 대한 AR 컨텐츠를 실시간 이미지와 함께 디스플레이에 표시할 수 있다.
도 9(a) 및 도 9(b)에 도시된 바와 같이, AR 컨텐츠는 전자 장치(300)가 위치한 곳으로 사용자를 유도하여, 현재 사용자에 필요한 행동을 제안하는 아바타를 포함하는 가이드 정보가 될 수 있다. 이를 위해, 서버(400)는 전자 장치(300)에 관한 위치 정보를 사용자 단말 장치(200) 또는 전자 장치(300)로부터 수신하거나, 기저장된 전자 장치(300)의 위치 정보를 이용할 수 있음은 전술한 바 있다.
이에 따라, 사용자는 전자 장치(300)가 디스플레이를 구비하고 있지 않은 경우에도, 사용자 단말 장치(200)를 통해서 전자 장치(300)의 기능과 관련된 정보를 포함하는 가이드 정보를 받을 수 있다는 효과가 있다.
도 10(a) 및 도 10(b)는 본 발명의 일 실시 예에 따른, 타 사용자의 아바타가 사용자의 아바타와 함께 디스플레이되는 가이드 정보를 설명하기 위한 도면이다.
먼저, 서버(400)에는 타 사용자가 사용자의 아바타(820)의 헬스 케어 정보에 대한 접근 권한이 있는 것으로 기저장되어 있을 수 있다. 예를 들어, 서버(400)에는 제1 사용자가 제2 사용자의 헬스 케어 정보에 대하여 접근 권한이 있는 것으로 기저장되어 있을 수 있다.
이 경우, 타 사용자의 사용자 단말 장치와 사용자 단말 장치(200)가 기설정된 거리 범위 내에 위치하면, 도 10(a) 및 도 10(b)에 도시된 바와 같이, 사용자 단말 장치(200)에는 타 사용자 단말 장치의 아바타(810)와 사용자 단말 장치(200)의 아바타(820)가 사용자 단말 장치(200)의 카메라에 의해 촬영되는 실시간 영상에 함께 디스플레이 될 수 있다. 여기에서, 타 사용자의 아바타(810)를 이용하여 사용자의 행동을 유도하는 형태의 가이드 정보는 증강현실(Augmented Reality) 기술을 이용하여 제공될 수 있다.
이에 따라, 아바타(820)에 대응되는 사용자가 어린 아이일 경우, 보호자 아바타(810)를 통해서 가이드 정보를 제공할 수 있다는 점에서, 보호자는 피보호자의 행동을 보다 효율적으로 제어할 수 있다는 효과가 있다.
도 11은 본 발명의 일 실시 예에 따른, 가이드 정보 제공 시스템을 설명하기 위한 흐름도이다.
먼저, 웨어러블 디바이스(100)는 사용자의 신체에 착용되어 헬스 데이터를 측정할 수 있다(S1110). 그리고, 사용자 단말 장치(200)와의 통신을 통하여 측정한 헬스 데이터는 사용자 단말 장치(200)로 전송될 수 있다(S1120). 여기에서, 헬스 데이터는 사용자의 혈당, 칼로리, 수면 정보 등이 될 수 있다.
그리고, 사용자 단말 장치(200)는 사용자 인증이 완료되면 사용자에 대응되는 아바타를 생성할 수 있고(S1130), 생성된 아바타를 웨어러블 기기(100)로부터 수신한 헬스 데이터와 함께 서버(400)로 전송할 수 있다.
이 후, 서버(400)는 기저장된 하나 이상의 아바타에 대응되는 헬스 케어 정보 중에서 사용자의 아바타에 대응되는 헬스 케어 정보를 획득할 수 있다. 그리고 획득한 헬스 케어 정보 및 수신한 헬스 데이터에 기초하여 사용자의 행동을 유도하는 가이드 정보를 생성할 수 있다(S1150).
여기에서, 생성된 가이드 정보는 사용자 단말 장치(200) 및 전자 장치(300) 중 적어도 하나로 전송될 수 있다(S1160, S1170). 이 후, 사용자 단말 장치(200) 또는 전자 장치(300)는 수신한 가이드 정보를 디스플레이하여 사용자의 특정 행동을 유도할 수 있다(S1180, S1190).
도 12는 본 발명의 일 실시 예에 따른, 가이드 정보를 제공하는 방법을 설명하기 위한 흐름도이다.
먼저, 서버(400)는 사용자 단말 장치(200)로부터 사용자의 아바타 및 헬스 데이터를 포함하는 정보를 수신할 수 있다(S1210). 그리고, 서버(400)는 기저장된 하나 이상의 아바타에 대응되는 헬스 케어 정보 중에서 사용자의 아바타에 대응되는 헬스 케어 정보를 획득할 수 있다(S1220). 이 후, 서버(400)는 획득된 헬스 케어 정보 및 수신된 헬스 데이터에 기초하여 사용자의 행동을 유도하는 가이드 정보를 생성하고(S1230), 생성된 가이드 정보를 사용자 단말 장치 및 전자 장치 중 적어도 하나로 전송할 수 있다(S1240).
이상과 같이 본 발명의 다양한 실시 예에 다르면, 사용자의 행동을 유도하는 형태의 가이드 정보가 제공될 수 있어 사용자는 보다 효과적으로 건강을 관리할 수 있다.
특히, 웨어러블 기기(100)에서 생성된 헬스 데이터를 사용자 단말 장치(200)뿐만 아니라 서버(300)에 저장 및 프로세싱할 수 있게 함으로써, 장기간 개인 데이터의 축적이 가능할 뿐만 아니라, 단순 데이터 축적의 수동적인 개념이 아닌 축적된 데이터에 기반하여 사용자 활동 반경 및 전자 장치(300)에 따라 상황에 맞는 가이드 정보를 실시간으로 추천해 줄 수 있는 효과가 있다.
또한, 개인 건강 정보가 반영된 사용자의 아바타를 개인 인증 및 서버(400) 내 개인 데이터 분류 마커로 활용함으로써, 아바타의 이동에 따라 기기간 데이터 교환 및 저장 또한 수반되어 기기간의 데이터 연속성을 확보할 수 있다는 효과가 있다. 또한, 아바타 생성 및 육성 활동을 통해 건강 관리 자체의 흥미 유발 기능 또한 기대할 수 있음은 물론이다. 한편, 상술한 다양한 실시 예에 따른 서버, 사용자 단말 장치, 전자 장치의 제어 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 다양한 제어 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다.
일 예로, 사용자의 아바타 및 헬스 데이터를 포함하는 정보를 수신하는 단계, 아바타에 대응되는 헬스 케어 정보를 획득하는 단계, 헬스 케어 정보 및 헬스 데이터에 기초하여 가이드 정보를 생성하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
-
-

Claims (15)

  1. 서버에 있어서,
    사용자 단말 장치 및 전자 장치와 통신하는 통신 인터페이스;
    사용자의 아바타에 대응되는 헬스 케어 정보를 저장하는 스토리지;
    상기 사용자 단말 장치로부터, 상기 사용자의 아바타 및 헬스 데이터를 포함하는 정보가 수신되면, 상기 스토리지로부터 상기 사용자의 아바타에 대응되는 헬스 케어 정보를 획득하고, 상기 획득된 헬스 케어 정보 및 상기 수신된 헬스 데이터에 기초하여 사용자의 행동을 유도하는 가이드 정보를 상기 사용자 단말 장치 및 상기 전자 장치 중 적어도 하나로 전송하도록 상기 통신 인터페이스를 제어하는 프로세서;를 포함하는 서버.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 아바타가 상기 사용자의 행동을 유도하는 형태의 상기 가이드 정보를 상기 사용자 단말 장치 및 상기 전자 장치 중 적어도 하나로 전송하는, 서버.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 가이드 정보를 상기 사용자 단말 장치 및 상기 전자 장치 중 적어도 하나로 전송한 이후, 상기 전자 장치로부터 상기 사용자의 행동에 따른 정보가 수신되면, 상기 수신된 정보에 기초하여 상기 스토리지에 저장된 헬스 케어 정보를 업데이트하는, 서버.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 사용자 단말 장치가 상기 전자 장치의 위치에 접근한 것으로 판단되면, 상기 전자 장치의 기능과 관련된 가이드 정보를 전송하는, 서버.
  5. 제3항에 있어서,
    상기 프로세서는,
    상기 업데이트된 헬스 케어 정보에 기초하여 상기 아바타의 상태를 변경하고, 상기 변경된 아바타를 상기 사용자 단말 장치 및 상기 전자 장치 중 적어도 하나로 전송하는, 서버.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 헬스 데이터에 기초하여 상기 아바타의 모션을 실시간으로 변경하여 상기 사용자 단말 장치 및 상기 전자 장치 중 적어도 하나로 전송하는, 서버.
  7. 사용자 단말 장치에 있어서,
    디스플레이;
    사용자의 아바타를 저장하는 스토리지;
    상기 사용자의 아바타에 대응되는 헬스 케어 정보를 저장하는 서버 및 웨어러블 기기와 통신하는 통신 인터페이스; 및
    기설정된 이벤트에 따라 상기 사용자의 아바타를 디스플레이하고, 상기 웨어러블 기기로부터 헬스 데이터가 수신되면, 상기 사용자의 아바타 및 상기 헬스 데이터를 상기 서버로 전송하고, 상기 서버로부터 상기 사용자의 행동을 유도하는 가이드 정보를 수신하여 상기 디스플레이를 통해 디스플레이하는 프로세서;를 포함하며
    상기 가이드 정보는, 상기 아바타에 대응되는 헬스 케어 정보 및 상기 헬스 데이터에 기초하여 생성된 정보인, 사용자 단말 장치.
  8. 제7항에 있어서,
    카메라;를 더 포함하며,
    상기 프로세서는,
    상기 사용자 단말 장치의 주변 기기에 대한 정보를 상기 서버로 전송하고, 상기 서버로부터 상기 주변 기기로의 접근을 유도하는 가이드 정보가 수신되면, 상기 카메라를 통해 촬영된 영상에 상기 사용자의 아바타를 합성하여 디스플레이하는, 사용자 단말 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 사용자 단말 장치가 상기 주변 기기의 위치에 접근하면, 상기 아바타가 상기 사용자의 행동을 유도하는 형태의 상기 가이드 정보를 디스플레이하는, 사용자 단말 장치.
  10. 제7항에 있어서,
    상기 프로세서는,
    타 사용자의 타 사용자 단말 장치가 상기 사용자 단말 장치와 기 설정된 거리 범위 내에 위치하면, 상기 타 사용자의 아바타를 상기 사용자의 아바타와 함께 디스플레이하고, 상기 가이드 정보에 기초하여 상기 타 사용자의 아바타가 상기 사용자의 아바타의 행동을 유도하는 형태의 가이드 정보를 디스플레이하는, 사용자 단말 장치.
  11. 제7항에 있어서,
    상기 프로세서는,
    상기 헬스 데이터에 기초하여 상기 아바타의 모션을 실시간으로 변경하여 디스플레이하는, 사용자 단말 장치.
  12. 사용자 단말 장치 및 전자 장치 중 적어도 하나에 가이드 정보를 제공하는 방법에 있어서,
    상기 사용자 단말 장치로부터, 사용자의 아바타 및 헬스 데이터를 포함하는 정보를 수신하는 단계;
    상기 사용자의 아바타에 대응되는 헬스 케어 정보를 획득하는 단계; 및
    상기 획득된 헬스 케어 정보 및 상기 수신된 헬스 데이터에 기초하여 사용자의 행동을 유도하는 가이드 정보를 상기 사용자 단말 장치 및 상기 전자 장치 중 적어도 하나로 전송하는 단계;를 포함하는 방법.
  13. 제12항에 있어서,
    상기 가이드 정보는,
    상기 아바타가 상기 사용자의 행동을 유도하는 형태의 정보인, 방법
  14. 제13항에 있어서,
    상기 전자 장치로부터 상기 사용자의 행동에 따른 정보를 수신하는 단계; 및
    상기 수신된 정보에 기초하여 상기 헬스 케어 정보를 업데이트하는 단계;를 더 포함하는, 방법.
  15. 제13항에 있어서,
    상기 사용자 단말 장치가 상기 전자 장치의 위치에 접근한 것으로 판단되면, 상기 전자 장치의 기능과 관련된 가이드 정보를 디스플레이하는 단계;를 더 포함하는, 방법.
PCT/KR2017/013440 2016-12-15 2017-11-23 서버, 휴대 단말 장치, 전자 장치 및 그 제어 방법 WO2018110854A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/467,670 US11651842B2 (en) 2016-12-15 2017-11-23 Server, portable terminal device, electronic device, and control method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0171638 2016-12-15
KR1020160171638A KR102486814B1 (ko) 2016-12-15 2016-12-15 서버, 휴대 단말 장치, 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2018110854A1 true WO2018110854A1 (ko) 2018-06-21

Family

ID=62558897

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/013440 WO2018110854A1 (ko) 2016-12-15 2017-11-23 서버, 휴대 단말 장치, 전자 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US11651842B2 (ko)
KR (1) KR102486814B1 (ko)
WO (1) WO2018110854A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020137196A1 (ja) * 2018-12-27 2020-07-02 本田技研工業株式会社 画像表示装置、画像表示システムおよび画像表示方法
US20230031159A1 (en) * 2019-12-30 2023-02-02 Luxembourg Institute Of Science And Technology (List) Wearable device with sensors for health and safety monitoring

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102321445B1 (ko) 2019-04-01 2021-11-05 주식회사 에버닌 무릎 트래커를 이용한 의료기기용 헬스 케어 시스템
KR102290504B1 (ko) 2019-07-24 2021-08-19 주식회사 에버닌 트래커를 이용한 헬스 케어 시스템
KR102139922B1 (ko) * 2019-08-26 2020-07-31 이경연 반려동물 행동 감시 케어시스템
US20220020481A1 (en) 2020-07-20 2022-01-20 Abbott Laboratories Digital pass verification systems and methods
KR102590066B1 (ko) 2021-05-25 2023-10-17 한국과학기술연구원 머신런닝 기반 단일 관성 측정장치를 이용한 헬스 케어 시스템
US12026684B2 (en) * 2022-05-06 2024-07-02 Bank Of America Corporation Digital and physical asset transfers based on authentication

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070005359A (ko) * 2005-07-06 2007-01-10 엘지전자 주식회사 아바타 냉장고
KR20120013530A (ko) * 2010-08-05 2012-02-15 주식회사 매경헬스 캐릭터를 이용한 건강관리 방법 및 시스템
KR20140042454A (ko) * 2012-09-28 2014-04-07 경희대학교 산학협력단 스마트 건강관리 시스템용 힐링토큰 및 이를 구비한 건강공간
KR101545703B1 (ko) * 2009-01-12 2015-08-20 삼성전자 주식회사 이동단말의 위치정보를 활용한 위치 서비스 제공 및 수신방법
KR101628713B1 (ko) * 2015-10-30 2016-06-09 송주희 센서 정보와 헬스 아바타를 이용한 운동관리 시스템과 방법 및 그 방법을 컴퓨터로 실행시키기 위한 프로그램 코드를 저장한 기록매체

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1869377A4 (en) 2005-03-30 2016-08-17 Lg Electronics Inc AVATAR REFRIGERATOR
KR100750633B1 (ko) 2006-04-18 2007-08-20 삼성전자주식회사 휴대 단말기 간의 캐릭터 전이 시스템 및 방법
US8612363B2 (en) 2008-06-12 2013-12-17 Microsoft Corporation Avatar individualized by physical characteristic
US9408537B2 (en) * 2008-11-14 2016-08-09 At&T Intellectual Property I, Lp System and method for performing a diagnostic analysis of physiological information
EP2410910A4 (en) 2009-03-27 2014-10-15 Dexcom Inc METHODS AND SYSTEMS FOR PROMOTING GLUCOSE MANAGEMENT
JP5086302B2 (ja) 2009-05-08 2012-11-28 ヤフー株式会社 デバイス間でキャラクタが移動するデバイス及び通信システムの制御方法
WO2013032955A1 (en) * 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
KR101540100B1 (ko) 2012-09-28 2015-07-30 경희대학교 산학협력단 스마트 건강관리 시스템 및 이를 구비한 건강공간
US9652992B2 (en) * 2012-10-09 2017-05-16 Kc Holdings I Personalized avatar responsive to user physical state and context
US10279247B2 (en) 2013-12-13 2019-05-07 Masimo Corporation Avatar-incentive healthcare therapy
JP6266330B2 (ja) 2013-12-13 2018-01-24 Kddi株式会社 遠隔操作システムならびにそのユーザ端末および視聴機器
US20170000388A1 (en) * 2014-01-24 2017-01-05 Icura Aps System and method for mapping moving body parts
KR20150117070A (ko) 2014-04-09 2015-10-19 (주)메이벨솔루션 건강 관리를 기반한 캐릭터 육성 장치 및 서비스 방법
KR20160004436A (ko) 2014-07-02 2016-01-13 한양대학교 에리카산학협력단 사물 인터넷 기반의 스마트 차트 시스템
KR101641676B1 (ko) 2015-01-14 2016-07-21 동서대학교산학협력단 증강현실 구현 웨어러블 디바이스 착용형 헬스케어 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070005359A (ko) * 2005-07-06 2007-01-10 엘지전자 주식회사 아바타 냉장고
KR101545703B1 (ko) * 2009-01-12 2015-08-20 삼성전자 주식회사 이동단말의 위치정보를 활용한 위치 서비스 제공 및 수신방법
KR20120013530A (ko) * 2010-08-05 2012-02-15 주식회사 매경헬스 캐릭터를 이용한 건강관리 방법 및 시스템
KR20140042454A (ko) * 2012-09-28 2014-04-07 경희대학교 산학협력단 스마트 건강관리 시스템용 힐링토큰 및 이를 구비한 건강공간
KR101628713B1 (ko) * 2015-10-30 2016-06-09 송주희 센서 정보와 헬스 아바타를 이용한 운동관리 시스템과 방법 및 그 방법을 컴퓨터로 실행시키기 위한 프로그램 코드를 저장한 기록매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020137196A1 (ja) * 2018-12-27 2020-07-02 本田技研工業株式会社 画像表示装置、画像表示システムおよび画像表示方法
US11733951B2 (en) 2018-12-27 2023-08-22 Honda Motor Co., Ltd. Image display apparatus, image display system and image display method
US20230031159A1 (en) * 2019-12-30 2023-02-02 Luxembourg Institute Of Science And Technology (List) Wearable device with sensors for health and safety monitoring

Also Published As

Publication number Publication date
US20200090794A1 (en) 2020-03-19
KR20180069445A (ko) 2018-06-25
KR102486814B1 (ko) 2023-01-10
US11651842B2 (en) 2023-05-16

Similar Documents

Publication Publication Date Title
WO2018110854A1 (ko) 서버, 휴대 단말 장치, 전자 장치 및 그 제어 방법
WO2017209528A1 (en) Electronic apparatus and operating method thereof
WO2016117755A1 (ko) 디스플레이 정보를 이용한 홍채 인증 방법 및 장치
KR102322034B1 (ko) 전환 거울을 구비한 장치의 이미지 디스플레이 방법 및 그 장치
WO2015183033A1 (en) Data processing method and electronic device thereof
WO2015137673A1 (en) Method for determining data source
WO2020189930A1 (en) Electronic device and method for notification of biometric information by electronic device
EP3387574A1 (en) Authentication method and electronic device using the same
WO2019050277A1 (en) METHOD FOR OBTAINING BIOMETRIC INFORMATION BASED ON PORT STATE AND ASSOCIATED ELECTRONIC DEVICE
WO2018009029A1 (en) Electronic device and operating method thereof
WO2018208093A1 (ko) 햅틱 피드백을 제공하는 방법 및 이를 수행하는 전자 장치
CN109381165A (zh) 一种皮肤检测方法及移动终端
WO2020106060A1 (en) Electronic device and method for obtaining information regarding blood glucose of user
EP3281089A1 (en) Smart device and method of operating the same
WO2018139792A1 (ko) 헬스케어 프로그램 관리 방법 및 그 전자 장치
WO2018048212A1 (en) Method for protecting personal information and electronic device thereof
WO2018038526A1 (en) Electronic device and method for measuring heart rate based on infrared rays sensor using the same
WO2021060721A1 (ko) 전자 장치 및 그의 이미지 처리 방법
CN110750131A (zh) 温度控制方法、装置、终端设备及存储介质
WO2021101073A1 (ko) 생체 데이터를 획득하는 장치 및 그 방법
EP3952728A1 (en) Electronic device and method for providing information for stress relief by same
WO2016006920A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
CN110825223A (zh) 一种控制方法及智能眼镜
WO2017078283A1 (ko) 사용자의 위치를 결정하는 전자 장치 및 그 제어 방법
WO2016021907A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17881730

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17881730

Country of ref document: EP

Kind code of ref document: A1