WO2018225838A1 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
WO2018225838A1
WO2018225838A1 PCT/JP2018/021936 JP2018021936W WO2018225838A1 WO 2018225838 A1 WO2018225838 A1 WO 2018225838A1 JP 2018021936 W JP2018021936 W JP 2018021936W WO 2018225838 A1 WO2018225838 A1 WO 2018225838A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
avatar
data
state
information processing
Prior art date
Application number
PCT/JP2018/021936
Other languages
English (en)
French (fr)
Inventor
イー ハン レン
Original Assignee
スマート ビート プロフィッツ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by スマート ビート プロフィッツ リミテッド filed Critical スマート ビート プロフィッツ リミテッド
Priority to EP18813562.8A priority Critical patent/EP3636156A4/en
Priority to US16/620,404 priority patent/US11816264B2/en
Priority to CA3066704A priority patent/CA3066704A1/en
Priority to CN201880038038.4A priority patent/CN110868930B/zh
Priority to CN202310529501.8A priority patent/CN116509348A/zh
Priority to KR1020207000382A priority patent/KR102618437B1/ko
Priority to CN202310530957.6A priority patent/CN116548937A/zh
Publication of WO2018225838A1 publication Critical patent/WO2018225838A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A61B5/1135—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4854—Diagnosis based on concepts of traditional oriental medicine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Definitions

  • the present invention relates to an information processing system that collects and visualizes information related to a living body.
  • Patent Document 1 discloses a technique for measuring emotion data for a web-compatible application. Specifically, the user can view websites, videos, etc. based on electrodermal activity (EDA), accelerometer readings, physiological data such as skin temperature, or facial expressions or head gestures observed with a webcam. We infer the mental state when interacting with the rendering and associate this mental state information with the rendering. Further, in Patent Document 1, this mental state information is displayed using a visual expression such as an avatar. In Patent Document 2, the potential of a plurality of locations on the user's head, or the acceleration or angular velocity of the head is detected, and the movement of the head and / or facial expression is estimated based on these detection results, and the estimation is performed. A technique is disclosed in which a facial expression is given to an avatar together with the movement of the head and displayed on a display.
  • EDA electrodermal activity
  • accelerometer readings e.g., accelerometer readings, physiological data such as skin temperature, or facial expressions or head gestures observed with a webcam.
  • an avatar is used as a means of communication by displaying a user's mental state and facial expression on the avatar.
  • the use of avatars is expected to become more diverse and sophisticated.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an information processing system capable of constructing an avatar that more realistically reflects a user's state.
  • an information processing system communicates vital data acquisition means for acquiring vital data including at least a user's heart rate, and vital data acquired by the vital data acquisition means.
  • a terminal device that transmits in real time via a network; and an information processing server that processes vital data transmitted from the terminal device, wherein the information processing server includes at least the storage unit that stores the vital data; Based on a heart rate and a heart rate variability calculated based on the heart rate, a user state estimating unit that estimates the state of the user in real time, and an avatar that reflects at least an estimation result by the user state estimating unit
  • An avatar data creation unit for creating display data for displaying
  • the display data is one having a communication interface for transmitting to the requester.
  • the user state estimation unit may estimate the mental state of the user
  • the avatar data creation unit may create display data for the avatar that reflects the mental state of the user.
  • the avatar data creation unit may create display data in which the expression or posture of the avatar is changed according to the mental state of the user.
  • the avatar data creation unit may create display data in which the aura color or display range of the avatar is changed according to the mental state of the user.
  • the user state estimation unit may estimate the health state of the user
  • the avatar data creation unit may create display data for the avatar that reflects the health state of the user.
  • the avatar data creation unit may create display data in which the color of the avatar is partially changed according to the health condition of the user.
  • the avatar data creation unit may create display data in which the aura color or display range of the avatar is changed according to the health state of the user.
  • the user state estimation unit may estimate an activity state of the user
  • the avatar data creation unit may create display data for the avatar in which the activity state of the user is reflected.
  • the avatar data creation unit may create display data in which the shape of the avatar is changed according to the activity state of the user.
  • the display data is three-dimensional data including information related to the inside of the avatar, and displays the inside of the avatar in response to a transmission request for the display data from the request source.
  • Display data may be generated and transmitted to the request source.
  • the vital data acquisition unit further acquires a type of vital data different from the heart rate
  • the information processing server analyzes a correlation between different types of vital data.
  • the user state estimation unit may further estimate the user state based on an analysis result by the correlation analysis unit.
  • vital data including at least a user's heart rate is acquired, a user's state is estimated in real time based on the vital data, and avatar display data reflecting the estimation result is created. Therefore, it is possible to configure an avatar that more realistically reflects the user's state.
  • FIG. 1 is a system block diagram schematically showing an example of an information processing system according to an embodiment of the present invention. It is a system block diagram which shows roughly an example of a structure of the user terminal shown in FIG.
  • FIG. 2 is a system block diagram schematically illustrating an example of a configuration of an information processing server illustrated in FIG. 1. It is a schematic diagram which illustrates the information stored in the user management database memorize
  • FIG. 1 is a system block diagram schematically showing an example of an information processing system according to an embodiment of the present invention.
  • the information processing system 1 includes a vital data collection unit 10 that collects vital data that is biometric information of a user, a user terminal 20, and an information processing server 30.
  • the user terminal 20 and the information processing server 30 are connected via the communication network N (however, it is not limited to this).
  • the network N is configured by the Internet, LAN, leased line, telephone line, corporate network, mobile communication network, Bluetooth (registered trademark), WiFi (Wireless Fidelity), other communication lines, combinations thereof, and the like. It is a communication network, regardless of whether it is wired or wireless.
  • the vital data collection means 10 includes a plurality of devices that are attached to the user's body or are installed around the user's body and that monitor the user's body and collect vital data.
  • the vital data collection means 10 includes a heart rate meter 11 that measures the user's heart rate, a pulse meter 12, a sphygmomanometer 13, a thermometer 14, a web camera 15 that captures the movement of the user's face and body, A surface myoelectric potential sensor 16 for measuring the movement of the user's muscle is included.
  • Each device may be provided one by one, or a plurality of devices may be provided. For example, the measurement accuracy can be improved by attaching a plurality of pulse meters 12 to a plurality of locations on the user's body.
  • a microphone or a pedometer that collects the user's voice may be provided as the vital data collection means 10.
  • FIG. 2 is a system block diagram schematically showing an example of the configuration of the user terminal 20 in the information processing system according to the embodiment of the present invention.
  • the user terminal 20 is any terminal device that can exchange data with other communication devices via a communication network, such as a tablet terminal, a personal computer (PC), a notebook PC, a smartphone, a mobile phone, and a personal digital assistant (PDA). Can be used.
  • the tablet terminal is used with the user terminal 20 by installing a dedicated application on the tablet terminal and executing the application.
  • the user terminal 20 includes a communication interface 21, an input unit 22, a display unit 23, an imaging unit 24, a signal input / output unit 25, a storage unit 26, and a processor 27.
  • the communication interface 21 is a hardware module for connecting the user terminal 20 to the communication network N and communicating with other terminals on the communication network N.
  • the communication interface 21 is a modulation / demodulation device such as an ISDN modem, an ADSL modem, a cable modem, an optical modem, or a soft modem.
  • the input unit 22 is an input device such as various operation buttons and a touch panel.
  • the display unit 23 is, for example, a liquid crystal display or an organic EL display.
  • the imaging unit 24 is a camera built in the tablet terminal.
  • the signal input / output unit 25 is an interface that connects an external device to the user terminal 20 by wireless communication based on a standard such as wired (cable) or Bluetooth (Bluetooth: registered trademark), and transmits and receives signals to and from the external device. It is.
  • each device included in the vital data collection unit 10 is connected to the user terminal 20 via the signal input / output unit 25.
  • the storage unit 26 is a logical device provided by the storage area of the physical device, and stores an operating system program, a driver program, various data, and the like used for processing of the user terminal 20.
  • the physical device is a computer-readable recording medium such as a semiconductor memory.
  • the driver program include a communication interface driver program for controlling the communication interface 21, an input device driver program for controlling the input unit 22, a display device driver program for controlling the display unit 23, and an imaging unit 24. Examples thereof include an imaging device driver program for controlling, various driver programs for controlling external devices connected to the signal input / output unit 25, and the like.
  • the storage unit 26 stores a dedicated application program 261 that executes a predetermined operation in cooperation with the information processing server 30 by being executed by the processor 27.
  • the application program 261 for example, an application program (vital information processing application) for processing vital data collected by the vital data collection means 10, an application program (SNS application) for SNS (social networking service), a user's Application programs for managing health (health management application) and the like.
  • the processor 27 includes an arithmetic logic unit (CPU or the like) that processes arithmetic operations, logic operations, bit operations, and the like and various registers, and executes various programs stored in the storage unit 26 to execute the program of the user terminal 20. Centrally control each part.
  • the various registers are, for example, a program counter, a data register, an instruction register, a general-purpose register, and the like.
  • the processor 27 reads the application program 261 and functions as an application execution unit 271 for vital information processing, SNS, health management, and the like.
  • such a user terminal 20 receives various vital data output from the vital data collection means 10 and transmits the vital data to the information processing server 30 via the communication network N constantly and in real time.
  • the vital data collection means 10 is connected to the user terminal 20 and the vital data is transmitted to the information processing server 30 via the user terminal 20.
  • each of the vital data collection means 10 is provided with a communication function, and an identification code (ID) of each vital data collection means 10 is registered in advance in the information processing server 30 so that each vital data collection means 10 can receive the information processing server. It is good also as transmitting vital data to 30 directly.
  • ID identification code
  • the vital data collection means 10 and the user terminal 20 are illustrated one by one, but the present invention is not limited to this. That is, two or more user terminals 20 each connected to the vital data collection means 10 can be connected to the communication network N, and the information processing server 30 can be simultaneously accessed from each user terminal 20.
  • FIG. 3 is a system block diagram schematically showing an example of the configuration of the information processing server in the information processing system according to the embodiment of the present invention.
  • the information processing server 30 accumulates vital data transmitted from the user terminal 20 (or vital data collection means 10), estimates the user's state in real time based on the accumulated vital data, and receives information from the user terminal 20 It is a server device that visualizes a user's state and provides it to the user terminal 20 in response to a request.
  • the information processing server 30 is constituted by, for example, a host computer having a high arithmetic processing capability, and a server function is exhibited when a predetermined server program operates on the host computer. Note that the number of computers constituting the information processing server 30 is not necessarily one, and may be composed of a plurality of computers distributed on the communication network N.
  • the information processing server 30 includes a communication interface 31, a storage unit 32, and a processor 33.
  • the communication interface 31 is a hardware module for connecting to the communication network N and communicating with other terminals on the communication network N.
  • the communication interface 31 is a modulation / demodulation device such as an ISDN modem, an ADSL modem, a cable modem, an optical modem, or a soft modem.
  • the storage unit 32 is a logical device provided by a storage area of a physical device including a computer-readable recording medium such as a disk drive or a semiconductor memory (ROM, RAM, etc.).
  • the storage unit 32 may be constructed by mapping a plurality of physical devices to one logical device, or may be constructed by mapping one physical device to a plurality of logical devices.
  • the storage unit 32 stores various programs including operating system programs and driver programs, and various data used during the execution of these programs. Specifically, the storage unit 32 stores an information processing program 321 to be executed by the processor 33, a user management database 322, a user information database 323, and a correlation information database 324.
  • the information processing program 321 stores the vital data of the user and provides the processor 33 with a function for visualizing and providing the user status (mental status, health status, activity status, etc.) based on the accumulated vital data. It is a program to be executed.
  • FIG. 4 is a schematic diagram illustrating information stored in the user management database 322.
  • the user management database 322 stores user account information including a user ID, a user name, a passcode, and the like, and information for managing access restrictions.
  • the access restriction is for restricting the range of information disclosed to other users when other users request browsing of information related to the users. Depending on the relationship between the user and other users, access restrictions can be set by the user step by step in the range from “Disclose all (no access restrictions)” to “Do not disclose to anyone other than the user”. it can.
  • FIG. 5 is a schematic diagram illustrating information stored in the user information database 323.
  • the user information database 323 includes user basic information D1, such as a user's date of birth, height, weight, and blood type, vital data D2, and user status information D3 representing the user status estimated based on the vital data D2. Are stored for each user ID.
  • the vital data D2 includes primary data directly acquired by the vital data collection means 10 and secondary data acquired from the primary data.
  • the primary data includes heart rate, pulse rate, blood pressure, body temperature, movement of face, scalp and body muscles, movement of eyeball and pupil, voice and the like.
  • Secondary data is calculated from the heart rate variability calculated from the heart rate, facial expressions and body poses calculated from the movements of the face, scalp, and body muscles, and movements of the abdomen and back muscles. It includes changes in diaphragm movement, spine elongation, fluctuation rate of eye movement calculated from eye movement, change in tone (size, height, speed, etc.) of voice.
  • These secondary data may be calculated on the user terminal 20 side and transmitted to the information processing server 30, or may be calculated on the information processing server 30 side.
  • the vital data D2 is transmitted from the user terminal 20 in real time and stored in the information processing server 30. Therefore, the information processing server 30 receives the vital data D2 after a predetermined period (for example, several years) has elapsed since it was received. It may be deleted sequentially. Even in this case, the user status information acquired from the vital data to be deleted may be saved.
  • a predetermined period for example, several years
  • the user status information D3 includes emotions (feelings and emotions), mental states such as stress levels, health levels such as health levels and malfunctioning sites, “sleeping”, “waking up”, “mealing”, “exercising”, etc. Contains information representing activity status. These pieces of information may be expressed by converting the level into numerical values, may be expressed by character (or symbol) information, or may be expressed by combining numerical values and character (or symbol) information.
  • FIG. 6 is a schematic diagram illustrating information stored in the correlation information database 324.
  • the correlation information database 324 stores information (correlation information) that associates vital data with the user's state (mental state, health state, activity state).
  • information correlation information
  • FIG. 6 shows that when the level of certain vital data (data A) is “5” and the level of another vital data (data B) is “4”, the state of the user is “X1”. Yes.
  • the heart rate which is one of vital data
  • the physical condition for example, normal or fever
  • the mental state for example, when calm or nervous or excited
  • the active state for example, at rest. Or during exercise.
  • the heart rate interval is normal when it is fluctuated to some extent, and fluctuations in the heart rate interval become smaller when the mind and body are stressed or the autonomic nerve function is reduced.
  • mental states emotions and stress levels
  • health states function levels of organs and the like
  • heart rate and the rate of change of heart rate interval (rate of heart rate variability)
  • rate of heart rate variability it becomes possible to estimate to some extent the mental state, health state, and activity state of the user.
  • other vital data of the user blood pressure, body temperature, user's eye movement captured by the camera, facial muscle movement (facial expression), changes in voice tone, body muscle movement (exercise), diaphragm
  • movement, spine extension, etc. it is possible to increase the number of items that can be estimated for the user's state and improve the estimation accuracy.
  • an activity state such as sleeping or waking up.
  • the information used when estimating the user state does not need to be only the vital data, and the user state (estimated result) estimated based on the vital data may be used. That is, another type of user state may be estimated based on the estimation result based on vital data and the vital data.
  • the user's mental state can be estimated in more detail based on the stress level of the user estimated based on the heart rate and / or rate of heart rate variability and the movement of facial muscles.
  • the correlation information database 324 stores one or more pieces of correlation information used when estimating the user state in this way.
  • the correlation information is not necessarily in the form of a table, and a function that uses a plurality of types of vital data as variables, and a function that uses an estimation result based on vital data and vital data as variables may be stored as correlation information. good.
  • the correlation information stored in the correlation information database 324 may be created based on external information in advance, or may be created based on vital data stored in the information processing server 30. good. Further, the correlation information created based on the external information in advance may be updated based on the vital data stored in the information processing server 30.
  • the processor 33 includes an arithmetic logic unit (CPU or the like) that processes arithmetic operations, logic operations, bit operations, and the like and various registers, and executes various programs stored in the storage unit 32 to execute the information processing server 30. Central control of each part.
  • the various registers are, for example, a program counter, a data register, an instruction register, a general-purpose register, and the like. Further, the processor 33 implements a predetermined information processing function in cooperation with the user terminal 20 by executing the information processing program 321.
  • Functional units realized by the processor 33 executing the information processing program 321 include an authentication management unit 331, a user information management unit 332, a user state estimation unit 333, an avatar data creation unit 334, and a correlation analysis unit. 335.
  • the authentication management unit 331 performs authentication when the user terminal 20 accesses the information processing server 30. Specifically, when the user terminal 20 requests access, the authentication management unit 331 requests the user terminal 20 to input a user ID and a passcode, refers to the user management database 322, and refers to the user terminal Authentication of whether or not 20 access is permitted is performed.
  • the user information management unit 332 manages the user information database 323 based on information transmitted from the user terminal 20.
  • the user state estimation unit 333 estimates the user state based on the vital data accumulated in the vital data D2 and the correlation information database 324.
  • the avatar data creation unit 334 creates an avatar that is a character to be displayed on the Internet space as a user's alternation, and reflects the user's vital data and the estimation result (user state) by the user state estimation unit 333 in the avatar.
  • Display data for display (hereinafter referred to as avatar data) is created.
  • the vital data reflected on the avatar, the type of state of the user, and the display method of the avatar are not particularly limited. A display example of the avatar will be described later.
  • the vital data is transmitted from the user terminal 20 in real time, and the estimated user's state changes every moment.
  • the avatar data creation unit 334 creates 3D data including information representing the inside of the avatar as avatar data, and the avatar is viewed from the inside (for example, in the digestive tract) in response to a request from the user terminal 20.
  • the display data and the cross-section display data may be configured each time.
  • the correlation analysis unit 335 analyzes the correlation between the vital data (input data) transmitted from the user terminal 20 and the correlation between the vital data (input data) and the estimation result (output data) by the user state estimation unit 333. As a result, a database of correlation information in which vital data and the state of the user are associated is constructed.
  • FIG. 7 is a flowchart showing a correlation information database construction process executed by the correlation analysis unit 335.
  • the correlation analysis unit 335 acquires first information associated with a user state in advance and one or more types of second information.
  • the heart rate variability is determined in step S10 by associating the heart rate variability with the stress level in advance. It can be used as the first information.
  • the second information for example, data other than the heart rate variability is acquired, such as movement of a specific part such as an eyeball, change in tone of voice, expansion of diaphragm, stretch of spine, and the like.
  • the second information may be two or more types of information different from each other.
  • the correlation analysis unit 335 analyzes the correlation between the first information and the second information.
  • the correlation between the heart rate variability and the movement of the eyeball, the correlation between the heart rate variability and the change in the tone of the voice, and the correlation between the heart rate variability and the movement of the diaphragm are analyzed.
  • correlation analysis section 335 determines whether or not the correlation between the first information and the second information is strong. For example, when the correlation coefficient between the two is greater than or equal to a predetermined value, it is determined that the correlation is strong, and when the correlation coefficient is less than the predetermined value, it is determined that the correlation is weak.
  • the correlation analysis unit 335 ends the process.
  • the correlation analysis unit 335 is a user who is associated with the first information in advance based on the analysis result of the correlation.
  • the second information is associated with the state (step S13). Specifically, a table in which the second information is associated with the user state is created. Alternatively, a function may be created in which the second information is an input variable and the user state is an output value. This makes it possible to directly estimate the user's state based on the second information.
  • the stress level of the user can be estimated from the movement data of the user's eyeball without passing through the heart rate variability.
  • the user's emotions can be estimated from changes in the tone of the voice.
  • the degree of tension of the user can be estimated from the way the diaphragm swells and the spine stretches.
  • the correlation analysis unit 335 accumulates the correlation information between the second information acquired in this way and the user state in the correlation information database 324 (see FIG. 3). Thereafter, the correlation analysis unit 335 ends the process.
  • any information other than the heart rate variability can be used as long as the information is associated with the state of the user.
  • the eyeball movement can be used as new first information in step S10.
  • another vital data is used as the second information in step S11, and the correlation with the new first information is analyzed, thereby associating the stress level with the other vital data through the movement of the eyeball. be able to.
  • the target of analyzing the correlation is not limited to the correlation between vital data, the correlation between data arbitrarily input by the user and the vital data, the correlation between the data estimated from the vital data and the vital data, etc. May be analyzed. Specifically, the user's date of birth, time and place of birth, blood type, DNA type, fortune-telling (for example, four-posted prediction), the user's own evaluation of vital data, etc. One example is to correlate input data with vital data (such as heart rate variability).
  • the analysis result by the correlation analysis unit 335 is accumulated in the correlation information database 324.
  • the correlation information accumulated by the analysis of the correlation analysis unit 335 may be used only for estimating the state of the user used for the analysis. Alternatively, the correlation information that can be generalized may be used to estimate the status of other users.
  • FIG. 8 is a sequence diagram of information collection processing executed in the information processing system 1 according to the embodiment of the present invention.
  • the information processing server 30 requests the user terminal 20 for a user ID and passcode or new user registration (step S201).
  • the information processing server 30 issues a user ID and a passcode, and newly creates user information (step S202).
  • step S103 When the user ID and passcode are transmitted from the user terminal 20 (step S103) and the information processing server 30 succeeds in the authentication (step S203), the user terminal 20 enters a login state, and the user terminal 20 sends a vital sign to the information processing server 30. Data can be stored.
  • the information processing server 30 receives the vital data and stores it in the user information database 323 (step S204). ). Subsequently, the information processing server 30 estimates the user's state (mental state, health state, activity state) based on the accumulated vital data (step S205), and displays an avatar reflecting the user state. Avatar data for the user is created (step S206).
  • FIG. 9 is a sequence diagram of avatar display processing executed in the information processing system 1 according to the embodiment of the present invention.
  • the information processing server 30 requests the user terminal 20 for a user ID and a passcode (step S211).
  • step S112 User ID and passcode are transmitted from the user terminal 20 (step S112), and when the information processing server 30 succeeds in authentication (step S212), the user terminal 20 enters a login state. Note that if the login state of the user terminal 20 is maintained, steps S112, S211 and S212 are omitted.
  • the information processing server 30 When the user terminal 20 requests the avatar data of a specific user from the information processing server 30 (step S113), the information processing server 30 refers to the user management database 322 and confirms the access restriction of the user who has requested the avatar data. (Step S213). Then, the requested avatar data is transmitted to the user terminal 20 within the access restriction range (step S214). For example, when the access restriction is set to “not disclosed to anyone other than the person”, the information processing server 30 does not transmit avatar data to users other than the user of the avatar data.
  • FIG. 10 is a schematic diagram showing a display example of an avatar, and shows an avatar A1 that imitates the whole human body.
  • a heart model a11 may be superimposed on the avatar A1, and the heart model a11 may be pulsated in accordance with the user's heartbeat.
  • you may change the whole color of avatar A1 according to a user's body temperature.
  • the estimated mental state (for example, emotion, stress level) of the user may be reflected in the expression and color (face color) of the face a12 of the avatar A1.
  • the estimated health state of the user may be reflected in the aura (backlight) a13 of the avatar A1.
  • the display range of the aura a13 is increased as the spirit is improved, or the color of the aura a13 is changed according to the stress level.
  • the lightness of the shoulder portion a14 of the avatar A1 is reduced to indicate that the blood circulation is poor.
  • the pose of the avatar A1 is changed according to the movement of the user's muscle acquired by the surface myoelectric potential sensor 16 (see FIG. 1).
  • the avatar data creation unit 334 may change the form of the avatar A1 in response to a request transmitted from the user terminal 20. For example, a slider a15 that can be moved by an operation on the input unit 22 is displayed on the display unit 23 of the user terminal 20, and information indicating the position of the slider a15 is transmitted to the information processing server 30 when the slider a15 moves. To do.
  • the avatar data creation unit 334 creates avatar data in which past vital data is reflected according to the position of the slider a ⁇ b> 15, and transmits it to the user terminal 20. Thereby, the avatar A1 reflecting the vital data of the user's desired time is displayed on the user terminal 20.
  • the user can confirm time-series changes such as the health condition.
  • information indicating that the operated area is selected is transmitted to the information processing server 30 by performing a predetermined operation (for example, a tap operation) on the avatar A1 displayed on the display unit 23 of the user terminal 20.
  • the avatar data creation unit 334 creates avatar data representing the inside (for example, an organ) of the selected area and transmits it to the user terminal 20.
  • the user terminal 20 displays the avatar A1 in which the user-desired internal area is exposed.
  • the display method of the internal area may be a method of showing a cross section of the avatar A1, or a method of inserting a small camera inside the avatar A1 and displaying an image taken by this camera.
  • FIG. 11 is a schematic diagram showing another display example of the avatar, and shows an avatar A2 that imitates the user's head.
  • an area representing the user's emotion (emotion area a21), an area representing the right brain activity state (right brain area a22), and an area representing the left brain activity state (left brain area a23) are provided, and vital data is provided.
  • the size, color, etc. of each region are changed according to the estimated user state.
  • vital data including at least the user's heart rate is acquired in real time, and avatar data is created based on the state of the user estimated in real time based on the vital data. Therefore, it is possible to configure an avatar that realistically reflects the state of the user.
  • the correlation between a plurality of vital data and the correlation between the estimation result of the user state and the vital data are analyzed, and the user state is further estimated based on these correlations. It is possible to increase the number of items that can be estimated for the state and improve the estimation accuracy.
  • the information processing system 1 that displays the avatar based on the user's vital data as described above can be used in various applications.
  • an avatar can be used as a user profile by combining the information processing system 1 with an SNS (social networking system) such as “facebook (registered trademark)” or “LinkedIn (registered trademark)”.
  • SNS social networking system
  • FIG. 12 and 13 are diagrams for explaining an application example of the information processing system 1 in the SNS.
  • the user A is connected to the users B, C, and D as “friends”.
  • the user B is connected to the users E and F as “friends” in addition to the user A.
  • the mental state, health state, activity state, or aura of each avatar of these users is digitized, and a statistical value is calculated based on the user's friendship.
  • the aura values obtained by quantifying the auras of the avatars of the users A to F are 2, 3, 8, 5, 6, and 4, respectively. In this case, as shown in FIG.
  • the user A can perform an analysis that there are many friends who are not settled personally or many unhealthy friends. Alternatively, a comparison can be made between user A's work network and a private network.
  • numerical values used for analysis vital data itself (such as heart rate) may be used in addition to numerical values of aura, mental state, health state, activity state, and the like.
  • an average value is used as a statistical value, but a median value, a mode value, or the like may be used.
  • the aura values and vital data described above are obtained for followers and people who follow the posted articles, and the points and rankings are obtained. It may be displayed in such a form. Thereby, for example, the follower or the like can be analyzed such that the follower of the user A has a high stress level and the follower of the user B has a high health level but a low activity level.
  • an avatar may be presented to a company or a match partner as a member (a job applicant or a match applicant) profile.
  • the information processing system 1 can be used at a game site.
  • avatars may be battled in a battle game.
  • the information processing system 1 can be used in a health management application.
  • an index representing the health state of the user such as a pulse or a body temperature can be acquired from the avatar displayed on the user terminal 20. It is also possible to display an organ with the abdomen of the avatar opened or to display the avatar's digestive tract from the inside. Further, there is a usage method in which the user corrects his / her posture by looking at the posture of the whole body of the avatar.
  • a human is the user of the information processing system 1, but animals such as pets and livestock may be users. That is, a vital data collection means is attached to a dog or cat, and an animal avatar is created based on the collected vital data. In this case, the veterinarian can see the avatar and use it for examination.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Educational Technology (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Dermatology (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

ユーザの状態をよりリアルに反映したアバターを構成することが可能な情報処理システムを提供する。　情報処理システムは、ユーザの心拍変動率を含むバイタルデータを取得し、取得されたバイタルデータを、通信ネットワークを介してリアルタイムに送信する端末装置と、端末装置から送信されたバイタルデータを処理する情報処理サーバとを備える。情報処理サーバは、バイタルデータを記憶し、心拍変動率に基づいて、ユーザの状態を推定し、推定された結果が反映されたアバターを表示するための表示用データを作成し、通信ネットワークを介して表示用データの送信要求を受信した場合に、表示用データを当該要求元に送信する。

Description

情報処理システム 関連出願の相互参照
　本出願は、２０１７年６月７日に出願された日本出願番号（特願）２０１７－１１２８４５号に基づくもので、ここにその記載内容を援用する。
　本発明は、生体に関する情報を収集して可視化する情報処理システムに関する。
　近年、種々のセンサを用いて生体であるユーザに関する情報を収集し、アバターに反映して表示することにより、上記情報を可視化する技術が知られている。ここで、アバターとは、「ネット上でユーザの代わりに登場するキャラクター」（「現代用語の基礎知識２０１７」、自由国民社、第１２３１頁）のことである。
　例えば特許文献１には、ウェブ対応アプリケーションに対する感情データを測定する技術が開示されている。詳細には、電気皮膚活性（ＥＤＡ）、加速度計の読み、皮膚温度等の生理的データ、又は、ウェブカメラで観察された顔の表情や頭部ジェスチャに基づいて、ユーザがウェブサイトや映像等のレンダリングと対話する際の精神状態を推論し、この精神状態情報をレンダリングと関連付けることとしている。さらに、特許文献１においては、この精神状態情報を、アバターのような視覚的表現を用いて表示することとしている。
　特許文献２には、ユーザの頭部の複数箇所の電位、又は、頭部の加速度若しくは角速度を検出し、これらの検出結果に基づいて頭部の動き及び／又は顔の表情を推定し、推定された表情を頭部の動きと併せてアバターに付与してディスプレイに表示する技術が開示されている。
特表２０１４－５０４４６０号公報 特開２０１６－１２６５００号公報
　特許文献１、２のいずれにおいても、ユーザの精神状態や表情をアバターに表示することにより、アバターをコミュニケーションの手段として用いている。しかしながら、近年のリモートコミュニケションの広がりや、多種多様なアプリケーションの登場により、アバターの利用方法もさらに多様且つ高度になることが見込まれる。そのためには、嬉しい、悲しいといった単純な精神状態や表情だけでなく、ユーザの状態をよりリアルに反映したアバターを構成することが望まれる。
　そこで、本発明は、かかる事情に鑑みてなされたものであり、ユーザの状態をよりリアルに反映したアバターを構成することが可能な情報処理システムを提供することを目的の１つとする。
　上記課題を解決するため、本発明の一態様による情報処理システムは、少なくともユーザの心拍数を含むバイタルデータを取得するバイタルデータ取得手段と、前記バイタルデータ取得手段により取得されたバイタルデータを、通信ネットワークを介してリアルタイムに送信する端末装置と、前記端末装置から送信されたバイタルデータを処理する情報処理サーバと、を備え、前記情報処理サーバは、前記バイタルデータを記憶する記憶部と、少なくとも前記心拍数と、該心拍数に基づいて算出される心拍変動率とに基づいて、前記ユーザの状態をリアルタイムに推定するユーザ状態推定部と、少なくとも前記ユーザ状態推定部による推定結果が反映されたアバターを表示するための表示用データを作成するアバターデータ作成部と、前記通信ネットワークを介して前記表示用データの送信要求を受信した場合に、前記表示用データを当該要求元に送信する通信インタフェースと、を有するものである。
　上記情報処理システムにおいて、前記ユーザ状態推定部は、前記ユーザの精神状態を推定し、前記アバターデータ作成部は、前記ユーザの精神状態が反映された前記アバターの表示用データを作成しても良い。
　上記情報処理システムにおいて、前記アバターデータ作成部は、前記ユーザの精神状態に応じて前記アバターの表情又は姿勢を変化させた表示用データを作成しても良い。
　上記情報処理システムにおいて、前記アバターデータ作成部は、前記ユーザの精神状態に応じて前記アバターのオーラの色又は表示範囲を変化させた表示用データを作成しても良い。
　上記情報処理システムにおいて、前記ユーザ状態推定部は、前記ユーザの健康状態を推定し、前記アバターデータ作成部は、前記ユーザの健康状態が反映された前記アバターの表示用データを作成しても良い。
　上記情報処理システムにおいて、前記アバターデータ作成部は、前記ユーザの健康状態に応じて前記アバターの色を部分的に変化させた表示用データを作成しても良い。
　上記情報処理システムにおいて、前記アバターデータ作成部は、前記ユーザの健康状態に応じて前記アバターのオーラの色又は表示範囲を変化させた表示用データを作成しても良い。
　上記情報処理システムにおいて、前記ユーザ状態推定部は、前記ユーザの活動状態を推定し、前記アバターデータ作成部は、前記ユーザの活動状態が反映された前記アバターの表示用データを作成しても良い。
　上記情報処理システムにおいて、前記アバターデータ作成部は、前記ユーザの活動状態に応じて前記アバターの形状を変化させた表示用データを作成しても良い。
　上記情報処理システムにおいて、前記表示用データは、前記アバターの内部に関する情報を含む３次元データであり、前記要求元からの前記表示用データの送信要求に応じて、前記アバターの内部を表示するための表示用データを作成して前記要求元に送信しても良い。
　上記情報処理システムにおいて、前記バイタルデータ取得部は、前記心拍数とは異なる種類のバイタルデータをさらに取得し、前記情報処理サーバは、互いに異なる複数種類のバイタルデータ間における相関を分析する相関分析部をさらに有し、前記ユーザ状態推定部は、さらに前記相関分析部による分析結果に基づいて、前記ユーザの状態を推定しても良い。
　本開示によれば、少なくともユーザの心拍数を含むバイタルデータを取得して、このバイタルデータに基づいてユーザの状態をリアルタイムに推定し、この推定結果が反映されたアバターの表示用データを作成するので、ユーザの状態をよりリアルに反映したアバターを構成することが可能となる。
本発明の実施形態に係る情報処理システムの一例を概略的に示すシステムブロック図である。 図１に示すユーザ端末の構成の一例を概略的に示すシステムブロック図である。 図１に示す情報処理サーバの構成の一例を概略的に示すシステムブロック図である。 図３に示す記憶部に記憶されるユーザ管理データベースに格納される情報の例示する模式図である。 図３に示す記憶部に記憶されるユーザ情報データベースに格納される情報の例示する模式図である。 図３に示す記憶部に記憶される相関情報データベースに格納される情報の例示する模式図である。 図３に示す相関分析部が実行する相関情報データベースの構築処理を示すフローチャートである。 図１に示す情報処理システムにおいて実行される情報収集処理のシーケンス図である。 図１に示す情報処理システムにおいて実行されるアバターの表示処理のシーケンス図である。 アバターの表示例を示す模式図である。 アバターの別の表示例を示す模式図である。 図１に示す情報処理システムのＳＮＳにおける活用例を説明するための図である。 図１に示す情報処理システムのＳＮＳにおける活用例を説明するための図である。
　以下、本発明の実施の形態について詳細に説明する。なお、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。
（１）実施形態の構成
　図１は、本発明の実施形態に係る情報処理システムの一例を概略的に示すシステムブロック図である。図１に示すように、情報処理システム１は、ユーザの生体情報であるバイタルデータを収集するバイタルデータ収集手段１０と、ユーザ端末２０と、情報処理サーバ３０とを含む。このうち、ユーザ端末２０と情報処理サーバ３０とは、通信ネットワークＮを介して接続されている（但し、これに限定されない）。
　ネットワークＮは、インターネット、ＬＡＮ、専用線、電話回線、企業内ネットワーク、移動体通信網、ブルートゥース（Bluetooth：登録商標）、ＷｉＦｉ（Wireless　Fidelity）、その他の通信回線、それらの組み合わせ等によって構成される通信網であり、有線であるか無線であるかを問わない。
　バイタルデータ収集手段１０は、ユーザの身体に取り付けられ、又は、ユーザの身体の周辺に設置され、ユーザの身体をモニタしてバイタルデータを収集する複数の機器を含む。具体的には、バイタルデータ収集手段１０は、ユーザの心拍数を計測する心拍計１１の他、脈拍計１２、血圧計１３、体温計１４、ユーザの顔や身体の動きを撮影するウェブカメラ１５、ユーザの筋肉の動きを測定する表面筋電位センサ１６等を含む。各機器は、１台ずつ設けても良いし、複数台ずつ設けても良い。例えば、複数の脈拍計１２をユーザの身体の複数箇所にそれぞれ取り付けることにより、測定精度を向上させることができる。この他、ユーザの音声を収集するマイクや、歩数計などをバイタルデータ収集手段１０として設けても良い。
図２は、本発明の実施形態に係る情報処理システムにおけるユーザ端末２０の構成の一例を概略的に示すシステムブロック図である。ユーザ端末２０は、タブレット端末、パーソナルコンピュータ（ＰＣ）、ノートＰＣ、スマートフォン、携帯電話機、携帯情報端末（ＰＤＡ）など、通信ネットワークを介して他の通信機器とデータの授受が可能なあらゆる端末装置を利用することができる。本実施形態においては、タブレット端末に専用のアプリケーションをインストールし、このアプリケーションを実行させることにより、当該タブレット端末をユーザ端末２０と使用する。
　ユーザ端末２０は、通信インタフェース２１と、入力部２２と、表示部２３と、撮像部２４と、信号入出力部２５と、記憶部２６と、プロセッサ２７とを備える。
　通信インタフェース２１は、ユーザ端末２０を通信ネットワークＮに接続し、通信ネットワークＮ上の他の端末と通信をするためのハードウェアモジュールである。通信インタフェース２１は、例えば、ＩＳＤＮモデム、ＡＤＳＬモデム、ケーブルモデム、光モデム、ソフトモデム等の変調復調装置である。
　入力部２２は、各種操作ボタンやタッチパネル等の入力デバイスである。表示部２３は、例えば液晶ディスプレイ又は有機ＥＬディスプレイである。撮像部２４は、タブレット端末に内蔵されたカメラである。
　信号入出力部２５は、有線（ケーブル）又はブルートゥース（Bluetooth：登録商標）などの規格に基づく無線通信により外部機器をユーザ端末２０に接続し、当該外部機器との間で信号の送受信を行うインタフェースである。本実施形態においては、バイタルデータ収集手段１０に含まれる各機器が、信号入出力部２５を介してユーザ端末２０に接続される。
　記憶部２６は、物理デバイスの記憶領域が提供する論理デバイスであり、ユーザ端末２０の処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、各種データ等を格納する。ここで、物理デバイスは、例えば、半導体メモリ等のコンピュータ読み取り可能な記録媒体である。ドライバプログラムとしては、例えば、通信インタフェース２１を制御するための通信インタフェースドライバプログラム、入力部２２を制御するための入力デバイスドライバプログラム、表示部２３を制御するための表示デバイスドライバプログラム、撮像部２４を制御するための撮像デバイスドライバプログラム、信号入出力部２５に接続される外部機器を制御するための各種ドライバプログラム等が挙げられる。
　また、記憶部２６は、これら各種プログラムや各種データのほか、プロセッサ２７が実行することにより、情報処理サーバ３０と連携して所定の動作を実行する専用のアプリケーションプログラム２６１を記憶している。アプリケーションプログラム２６１としては、例えば、バイタルデータ収集手段１０により収集されたバイタルデータを処理するためのアプリケーションプログラム（バイタル情報処理アプリ）、ＳＮＳ（ソーシャルネットワーキングサービス）用のアプリケーションプログラム（ＳＮＳアプリ）、ユーザの健康を管理するためのアプリケーションプログラム（健康管理アプリ）等が挙げられる。
　プロセッサ２７は、算術演算、論理演算、ビット演算等を処理する算術論理演算ユニット（ＣＰＵなど）及び各種レジスタから構成され、記憶部２６に格納されている各種プログラムを実行することでユーザ端末２０の各部を中枢的に制御する。各種レジスタは、例えば、プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等である。また、プロセッサ２７は、アプリケーションプログラム２６１を読み込み、バイタル情報処理、ＳＮＳ、健康管理等のアプリケーション実行部２７１として機能する。
　このようなユーザ端末２０は、バイタルデータ収集手段１０から出力された各種バイタルデータを受信し、通信ネットワークＮを介して情報処理サーバ３０に常時且つリアルタイムに送信することが好ましい。
　なお、本実施形態においては、バイタルデータ収集手段１０をユーザ端末２０に接続し、ユーザ端末２０を介してバイタルデータを情報処理サーバ３０に送信することとした。しかしながら、バイタルデータ収集手段１０の各々に通信機能を設けると共に、各バイタルデータ収集手段１０の識別コード（ＩＤ）を予め情報処理サーバ３０に登録しておき、各バイタルデータ収集手段１０から情報処理サーバ３０にバイタルデータを直接送信することとしても良い。
　また、図１においては、バイタルデータ収集手段１０及びユーザ端末２０を１つずつ図示しているが、これに限定されない。即ち、各々にバイタルデータ収集手段１０が接続された２つ以上のユーザ端末２０を通信ネットワークＮに接続し、各ユーザ端末２０から同時に情報処理サーバ３０にアクセスすることも可能である。
　図３は、本発明の実施形態に係る情報処理システムにおける情報処理サーバの構成の一例を概略的に示すシステムブロック図である。情報処理サーバ３０は、ユーザ端末２０（又はバイタルデータ収集手段１０）から送信されたバイタルデータを蓄積すると共に、蓄積されたバイタルデータに基づいてユーザの状態をリアルタイムに推定し、ユーザ端末２０からの要求に応じてユーザの状態を可視化してユーザ端末２０に提供するサーバ装置である。情報処理サーバ３０は、例えば、演算処理能力の高いホストコンピュータによって構成され、そのホストコンピュータにおいて所定のサーバ用プログラムが動作することにより、サーバ機能を発現する。なお、情報処理サーバ３０を構成するコンピュータは、必ずしも１台である必要はなく、通信ネットワークＮ上に分散する複数のコンピュータから構成されてもよい。
　情報処理サーバ３０は、通信インタフェース３１と、記憶部３２と、プロセッサ３３とを備える。
　通信インタフェース３１は、通信ネットワークＮに接続し、通信ネットワークＮ上の他の端末と通信をするためのハードウェアモジュールである。具体的には、通信インタフェース３１は、例えば、ＩＳＤＮモデム、ＡＤＳＬモデム、ケーブルモデム、光モデム、ソフトモデム等の変調復調装置である。
　記憶部３２は、例えば、ディスクドライブまたは半導体メモリ（ＲＯＭ、ＲＡＭなど）等のコンピュータ読み取り可能な記録媒体からなる物理デバイスの記憶領域が提供する論理デバイスである。記憶部３２は、複数の物理デバイスを１つの論理デバイスにマッピングして構築してもよいし、１つの物理デバイスを複数の論理デバイスにマッピングして構築してもよい。記憶部３２は、オペレーティングシステムプログラムやドライバプログラムを含む各種プログラム及びこれらのプログラムの実行中に使用される各種データを格納する。具体的には、記憶部３２は、プロセッサ３３に実行させる情報処理プログラム３２１と、ユーザ管理データベース３２２と、ユーザ情報データベース３２３と、相関情報データベース３２４とを記憶している。
　情報処理プログラム３２１は、ユーザのバイタルデータを蓄積し、蓄積したバイタルデータに基づいてユーザの状態（精神状態、健康状態、活動状態等）を可視化して提供する機能を実現するためにプロセッサ３３に実行させるプログラムである。
　図４は、ユーザ管理データベース３２２に格納される情報を例示する模式図である。ユーザ管理データベース３２２は、ユーザＩＤ、ユーザ名、及びパスコード等を含むユーザのアカウント情報と、アクセス制限を管理するための情報を格納する。アクセス制限は、当該ユーザに関する情報の閲覧を他ユーザが要求してきた場合に、他ユーザに開示する情報の範囲を制限するためのものである。アクセス制限は、当該ユーザと他ユーザとの関係に応じて、「全て開示する（アクセス制限なし）」から「本人以外には開示しない」までの範囲で、当該ユーザが段階的に設定することができる。
　図５は、ユーザ情報データベース３２３に格納される情報を例示する模式図である。ユーザ情報データベース３２３は、ユーザの生年月日、身長、体重、及び血液型等のユーザ基本情報Ｄ１と、バイタルデータＤ２と、バイタルデータＤ２に基づいて推定されたユーザの状態を表すユーザ状態情報Ｄ３とを、ユーザＩＤごとに格納している。
　このうち、バイタルデータＤ２は、バイタルデータ収集手段１０により直接取得された一次データと、一次データから取得された二次データとを含む。一次データには、心拍数、脈拍数、血圧、体温、顔や頭皮や身体の筋肉の動き、眼球や瞳孔の動き、音声等が含まれる。また、二次データには、心拍数から算出される心拍変動率、顔や頭皮や身体の筋肉の動きから算出される顔の表情や身体のポーズ、腹部や背中の筋肉の動きから算出される横隔膜の動きや背骨の伸び、眼球の動きから算出される眼球の動きの変動率、声の調子（大きさ、高さ、速さ等）の変化などが含まれる。これらの二次データは、ユーザ端末２０側で算出して情報処理サーバ３０に送信しても良いし、情報処理サーバ３０側で算出しても良い。
　なお、バイタルデータＤ２は、ユーザ端末２０からリアルタイムに送信され、情報処理サーバ３０に蓄積されるため、情報処理サーバ３０は、受信してから所定期間（例えば数年）が経過したバイタルデータＤ２を順次削除することとしても良い。この場合であっても、削除対象のバイタルデータから取得されたユーザ状態情報については、保存しておいても良い。
　ユーザ状態情報Ｄ３は、感情（喜怒哀楽）やストレスレベル等の精神状態、健康レベルや不調部位等の健康状態、「寝ている」「起きている」「食事中」「運動中」等の活動状態を表す情報を含む。これらの情報は、レベルを数値化して表しても良いし、文字（又は記号）情報で表しても良いし、数値と文字（又は記号）情報とを組み合わせて表しても良い。
　図６は、相関情報データベース３２４に格納される情報を例示する模式図である。相関情報データベース３２４は、バイタルデータとユーザの状態（精神状態、健康状態、活動状態）とを関連付けた情報（相関情報）を格納する。相関情報の一例として、互いに異なる複数種類のバイタルデータ（図６においては、データＡ及びＢの２種類）とそのときのユーザの状態との関係を示すテーブルが挙げられる。図６においては、あるバイタルデータ（データＡ）のレベルが「５」、別のバイタルデータ（データＢ）のレベルが「４」であるとき、ユーザの状態は「Ｘ１」であることを示している。
　ここで、バイタルデータの１つである心拍数は、体調（例えば平熱時又は発熱時）や、精神状態（例えば落ち着いている時又は緊張若しくは興奮している時）や、活動状態（例えば安静時又は運動時）等に応じて変動する。他方、心拍間隔は、ある程度揺らいでいる状態が正常であり、心身にストレスがかかったり、自律神経機能が低下したりすると、心拍間隔の変動が小さくなることが知られている。また、中医学においては、心拍数及び心拍変動率に基づいて、精神状態（感情やストレスレベル）や健康状態（臓器等の機能レベル）を判断することも行われている。
　そこで、心拍数と、心拍間隔の変動率（心拍変動率）とを測定することにより、ユーザの精神状態、健康状態、及び活動状態をある程度推定することが可能となる。さらに、ユーザの他のバイタルデータ（血圧、体温、カメラで捉えられたユーザの眼の動き、顔の筋肉の動き（表情）、声の調子の変化、身体の筋肉の動き（運動）、横隔膜の動き、背骨の伸び等）を併用することにより、ユーザの状態について推定可能な項目を増やすことができると共に、推定精度を向上させることができる。例えば、精神情報及び健康情報の他にも、寝ている、起きている、といった活動状態を推定することもできる。
　ここで、ユーザの状態を推定する際に用いられる情報は、バイタルデータのみである必要はなく、バイタルデータに基づいて推定されたユーザの状態（推定結果）を用いても良い。即ち、バイタルデータに基づく推定結果とバイタルデータとに基づいて、さらに別の種類のユーザの状態を推定しても良い。例えば、心拍数及び／又は心拍変動率に基づいて推定されたユーザのストレスレベルと、顔の筋肉の動きとに基づいて、ユーザの精神状態をより詳細に推定することができる。
　相関情報データベース３２４は、このようにユーザの状態を推定する際に用いられる相関情報を１つ以上格納している。なお、相関情報は必ずしもテーブルの形態である必要はなく、複数種類のバイタルデータを変数とする関数や、バイタルデータに基づく推定結果とバイタルデータを変数とする関数を、相関情報として格納しても良い。
　相関情報データベース３２４に格納される相関情報は、予め外部情報に基づいて作成されたものであっても良いし、情報処理サーバ３０に蓄積されたバイタルデータに基づいて作成されたものであっても良い。さらには、予め外部情報に基づいて作成された相関情報を、情報処理サーバ３０に蓄積されたバイタルデータに基づいて更新することとしても良い。
　プロセッサ３３は、算術演算、論理演算、ビット演算等を処理する算術論理演算ユニット（ＣＰＵなど）及び各種レジスタから構成され、記憶部３２に格納されている各種プログラムを実行することで情報処理サーバ３０の各部を中枢的に制御する。各種レジスタは、例えば、プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等である。また、プロセッサ３３は、情報処理プログラム３２１を実行することにより、ユーザ端末２０と連携して所定の情報処理機能を実現する。
　プロセッサ３３が情報処理プログラム３２１を実行することにより実現される機能部には、認証管理部３３１と、ユーザ情報管理部３３２と、ユーザ状態推定部３３３と、アバターデータ作成部３３４と、相関分析部３３５とが含まれる。
　認証管理部３３１は、ユーザ端末２０が情報処理サーバ３０にアクセスしてきた際の認証を行う。詳細には、認証管理部３３１は、ユーザ端末２０がアクセスを要求してきた際に、当該ユーザ端末２０にユーザＩＤ及びパスコードの入力を要求し、ユーザ管理データベース３２２を参照して、当該ユーザ端末２０のアクセスを許可するか否かの認証を行う。
　ユーザ情報管理部３３２は、ユーザ端末２０から送信される情報に基づいて、ユーザ情データベース３２３を管理する。
　ユーザ状態推定部３３３は、バイタルデータＤ２に蓄積されたバイタルデータと、相関情報データベース３２４とに基づいて、ユーザの状態を推定する。
　アバターデータ作成部３３４は、ユーザの分身としてインターネット空間上に表示させるキャラクターであるアバターを作成すると共に、ユーザのバイタルデータ及びユーザ状態推定部３３３による推定結果（ユーザの状態）をアバターに反映して表示させるための表示用データ（以下、アバターデータという）を作成する。アバターに反映させるバイタルデータ及びユーザの状態の種類やアバターの表示方法は特に限定されない。アバターの表示例については後述する。
　ここで、バイタルデータはユーザ端末２０からリアルタイムに送信され、推定されるユーザの状態も刻々と変化するため、アバターをアニメーション表示することが好ましい。また、アバターデータ作成部３３４は、アバターデータとして、アバターの内部を表す情報を含む３次元データを作成し、ユーザ端末２０からの要求に応じて、アバターを内部（例えば消化管内）から見た状態の表示用データや、断面の表示用データをその都度構成するようにしても良い。
　相関分析部３３５は、ユーザ端末２０から送信されたバイタルデータ（インプットデータ）同士の相関や、バイタルデータ（インプットデータ）とユーザ状態推定部３３３による推定結果（アウトプットデータ）との相関を分析することにより、バイタルデータとユーザの状態とを関連付けた相関情報のデータベースを構築する。
　図７は、相関分析部３３５が実行する相関情報データベースの構築処理を示すフローチャートである。
　まず、ステップＳ１０において、相関分析部３３５は、ユーザの状態に予め関連付けられた第１の情報と、１種類以上の第２の情報とを取得する。ここで、上述したように、心拍変動率はユーザのストレスレベルと相関があることが知られているため、心拍変動率とストレスレベルとを予め関連付けておくことにより、心拍変動率をステップＳ１０における第１の情報として用いることができる。また、第２の情報としては、例えば眼球など特定の部位の動きや、声の調子の変化、横隔膜の膨らみ方、背骨の伸び等、心拍変動率以外のデータを取得する。第２の情報は、互いに異なる２種類以上の情報であっても良い。
　続くステップＳ１１において、相関分析部３３５は、第１の情報と第２の情報との相関を分析する。上述した例においては、心拍変動率と眼球の動きとの相関や、心拍変動率と声の調子の変化との相関、心拍変動率と横隔膜の動きとの相関が分析される。
　続くステップＳ１２において、相関分析部３３５は、第１の情報と第２の情報との相関が強いか否かを判定する。例えば、両者間の相関係数が所定値以上である場合には相関が強いと判定され、相関係数が所定値未満である場合には相関が弱いと判定される。
　第１の情報と第２の情報との間の相関が弱い場合（ステップＳ１２：Ｙｅｓ）、相関分析部３３５は処理を終了する。
　他方、第１の情報と第２の情報との間の相関が強い場合（ステップＳ１２：Ｙｅｓ）、相関分析部３３５は、相関の分析結果に基づき、第１の情報と予め関連付けられているユーザの状態に第２の情報を関連付ける（ステップＳ１３）。詳細には、ユーザの状態に第２の情報を関連付けたテーブルを作成する。或いは、第２の情報を入力変数とし、ユーザの状態を出力値とする関数を作成しても良い。これにより、第２の情報に基づいてユーザの状態を直接推定することが可能となる。上述した例においては、ユーザの眼球の動きのデータから、心拍変動率を経ることなく、ユーザのストレスレベルを推定できるようになる。或いは、声の調子の変化から、ユーザの喜怒哀楽を推定できるようになる。また、横隔膜の膨らみ方や背骨の伸びから、ユーザの緊張の度合いを推定できるようになる。相関分析部３３５は、このようにして取得された第２の情報とユーザの状態との相関情報を、相関情報データベース３２４（図３参照）に蓄積する。その後、相関分析部３３５は処理を終了する。
　第１の情報としては、ユーザの状態と関連付けられている情報であれば心拍変動率以外でも用いることができる。例えば、上記ステップＳ１３において眼球の動きとストレスレベルとが一旦関連付けられれば、その次には、眼球の動きをステップＳ１０における新たな第１の情報として用いることも可能となる。この場合、さらに別のバイタルデータをステップＳ１１における第２の情報として、新たな第１の情報との相関を分析することにより、眼球の動きを介してストレスレベルと当該別のバイタルデータとを関連付けることができる。
　また、相関を分析する対象としては、バイタルデータ同士の相関に限定されず、ユーザにより任意に入力されたデータとバイタルデータとの相関や、バイタルデータから推定されたデータとバイタルデータとの相関などを分析しても良い。具体的には、ユーザの生年月日、生まれた時間や場所、血液型、ＤＮＡ型、占い（例えば四柱推命）の結果、バイタルデータに対する自分自身の評価などのデータをユーザに入力させ、これらのインプットデータとバイタルデータ（心拍変動率等）との相関を取ることが挙げられる。
　このように、バイタルデータ同士の相関や、バイタルデータとバイタルデータ以外のデータとの相関の分析を積み重ねることにより、ユーザの状態（精神状態、健康状態、活動状態）についてより多様な項目を推定することができ、推定精度の向上を図ることもできる。そして、このようにして推定されたユーザの状態をアバターに反映させることにより、よりユーザの現状に近いアバターを表示することが可能となる。さらには、このような相関の分析結果を蓄積することにより、ユーザが自覚していない疾病等を推定できる可能性もある。
　また、多数（例えば数百～数万人）のユーザの分析結果を一定期間（例えば１年間～数年間）蓄積することにより、ユーザの状態に関する一般的傾向を把握することも可能となる。例えば、Ａ地域出身のＢ月生まれのユーザはＸ病にかかり易いといった傾向を抽出することも可能である。
　相関分析部３３５による分析結果は、相関情報データベース３２４に蓄積される。相関分析部３３５の分析により蓄積された相関情報は、当該分析に用いられたユーザの状態を推定するためだけに使用することとしても良い。或いは、一般化することが可能な相関情報は、他のユーザの状態を推定するために使用しても良い。
（２）実施形態の動作
　図８は、本発明の実施形態に係る情報処理システム１において実行される情報収集処理のシーケンス図である。
　ユーザ端末２０が情報処理サーバ３０にアクセスを要求すると（ステップＳ１０１）、情報処理サーバ３０はユーザ端末２０に対し、ユーザＩＤ及びパスコード、又は、新規ユーザ登録を要求する（ステップＳ２０１）。
　ユーザ端末２０が、新規ユーザ登録するためのユーザ登録情報を送信すると（ステップＳ１０２）、情報処理サーバ３０は、ユーザＩＤ及びパスコードを発行すると共に、ユーザ情報を新規に作成する（ステップＳ２０２）。
　ユーザ端末２０からユーザＩＤ及びパスコードを送信し（ステップＳ１０３）、情報処理サーバ３０において認証に成功すると（ステップＳ２０３）、当該ユーザ端末２０はログイン状態となり、ユーザ端末２０から情報処理サーバ３０にバイタルデータを蓄積可能な状態となる。
　バイタルデータ収集手段１０（図１参照）により収集されたバイタルデータをユーザ端末２０から送信すると（ステップＳ１０４）、情報処理サーバ３０は、バイタルデータを受信してユーザ情報データベース３２３に格納する（ステップＳ２０４）。続いて、情報処理サーバ３０は、蓄積されたバイタルデータに基づいて当該ユーザの状態（精神状態、健康状態、活動状態）を推定し（ステップＳ２０５）、ユーザの状態が反映されたアバターを表示するためのアバターデータを作成する（ステップＳ２０６）。
　図９は、本発明の実施形態に係る情報処理システム１において実行されるアバターの表示処理のシーケンス図である。
　ユーザ端末２０が、情報処理サーバ３０にアクセスを要求すると（ステップＳ１１１）、情報処理サーバ３０はユーザ端末２０に対し、ユーザＩＤ及びパスコードを要求する（ステップＳ２１１）。
　ユーザ端末２０からユーザＩＤ及びパスコードを送信し（ステップＳ１１２）、情報処理サーバ３０において認証に成功すると（ステップＳ２１２）、当該ユーザ端末２０はログイン状態となる。なお、ユーザ端末２０のログイン状態が維持されている場合には、ステップＳ１１２、Ｓ２１１、Ｓ２１２は省略される。
　ユーザ端末２０が情報処理サーバ３０に、特定のユーザのアバターデータを要求すると（ステップＳ１１３）、情報処理サーバ３０は、ユーザ管理データベース３２２を参照し、アバターデータを要求されたユーザのアクセス制限を確認する（ステップＳ２１３）。そして、アクセス制限の範囲で、要求されたアバターデータをユーザ端末２０に送信する（ステップＳ２１４）。例えば、アクセス制限が「本人以外には開示しない」と設定されている場合、情報処理サーバ３０は、当該アバターデータのユーザ以外にはアバターデータを送信しない。
　ユーザ端末２０は、受信したアバターデータに基づいて、アバターを画面に表示する（ステップＳ１１４）。
　図１０は、アバターの表示例を示す模式図であり、人間の全身を模したアバターＡ１を示している。このアバターＡ１に対し、例えば、心臓の模型ａ１１を重畳表示し、ユーザの心拍に合わせて心臓の模型ａ１１を拍動させることとしても良い。また、ユーザの体温に応じて、アバターＡ１の全体の色を変化させても良い。或いは、推定されたユーザの精神状態（例えば喜怒哀楽やストレスレベル）をアバターＡ１の顔ａ１２の表情や色（顔色）に反映させても良い。さらには、推定されたユーザの健康状態（例えば元気～不調のレベルやストレスレベル）を、アバターＡ１のオーラ（後光）ａ１３に反映させても良い。一例として、元気であるほどオーラａ１３の表示範囲を広くしたり、ストレスレベルに応じてオーラａ１３の色を変化させたりする。また、ユーザの身体における不調な箇所に対応するアバターＡ１の部分の色を、不調の程度に応じて変化させても良い。一例として、ユーザの肩こりがひどい場合に、アバターＡ１の肩の部分ａ１４の明度を落として、血行不良であることを表示する。また、ユーザの活動状態に合わせて、アバターＡ１の形状を変化させても良い。一例として、表面筋電位センサ１６（図１参照）により取得されたユーザの筋肉の動きに応じて、アバターＡ１のポーズを変化させる。
　アバターデータ作成部３３４は、ユーザ端末２０から送信される要求に応じて、アバターＡ１の形態を変化させても良い。例えば、ユーザ端末２０の表示部２３に、入力部２２に対する操作により移動可能なスライダーａ１５を表示させ、スライダーａ１５が移動すると、スライダーａ１５の位置を表す情報が情報処理サーバ３０に送信されるようにする。アバターデータ作成部３３４は、スライダーａ１５の位置に応じて、過去のバイタルデータが反映されたアバターデータを作成し、ユーザ端末２０に送信する。それにより、ユーザ端末２０に、ユーザ所望の時期のバイタルデータが反映されたアバターＡ１が表示される。このように、過去のアバターＡ１の表示も可能とすることにより、ユーザは、健康状態等の時系列的な変化を確認することができる。
　或いは、ユーザ端末２０の表示部２３に表示されたアバターＡ１に対して所定の操作（例えばタップ操作）を行うことにより、操作された領域が選択された旨を示す情報が情報処理サーバ３０に送信されるようにする。アバターデータ作成部３３４は、選択された領域の内部（例えば臓器）を表すアバターデータを作成し、ユーザ端末２０に送信する。それにより、ユーザ端末２０に、ユーザ所望の内部領域が露出されたアバターＡ１が表示される。内部領域の表示方法は、アバターＡ１の断面を見せる方式であっても良いし、あたかもアバターＡ１の内部に小型のカメラを挿入し、このカメラにより写した映像を見せる方式であっても良い。
　図１１は、アバターの別の表示例を示す模式図であり、ユーザの頭部を模したアバターＡ２を示している。このアバターＡ２内に、ユーザの感情を表す領域（感情領域ａ２１）、右脳の活動状態を表す領域（右脳領域ａ２２）、及び、左脳の活動状態を表す領域（左脳領域ａ２３）を設け、バイタルデータや推定されたユーザの状態に応じて、各領域の大きさや色等を変化させる。
　以上説明したように、本実施形態によれば、少なくともユーザの心拍数を含むバイタルデータをリアルタイムに取得し、バイタルデータに基づいてリアルタイムに推定されたユーザの状態をもとにアバターデータを作成するので、ユーザの状態をリアルに反映したアバターを構成することが可能となる。
　また、本実施形態によれば、複数のバイタルデータ同士の相関や、ユーザの状態の推定結果とバイタルデータとの相関を分析し、これらの相関に基づいてユーザの状態をさらに推定するので、ユーザの状態について推定可能な項目を増やすことができると共に、推定精度を向上させることが可能となる。
　このようにユーザのバイタルデータに基づいてアバターを表示する情報処理システム１は、様々なアプリケーションにおいて利用することができる。一例として、情報処理システム１を「ｆａｃｅｂｏｏｋ（登録商標）」や「ＬｉｎｋｅｄＩｎ（登録商標）」のようなＳＮＳ（ソーシャルネットワーキングシステム）と組み合わせることにより、ユーザプロファイルとしてアバターを利用することができる。
　図１２及び図１３は、情報処理システム１のＳＮＳにおける活用例を説明するための図である。例えば、図１２に示すように、あるＳＮＳにおいて、ユーザＡは、ユーザＢ、Ｃ、Ｄと「友人」としてつながっているものとする。また、ユーザＢは、ユーザＡの他、ユーザＥ、Ｆと「友人」としてつながっているものとする。これらのユーザの精神状態や健康状態や活動状態、或いは各アバターのオーラを数値化し、ユーザの交友関係に基づいて統計値を算出する。例えば、ユーザＡ～Ｆのアバターのオーラを数値化したオーラ値が、それぞれ、２、３、８、５、６、４であるものとする。この場合、図１３に示すように、ユーザＡの友人（ユーザＢ、Ｃ、Ｄ）のオーラ値の合計は、３＋８＋５＝１６であり、平均値は約５．３である。他方、ユーザＢの友人（ユーザＡ、Ｅ、Ｆ）のオーラ値の合計は２＋６＋４＝１２であり、平均値は約４である。従って、ユーザＡの方が、ユーザＢよりもオーラ値の高い友人が多いということがわかる。
　この他にも、分析に用いる数値を変えることにより、例えば、ユーザＡは性格的に落ち着きのない友人が多い、不健康な友人が多い、といった分析を行うことができる。或いは、ユーザＡの仕事上のネットワークとプライベートのネットワークとの間での比較を行うこともできる。分析に用いる数値としては、オーラ、精神状態、健康状態、活動状態等を数値化したものの他、バイタルデータそのもの（心拍数等）を用いても良い。また、上記説明においては、統計値として平均値を用いたが、中央値や最頻値等を用いても良い。
　さらに、図１２に例示したようなネットワークでつながった交友関係の他、投稿した記事に対してフォローするフォロワーや評価をする人について、上述したオーラ値やバイタルデータ等を取得し、ポイントやランキングのような形で表示したりしても良い。それにより、例えば、ユーザＡのフォロワーはストレスレベルが高い、ユーザＢのフォロワーは健康レベルは高いが活動レベルが低い、というように、フォロワー等の傾向を分析することができる。
　また、別の例として、人材採用サイトやお見合いサイトにおいて情報処理システム１を利用することも可能である。この場合、会員（就職希望者やお見合い希望者）プロファイルとして、アバターを企業や見合い相手に提示することとしても良い。
　また、別の例として、ゲームサイトにおいて情報処理システム１を利用することも可能である。例えば、対戦ゲームにおいてアバター同士を戦わせることとしても良い。
　さらに別の例として、健康管理アプリケーションにおいて情報処理システム１を利用することも可能である。この場合、ユーザが遠隔地にいる場合であっても、ユーザ端末２０に表示されたアバターから、脈拍や体温などユーザの健康状態を表す指標を取得することができる。また、アバターの腹部を開いた状態で臓器を表示したり、アバターの消化管を内側から表示したりすることも可能である。さらに、アバターの全身の姿勢を見て、ユーザが自身の姿勢を矯正するといった使用方法も挙げられる。
　上記実施形態及び変形例においては人間を情報処理システム１のユーザとしたが、ペットや家畜などの動物をユーザとしても良い。即ち、犬や猫などにバイタルデータ収集手段を装着し、収集されたバイタルデータに基づいて動物のアバターを作成する。この場合、獣医がアバターを見て診察に利用することも可能である。
　以上説明した実施形態は、本発明を説明するための一例であり、本発明をその実施形態に限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、様々な変形が可能である。例えば、当業者であれば、実施形態で述べたリソース（ハードウェア資源又はソフトウェア資源）を均等物に置換することが可能であり、そのような置換も本発明の範囲に含まれる。
　１　情報処理システム
　１０　バイタルデータ収集手段
　１１　心拍計
　１２　血圧計
　１３　体温計
　１４　ウェブカメラ
　１５　表面筋電位センサ
　２０　ユーザ端末
　２１　通信インタフェース
　２２　入力部
　２３　表示部
　２４　撮像部
　２５　信号入出力部
　２６　記憶部
　２７　プロセッサ
　３０　情報処理サーバ
　３１　通信インタフェース
　３２　記憶部
　３３　プロセッサ
　２６１　アプリケーションプログラム
　２７１　アプリケーション実行部
　３２１　情報処理プログラム
　３２２　ユーザ管理データベース
　３２３　ユーザ情報データベース
　３２４　相関情報データベース
　３３１　認証管理部
　３３２　ユーザ情報管理部
　３３３　ユーザ状態推定部
　３３４　アバターデータ作成部
　３３５　相関分析部

Claims (9)

  1. 　ユーザのバイタルデータを取得するバイタルデータ取得手段と、
    　前記バイタルデータ取得手段により取得されたバイタルデータを、通信ネットワークを介して送信する端末装置と、
    　前記端末装置から送信されたバイタルデータを処理する情報処理サーバと、
    を備え、
    　前記情報処理サーバは、
    　前記バイタルデータを記憶する記憶部と、
    　前記バイタルデータのうち、心拍数と心拍間隔の変動率である心拍変動率とを含む第１のバイタルデータと、前記第１のバイタルデータとは異なる種類の第２のバイタルデータとの間における相関を分析し、当該分析結果に基づいて、前記ユーザの状態を推定するユーザ状態推定部と、
    　前記ユーザ状態推定部により推定された前記ユーザの状態が反映されたアバターを表示するための表示用データを作成するアバターデータ作成部と、
    　通信ネットワークを介して前記表示用データの送信要求を受信した場合に、前記表示用データを当該要求元に送信する通信インタフェースと、
    を有し、前記要求元において前記ユーザの状態が反映されたアバターを表示させることのできる情報処理システム。
  2. 　通信ネットワークを介して端末装置から受信した、ユーザの心拍数と心拍間隔の変動率である心拍変動率とを含む第１のバイタルデータを記憶する記憶部と、
    　前記心拍数と前記心拍変動率とを含む前記第１のバイタルデータと、前記第１のバイタルデータとは異なる種類の第２のバイタルデータとの間における相関を分析し、当該分析結果に基づいて、前記ユーザの状態を推定するユーザ状態推定部と、
    　前記ユーザ状態推定部により推定された前記ユーザの状態が反映されたアバターを表示するための表示用データを作成するアバターデータ作成部と、
    　通信ネットワークを介して前記表示用データの送信要求を受信した場合に、前記表示用データを当該要求元に送信する通信インタフェースと、
    を有し、前記要求元において前記ユーザの状態が反映されたアバターを表示させることのできる情報処理サーバ。
  3. 　前記アバターデータ作成部は、前記要求元において入力された情報に応じた過去のバイタルデータが反映された前記アバターの表示用データを作成し、
    　前記通信インタフェースが、前記過去のバイタルデータが反映された前記アバターの表示用データを前記要求元に送信することにより、前記要求元において前記ユーザの状態の時系列的な変化を確認することができる、
    請求項２に記載の情報処理サーバ。
  4. 　前記ユーザ状態推定部は、前記ユーザの精神状態を推定し、
    　前記アバターデータ作成部は、前記ユーザの精神状態が反映された前記アバターの表示用データを作成する、
    請求項２又は３に記載の情報処理サーバ。
  5. 　前記ユーザ状態推定部は、前記ユーザの健康状態を推定し、
    　前記アバターデータ作成部は、前記ユーザの健康状態が反映された前記アバターの表示用データを作成する、
    請求項２又は３に記載の情報処理サーバ。
  6. 　前記ユーザ状態推定部は、前記ユーザの活動状態を推定し、
    　前記アバターデータ作成部は、前記ユーザの活動状態が反映された前記アバターの表示用データを作成する、
    請求項２又は３に記載の情報処理サーバ。
  7. 　前記表示用データは、前記アバターの内部に関する情報を含む３次元データであり、
    　前記要求元からの前記表示用データの送信要求に応じて、前記アバターの内部を表示するための表示用データを作成して前記要求元に送信する、
    請求項２～６のいずれか１項に記載の情報処理サーバ。
  8. 　プロセッサと記憶部とを備える情報処理サーバにおける情報処理の方法であって、
    　前記プロセッサが、
    　通信ネットワークを介して、端末装置からユーザの心拍数と心拍間隔の変動率である心拍変動率とを含む第１のバイタルデータを受信すること、
    　前記受信した心拍数と心拍変動率とを前記記憶部に記憶すること、
    　前記心拍数と前記心拍変動率とを含む第１のバイタルデータと、前記第１のバイタルデータとは異なる種類の第２のバイタルデータとの間における相関を分析し、当該分析結果に基づいて、前記ユーザの状態を推定すること、
    　前記推定された前記ユーザの状態が反映されたアバターを表示するための表示用データを作成すること、及び
    　通信ネットワークを介して前記表示用データの送信要求を受信した場合に、前記表示用データを当該要求元に送信すること、
    を備え、前記要求元において前記ユーザの状態が反映されたアバターを表示させることのできる情報処理方法。
  9. 　コンピュータに、
    　通信ネットワークを介して、端末装置からユーザの心拍数と心拍間隔の変動率である心拍変動率とを含む第１のバイタルデータを受信すること、
    　前記受信した心拍数と心拍変動率とを前記記憶部に記憶すること、
    　前記心拍数と前記心拍変動率とを含む第１のバイタルデータと、前記第１のバイタルデータとは異なる種類の第２のバイタルデータとの間における相関を分析し、当該分析結果に基づいて、前記ユーザの状態を推定すること、
    　前記推定された前記ユーザの状態が反映されたアバターを表示するための表示用データを作成すること、及び
    　通信ネットワークを介して前記表示用データの送信要求を受信した場合に、前記表示用データを当該要求元に送信することであって、これにより前記要求元において前記ユーザの状態が反映されたアバターを表示させること、
    を実行させるためのプログラム。
PCT/JP2018/021936 2017-06-07 2018-06-07 情報処理システム WO2018225838A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP18813562.8A EP3636156A4 (en) 2017-06-07 2018-06-07 INFORMATION PROCESSING SYSTEM
US16/620,404 US11816264B2 (en) 2017-06-07 2018-06-07 Vital data acquisition and three-dimensional display system and method
CA3066704A CA3066704A1 (en) 2017-06-07 2018-06-07 Information processing system
CN201880038038.4A CN110868930B (zh) 2017-06-07 2018-06-07 信息处理系统
CN202310529501.8A CN116509348A (zh) 2017-06-07 2018-06-07 信息处理系统及方法、信息处理服务器以及存储介质
KR1020207000382A KR102618437B1 (ko) 2017-06-07 2018-06-07 정보 처리 시스템
CN202310530957.6A CN116548937A (zh) 2017-06-07 2018-06-07 信息处理系统及方法、信息处理服务器以及存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017112845A JP6325154B1 (ja) 2017-06-07 2017-06-07 情報処理システム
JP2017-112845 2017-06-07

Publications (1)

Publication Number Publication Date
WO2018225838A1 true WO2018225838A1 (ja) 2018-12-13

Family

ID=62143929

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/021936 WO2018225838A1 (ja) 2017-06-07 2018-06-07 情報処理システム

Country Status (7)

Country Link
US (1) US11816264B2 (ja)
EP (1) EP3636156A4 (ja)
JP (1) JP6325154B1 (ja)
KR (1) KR102618437B1 (ja)
CN (3) CN110868930B (ja)
CA (1) CA3066704A1 (ja)
WO (1) WO2018225838A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7140138B2 (ja) * 2017-10-27 2022-09-21 ソニーグループ株式会社 情報処理装置および情報処理方法、プログラム、並びに情報処理システム
JP7288064B2 (ja) * 2018-09-27 2023-06-06 ジ アンチ－インフラメージング カンパニー アーゲー 視覚型仮想エージェント
EP4331484A1 (en) * 2022-08-31 2024-03-06 ASICS Corporation Mental/physical state evaluation system and mental/physical state evaluation method
WO2024084580A1 (ja) * 2022-10-18 2024-04-25 日本電信電話株式会社 体性感覚制御装置、方法およびプログラム
JP7523614B2 (ja) 2023-03-07 2024-07-26 株式会社カプコン 情報処理システム、情報処理方法およびプログラム ～デジタルツイン環境を支援する技術～
CN116687362A (zh) * 2023-06-15 2023-09-05 中国中煤能源集团有限公司 一种岗前健康快速筛查系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013258555A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法
JP2016126500A (ja) 2014-12-26 2016-07-11 Kddi株式会社 ウェアラブル端末装置およびプログラム

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000285377A (ja) 1999-03-31 2000-10-13 Matsushita Electric Ind Co Ltd 緊急事態情報表示方法及び装置
US6354679B1 (en) 2000-04-20 2002-03-12 Caterpillar Inc. Off-set symmetrical link and an associated subassembly for a track chain assembly
JP2006120137A (ja) 2001-02-19 2006-05-11 Hitachi Kokusai Electric Inc 画像情報通報システム
JP2004062364A (ja) 2002-07-26 2004-02-26 Hitachi Ltd 事故情報処理システム
JP4277173B2 (ja) * 2003-02-13 2009-06-10 ソニー株式会社 再生方法、再生装置およびコンテンツ配信システム
JP2005057343A (ja) 2003-08-05 2005-03-03 Tokio Marine & Nichido Fire Insurance Co Ltd 画像データ登録装置及び方法
US8002553B2 (en) * 2003-08-18 2011-08-23 Cardiac Pacemakers, Inc. Sleep quality data collection and evaluation
KR100646868B1 (ko) * 2004-12-29 2006-11-23 삼성전자주식회사 피부전도도와 심박 정보를 이용한 홈 제어시스템 및 그 방법
US8033996B2 (en) * 2005-07-26 2011-10-11 Adidas Ag Computer interfaces including physiologically guided avatars
US20090105560A1 (en) * 2006-06-28 2009-04-23 David Solomon Lifestyle and eating advisor based on physiological and biological rhythm monitoring
JP4506795B2 (ja) 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
US8666672B2 (en) * 2009-11-21 2014-03-04 Radial Comm Research L.L.C. System and method for interpreting a user's psychological state from sensed biometric information and communicating that state to a social networking site
JP5804405B2 (ja) 2010-01-27 2015-11-04 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
JP5480690B2 (ja) 2010-03-26 2014-04-23 Ｍｓ＆Ａｄ基礎研究所株式会社 保険会社システム
US20120083675A1 (en) 2010-09-30 2012-04-05 El Kaliouby Rana Measuring affective data for web-enabled applications
US20130115582A1 (en) * 2010-06-07 2013-05-09 Affectiva, Inc. Affect based concept testing
US20150206000A1 (en) * 2010-06-07 2015-07-23 Affectiva, Inc. Background analysis of mental state expressions
US9167991B2 (en) * 2010-09-30 2015-10-27 Fitbit, Inc. Portable monitoring devices and methods of operating same
JP6453751B2 (ja) * 2012-05-23 2019-01-16 アイフィノタイプ エルエルシー 表現型を統合したソーシャル検索データベース及び方法
US9652992B2 (en) * 2012-10-09 2017-05-16 Kc Holdings I Personalized avatar responsive to user physical state and context
US9199122B2 (en) * 2012-10-09 2015-12-01 Kc Holdings I Personalized avatar responsive to user physical state and context
WO2014145228A1 (en) * 2013-03-15 2014-09-18 Affectiva, Inc. Mental state well being monitoring
WO2014176478A1 (en) * 2013-04-25 2014-10-30 GM Global Technology Operations LLC Scene awareness system for a vehicle
WO2015108702A1 (en) * 2014-01-14 2015-07-23 Zsolutionz, LLC Cloud-based initiation of customized exercise routine
FR3017529B1 (fr) * 2014-02-17 2021-04-23 Vasile Zoicas Procede et systeme de surveillance du systeme nerveux autonome d'un sujet
WO2015128740A2 (en) * 2014-02-28 2015-09-03 Eco-Fusion Systems for predicting hypoglycemia and methods of use thereof
KR20160080958A (ko) * 2014-12-30 2016-07-08 삼성전자주식회사 사용자 단말장치, 사용자 단말장치의 구동 방법 및 컴퓨터 판독가능 기록매체
KR101656808B1 (ko) 2015-03-20 2016-09-22 현대자동차주식회사 사고 정보 관리 장치, 이를 포함하는 차량 및 사고 정보 관리 방법
US9930102B1 (en) * 2015-03-27 2018-03-27 Intuit Inc. Method and system for using emotional state data to tailor the user experience of an interactive software system
US10136856B2 (en) * 2016-06-27 2018-11-27 Facense Ltd. Wearable respiration measurements system
US10366624B2 (en) * 2015-06-23 2019-07-30 Rescon Ltd Differentially weighted modifiable prescribed history reporting apparatus, systems, and methods for decision support and health
PL3117766T3 (pl) * 2015-07-16 2021-09-06 Preventicus Gmbh Przetwarzanie danych biologicznych
EP3397151A4 (en) * 2015-10-14 2019-09-25 Synphne Pte Ltd. SYSTEMS AND METHOD FOR ENABLING THE SELF-ADJUSTMENT OF THE MENTAL-BODY EMOTION CONDITION AND DEVELOPING FUNCTIONAL ABILITIES THROUGH BIOFEEDBACK AND AMBIENT MONITORING
JP2019514603A (ja) * 2016-05-09 2019-06-06 ベルン テクノロジー カンパニー リミテッドＢｅｌｕｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｍｐａｎｙ Ｌｉｍｉｔｅｄ ヘルスケア用ウェアラブル装置及びそのための方法
CN106126895A (zh) 2016-06-20 2016-11-16 上海朗朗信息科技有限公司 基于移动终端的健康生活行为管理系统及方法
WO2018191741A1 (en) * 2017-04-14 2018-10-18 Emfit Ltd. Wearable sensor and system thereof
EP3403574A1 (en) * 2017-05-18 2018-11-21 Preventicus GmbH Device for reliable acquisition of photoplethysmographic data
EP3809954A4 (en) * 2018-05-22 2022-03-09 LifeLens Technologies, Inc. MONITORING OF PHYSIOLOGICAL PARAMETERS FOR SYNCHRONIZATION FEEDBACK TO IMPROVE A SUBJECT'S PERFORMANCE DURING AN ACTIVITY
US20220095931A1 (en) * 2020-09-30 2022-03-31 Cardiac Pacemakers, Inc. Breath classification systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013258555A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法
JP2016126500A (ja) 2014-12-26 2016-07-11 Kddi株式会社 ウェアラブル端末装置およびプログラム

Also Published As

Publication number Publication date
CN116509348A (zh) 2023-08-01
JP6325154B1 (ja) 2018-05-16
CN110868930A (zh) 2020-03-06
EP3636156A1 (en) 2020-04-15
KR20200019673A (ko) 2020-02-24
EP3636156A4 (en) 2021-03-17
CN116548937A (zh) 2023-08-08
CN110868930B (zh) 2023-05-30
US20200133394A1 (en) 2020-04-30
CA3066704A1 (en) 2018-12-13
KR102618437B1 (ko) 2023-12-28
JP2018202012A (ja) 2018-12-27
US11816264B2 (en) 2023-11-14

Similar Documents

Publication Publication Date Title
JP6325154B1 (ja) 情報処理システム
WO2018225839A1 (ja) データベースの構築方法
US20220130556A1 (en) Health management apparatus and health management system
US20130172693A1 (en) Diagnosing system for consciousness level measurement and method thereof
KR20150112423A (ko) 가상 병원 시스템, 가상 병원 생성 방법 및 장치, 이를 이용하는 의료 서비스 제공 방법
JP2019058227A (ja) ＩｏＴ計測器、健康ＳＮＳプラットフォーム、および、健康サービスシステム
JP7311118B2 (ja) 感情推定方法および感情推定システム
Jonas et al. Designing a wearable IoT-based bladder level monitoring system for neurogenic bladder patients
CN109585027A (zh) 一种基于远程问诊的药物推荐方法和装置
Baig Smart vital signs monitoring and novel falls prediction system for older adults
US20230066883A1 (en) Predicting health or disease from user captured images or videos
EP4367609A1 (en) Integrative system and method for performing medical diagnosis using artificial intelligence
JP7119755B2 (ja) 健康管理装置、健康管理方法、及びプログラム
WO2023171162A1 (ja) 心理状態推定装置および心理状態推定方法
O’Hara et al. Introduction to special issue on body tracking and healthcare
JP7435965B2 (ja) 情報処理装置、情報処理方法、学習モデルの生成方法、及びプログラム
KR20230163822A (ko) 비대면 질환 진단 방법 및 장치
Guffey Smartphone application self-tracking use and health
Mishra et al. IoT ML Driven Holistic Health Monitoring and Fitness Assessment Empowering Proactive Wellbeing Management

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18813562

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3066704

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20207000382

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018813562

Country of ref document: EP

Effective date: 20200107