WO2015107746A1 - 表示システム、および、表示装置 - Google Patents

表示システム、および、表示装置 Download PDF

Info

Publication number
WO2015107746A1
WO2015107746A1 PCT/JP2014/078827 JP2014078827W WO2015107746A1 WO 2015107746 A1 WO2015107746 A1 WO 2015107746A1 JP 2014078827 W JP2014078827 W JP 2014078827W WO 2015107746 A1 WO2015107746 A1 WO 2015107746A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
server
mobile terminal
index
Prior art date
Application number
PCT/JP2014/078827
Other languages
English (en)
French (fr)
Inventor
川井 英次
誠宏 近藤
一弘 細井
Original Assignee
任天堂株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 任天堂株式会社 filed Critical 任天堂株式会社
Priority to EP14878971.2A priority Critical patent/EP3096238A4/en
Priority to JP2015557714A priority patent/JP6595918B2/ja
Priority to JP2016539860A priority patent/JP6592441B2/ja
Priority to PCT/JP2015/061273 priority patent/WO2016021235A1/ja
Priority to PCT/JP2015/061274 priority patent/WO2016021236A1/ja
Priority to JP2016539859A priority patent/JP6592440B2/ja
Priority to PCT/JP2015/069653 priority patent/WO2016021361A1/ja
Priority to JP2016540128A priority patent/JP6392875B2/ja
Priority to EP15830638.1A priority patent/EP3179381A4/en
Publication of WO2015107746A1 publication Critical patent/WO2015107746A1/ja
Priority to US15/211,497 priority patent/US10504616B2/en
Priority to US15/421,708 priority patent/US10504617B2/en
Priority to US15/421,724 priority patent/US10847255B2/en
Priority to JP2018158911A priority patent/JP6706293B2/ja
Priority to US16/567,811 priority patent/US10987042B2/en
Priority to US16/570,951 priority patent/US11026612B2/en
Priority to JP2019172746A priority patent/JP6962982B2/ja
Priority to JP2020085828A priority patent/JP6935540B2/ja
Priority to US17/332,746 priority patent/US11571153B2/en
Priority to JP2021136986A priority patent/JP7184980B2/ja
Priority to JP2021168763A priority patent/JP7304391B2/ja
Priority to JP2022187606A priority patent/JP2023010983A/ja
Priority to US18/106,299 priority patent/US20230181073A1/en
Priority to JP2023104096A priority patent/JP2023130391A/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47CCHAIRS; SOFAS; BEDS
    • A47C31/00Details or accessories for chairs, beds, or the like, not provided for in other groups of this subclass, e.g. upholstery fasteners, mattress protectors, stretching devices for mattress nets
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4809Sleep detection, i.e. determining whether a subject is asleep or not
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4812Detecting sleep stages or cycles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405Details of notification to user or communication with user or patient ; user input means using sound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/10Payment architectures specially adapted for electronic funds transfer [EFT] systems; specially adapted for home banking systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs

Definitions

  • the present invention relates to a display system and a display device used when a user goes to bed.
  • Patent Document 1 there is a system for monitoring a user's sleep stage (see, for example, Patent Document 1). For example, the system shifts the user to another sleep stage by giving the user a stimulus according to the sleep stage.
  • an object of the present invention is to provide a display system and a display device that can provide an easy-to-see display for a sleeping user.
  • the present invention employs the following configurations (1) to (23).
  • An example of the present invention is a display system including a sensor, a projector, and control means.
  • the sensor detects user information for calculating the user's sleep state.
  • the projector projects and displays a predetermined image.
  • the control means causes the projector to project and display an image relating to the sleep state calculated based on the user information.
  • Another example of the present invention is a display system including a sensor, a projector, a timing specifying unit, and a control unit.
  • the sensor detects user information for calculating the user's sleep state.
  • the projector projects and displays a predetermined image.
  • the timing specifying means specifies the timing related to the user's awakening based on the user information.
  • the control means causes the projector to start projecting and displaying an image according to the specified timing.
  • Another example of the present invention is a display system including a sensor, a projector, a control unit, and a communication unit.
  • the sensor detects user information for calculating the sleep state of the user who is entering the floor.
  • the projector projects and displays a predetermined image while the user enters the floor.
  • the control means controls the projector.
  • the communication means communicates with the server via the network.
  • the control unit may cause the projector to display an image related to the sleep state calculated based on the user information at a timing according to the user's sleep state specified based on the user information.
  • the control unit may cause the projector to display an image related to the sleep state at a timing specified based on the user information, at a timing when the user wakes up or at a timing before the wakeup.
  • the control means may control power supply to the projector according to the user's sleep state.
  • the control means may start the power supply to the projector according to the timing related to the user's awakening specified based on the user information.
  • the control means may cause an image for inducing a user's sleep and / or inducing arousal to be projected and displayed on a projector by changing the image according to the user's sleep state.
  • the display system may further include a determination unit that determines whether or not the user is awake during sleep when the user is awakened. At this time, the control means may cause the projector to project and display different images depending on whether it is determined that the user is not halfway awakened or not.
  • the display system may further include an evaluation unit that evaluates the user's sleep based on the user information.
  • the control means may project and display the evaluation result on the projector at a timing specified based on the user information and according to the sleep state of the user.
  • the display system may further include a light source that emits light to the user.
  • a control means may start irradiation of a light source at the timing specified based on user information, before a user wakes up.
  • the control means may sequentially acquire user information from the sensor and control the projector in real time according to the acquired user information.
  • the communication means may receive service data for providing a network service to the user according to the evaluation related to the health of the user from the server.
  • the projector may project and display an image based on the service data.
  • the communication unit may transmit user information detected by the sensor and / or information calculated from the user information to the server.
  • the communication means may receive image content from the server. At this time, the projector may project and display the image content.
  • the projector may project and display an image on the upper ceiling.
  • the sensor may detect the biometric information of the user without touching the user.
  • the sensor may detect biological information for a user who is away from the display device within a predetermined range.
  • the sensor may transmit a radio wave or a sound wave toward the detection target, receive a reflected wave, and output biological information based on the received result.
  • the display system may further include a camera and correction means.
  • the camera captures an image of a location projected by the projector.
  • the correcting unit performs correction on the image projected and displayed by the projector based on the image of the projected portion captured by the camera in consideration of the unevenness of the projected portion.
  • the correcting unit may perform correction on the image projected and displayed by the projector based on the image of the projected portion in consideration of the color of the projected portion.
  • another example of the present invention may be a display device including some of the means in the above (1) to (23).
  • Another example of the present invention may be an information processing program that causes the display system or the computer of the display device to function as some of the means in (1) to (23).
  • Another example of the present invention may be an information processing method (display method) executed in the display system or the display device.
  • the state of the user of the mobile terminal can be evaluated.
  • FIG. 2 is a diagram illustrating an example of a detailed configuration of the terminal system 2.
  • the figure which shows an example of the external appearance of the terminal system 2 Timing chart showing an example of the operation flow of the information processing system
  • the figure which shows an example of the image showing the evaluation result projected by the projector Functional block diagram showing an example of a functional configuration for calculating health information in the processing unit 11 of the mobile terminal 5 The flowchart which shows an example of the flow of the process performed by the terminal system in the sleep period The figure which shows an example of the relationship between the user's action in an awakening period, and the various information discriminated by an information processing system Timing chart showing an example of operation flow of information processing system in awakening period
  • the flowchart which shows an example of the flow of activity information calculation processing The figure which shows an example of the activity information calculated in this embodiment
  • Flow chart showing an example of the flow of environmental information calculation processing The figure which shows an example of the environmental information calculated in this embodiment
  • Flow chart showing an example of the flow of emotion information calculation processing The flowchart which shows another example of the flow of emotion information calculation processing
  • the flowchart which shows an example of the flow of preference information calculation processing The flowchart which shows an example of the flow of information presentation processing
  • FIG. 1 is a block diagram showing an example of the configuration of the information processing system in the present embodiment.
  • the information processing system 1 includes a terminal system 2 and a server 3.
  • the terminal system 2 and the server 3 can communicate with each other via a network 4 such as the Internet or a mobile communication network.
  • a network 4 such as the Internet or a mobile communication network.
  • the information processing system 1 includes a plurality of terminal systems provided for each user.
  • the terminal system 2 calculates various information about the user (health information, activity information, environmental information, emotion information, and preference information, which will be described later), and uploads them to the server 3.
  • various types of information are calculated (generated) at appropriate timings throughout the day (that is, whether the user is sleeping or awake).
  • the terminal system 2 calculates information on sleep and fatigue as health information on the user's health and / or body, for example.
  • the terminal system 2 performs, for example, activity information related to the user's activities, environmental information related to the user's surrounding environment, emotion information related to the user's emotions, and user's hobbies (hobbies, preferences, interests). Preference information regarding life styles, etc.).
  • the server 3 performs an evaluation on the quality of life of the user (QOL (Quality Of Life)) based on the information uploaded from the terminal system 2.
  • QOL Quality of Life
  • the terminal system 2 evaluates the user's health (including fatigue and sleep), the environment, and emotions, and further performs a QOL evaluation as a comprehensive evaluation.
  • the server 3 provides a network service corresponding to these evaluation results to the user.
  • the server 3 presents an evaluation result to the user, provides advice information or recommendation information (for example, information for introducing a product) or content (for example, music) according to the evaluation result to the user, A privilege is given to the user according to the evaluation result.
  • QOL element information the various types of information used for the evaluation of the user's QOL or for the network service corresponding to the evaluation may be referred to as “QOL element information”. That is, in the present embodiment, health information, activity information, environmental information, emotion information, and preference information are calculated as QOL element information.
  • FIG. 2 is a diagram illustrating an example of a detailed configuration of the terminal system 2.
  • FIG. 3 is a diagram illustrating an example of the appearance of the terminal system 2.
  • the terminal system 2 includes a mobile terminal 5 and a base device 6.
  • the portable terminal 5 is carried by the user.
  • the base device 6 is disposed at the user's home, for example.
  • the portable terminal 5 is a portable information processing apparatus
  • the base device 6 is a cradle to which the portable terminal 5 can be connected.
  • the mobile terminal 5 can be detachably connected to the base device 6.
  • the base device 6 has a function of charging the mobile terminal 5.
  • the base device 6 can charge the mobile terminal 5.
  • the mobile terminal 5 and the base device 6 may be detachably connected via a cable.
  • communication between the mobile terminal 5 and the base device 6 may be performed by wireless communication such as radio wave communication and infrared communication.
  • the portable terminal 5 is a portable information processing apparatus.
  • the portable terminal 5 is a multifunction device such as a mobile phone, a smartphone, or a tablet terminal. That is, the mobile terminal 5 has some of various functions (input function, output (display) function, information processing function, network communication function, call function, camera function, etc.) that a general multifunction device has. is doing.
  • the network communication function is a communication function via the Internet and / or a communication function via a mobile communication network.
  • the portable terminal 5 may be realized by installing a predetermined function in an already-produced multifunction device.
  • the mobile terminal 5 is used for calculating the QOL element information and transmitting it to the server 3 in addition to being used as the multifunction device.
  • the mobile terminal 5 may be an information processing device (so-called wearable terminal) that can be worn by the user, such as a wristwatch-type or glasses-type terminal.
  • the mobile terminal 5 includes a communication unit 10.
  • the communication unit 10 is connected to the network 4 and communicates with the server 3.
  • the communication unit 10 is a communication module having a function of performing communication by connecting to a mobile communication network (mobile phone communication network).
  • the communication unit 10 performs communication using a communication method conforming to a 3G communication standard or a communication standard of 4G (including LTE (Long Term Evolution)).
  • the method for the mobile terminal 5 to communicate with the server 3 may be a method in which communication is performed via a wireless LAN by a communication module that has received Wi-Fi authentication.
  • the mobile terminal 5 may have both a function of communicating with the server 3 via a mobile communication network and a function of communicating with the server 3 via a wireless LAN.
  • the mobile terminal 5 includes a processing unit 11.
  • the processing unit 11 executes various types of information processing executed on the mobile terminal 5.
  • the processing unit 11 is connected to each unit 10, 12 to 19 of the mobile terminal 5.
  • the processing unit 11 includes a CPU (Central Processing Unit) and a memory.
  • the CPU executes various information processes by executing an information processing program stored in the mobile terminal 5 using a memory.
  • the processing unit 11 includes, as the information processing, processing for calculating the above-described QOL element information, processing for presenting information received from the server 3 (for example, information on the network service) to the user, and the like. Execute. Further, when the mobile terminal 5 operates as a multifunction device, the processing unit 11 executes information processing for realizing each function.
  • the mobile terminal 5 includes an input / output interface and functions as an information processing apparatus (input / output terminal) for a user to input and browse information.
  • the mobile terminal 5 includes an operation input unit 12, a display 17, and a speaker 18.
  • the operation input unit 12 is an arbitrary input device that receives an operation input by a user.
  • the operation input unit 12 includes a touch panel provided on the display 17 and buttons.
  • the mobile terminal 5 may include a sensor (an acceleration sensor or a gyro sensor) for detecting the attitude of the mobile terminal 5 as the operation input unit 12.
  • the display 17, which is an example of an output device, displays various images generated in the portable terminal 5 in response to an input to the operation input unit 12, and various images based on data received from the server 3 (related to network services).
  • Image The speaker 18, which is an example of an output device, outputs various sounds generated in the portable terminal 5 in response to an input to the operation input unit 12, and various sounds based on data received from the server 3 (related to network services). Audio and music).
  • the mobile terminal 5 includes a sensor that detects (acquires) information for calculating the QOL element information.
  • the mobile terminal 5 includes a position detection unit 13, an environment sensor 14, a microphone 15, and a camera 16.
  • the position detection unit 13 detects the position of the mobile terminal 5.
  • the position detection unit 13 detects the position using GNSS (Global Navigation Satellite System).
  • the position detection unit 13 is, for example, a GPS (Global Positioning System) sensor (GPS module).
  • GPS Global Positioning System
  • the position detection method in the position detection part 13 is arbitrary, and the position detection part 13 may detect a position, for example using a beacon.
  • the position detection unit 13 may calculate information indicating the user's altitude (for example, information indicating which floor of the building) by calculating a change in altitude based on the detection result of the atmospheric pressure sensor. .
  • the environment sensor 14 detects the environment around the mobile terminal 5.
  • the environment sensor 14 includes a temperature sensor and a humidity sensor.
  • the environmental sensor 14 may include an atmospheric pressure sensor, an illuminance sensor, a noise sensor, an odor sensor, and the like. That is, the environment sensor 14 may detect at least one of temperature, humidity, illuminance, atmospheric pressure, sound, and smell.
  • the microphone 15 may be used as a sensor for detecting ambient noise.
  • the microphone 15 detects sounds around the mobile terminal 5. Although details will be described later, in the present embodiment, the microphone 15 is used to calculate emotion information. Note that the microphone 15 may be used to accept voice input to the mobile terminal 5.
  • the camera 16 is used to image the user and calculate emotion information using the captured image (details will be described later).
  • the camera 16 is provided on the same side (inside) as the surface on which the display 17 is provided in the mobile terminal 5 (see FIG. 3). That is, the camera 16 is provided at a position where the user who operates the mobile terminal 5 can be imaged.
  • the portable terminal 5 includes a connector 19 for electrically connecting to the base device 6.
  • the connector 19 contacts the connector 21 of the base device 6. As a result, communication between the portable terminal 5 and the base device 6 becomes possible.
  • the mobile terminal 5 includes a battery (not shown), and each unit of the mobile terminal 5 operates with electric power supplied from the battery. Although details will be described later, in the present embodiment, the battery of the portable terminal 5 can be charged by the base device 6.
  • the base apparatus 6 is arrange
  • the biological information is information detected from the user's body.
  • respiration, pulse, and body movement are acquired as biological information.
  • the base device 6 is used for presenting content (for example, content that prompts the user to fall asleep) and information (information on evaluation results regarding sleep) to the user who is sleeping.
  • the base device 6 includes a support unit that detachably supports the mobile terminal 5. Specifically, as illustrated in FIG. 3, a recess (corresponding to a part of the shape of the mobile terminal 5) is provided in the housing (supporting portion) of the base device 6. The mobile terminal 5 is attached to the base device 6 by inserting the mobile terminal 5 into the recess.
  • the base device 6 includes a connector 21.
  • the connector 19 of the portable terminal 5 and the connector 21 of the base device 6 are connected.
  • communication between the portable terminal 5 and the base device 6 becomes possible, and charging of the portable terminal 5 by the base device 6 becomes possible.
  • the base device 6 includes a Doppler sensor 24 that is an example of a sensor that detects biological information.
  • the Doppler sensor 24 emits a microwave and receives a reflected wave of the emitted microwave, thereby detecting a moving object based on the difference between the frequency of the emitted microwave and the frequency of the received microwave.
  • the Doppler sensor 24 (the emission part 24a thereof) emits radio waves toward the front of the base device 6 (see FIG. 3).
  • the detection target of the Doppler sensor 24 is a user, and the body motion of the user is detected by the Doppler sensor 24.
  • the base device 6 includes a power acquisition unit 23 that acquires power from an external power source.
  • the base device 6 is connected (may be detachable) to an AC adapter and a power plug via a power cord (not shown).
  • power is supplied to the power acquisition unit 23 of the base device 6.
  • the base device 6 operates with power from an external power source acquired by the power acquisition unit 23.
  • the power acquisition unit 23 charges the mobile terminal 5 by sending the supplied power to the mobile terminal 5 via the connector 21.
  • the base device 6 may have a battery, and power charged in the battery may be sent to the mobile terminal 5. In the present embodiment, charging is performed in such a manner that power is supplied via the connector. However, in other embodiments, power may be supplied by non-contact charging.
  • the base device 6 includes a projector 25 that projects an image on a wall surface (including a ceiling) or a screen.
  • the projector 25 may be any display device that displays an image on the surface by projecting the image onto a surface (which may be uneven) away from the base device 6.
  • the projector 25 is provided in the base device 6 so that the light projecting unit (lens) 25a faces upward, that is, the image is projected upward. . That is, in the present embodiment, the projector 25 projects an image on the ceiling.
  • the projector 25 displays, for example, an image that prompts the user to fall asleep or wake up (such as a content for sleeping described later) or an image that indicates the sleep evaluation result when the user wakes up in the morning. Or
  • the base device 6 corrects an image projected on the ceiling using a so-called projection mapping technique as necessary. That is, the base device 6 corrects the image so that an image corresponding to the unevenness and / or color of the projection surface (ceiling) of the projector 25 is displayed. Therefore, the base device 6 includes a camera 27 for performing image correction. As shown in FIG. 3, the camera 27 is provided in the base device 6 in such an orientation that the imaging range includes a place where an image is projected by the projector 25. That is, the camera 27 is provided so as to face the same direction (upward) as the projector 25. A method for correcting the image will be described later.
  • the base device 6 includes a speaker 26.
  • the speaker 26 is used, for example, to output a sound that prompts the user to fall asleep or wake up (such as a sleeping content described later).
  • the base device 6 includes a control unit 22 that controls the units 23 to 27 of the base device 6.
  • the control unit 22 is connected to each unit 21, 23 to 27 of the base device 6.
  • the control unit 22 executes various control processes executed in the base device 6.
  • the control unit 22 includes a CPU (Central Processing Unit) and a memory.
  • the various control processes are executed by the CPU executing the information processing program stored in the base device 6 using the memory.
  • the control unit 22 controls the charging operation for the portable terminal 5 by controlling the power acquisition unit 23.
  • the control unit 22 causes the projector 25 and / or the speaker 26 to reproduce content and information presented to the user in the base device.
  • the control unit 22 transmits information detected by the Doppler sensor 24 to the mobile terminal 5.
  • the base device 6 may include other configurations in addition to or instead of the configuration illustrated in FIG.
  • the base device 6 may include an environmental sensor, a display, an omnidirectional speaker, a light source (illumination), an odor generating device, and the like (see “[8. Modification]” described later).
  • the server 3 is composed of one or more information processing devices (server devices).
  • server means one information processing device (server device), and also means the entire server device group (server system) when the server is configured by a plurality of server devices. .
  • the server 3 is described as an integral configuration, but the server 3 may be configured to include a plurality of server devices divided according to function and / or role.
  • the server 3 may include a data server that accumulates QOL element information acquired from the mobile terminal 5 and a service server that performs evaluation based on the QOL element information and provides a network service.
  • the server 3 performs a service providing a product or the like (“product etc.” means a service in addition to the product. The same applies hereinafter) as a part of the network service, It may be a configuration including a shop server that provides and charges.
  • FIG. 4 is a timing chart illustrating an example of the operation flow of the information processing system.
  • the timing chart of FIG. 4 shows an example of the operation flow of the information processing system in one day.
  • the information processing system 1 is used in a different manner at night (period in which the user is sleeping) and daytime (period in which the user is awake).
  • the mobile terminal 5 is put on the base device 6.
  • the base device 6 detects the user's biological information by the Doppler sensor 24, and transmits the biological information to the mobile terminal 5 connected to the base device 6 (step S1).
  • the biological information is repeatedly detected by the base device 6 and repeatedly transmitted to the mobile terminal 5.
  • the base device 6 performs a process of presenting information and / or content to the user using the projector 25 or the like.
  • the mobile terminal 5 calculates information (sleep information) related to the user's sleep based on the biological information acquired from the base device 6 (step S2).
  • the sleep information includes an index related to sleep (sleep index).
  • the sleep index is a numerical value indicating, for example, sleep time, sleep latency, mid-wake time, and sleep efficiency.
  • the mobile terminal 5 performs an operation according to sleep information, in other words, an operation according to the sleep state of the user.
  • sleep information in other words, an operation according to the sleep state of the user.
  • the mobile terminal 5 sets its own operation mode to the off mode in response to the user falling asleep, and sets the operation mode to the on mode in response to the user waking up.
  • the portable terminal 5 controls the reproduction of content in the base device 6 according to the sleep state, or controls information presented to the user by the base device 6 according to the sleep state.
  • the portable terminal 5 calculates health information based on the biological information acquired from the base device 6 as the above-described QOL element information (step S3).
  • the mobile terminal 5 calculates information including the sleep information and the fatigue information as health information.
  • the fatigue information includes a fatigue index related to user fatigue. Although details will be described later, the fatigue index is calculated in consideration of the sleep index, and is calculated as a numerical value indicating the degree of fatigue of the user.
  • health information is calculated in response to the user waking up (that is, in response to the end of the sleep period).
  • the mobile terminal 5 transmits the calculated health information to the server 3.
  • the server 3 stores (accumulates) the received health information separately for each user (for each portable terminal).
  • the terminal system 2 acquires biological information from the sleeping user and calculates health information (an index related to sleep and fatigue).
  • the calculated health information is stored in the server 3.
  • the portable terminal 5 is removed from the base device 6 and carried by the user.
  • the portable terminal 5 calculates activity information, environmental information, emotion information, and preference information as the above-mentioned QOL element information (step S5).
  • the process of calculating the QOL element information (step S5) is described only once. However, the process is normally executed at an appropriate timing in the awakening period, and is executed a plurality of times in one (one day) awakening period. That is, in this embodiment, the QOL element information is calculated according to various actions of the user during awakening. For example, in response to the user walking and moving, activity information indicating the activity content (moving on foot) is calculated, or environment information indicating the moving environment is calculated.
  • emotion information indicating the emotion of the user during the conference is calculated.
  • preference information indicating that the user is interested in exercise is calculated in response to the user dropping in at a sports gym on the way home from work.
  • the mobile terminal 5 transmits the calculated QOL element information to the server (step S6).
  • the mobile terminal 5 may transmit the QOL element information to the server 3 every time the QOL element information is calculated, or may transmit a plurality of QOL element information to the server 3 in response to the arrival of a predetermined timing. Also good.
  • the server 3 stores (accumulates) the received QOL element information for each user (for each portable terminal).
  • the server 3 performs an evaluation based on the QOL element information acquired from the mobile terminal 5 (step S7). This evaluation is performed based on health information acquired at night (sleeping period) and activity information, environmental information, and emotion information acquired during daytime (wake period). In the present embodiment, the server 3 calculates a health index based on health information and activity information, an environmental index based on environmental information, and an emotion index based on emotion information as element indexes for discriminating the QOL index. (See FIG. 10 described later). Further, the server 3 calculates a QOL index based on these three element indices. Details of the calculation method of each index will be described later. As described above, the server 3 performs the evaluation regarding the user's health, environment, and emotion, and performs the evaluation regarding the user's QOL based on the evaluation results.
  • the server 3 provides a network service according to the evaluation result. That is, the server 3 identifies the service content to be provided based on the evaluation result (step S8), and transmits data (service data) regarding the identified service to the portable terminal 5 (step S9).
  • the server 3 provides advice information and / or recommendation information according to the evaluation result to the terminal system 2 (mobile terminal 5).
  • the advice information is information including advice for improving various indexes (QOL index or the like) indicating the evaluation result.
  • recommendation information is information which introduces the product etc. which are recommended to a user in order to improve the various parameter
  • the server 3 provides content corresponding to the evaluation result to the terminal system 2 (mobile terminal 5) as a network service.
  • This content is, for example, content for improving various indexes indicating evaluation results, and specifically, music for improving insomnia, a moving image for relieving stress, and the like.
  • the server 3 gives a privilege according to the evaluation result to the user of the terminal system 2 (mobile terminal 5) as a network service.
  • This privilege may be a privilege related to the network service or a privilege related to the mobile terminal 5.
  • the privilege may be a point that can be used when purchasing a privilege related to a fee to be paid by the user regarding the network service, specifically, a product or the like introduced in the recommendation information.
  • the privilege may be a privilege related to a fee to be paid by the user regarding the use of the mobile terminal 5, that is, a discount privilege of a usage fee (for example, a call fee) of the mobile terminal 5.
  • the evaluation process (step S7) and the service provision process (steps S8 and S9) by the server 3 are executed at a predetermined timing in one day. Specifically, it is executed at a timing when a predetermined time arrives.
  • the predetermined time may be set in advance on the server 3 side, or may be set at a time instructed in advance by the user of the mobile terminal 5.
  • the predetermined timing may be specified based on a user activity. For example, the predetermined timing may be a timing when the user returns home or a timing when the user leaves the workplace. These timings can be specified based on activity information, for example.
  • the information processing system 1 calculates health information regarding a sleeping user (step S3), and obtains activity information, environmental information, emotion information, and preference information regarding an awake user. Calculate (step S5). Then, the information processing system 1 evaluates the user's QOL based on these QOL element information (step S7). According to this, since various information about the user is calculated throughout the day, the user's QOL can be evaluated by reflecting the user's state and behavior throughout the day.
  • FIG. 5 is a diagram illustrating an example of a state in which the terminal system 2 is arranged.
  • the base apparatus 6 is arrange
  • the base device 6 is disposed around the user (such as a bedside).
  • the portable terminal 5 is attached to the base device 6 during the sleep period. That is, the user wears the portable terminal 5 on the base device 6 at bedtime.
  • the operation of the terminal system 2 in the sleep period is started (see FIG. 6).
  • the base device 6 has a function of charging the mobile terminal 5. Accordingly, motivation to attach the mobile terminal 5 to the base device 6 can be given to the user, and thus the possibility that the user forgets to attach the mobile terminal 5 to the base device 6 can be reduced.
  • FIG. 6 is a diagram illustrating an example of the operation of the terminal system 2 during the sleep period.
  • the base device 6 starts charging the mobile terminal 5.
  • the base device 6 ends the charging operation when the battery of the mobile terminal 5 is charged to the capacity.
  • a predetermined amount for example, half of the battery capacity
  • the base device 6 is not charged. May be. This is because in the present embodiment, the user may attach the portable terminal 5 to the base device 6 for purposes other than the purpose of charging (for example, the purpose of detecting biological information).
  • the mobile terminal 5 notifies the base device 6 of the remaining battery level in response to being attached to the base device 6, and the base device 6 determines whether charging is necessary based on the notified remaining battery level. May be.
  • the mobile terminal 5 may determine whether or not charging is necessary based on the remaining battery level according to being attached to the base device 6 and notify the base device 6 of whether or not charging is necessary.
  • the base device 6 starts a detection operation by the Doppler sensor 24 (see FIG. 6).
  • the detection result by the Doppler sensor 24 is transmitted to the mobile terminal 5.
  • the portable terminal 5 calculates biological information (user body movement, respiration, and pulse) based on the detection result, and further calculates a sleep index based on the biological information (details will be described later).
  • the detection operation by the Doppler sensor 24 and the sleep index calculation process based on the detection result are repeatedly executed during the sleep period. In the present embodiment, the detection operation by the Doppler sensor 24 is repeatedly executed until no user is detected.
  • the sleep index calculation process is repeatedly executed until the user awakens.
  • the mobile terminal 5 calculates a sleep index representing a state related to the user's sleep in real time. Specifically, the mobile terminal 5 can determine at least whether the user is sleeping or awake and the depth of sleep in real time. Note that “calculating (discriminating) in real time” is not limited to immediately calculating (discriminating) in a strict sense, but also includes calculating (discriminating) with a delay of about several seconds. .
  • the terminal system 2 uses a non-wearable sensor (Doppler sensor 24) that can detect biological information in a state where the user does not wear the sensor, and therefore does not disturb the user. Biometric information can be detected (without the user being disturbed by sleep).
  • Doppler sensor 24 a non-wearable sensor that can detect biological information in a state where the user does not wear the sensor, and therefore does not disturb the user. Biometric information can be detected (without the user being disturbed by sleep).
  • the sleeping content is content that prompts the user to fall asleep, in other words, content that has an effect of prompting the user to fall asleep.
  • the content for falling asleep is an image of a starry sky, a sound of a river murmur, and the like.
  • the sleeping content is content based on images (moving images) and / or sounds.
  • the base device 6 may first display a menu image using the projector 25 so that the user can select the content to be reproduced in the menu image.
  • regenerated in the terminal system 2 (base apparatus 6) during a sleep period is based on the biometric information (a pulse, respiration, etc.) and / or a sleep index calculated during the sleep period. May be determined.
  • the terminal system 2 may determine music having a tempo that matches the pulse or breathing tempo, which is biological information, as the content to be reproduced.
  • the terminal system 2 specifies an ideal rhythm during sleep from the sleep index, and music that induces the user's pulse or breathing rhythm to the specified rhythm (for example, a tempo that matches the rhythm). May be determined as the content to be reproduced.
  • the reproduction of the content may be controlled based on the biological information and / or the sleep index.
  • the terminal system 2 may change the tempo of the music to be played back to a tempo that matches the pulse or breathing tempo, or change it to an ideal rhythm during sleep. You may replay it.
  • the tempo of the content (music) to be played is determined according to the pulse or breath tempo that is sequentially detected (or according to the ideal rhythm that is sequentially calculated based on the sleep index that is sequentially calculated). It may be changed in real time.
  • the projector 25 projects an image (sleeping content) on the ceiling. Therefore, the user can easily view the image while sleeping.
  • the terminal system 2 can determine the sleep state of the user according to the mounting of the mobile terminal 5 on the base device 6.
  • the terminal system 2 performs various operations according to the user's sleep state. Hereinafter, specific examples of these various operations will be described.
  • Mode-off change of portable terminal 5 In the present embodiment, when the user falls asleep (shifts to the sleep state), the operation mode of the mobile terminal 5 is changed (see FIG. 6). That is, when the user falls asleep, the mobile terminal 5 determines that the user has entered a sleep state by the process of calculating the sleep index. In response to this, the mobile terminal 5 changes its operation mode from the on mode to the off mode.
  • the on mode is a mode in which the calculation processing of the above-described activity information, environmental information, emotion information, and preference information is executed.
  • the on mode can also be said to be a mode in which the mobile terminal 5 operates as a multifunction device. During the user's awakening, the mode of the mobile terminal 5 is basically set to the on mode (unless the user performs an operation for changing the mode).
  • the off mode is a mode in which the above-described calculation processing of activity information, environmental information, emotion information, and preference information is not executed. In this way, in the off mode, power consumption can be reduced by preventing unnecessary processing from being executed during the sleep period.
  • the communication function for the server 3 may not be stopped or may be stopped.
  • the off mode some of the functions as the multi-function device are stopped.
  • the function of notifying an incoming call in a telephone and electronic mail (whichever is acceptable) by sound is stopped. According to this, possibility that a user's sleep will be disturbed with the sound of the portable terminal 5 can be reduced.
  • the mobile terminal 5 does not emit a ring tone when a phone call is received, and causes an answering machine message to flow to the other party. Avoid sound.
  • the terminal system 2 changes the reproduction mode of the sleep content (see FIG. 6). Specifically, the terminal system 2 stops image display (projection) by the projector 25. This is because image display by the projector is unnecessary during sleep. At this time, the terminal system 2 may stop power supply to the projector 25. In addition, the terminal system 2 reduces the output volume from the speaker 26. This is because during sleep, the purpose and effect of outputting the sound of the content for falling asleep is small (or absent). However, in the present embodiment, the output volume is gradually reduced in consideration of the possibility that the user notices that when the sound is suddenly stopped and wakes up. In other embodiments, the terminal system 2 may stop the sound output from the speaker 26.
  • the portable terminal 5 confirms that the user's sleep depth has become equal to or greater than a predetermined reference by the process of calculating the sleep index. Determine.
  • the terminal system 2 stops the reproduction of the sleeping content (see FIG. 6). As a result, content reproduction with a small effect can be stopped and power consumption can be suppressed.
  • the terminal system 2 when the user wakes up during sleep (halfway wakeup), the terminal system 2 presents the current time to the user (see FIG. 6). That is, when the user awakens during sleep, the mobile terminal 5 determines that the user has awakened by the process of calculating the sleep index. In response to this, the terminal system 2 displays the current time (on the ceiling) using the projector 25. According to this, when the user wakes up at midnight, the user can know the current time instantly. In the present embodiment, since the current time is displayed on the ceiling, the user can know the current time while lying down.
  • a determination criterion is a determination as to whether awakening during sleep (mid-wakening) or awakening when waking up (sometimes referred to as “wake-up when waking up” in distinction from “mid-wakening”) This can be done by setting the time. That is, when it is determined that the user has awakened before the determination reference time, the terminal system 2 determines that the user has awakened halfway, and when the user has been awakened after the determination reference time. Can be determined to be awakening when waking up.
  • the determination reference time can be set on the basis of a time at which the user is predicted to wake up (a predicted wake-up time).
  • the terminal system 2 may set a time that is a predetermined time (for example, 2 hours before) a predicted wake-up time as the determination reference time.
  • the predicted wake-up time may be calculated based on the past user wake-up time (wake-up time) or may be set by the user.
  • the time may be set as the predicted wake-up time.
  • the terminal system 2 starts playing the awakening content (see FIG. 6).
  • the mobile terminal 5 determines that the user has entered the state before awakening by the process of calculating the sleep index.
  • the determination that the user has entered the state before awakening can be made, for example, when sleep is shallow and within a predetermined time (for example, 1 hour) until the predicted wake-up time.
  • the terminal system 2 starts playing the waking content.
  • the awakening content is content for prompting the user to wake up, in other words, content that has an effect of prompting the user to wake up.
  • the awakening content is a bright blue sky image, a bird's tweeting sound, or the like.
  • the awakening content is content by image (moving image) and / or sound. By playing the awakening content, the user can be urged to wake up comfortably at an appropriate timing.
  • the terminal system 2 when the user awakes (wakes up when waking up), the user's sleep is evaluated and the evaluation result is presented (see FIG. 6). Specifically, when the portable terminal 5 determines that it is awakening at the time of wake-up by the method described in the above “(Presentation information during mid-wake)”, the terminal system 2 relates to the current sleep period (s). The user's sleep is evaluated based on the sleep index. The “sleep index related to the current sleep period” refers to a sleep index calculated based on the biological information detected during the current sleep period. The terminal system 2 displays an image representing the evaluation result on the ceiling using the projector 25.
  • FIG. 7 is a diagram illustrating an example of an image representing an evaluation result projected by the projector.
  • the terminal system 2 calculates a pleasant sleep index as the evaluation result. That is, as shown in FIG. 7, the terminal system 2 displays a pleasant sleep index 31 calculated based on sleep information.
  • the pleasant sleep index is calculated in a range of 0 to 100 points such that the better the evaluation result (the better the quality of sleep), the higher the numerical value.
  • the sleep index may be calculated by adding a weight for each index to one or more predetermined types of sleep indices.
  • the evaluation result as a numerical value (score)
  • the quality of sleep can be presented to the user in an easy-to-understand manner.
  • the terminal system 2 displays a face image 32 representing the evaluation result (see FIG. 7).
  • the face image 32 is displayed such that the display form (specifically, facial expression) changes according to the sleep index. For example, when the sleep index is medium, a face image representing a normal expression is displayed, and when the sleep index is relatively high (evaluation result is good), a face image representing a smile expression is displayed ( When the pleasant sleep index is relatively low (the evaluation result is bad), a face image representing a tired facial expression is displayed.
  • the user can intuitively recognize the evaluation result.
  • the terminal system 2 may display the numerical value of the sleep index itself such as sleep time and sleep latency as the evaluation result. Further, it is not always necessary to display a numerical value as the evaluation result. For example, only the face image 32 may be displayed as the evaluation result.
  • the terminal system 2 displays advice information 33 representing advice according to the evaluation result (see FIG. 7).
  • the advice information 33 represents advice for improving the quality of sleep.
  • the advice information 33 is generated based on sleep information and / or a sleep index. For example, advice information with different contents may be displayed according to the size of the sleep index (the size of the numerical value). Further, for example, the content of the advice information may be determined based on various sleep indexes such as sleep time, sleep latency, and mid-wake time. In another embodiment, recommendation information may be displayed instead of the advice information 33 (or along with the advice information 33).
  • the evaluation result information is projected and displayed by the projector 25, and other information different from the information projected and displayed by the projector 25 is displayed on the display 17 of the mobile terminal 5.
  • information calculated from the evaluation result may be displayed on the display 17.
  • the “information calculated from the evaluation result” may be, for example, statistical information of a sleep index that is an evaluation result (for example, information indicating a change in the sleep index in the past week), or a network based on the evaluation result It may be information about the service (for example, the advice information or recommendation information).
  • the mobile terminal 5 calculates health information based on the sleep information (sleep index) and transmits the health information to the server 3 (see FIG. 6).
  • the health information calculated here includes sleep information and fatigue information (fatigue index) calculated from the sleep information. A method for calculating the fatigue index will be described later.
  • the terminal system 2 performs various operations according to the user's sleep state during the user's sleep period.
  • the sleep period ends (the user wakes up), the user moves (for example, leaves the bedroom), and thus the user is out of the detection range of the Doppler sensor 24. Therefore, the terminal system 2 ends the detection operation of the Doppler sensor 24 when the user is no longer detected by the Doppler sensor 24 (see FIG. 6). As described above, the terminal system 2 ends the operation performed when the user sleeps.
  • the terminal system 2 when the base device 6 and the mobile terminal 5 are capable of wireless communication, the terminal system 2 operates the mobile terminal 5 according to the fact that the object is not detected by the Doppler sensor 24.
  • the mode may be changed to on mode. That is, when the object is no longer detected by the Doppler sensor 24, the base device 6 notifies the mobile terminal 5, and the mobile terminal 5 changes the operation mode to the on mode in response to receiving this notification. May be.
  • the terminal system 2 may change the operation mode of the mobile terminal 5 to the on mode in response to the mobile terminal 5 being removed from the base device 6. That is, the mobile terminal 5 may detect the connection state with the base device 6 in the off mode, and may change its own operation mode to the on mode when it is detected that the mobile device 5 is no longer connected to the base device 6.
  • the terminal system 2 may end the detection operation of the Doppler sensor 24 in response to the user waking up (wake-up when waking up). In another embodiment, the terminal system 2 may end the detection operation of the Doppler sensor 24 in response to the removal of the mobile terminal 5 from the base device 6.
  • the determination method of the measurement period of biological information that is, the condition for starting or ending detection of the Doppler sensor 24 is arbitrary, and for example, the following method may be used.
  • the terminal system 2 may intermittently detect using a sensor (Doppler sensor 24) and determine the measurement period based on the detection result. Specifically, the terminal system 2 determines whether or not a user is detected (whether or not the user is within the detection range) by performing detection by the Doppler sensor 24 at predetermined time intervals. When the user is not detected, the terminal system 2 stops the detection by the Doppler sensor 24. In this case, the measurement is not started. On the other hand, when the user is detected, the terminal system 2 starts the measurement by continuing the detection by the Doppler sensor 24 as it is. Further, when the measurement is started, the terminal system 2 continues the measurement while the user is detected by the Doppler sensor 24.
  • Doppler sensor 24 a sensor
  • the terminal system 2 ends the measurement by the Doppler sensor 11 in response to the fact that the user is no longer detected.
  • the measurement period by the Doppler sensor 24 can be determined based on the detection result by the Doppler sensor 24 itself (performed intermittently). According to this, since the measurement period can be determined without using other devices such as sensors, the configuration of the device can be simplified.
  • the measurement period of the Doppler sensor 24 may be determined based on a detection result of a sensor (for example, a human sensor) different from the Doppler sensor 24.
  • the terminal system 2 may use an infrared sensor and / or a camera as the human sensor. Specifically, the terminal system 2 detects a user intermittently or continuously with a human sensor. In the period when the user is detected by the human sensor, the terminal system 2 performs measurement by the Doppler sensor 24. Also by this, the measurement period can be automatically determined similarly to the method of the present embodiment and the method of determining the measurement period based on the detection result of the Doppler sensor 11. That is, since the user does not need to perform an operation for measurement (start and end), the convenience of the terminal system 2 can be improved. Furthermore, since it is possible to measure biological information without burdening the user with effort and burden, it becomes easy to continuously acquire biological information.
  • the measurement period of the Doppler sensor 24 may be determined in advance.
  • the terminal system 2 may perform the measurement in a predetermined time zone (for example, the time zone from 20:00 at night to 10:00 the next morning), or perform the measurement (unless there is a stop operation by the user). You may make it always perform. Accordingly, similarly to the above, the user does not need to perform an operation for starting and ending the measurement, so that the convenience of the terminal system 1 can be improved.
  • the terminal system 2 automatically calculates the health information (sleep index and fatigue index) based on the biological information in addition to automatically measuring the biological information (in other words, , Even if there is no specific operation by the user). Therefore, since the health information is calculated in the terminal system 2 without any special operation by the user, the convenience of the terminal system 2 can be improved.
  • FIG. 8 is a functional block diagram illustrating an example of a functional configuration for calculating health information in the processing unit 11 of the mobile terminal 5.
  • the processing unit 11 includes a waveform analysis unit 41, a sleep calculation unit 42, an autonomic nerve calculation unit 43, and a fatigue calculation unit 44.
  • the waveform analysis unit 41 calculates respiration, pulse, and body movement as further biological information based on the biological information (output waveform) detected by the Doppler sensor 24.
  • a waveform representing respiration, pulse, and body movement can be obtained by separating the output waveform of the Doppler sensor 24 according to the frequency.
  • the waveform analysis unit 41 separates the output waveform into a frequency band corresponding to respiration, a frequency band corresponding to a pulse, and a frequency band corresponding to body movement by frequency analysis or the like, and outputs the separated waveform data To do.
  • the output of the waveform analysis unit 41 is input to the sleep calculation unit 42 and the autonomic nerve calculation unit 43, respectively.
  • the sleep calculation unit 42 calculates various sleep indexes based on biological information (respiration, pulse, and body movement).
  • biological information respiration, pulse, and body movement
  • the sleep calculation unit 42 calculates a sleep index indicating the following information. ⁇ Sleep latency (sleeping latency) -Midway awakening time-Number of midway awakenings-Sleep efficiency-Total sleep time-Sleep activity amount-Sleep stage-REM sleep time-Non-REM sleep time-Sleep quality Only some of them may be calculated, or a different type of sleep index from the above sleep index may be calculated.
  • the autonomic nerve calculation unit 43 calculates an index (autonomic nerve index) indicating the working level of the autonomic nerves (sympathetic nerve and parasympathetic nerve) based on the biological information.
  • the pulse (RR interval) waveform included in the biological information is frequency-analyzed by the maximum entropy method or Fourier transform, and the high-frequency component (about 0.15 to 0.40 [Hz]) HF of the waveform
  • the low frequency component (about 0.04 to 0.15 [Hz]) LF is calculated.
  • the high frequency component HF indicates the working degree of the parasympathetic nerve
  • the low frequency component LF is known to show the working degree of the sympathetic nerve.
  • the autonomic nerve calculation unit 43 calculates the ratio (LF / HF) between the high frequency component HF and the low frequency component LF as an autonomic nerve index. As shown in FIG. 8, the output of the autonomic nerve calculation unit 43 is used as an input by the fatigue calculation unit 44.
  • the fatigue calculation unit 44 calculates a fatigue index based on the sleep index and the autonomic nerve index.
  • a fatigue index a degree of fatigue indicating a degree of fatigue (level) with a numerical value from 0 to 100 is calculated.
  • the calculation method of the fatigue index is arbitrary, for example, the following method can be considered.
  • the fatigue level calculated here may be referred to as a “first fatigue level” in distinction from the fatigue level corresponding to the awakening period, which will be described later.
  • the first method is a method for calculating a fatigue index from a sleep index.
  • the sleep index is considered to have a correlation with the first fatigue level.
  • the following is mentioned as an example presumed that the 1st fatigue degree is high. ⁇ Long sleep latency. ⁇ The awakening time is long. ⁇ There are many awakenings. -Sleep efficiency is poor. ⁇ Total sleep time is short. -The balance between REM sleep time and non-REM sleep time is poor (the ratio of REM sleep time to non-REM sleep time is out of the normal range). Therefore, the fatigue calculation unit 44 calculates the first fatigue level so that the first fatigue level is high if the sleep index corresponds to the above example, and the first fatigue level is low if the sleep index does not correspond to the above example.
  • the fatigue calculation unit 44 determines whether or not each of the above items is applicable, calculates points according to the corresponding number, and calculates the first fatigue level according to the total points. Good. At this time, the fatigue calculation unit 44 may calculate points by assigning weights to each item. In addition, a reference value (for example, “6 hours” for the total sleep time) is set for each item, and the points are calculated so that the points become larger as the calculated sleep index value is farther from the reference value. Also good.
  • a reference value for example, “6 hours” for the total sleep time
  • the sleep index related to the user's sleep is calculated based on the biological information, and the fatigue index is calculated based on the sleep index.
  • the accuracy of the fatigue index can be improved by calculating the fatigue index based on the sleep index.
  • the second method is a method for calculating a fatigue index based on an autonomic nerve index.
  • the first fatigue level can be evaluated using the balance of the working degree of the sympathetic nerve and the parasympathetic nerve, that is, the above-mentioned autonomic nerve index. Therefore, the fatigue calculation unit 44 calculates the first fatigue level so that, for example, the first fatigue level becomes higher as the value of the autonomic nerve index becomes farther from the reference value.
  • the fatigue calculation unit 44 calculates the first fatigue level using the first and second methods. Specifically, the fatigue calculation unit 44 calculates the fatigue level by the above two methods, and calculates the final first fatigue level based on the calculated fatigue levels. For example, the fatigue calculation unit 44 may use an average value of two fatigue levels as the final first fatigue level, or assign a weight to one of the two fatigue levels to determine the final first fatigue level. It may be calculated.
  • the first fatigue level may be calculated using the following method in addition to the above two methods. That is, a method of calculating the first fatigue level based on the sleep time in a predetermined period (for example, one week) may be used.
  • a method of calculating the first fatigue level based on the sleep time in a predetermined period for example, one week
  • FRMS Fatigue Risk Management System
  • the first fatigue level can be calculated based on the sleep time (only) by making the working time constant.
  • the fatigue index calculation method is arbitrary, and the content of the fatigue index is also arbitrary.
  • a value indicating the degree of fatigue may be calculated as the fatigue index for each type of fatigue.
  • the fatigue index may be three types of values: a value indicating the degree of acute fatigue, a value indicating the degree of cumulative fatigue, and a value indicating the degree of mental fatigue.
  • health information may be calculated using the detection result of the camera 16 and / or the microphone 15.
  • biological information such as a pulse and / or body movement based on a user image captured by the camera 16. Therefore, in addition to (or instead of) the biometric information obtained from the detection result of the Doppler sensor 24, the processing unit 11 uses the biometric information obtained from the image captured by the camera 16 to set the sleep index (and fatigue index). It may be calculated. The processing unit 11 may calculate the sleep index in consideration of the snoring sound detected by the microphone 15.
  • FIG. 9 is a flowchart illustrating an example of a flow of processing executed by the terminal system during the sleep period.
  • a series of processes shown in FIG. 9 is started in response to the portable terminal 5 being attached to the base device 6.
  • the above-described series of processing may be started in response to the start of communication between the mobile terminal 5 and the base device 6, or the user may use the mobile device 5 or the base device 6. Alternatively, it may be started in response to a predetermined start operation.
  • each process shown in FIG. 9 is performed by either one of the portable terminal 5 and the base apparatus 6, or when both cooperate.
  • each step in the flowchart shown in drawing is only an example, and if the same result is obtained, the process order of each step may be changed. In addition (or instead), another process may be executed. Further, in this specification, the processing of each step in the flowchart is described as being executed by the CPU of each device (the mobile terminal 5, the base device 6, and the server 3). The processing may be executed by a processor other than the CPU or a dedicated circuit.
  • step S11 the terminal system 2 executes a start process.
  • the start time process is a process executed in response to the start of a series of processes shown in FIG. 9 (in the present embodiment, in response to the mobile terminal 5 being attached to the base device 6).
  • a charge start process, a detection start process, and a regeneration start process are executed as the start process (see FIG. 6).
  • the process executed as the start process is arbitrary, and any one or two of the three processes may be executed. What are the three processes? Other different processes may be executed, or the start process may not be executed.
  • the base device 6 starts charging the mobile terminal 5. Specifically, the control unit 22 instructs the power acquisition unit 23 to start charging. In response to this instruction, the power acquisition unit 23 supplies power supplied from the external power source to the mobile terminal 5 via the connector 21.
  • the base device 6 is assumed to be in a state connected to an external power source (that is, a state in which the power plug is connected to an outlet). Note that the base device 6 may confirm the remaining battery level of the mobile terminal 5 and start the charging operation on condition that the remaining battery level is equal to or less than a predetermined amount.
  • the charging operation started in step S11 ends in response to the battery of the mobile terminal 5 being charged to the capacity.
  • the base device 6 starts detection by a sensor (Doppler sensor 24) that detects biological information for calculating health information. That is, the control unit 22 of the base device 6 instructs the Doppler sensor 24 to start the detection operation. In response to this instruction, the Doppler sensor 24 starts a detection operation.
  • Doppler sensor 24 detects biological information for calculating health information.
  • the base device 6 starts playback of the sleeping content. That is, the control unit 22 reads out the sleeping content stored in advance, and reproduces the sleeping content using the projector 25 and the speaker 26.
  • the content (sleeping content or awakening content) played on the base device 6 may be stored in the base device 6, may be stored in the mobile terminal 5, or may be an external device (for example, a server). 3) may be acquired via the portable terminal 5.
  • step S11 the processes of steps S12 to S20 described below are repeatedly executed during the sleep period.
  • the processing loop of steps S12 to S20 is executed at a rate of once per predetermined time.
  • step S12 the terminal system 2 acquires the detection result (biological information) of the Doppler sensor 24.
  • the Doppler sensor 24 that has started the detection operation by the detection start process in step S ⁇ b> 11 outputs a detection result (output waveform) to the control unit 22.
  • the control part 22 transmits a detection result to the portable terminal 5 (step S1 shown in FIG. 4).
  • the detection result of the Doppler sensor 24 is acquired by the mobile terminal 5.
  • the control unit 22 may transmit the detection result information of the Doppler sensor 24 to the mobile terminal 5 as it is, or process the detection result (for example, a process of removing noise included in the detection result signal, The process of calculating the sleep index or the like may be performed and transmitted to the mobile terminal 5.
  • step S13 the portable terminal 5 calculates sleep information (various sleep indices) (step S2 shown in FIG. 4). That is, the processing unit 11 calculates various sleep indexes based on the detection result (biological information) acquired in step S12.
  • the sleep index is calculated by the method described in “(3-2: Method for calculating health information)” above.
  • the processing unit 11 may calculate information (sleep index) used to determine the user's sleep state in steps S14 and S15 described later.
  • step S13 the processing unit 11 does not have to calculate a sleep index (for example, total sleep time) and fatigue information (fatigue index) that can be calculated only when the sleep period ends.
  • step S14 the portable terminal 5 controls the output of the base device 6 according to the user's sleep state (step S2 shown in FIG. 4). That is, the processing unit 11 controls the output in the base device 6 (output by the projector 25 and / or the speaker 26) based on the sleep index calculated in step S13. Specifically, the processing unit 11 determines whether or not the user's sleep state has become a predetermined state based on the sleep index calculated in step S13.
  • the predetermined state includes, for example, a state in which the user has fallen asleep, a state in which the user has entered a deep sleep, a state in which the user has been awakened, a state before awakening, and the like (see FIG. 6).
  • the processing unit 11 executes a reproduction control process corresponding to the state.
  • a reproduction control process corresponding to the state.
  • the above-described control of the power supply of the projector 25 the operation of controlling the reproduction of the sleeping content, the operation of displaying the time according to the mid-wakening, and the reproduction of the awakening content
  • An operation (see FIG. 6) for controlling is performed.
  • the terminal system 2 performs output from the mobile terminal 5 in addition to or instead of the output from the base device 6 when presenting content and / or information to the user during the sleep period. May be.
  • the display of the current time performed in response to the user being awakened may be performed on the mobile terminal 5.
  • the portable terminal 5 may output sound (music) according to content reproduction by the projector 25. Note that the same image as the image projected and displayed by the projector 25 may be displayed on the portable terminal 5, or a different image may be displayed.
  • step S15 the portable terminal 5 controls the portable terminal 5 according to the user's sleep state (step S2 shown in FIG. 4). That is, the processing unit 11 controls the operation mode of the mobile terminal 5 based on the sleep index calculated in step S13. Specifically, the processing unit 11 determines whether or not the user's sleep state has become a predetermined state, as in step S14. When it is determined that the predetermined state has been reached, the processing unit 11 changes the operation mode of the mobile terminal 5 to a mode corresponding to the state. In the present embodiment, the operation for changing to the off mode and the operation for changing to the on mode described above are executed by the process of step S15.
  • step S15 is not limited to the operation mode of the mobile terminal 5, and may be a process of changing the settings of the mobile terminal 5.
  • the mobile terminal 5 may change the output volume setting and / or the screen display setting of the mobile terminal 5 according to the sleep state of the user. For example, when the user is in a sleep state, the output volume of the mobile terminal 5 may be set to zero, or the screen display may be set to be off.
  • step S16 the mobile terminal 5 determines whether or not the user has awakened (wakes up when waking up).
  • the processing unit 11 determines whether or not the user has been awakened based on the sleep index calculated in step S13 by the method described in the above-mentioned “(Information presentation at midway awakening)”.
  • a series of processes in steps S17 to S19 are executed.
  • the series of processes in steps S17 to S19 is skipped and the process in step S20 is executed.
  • step S17 the portable terminal 5 calculates health information based on information (biological information) acquired during the sleep period (step S3 shown in FIG. 4).
  • the health information is calculated by the method described in “(3-2: Method for calculating health information)”.
  • the processing unit 11 first calculates an autonomic nerve index based on the biological information acquired in step S12.
  • the process part 11 calculates the sleep parameter
  • the health information including the sleep index and the fatigue index is calculated.
  • the health information may include only one of sleep information (sleep index) and fatigue information (fatigue index).
  • step S18 the terminal system 2 presents the sleep evaluation result to the user. That is, the processing unit 11 generates an image (see FIG. 7) indicating the evaluation result based on the calculated sleep index.
  • the sleep index and advice information are calculated based on the sleep index, and an image including the calculated information is generated.
  • the processing unit 11 transmits the generated image to the base device 6.
  • the control unit 22 of the base device 6 projects and displays the received image by the projector 25 (on the ceiling). Thereby, an image showing the evaluation result is presented to the user.
  • the image generation may be performed by the base device 6. That is, the mobile terminal 5 may transmit the calculated sleep index information to the base device 6 and generate an image based on the sleep index received by the base device 6.
  • step S19 the portable terminal 5 transmits the calculated health information to the server 3 (step S4 shown in FIG. 4). That is, the processing unit 11 transmits the health information calculated in step S ⁇ b> 17 to the server 3 through the communication unit 10. Thereby, health information for one sleep period is transmitted to the server 3 and stored in the server 3.
  • the portable terminal 5 automatically transmits information to be transmitted to the server 3 (even if there is no instruction from the user). That is, the information is uploaded to the server 3 even if the user does not give an instruction.
  • step S20 the base device 6 determines whether or not to end the detection operation by the Doppler sensor 24. Specifically, based on the detection result of the Doppler sensor 24, the control unit 22 determines whether the user is no longer detected (whether the user is out of the detection range of the sensor). When the user is no longer detected, the control unit 22 determines to end the detection operation, and ends the series of processes illustrated in FIG. On the other hand, when the user is detected, the control unit 22 determines not to end the detection operation, and executes the process of step S12 again. Thereafter, a series of processes in steps S12 to S20 are repeatedly executed until it is determined in step S20 that the detection operation is to be ended.
  • the terminal system 2 may end the series of processes shown in FIG. 9 after transmitting the health information to the server 3 in step S19. In this case, if the determination result of step S16 is negative, the process of step S12 is executed again, and the processes of steps S12 to S16 are repeatedly executed until the determination result of step S16 becomes affirmative.
  • the base The device 6 cannot transmit the detection result of the Doppler sensor 24 to the portable terminal 5.
  • the base device 6 stores data of a detection result that could not be transmitted to the mobile terminal 5 in its storage unit (memory or the like).
  • the base device 6 transmits the detection result data stored in the storage unit to the mobile terminal 5.
  • the mobile terminal 5 that has received the data calculates a sleep index based on the detection result (step S13).
  • the portable terminal 5 does not need to perform the control process (step S14, S15) based on the sleep parameter
  • the portable terminal 5 executes the processes of steps S17 to S19. .
  • the health information is calculated in response to the mobile terminal 5 being next attached to the base device 6. It is transmitted to the server 3. Therefore, for example, when the user wakes up and notices that the mobile terminal 5 is detached from the base device 6, the user may attach the mobile terminal 5 to the base device 6.
  • the terminal system 2 can present the evaluation result of sleep to the user, and can transmit health information to the server 3.
  • step S14 an image is projected and displayed on the ceiling by the projector 25.
  • the base device 6 may execute a correction process for correcting the image.
  • This correction process is a process for correcting an image so that an appropriate image is projected and displayed in consideration of the unevenness and color of the projection location (ceiling) of the projector 25.
  • the base device 6 corrects an image projected and displayed by the projector 25 on the basis of the image of the projected portion captured by the camera 27 in consideration of the unevenness and color of the projected portion. Specifically, before executing the processing shown in FIG. 9, the base device 6 projects and displays a predetermined test image on the ceiling by the projector 25.
  • the base device 6 captures a test image projected and displayed on the ceiling, which is distorted or changed in color from the original test image, with the camera 27. Then, the base device 6 specifies correction processing for correcting the original test image so that the test image projected and displayed on the ceiling is appropriately displayed based on the image captured by the camera 27. That is, the base device 6 performs a correction process for correcting the original test image so that the projected test image is displayed in a correct shape in a projection portion with unevenness and displayed in a correct color in the projection portion. Identify the contents of. When the correction process is specified, the base device 6 stores the content of the correction process.
  • the base device 6 corrects the image by the stored correction process, and projects and displays the corrected image by the projector 25.
  • the projected and displayed image has an appropriate shape (the same shape as the original image) and an appropriate color (the same color as the original image).
  • the correction process described above may be performed by a method similar to the conventional projection mapping technique. Further, the correction process may be a correction that takes into consideration only one of the unevenness and the color of the projected portion.
  • FIG. 10 is a diagram illustrating an example of the relationship between the user's behavior during the awakening period and various information determined by the information processing system.
  • FIG. 11 is a timing chart showing an example of the operation flow of the information processing system in the awakening period.
  • FIG. 10 as an example of the user's daily action, a case where he / she goes to the office, attends a meeting, stops at the gym after leaving the office, and returns home is shown.
  • the operation of the information processing system when the user performs the action shown in FIG. 10 as the user's daily action will be described as an example.
  • the operation mode of the mobile terminal 5 is changed to the on mode in response to the user waking up.
  • the mobile terminal 5 performs a process for calculating QOL element information (activity information, environmental information, emotion information, and preference information) to be calculated during the awakening period.
  • QOL element information activity information, environmental information, emotion information, and preference information
  • the mobile terminal 5 starts detecting position information by the position detector 13 and detecting environment sensor information by the environment sensor 14 (step S21 shown in FIG. 11).
  • the position information is used to calculate activity information
  • the environmental sensor information is used to calculate environmental information.
  • detection of position information and detection of environmental sensor information are repeatedly executed while in the on mode (see FIG. 10).
  • the mobile terminal 5 calculates activity information indicating that the user has moved based on the position information (step S22 shown in FIGS. 10 and 11). That is, when the mobile terminal 5 starts moving from a place (here, home) where the detection position indicated by the position information is located, and arrives at another place (here, work) and stops moving, the mobile terminal 5 moves. The activity information shown is calculated.
  • the content of the activity information indicating movement is arbitrary, but in the present embodiment, activity information including the movement method and the movement amount is calculated. Although details will be described later, one of walking, train, and car is specified as the moving method. As the movement amount, a movement distance and / or a movement time is calculated.
  • the activity information indicating the movement includes the location before the movement (departure location, home in the example of step S22) and / or the location after the movement (destination, in the example of step S22 above). , Workplace information) may be included.
  • the mobile terminal 5 calculates environment information corresponding to the activity information.
  • “Environmental information corresponding to activity information” is environmental information indicating a user's environment during a period in which an activity indicated by the activity information is performed.
  • environmental information indicating the user's environment during the period of movement is calculated.
  • the mobile terminal 5 includes information indicating the content of the user's activity performed (the activity content illustrated in FIG. 15), and the average of the temperature and humidity detected during the activity.
  • Environmental information (see FIG. 15) including information indicating values (environment values shown in FIG. 15) is calculated.
  • the mobile terminal 5 transmits the calculated activity information and the environment information to the server 3 (step S23).
  • the server 3 distinguishes and stores (accumulates) the received activity information and environment information for each user (for each portable terminal). Also in the subsequent steps S26, S28, S30, S32, and S34, as in step S23, when the server 3 receives the QOL element information from the portable terminal 5, the server 3 distinguishes and stores it for each user.
  • the portable terminal 5 discriminates emotions during the meeting. That is, the portable terminal 5 calculates emotion information indicating emotion during the meeting, and transmits the calculated emotion information to the server 3 (steps S24 to S26 shown in FIGS. 10 and 11).
  • the calculation of the emotion information is performed as follows.
  • the mobile terminal 5 starts detecting information for calculating emotion information in response to the start of the conference (step S24).
  • the determination as to whether or not the conference is started is performed based on schedule information stored in the mobile terminal 5. That is, it is assumed that schedule information indicating the start date and time and the end date and time of the conference is registered in advance in the mobile terminal 5.
  • the portable terminal 5 determines whether or not the conference is started by referring to the schedule information, and starts detection when the conference is started.
  • step S24 the portable terminal 5 detects a sound detected by the microphone 15 as information for calculating emotion information. That is, the mobile terminal 5 starts sound detection by the microphone 15.
  • the mobile terminal 5 ends the detection of the information (step S25). That is, the mobile terminal 5 ends the sound detection by the microphone 15. Note that it is possible to determine whether or not the conference is ended based on schedule information stored in the mobile terminal 5.
  • the mobile terminal 5 calculates emotion information based on information detected during the conference (information on the sound detected by the microphone 15) (step S26). Although details will be described later, in the present embodiment, the mobile terminal 5 determines the user's emotion based on the user's voice or the like detected by the microphone 15 and calculates information indicating the determination result as emotion information. Although details will be described later, in the present embodiment, emotion information representing five types of emotions (strengths of emotions) of anger, joy, sadness, hate, and enjoyment is calculated.
  • the mobile terminal 5 images the user with the camera 16 and discriminates the emotion based on the captured facial expression of the user.
  • the mobile terminal 5 calculates activity information indicating work (having been done) (step S27 shown in FIGS. 10 and 11). That is, when the detection position indicated by the position information starts moving from a specific location (here, a workplace), the mobile terminal 5 determines that the user has stayed at the specific location, Activity information indicating the activity (here, work) corresponding to the place is calculated.
  • the content of the activity information indicating the activity corresponding to the place is arbitrary, but in the present embodiment, the activity information including the activity content (work) and the activity time (work time) is calculated (see FIG. 13). ).
  • the mobile terminal 5 calculates environment information corresponding to the activity information.
  • the calculation method of the environment information is the same as that in step S22. That is, in step S27, the mobile terminal 5 calculates environment information indicating the user's environment during the period of work.
  • the mobile terminal 5 transmits the calculated activity information and the environment information to the server 3 (step S28) as in the process of step S23.
  • the mobile terminal 5 calculates activity information indicating that the user has moved based on the position information (step S29 shown in FIGS. 10 and 11).
  • the process of calculating activity information indicating movement is the same as the process in step S22.
  • the mobile terminal 5 calculates environmental information corresponding to the activity information, and transmits the calculated activity information and environmental information to the server 3 (step S30).
  • the user leaves the gym after completing the activity (exercise etc.) in the gym.
  • the portable terminal 5 determines that the user has stayed at a specific place (here, a gym) by the same process of step S27. And the portable terminal 5 calculates preference information based on the place where the user stayed, and transmits the calculated preference information to the server 3 (step S32).
  • the calculated preference information may be information in an arbitrary format indicating the user's hobbies and preferences.
  • the preference information indicates a genre that is determined to be interesting by the user among a plurality of predetermined genres (items).
  • the plurality of genres include, for example, exercise, health, beauty, fashion, music, movies, news, cooking, meals, pets, games, and the like.
  • the mobile terminal 5 stores in advance a table in which a place (facility) is associated with the genre. When it is determined that the user stayed at a specific place (facility), the mobile terminal 5 specifies a genre associated with the place in the table. For example, in the table, genres of “exercise” and “health” are associated with a gym. Therefore, when the user stops at the gym, preference information indicating “exercise” and “health” is calculated (generated).
  • the preference information may be calculated based on information input by the user (details will be described later). For example, when the user browses a web page on the Internet using the mobile terminal 5, the mobile terminal 5 may determine the preference based on a search word input by the user on the search site, or browse the web page. The preference may be determined based on the content of a web page (for example, a keyword included in the web page).
  • the mobile terminal 5 calculates activity information indicating that the user has moved based on the position information (step S33 shown in FIGS. 10 and 11).
  • the process of calculating activity information indicating movement is the same as the process in step S22.
  • the mobile terminal 5 calculates environment information corresponding to the activity information, and transmits the calculated activity information and environment information to the server 3 (step S34).
  • the server 3 when the predetermined evaluation timing arrives, the server 3 performs user evaluation based on the QOL element information based on the QOL element information transmitted from the mobile terminal 5 (step S36 shown in FIG. 11).
  • the user evaluation based on the QOL element information is performed for each user having a mobile terminal (a user who receives a network service) (step S36).
  • a health index indicating the user's health is calculated based on the health information and the activity information, and the environment around the user is determined based on the environment information.
  • An environmental index indicating the emotion of the user is calculated based on the emotion information.
  • a QOL index that is a comprehensive index is calculated based on the health index, the environmental index, and the emotion index. Details of the calculation method of these indices will be described later.
  • the evaluation timing at which the server 3 performs the evaluation is arbitrary, but in the present embodiment, the evaluation timing is a timing at which a predetermined time is reached.
  • the evaluation timing may be a timing set by the server 3 (network service provider) or may be a timing designated by the user. Further, the evaluation timing is not limited to the timing when the predetermined time is reached, and may be set based on a user activity (the activity information). For example, the evaluation timing may be a timing when the user leaves the office or a timing when the user returns home.
  • the server 3 is not limited to once per day, and may evaluate multiple times. For example, the server 3 may perform an evaluation based on the received QOL element information every time the QOL element information is received from the mobile terminal 5. At this time, the server 3 executes the evaluation other than the comprehensive evaluation (calculation of an index other than the QOL index) every time the QOL element information is received, and the comprehensive evaluation (calculation of the QOL index) once a day. It may be executed at a predetermined evaluation timing. Further, when QOL element information satisfying a predetermined condition is received (for example, when a predetermined type of QOL element information is received), the server 3 is based on the QOL element information according to the received timing. When QOL element information that does not satisfy the predetermined condition is received, the evaluation may not be performed (the evaluation is performed later) according to the received timing.
  • the server 3 After the evaluation, the server 3 provides a network service corresponding to the evaluation result to the user (step S37 shown in FIG. 11 and steps S8 and S9 shown in FIG. 4). That is, the server 3 specifies the service content to be provided to the user based on the various indexes calculated in step S36 (see FIG. 10).
  • a network service As described above, in this embodiment, as a network service, (a) presentation of evaluation results, (b) presentation of advice information for improving the evaluation results, (c) products for improving the evaluation results, etc. Recommendation information that recommends the user, (d) provision of content for improving the evaluation result, and (e) provision of a privilege according to the evaluation result are performed.
  • information including an index representing each index is transmitted to the mobile terminal 5 and presented to the user (FIG. 24, etc.).
  • the advice information for example, when an evaluation result (environment index) indicating that the user was in a hot environment is calculated, advice information indicating a method for preventing summer heat may be presented to the user.
  • recommendation information for example, when an evaluation result (health index) indicating that fatigue has accumulated is calculated, recommendation information for recommending a product having an effect of recovery from fatigue may be presented to the user.
  • content provided in the network service for example, when an evaluation result (health index) indicating that sleep is insufficient is calculated, music content that is effective in making it easy to fall asleep is provided, or the mood is depressed When an evaluation result (emotion index) indicating that the user is on the screen is calculated, content that can boost the mood may be provided.
  • a privilege for example, when an evaluation (health index) indicating that the user is able to maintain a healthy state is calculated, a privilege that gives points that can be used in the network service is given. A privilege that discounts the usage fee of the mobile terminal 5 may be given.
  • the server 3 specifies the service content based on the preference information (see FIG. 10). For example, the server 3 may change the types of products recommended by the recommendation information based on the genre that the user is interested in indicated by the preference information. Specifically, even if the same evaluation result is calculated for a certain user, if the preference information indicates that he / she is interested in exercise, the server 3 presents recommendation information regarding sports equipment and is interested in meals. If the preference information indicates that, the server 3 may present recommendation information regarding health food. For example, the server 3 may change the content of the privilege to be granted based on the preference information. For example, when presenting a product as a privilege to the user, the server 3 may determine the type of the product based on the genre that the user is interested in indicated by the preference information.
  • the server 3 transmits service data related to the network service to the mobile terminal 5 (see FIG. 11).
  • the service data includes, for example, evaluation result data, advice information data, recommendation information data, provided content data, and / or privilege data (data indicating a privilege grant notification, privilege itself data), etc. It is.
  • the service data related to the network service according to the evaluation result regarding a certain user is not the user (person) to be evaluated but another user (for example, the certain user). It may be transmitted to the terminal of the user's family or friends. At this time, the content of the service data transmitted to the user to be evaluated may be different from the content of the service data transmitted to another user.
  • the evaluation is performed in the server 3 at a predetermined time, and the network service is provided in response to the evaluation being performed.
  • the timing for providing the network service is arbitrary.
  • the network service may be provided not only at the timing when the predetermined time comes, but also at the timing set based on the user activity (the activity information).
  • the server 3 may provide the network service when the user leaves the company or when the user returns home.
  • the server 3 when the server 3 performs an evaluation every time QOL element information is received, the server 3 may provide a network service each time the evaluation is performed. Further, when an evaluation result that satisfies a predetermined condition is calculated, the server 3 provides a network service based on the evaluation according to the calculated timing, and an evaluation result that does not satisfy the predetermined condition is calculated. In some cases, the network service may not be provided (provided later) according to the calculated timing. Note that “when an evaluation result satisfying a predetermined condition is calculated” means that, for example, an evaluation result based on a predetermined type of QOL element information is calculated, or an evaluation result that is a predetermined result is calculated. This is the case. For example, in the example shown in FIG.
  • Advice information such as “.” May be transmitted from the server 3 to the mobile terminal 5.
  • advice to prevent heat stroke immediately after the end of movement Information may be transmitted from the server 3 to the mobile terminal 5.
  • the mobile terminal 5 receives service data transmitted from the server 3. And the portable terminal 5 shows the information which concerns on service data to a user using the received service data (step S38). Accordingly, for example, evaluation results, advice information, and / or recommendation information are displayed on the display 17 of the mobile terminal 5, content related to the service is played back on the mobile terminal 5, or a privilege related to the service is given. A notification to that effect is displayed on the mobile terminal 5.
  • the terminal that can receive the network service may not be the portable terminal 5. That is, information related to service data is not limited to the mobile terminal 5 and may be presented by another device. For example, the content provided by the network service may be acquired by the mobile terminal 5 and played back on the base device 6. Further, for example, the server 3 may transmit service data to a pre-registered terminal (for example, a personal computer at the user's home) that is different from the portable terminal 5.
  • a pre-registered terminal for example, a personal computer at the user's home
  • the mobile terminal 5 calculates QOL element information such as activity information, environmental information, emotion information, and preference information, and transmits it to the server 3.
  • the server 3 evaluates the user's health, activity, environment, and / or emotion based on the QOL element information received during the sleep period and the QOL element information acquired during the awakening period. Then, a network service corresponding to the evaluation result is provided to the user.
  • the user wears the portable terminal 5 on the base device 6 at bedtime (see FIG. 11).
  • the operation mode of the portable terminal 5 shifts to the off mode.
  • the portable terminal 5 ends the process for calculating the QOL element information to be calculated during the awakening period. That is, the portable terminal 5 ends the detection of the position information by the position detection unit 13 and the detection of the environment sensor information by the environment sensor 14 (step S38 shown in FIG. 11).
  • the mobile terminal 5 acquires position information and environmental sensor information throughout the day (that is, during the awakening period).
  • the condition (period and / or timing) for acquiring information for calculating the QOL element information is arbitrary. That is, the acquisition of information for calculating the QOL element information may be started and / or ended according to a predetermined condition being satisfied.
  • the mobile terminal 5 may end the acquisition of the position information based on the user activity (activity information). Specifically, the mobile terminal 5 may end the acquisition of the position information in response to determining that the user has returned home.
  • the mobile terminal 5 may control the start and / or end of the acquisition of environment information based on the user activity (activity information). Specifically, the mobile terminal 5 may acquire the environment information only while the user is performing a predetermined activity (for example, movement or work).
  • the acquisition process may be terminated at the timing when service data is received from the server 3.
  • the activity information and the environmental information can be calculated.
  • the portable terminal 5 transmits the position information and the environment information calculated after receiving the service data to the server 3 as before reception. Therefore, the server 3 may perform the evaluation based on the position information and the environment information calculated after receiving the service data at the next evaluation timing (evaluation timing performed tomorrow). Further, the server 3 performs an evaluation based on the position information and the environment information calculated after receiving the service data at the time of the user's sleeping, and the user awakens at a predetermined timing (for example, the next morning) Service data based on this evaluation may be transmitted to the portable terminal 5 (at timing). For example, when the mobile terminal 5 notifies the server 3 in response to the mobile terminal 5 being attached to the base device 6, the mobile terminal 5 can notify the server 3 of the user's bedtime.
  • the mobile terminal 5 may stop detecting position information and environmental sensor information, or stop calculating activity information and environmental information. Also good. As described above, when service data is received at a rate of once in a predetermined period, when the service data is received during the predetermined period, the mobile terminal 5 calculates QOL element information during the predetermined period, and Alternatively, acquisition (detection) of information for calculating the QOL element information may be stopped.
  • FIG. 12 is a flowchart illustrating an example of the flow of activity information calculation processing.
  • the activity information calculation process is a process of calculating activity information indicating the user activity based on the user position (position information).
  • the activity information calculation process is continuously executed during the on mode. That is, the CPU of the processing unit 11 starts executing the program for the activity information calculation process in response to the operation mode of the mobile terminal 5 being turned on, and continues until the operation mode is turned off.
  • the activity information calculation process is executed.
  • the processing unit 11 acquires information used for calculating activity information.
  • the information used for calculating the activity information is the position information described above. That is, the processing unit 11 acquires position information from the position detection unit 13. Moreover, in this embodiment, the process part 11 acquires the time information which shows the time at the time of position information being acquired as time information corresponding to position information. The acquired position information and time information are stored in the memory of the processing unit 11.
  • step S52 the processing unit 11 determines whether or not the condition for calculating the activity information is satisfied.
  • This calculation condition is arbitrary, but in the present embodiment, the fact that the user has finished moving (first condition) and that the user stayed at the place where the activity information is calculated (second condition) are used. . When either one of the first condition and the second condition is satisfied, it is determined that the condition for calculating the activity information is satisfied.
  • Whether or not the first condition is satisfied depends on, for example, whether or not the detection position indicated by the position information has stopped at another place for a predetermined time or longer (for example, 10 minutes or longer) after moving from a certain place. Can be determined. If the detection position is not more than a predetermined distance from a certain place, or if the movement time is less than a predetermined time, the processing unit 11 determines that the detection position has not moved from the certain place. Also good. Thereby, in the processing of steps S22, S29, and S33 described above, the processing unit 11 moves the user from one place to another (for example, moving from home to work, moving from work to a gym, etc.) ) Can be determined.
  • a predetermined time or longer for example, 10 minutes or longer
  • Whether or not the second condition is satisfied is determined as follows. That is, the processing unit 11 first determines whether or not the movement has started after the detection position has stayed at a place where the detection position is longer than a predetermined time (for example, 15 minutes or longer). When it is determined that the predetermined time has not been exceeded or the movement is not started, the processing unit 11 determines that the second condition is not satisfied. On the other hand, when it determines with having started the movement after staying, the process part 11 pinpoints the kind of the stay place.
  • the type of staying place may be, for example, a place relating to a user such as home or work, or a facility such as a gym, restaurant, or movie theater.
  • the location of the place related to the user is registered and stored in advance in the mobile terminal 5.
  • the location of the facility is specified using, for example, map information in which the location on the map and the facility existing at the location are associated with each other.
  • the map information may be stored in advance in the mobile terminal 5 or may be acquired by the mobile terminal 5 from an external device via the Internet or the like.
  • the processing unit 11 specifies the type of staying place by specifying a position that matches the position of the place that has stayed among the position of the place related to the user and the position of the facility. For example, in step S27 described above, the staying place is specified as a work place, and in step S31 described above, the staying place is specified as a gym. In addition, when the kind of stay place cannot be specified, the process part 11 determines with the 2nd condition not being satisfy
  • the processing unit 11 determines whether or not the identified staying place is a place where activity information is calculated.
  • the portable terminal 5 stores in advance the type of place where the activity information is calculated. For example, in this embodiment, it is assumed that several places including a work place are stored, and a gym is not stored. The determination is made based on whether or not the type of the specified staying place matches any of the types of places stored in advance.
  • the processing unit 11 determines that the second condition is satisfied.
  • the processing unit 11 determines that the second condition is not satisfied.
  • the workplace that is the staying place is a place where the activity information is calculated, and it is determined that the second condition is satisfied.
  • the sports gym that is the staying place is not a place where activity information is calculated, and it is determined that the second condition is not satisfied.
  • the activity information may be calculated in response to the user staying in the gym by registering the gym as a place for calculating the activity information.
  • the determination as to whether or not to calculate the activity information is performed based on the position information (position information stored in the memory acquired in step S51).
  • this determination may be made based on other information.
  • it may be performed based on user schedule information. For example, when the work end time is registered in the schedule information, the mobile terminal 5 may determine to calculate the activity information in response to the end time.
  • step S52 If the determination result of step S52 is affirmative, the process of step S53 is executed. On the other hand, when the determination result of step S52 is negative, the process of step S51 is executed again. That is, the processing unit 11 repeats the processes in steps S51 and S52 until it is determined in step S52 that the condition is satisfied. Note that the processing loop of steps S51 and S52 is repeatedly executed at a rate of once every predetermined time, for example.
  • step S53 the processing unit 11 calculates activity information.
  • FIG. 13 is a diagram illustrating an example of activity information calculated in the present embodiment.
  • FIG. 13 shows a series of activity information calculated when the user performs the action shown in FIG.
  • the activity information includes activity content and activity amount.
  • the processing unit 11 can calculate activity information indicating movement and activity information indicating activity (for example, work) corresponding to a place.
  • the processing unit 11 calculates activity information indicating movement (activity information (a), (c), and (d) in FIG. 13).
  • the activity information indicating movement indicates a movement method as the activity content and a movement amount as the activity amount. That is, the processing unit 11 calculates a movement speed and a movement path from position information detected during movement, and specifies a movement method based on the movement speed and the movement path. For example, if the moving speed is less than a predetermined speed, the moving method is specified as walking. Further, if the moving speed is equal to or higher than the predetermined speed and the moving route is on a road, the moving method is specified as a car (motorcycle). Further, if the moving speed is equal to or higher than the predetermined speed and the moving route is on a railroad track, the moving method is specified as a train.
  • a plurality of types of movement methods may be specified. For example, when the movement speed is less than a predetermined speed at the start of movement and the movement speed becomes equal to or higher than the predetermined speed, the movement method may be specified as walking and car (or train). Good.
  • the processing unit 11 may calculate two types of activity information: activity information whose movement method is walking and activity information whose movement method is car (or train).
  • the processing unit 11 can calculate the movement time based on time information corresponding to the position information acquired during movement as the movement amount. In other embodiments, the processing unit 11 may calculate the movement distance based on the movement route as the movement amount.
  • activity information (activity information (b) in FIG. 13) indicating the activity corresponding to the place is calculated.
  • the “activity according to the place” is an activity that can be estimated from the place where the user stays. For example, “work” when the stay place is a workplace, or “meal” when the stay place is a restaurant. It is.
  • the activity information indicating the activity according to the location includes the activity content and the activity amount (activity time) as well as the activity information indicating the movement.
  • the activity content is calculated based on the stay location.
  • the mobile terminal 5 stores a table in which a stay place (for example, a workplace) and an activity content (for example, work) are associated with each other, and specifies the activity content using the table. Therefore, for example, in the table, if “work place” as a stay place is associated with “work” as the activity content, when the stay place is specified as a work place in step S27, The activity is identified as work.
  • the activity time can be calculated as, for example, the time spent at the place of stay. This time can be calculated based on time information corresponding to position information acquired while staying at the staying place.
  • step S53 the activity information is calculated in step S53.
  • one piece of activity information is calculated and stored in the memory of the processing unit 11.
  • step S54 the processing unit 11 transmits the activity information calculated in step S53 to the server 3. That is, the processing unit 11 transmits the activity information stored in the memory to the server 3 through the communication unit 10.
  • step S54 the processing unit 11 executes the process of step S51 again. Thereafter, until the operation mode is changed to the off mode, the processing unit 11 repeatedly executes the processes of steps S51 to S54. Accordingly, the activity information is calculated and transmitted to the server 3 at a predetermined timing in one day (for example, steps S22, S27, S29, S33 shown in FIG. 11).
  • FIG. 14 is a flowchart illustrating an example of the flow of environmental information calculation processing.
  • the environmental information calculation process is a process of calculating environmental information indicating the environment around the user based on environmental sensor information (temperature and humidity).
  • the environment information calculation process is continuously executed during the on mode. That is, the CPU of the processing unit 11 starts executing the program for the environmental information calculation process in response to the operation mode of the mobile terminal 5 being turned on, and continues until the operation mode is turned off.
  • the environmental information calculation process is executed.
  • step S61 the processing unit 11 acquires environmental sensor information as information used for calculating environmental information. That is, the processing unit 11 acquires temperature information detected by the temperature sensor and humidity information detected by the humidity sensor as environment sensor information from the environment sensor 14. The acquired environmental sensor information is stored in the memory of the processing unit 11.
  • step S62 the processing unit 11 acquires position information as information for determining whether to calculate environment information.
  • the process of step S62 is the same as the process of step S51 for acquiring position information. Therefore, the processing unit 11 may omit step S62 and use the position information acquired in step S51 and stored in the memory.
  • step S63 the processing unit 11 determines whether or not the condition for calculating the environmental information is satisfied.
  • the environmental information is calculated at the timing when the activity information is calculated (see steps S22, S27, S29, and S33 shown in FIG. 11). Therefore, the determination in step S63 can be made based on whether or not activity information has been calculated. If the determination result of step S63 is affirmative, the process of step S64 is executed. On the other hand, when the determination result of step S63 is negative, the process of step S61 is executed again. That is, the processing unit 11 repeats the processes of steps S61 to S63 until it is determined in step S63 that the condition is satisfied. Note that the processing loop of steps S61 to S63 is repeatedly executed, for example, at a rate of once per predetermined time (may be the same rate as the processing loop of steps S51 and S42).
  • step S64 the processing unit 11 calculates environmental information based on the environmental sensor information calculated in step S61.
  • FIG. 15 is a diagram illustrating an example of environment information calculated in the present embodiment.
  • FIG. 15 shows a series of environmental information calculated when the user performs the action shown in FIG.
  • the environmental information includes activity contents and environmental values.
  • the activity content included in the environmental information is the same as the activity content included in the activity information corresponding to the environmental information (see FIG. 15).
  • environment information indicating the environment during which the user performs the activity indicated by the activity information is calculated.
  • the activity content included in the environmental information indicates the user's activity during the period when the environmental sensor information is detected.
  • the processing unit 11 sets the activity content calculated in step S53 as the activity content in the environmental information.
  • the environmental value included in the environmental information indicates a value calculated from environmental sensor information acquired during the activity period related to the activity content associated with the environmental value.
  • the environmental value is an average value of each index (temperature and humidity) indicated by the environmental sensor information during the activity period (see FIG. 15). That is, the processing unit 11 first specifies an activity period based on activity information. The activity period can be specified based on the time information when the activity indicated by the activity information is started and the time information when the activity is ended. Next, the processing unit 11 reads out a plurality of environmental sensor information acquired during the activity period from the memory, calculates an average value of the temperature included in each environmental sensor information, and averages the humidity included in each environmental sensor information Calculate the value.
  • the environmental value is not limited to the average value of temperature and humidity, and may be any value calculated from environmental sensor information.
  • the heat index WBGT (Wet Valve Globe Temperature)
  • the heat index may be calculated as the environmental value.
  • the environmental information may include history information of each environmental sensor information acquired during the activity period instead of the environmental value (or together with the environmental value).
  • the history information may include all the environmental sensor information acquired during the activity period, or a part of the environmental sensors (for example, thinned out so as to be one rate per predetermined time).
  • Environmental sensor information When the environmental information includes the history information, the server 3 can know a change in the environment (temperature, humidity, etc.) during the activity period. Moreover, when the server 3 presents the evaluation result based on the environmental information to the user, the server 3 may present the user with a change in the environment during the activity period. For example, when an evaluation result (for example, the image shown in FIG.
  • the environment information may be any information that represents the environment around the user. That is, in another embodiment, the mobile terminal 5 may acquire weather information related to the weather and include it in the environment information.
  • the weather information may be acquired from an external device via the Internet, for example.
  • the mobile terminal 5 may include an atmospheric pressure sensor and generate environment information based on atmospheric pressure information detected by the atmospheric pressure sensor.
  • the portable terminal 5 may include an illuminance sensor and generate environment information based on illuminance information detected by the illuminance sensor.
  • the mobile terminal 5 may detect noise with a microphone and generate environment information based on the detected noise.
  • the environmental information may indicate at least one of the temperature, humidity, weather, atmospheric pressure, brightness, and noise of the place where the user is present.
  • the environment information including the activity content and the environment value is generated in step S64.
  • the environment information (environment information (a), (c), (d) shown in FIG. 15) indicating the environment in which the user is moving, or the user is performing a specific activity (for example, work).
  • Environmental information indicating the environment in the period ((b) shown in FIG. 15) is calculated.
  • one piece of environmental information is calculated and stored in the memory of the processing unit 11.
  • the activity information is used when the server 3 calculates the environmental index based on the environmental information. Therefore, in this embodiment, in order to calculate the activity information and the environmental information, the processing unit 11 calculates the environmental information on the condition that the activity information is calculated (step S63). Moreover, the process part 11 is calculating environmental information based on the environmental sensor information acquired in the activity period corresponding to activity information (step S64).
  • the condition for calculating the environmental information is arbitrary, and is not limited to the condition regarding the activity information.
  • the period used as the object for calculating environmental information is arbitrary, and is not limited to the activity period.
  • the portable terminal 5 becomes the end time for a period from a predetermined start time to a predetermined end time (based on environmental sensor information acquired during the period). The environmental information may be calculated on the condition.
  • the mobile terminal 5 may determine whether to calculate environment information based on position information detected by the position detection unit 13. For example, the mobile terminal 5 determines whether the user has gone out and returned home based on the location information, and calculates environmental information for the outing period (the period from going out to returning home). Also good. At this time, the environmental information may be calculated on the condition that the user has returned home.
  • the mobile terminal 5 may determine whether to calculate environment information based on the user's schedule information. For example, when the work start time and end time are registered in the schedule information, the mobile terminal 5 may calculate the environment information for the period from the start time to the end time. At this time, the environment information may be calculated on the condition that the end time has arrived.
  • step S65 the processing unit 11 transmits the environment information calculated in step S64 to the server 3. That is, the processing unit 11 transmits the environment information stored in the memory to the server 3 through the communication unit 10.
  • step S65 the processing unit 11 executes the process of step S61 again. Thereafter, the processing unit 11 repeatedly executes the processes of steps S61 to S65 until the operation mode is changed to the off mode. Accordingly, the environmental information is calculated and transmitted to the server 3 at a predetermined timing in one day (for example, steps S22, S27, S29, and S33 shown in FIG. 10).
  • FIG. 16 is a flowchart illustrating an example of the flow of emotion information calculation processing.
  • the emotion information calculation process is a process of calculating emotion information indicating the user's emotion based on the voice around the portable terminal 5 (the user's own voice and / or the voice of the conversation partner) or the user's facial expression.
  • the emotion information calculation process described below is continuously executed while the mobile terminal 5 is in the on mode. That is, the CPU of the processing unit 11 starts executing the program for emotion information calculation processing in response to the operation mode of the mobile terminal 5 being in the on mode, and continues until the operation mode is in the off mode.
  • the emotion information calculation process is executed.
  • emotion information may be calculated even in the standby state of the mobile terminal 5 (the display 17 of the mobile terminal 5 is turned off). Even when the user is operating the mobile terminal 5 and is executing an application other than the program for the emotion information calculation process, the emotion information is calculated (in the background of the other application). .
  • step S71 the processing unit 11 acquires information for determining whether or not to start measurement of information used for calculation of emotion information.
  • the sound detected by the microphone 15 or the image captured by the camera 16 is used for calculating emotion information.
  • the detection by the microphone 15 or the camera 16 cannot be performed well depending on the situation of the mobile terminal 5, and the emotion may not be calculated correctly.
  • the mobile terminal 5 is placed in a user's pocket or bag, there is a possibility that the user's voice or the like cannot be detected well by the microphone 15 because the noise increases.
  • information used for calculating emotion information cannot be obtained.
  • the camera 16 may not be able to capture the user's face.
  • the mobile terminal 5 performs measurement by the microphone 15 and the camera 16 under an appropriate situation (under a situation where emotion information can be calculated to some extent accurately). That is, the detection by the microphone 15 and the imaging by the camera 16 are not always executed in the on mode, but are started when a predetermined measurement condition is satisfied.
  • the process of step S71 is a process of acquiring information for determining this measurement condition. Specifically, the processing unit 11 acquires the above-described schedule information and operation information indicating an operation on the mobile terminal 5.
  • the schedule information is acquired from a storage unit (memory or the like) of the mobile terminal 5.
  • the operation information is acquired from the operation input unit 12.
  • the processing unit 11 determines whether the measurement condition is satisfied.
  • the measurement condition is that at least one of a condition for starting measurement by the microphone 15 (microphone condition) and a condition for starting measurement by the camera 16 (camera condition) is satisfied. is there.
  • the microphone condition is, for example, that a predetermined event is started.
  • the predetermined event may be, for example, a meal, a job, or a move in addition to the “conference” described above.
  • the microphone condition is determined based on schedule information.
  • the processing unit 11 refers to the schedule information acquired in step S71 and determines whether or not it is time to start one of predetermined events. The processing unit 11 determines that the microphone condition is satisfied when the time when the event is started, and determines that the microphone condition is not satisfied when the time when the event is not started.
  • whether or not a predetermined event has started is determined based on schedule information.
  • the determination may be performed based on other information.
  • the processing unit 11 may perform the determination based on the position information (and / or activity information calculated from the position information). For example, the processing unit 11 determines that the event “meal” has started when it is determined that the user has entered the restaurant based on the position information, or when activity information indicating “meal” is calculated. May be.
  • the mobile terminal 5 may perform measurement with the microphone 15 during a period in which the user is making a call using the mobile terminal 5. That is, the processing unit 11 may use, as a microphone condition, that a call has been started on the mobile terminal 5. At this time, in step S76 to be described later, the processing unit 11 may determine to end the measurement on the condition that the telephone terminal 5 has ended the call. According to this, the portable terminal 5 can detect a user's voice during a period in which the user is talking by the portable terminal 5, and can determine an emotion during the period.
  • the camera condition is that an operation on the mobile terminal 5 is started by the user.
  • the camera condition is determined based on the operation information. That is, the processing unit 11 determines whether or not any operation on the mobile terminal 5 has been executed based on the operation information. The processing unit 11 determines that the camera condition is satisfied when any operation on the mobile terminal 5 is executed, and determines that the camera condition is not satisfied when the operation on the mobile terminal 5 is not executed.
  • the camera condition may be any condition that can determine that the user is looking at the mobile terminal 5 (in other words, the user is included in the imaging range of the camera).
  • the camera condition may be that a predetermined information process (for example, a moving image playback process) is started in the mobile terminal 5. At this time, in step S76, which will be described later, the processing unit 11 may determine to end the measurement on condition that the reproduction of the moving image has ended.
  • the processing unit 11 performs an erroneous operation (for example, when the user touches the button of the mobile terminal 5 unintentionally) and / or a short-term operation (for example, when the user It may be possible to prevent the condition from being satisfied according to (when the portable terminal 5 is operated only to see the current time). In other words, the processing unit 11 determines that the camera condition is satisfied when the operation is performed a predetermined number of times or more in the predetermined period. You may judge.
  • step S72 If the determination result of step S72 is affirmative, the process of step S73 is executed. On the other hand, when the determination result of step S72 is negative, the process of step S71 is executed again. That is, the processing unit 11 repeats the processes in steps S71 and S72 until it is determined in step S72 that the condition is satisfied. Note that the processing loop of steps S71 and S72 is repeatedly executed at a rate of once every predetermined time, for example.
  • step S73 the processing unit 11 starts measurement for calculating emotion information. That is, in step S72, when the microphone condition is satisfied, the processing unit 11 turns on the microphone 15 and starts detection by the microphone 15. When the camera condition is satisfied, the processing unit 11 turns on the camera 16 and starts detection (imaging) by the camera 16.
  • step S74 the processing unit 11 acquires information for calculating emotion information. That is, when the measurement is performed by the microphone 15, the processing unit 11 acquires sound data detected by the microphone 15 and stores it in the memory. When measurement is performed by the camera 16, the processing unit 11 acquires image data captured by the camera 16 and stores the image data in a memory.
  • the sound data or image (moving image) data acquired during the measurement period (the period from the start of the process in step S74 to the end of the measurement in step S77 described later) is stored in the memory. Then, after the measurement period ends (step S77 described later), emotion information is calculated using the accumulated data.
  • step S75 the processing unit 11 acquires information for determining whether or not to end measurement of information used for calculating emotion information. That is, when the detection by the microphone 15 is performed, the processing unit 11 acquires the schedule information described above. Moreover, when the detection by the camera 16 is performed, the process part 11 acquires the operation information mentioned above.
  • step S76 the processing unit 11 determines whether or not to end the measurement. That is, when the detection by the microphone 15 is performed, the processing unit 11 determines whether or not the predetermined event determined to have started in step S72 has ended. That is, the processing unit 11 refers to the schedule information acquired in step S75, and determines whether or not it is time to end the predetermined event. The processing unit 11 determines to end the measurement when it is time to end the event. On the other hand, the processing unit 11 determines that the measurement is not ended (continues) when the time when the event ends is not reached.
  • whether or not to perform detection by the microphone 15 is determined based on whether or not it is during a predetermined event period.
  • the above determination may be made based on whether or not the user is moving. For example, when the mobile terminal 5 has a sensor (such as an acceleration sensor) that can detect movement, the mobile terminal 5 determines whether the user is walking on the basis of the detection result of the acceleration sensor, and moves on foot. If it is in the middle, detection by the microphone 15 may not be performed. It is assumed that the mobile terminal 5 is in the user's pocket or bag during walking, and it is difficult to accurately detect the user's voice in such a situation.
  • a sensor such as an acceleration sensor
  • the processing unit 11 determines whether or not the operation on the portable terminal 5 by the user has ended. This determination is performed based on, for example, whether or not an operation is performed on the mobile terminal 5 for a predetermined time. When it is determined that the operation on the mobile terminal 5 has ended, the processing unit 11 determines to end the measurement. On the other hand, if it is determined that the operation on the mobile terminal 5 has not ended, the processing unit 11 determines that the measurement is not ended (continues).
  • detection by the camera 16 is performed during a period in which an operation is performed on the mobile terminal 5.
  • the determination of whether or not it is the period may be performed based on other information, not limited to the operation information.
  • the mobile terminal 5 has a function in which the display 17 is turned off during a period when the operation is not performed and the display 17 is turned on when the operation is performed
  • the above determination is performed by turning on the display 17. It may be performed depending on whether or not. Further, the above determination may be made based on whether or not a predetermined application is activated on the mobile terminal 5.
  • step S76 If the determination result of step S76 is affirmative, the process of step S77 is executed. On the other hand, if the determination result of step S76 is negative, the process of step S74 is executed again. That is, the processing unit 11 repeats the processes in steps S74 to S76 until it is determined in step S76 that the measurement is to be ended. Note that the processing loop of steps S74 to S76 is repeatedly executed at a rate of once per predetermined time, for example.
  • step S77 the processing unit 11 ends the detection (measurement) by the microphone 15 or the camera 16, and calculates emotion information. That is, when the sound detected by the microphone 15 in the process of the immediately preceding step S74 has been acquired, the processing unit 11 uses the sound detected during the measurement period (that is, the user or the surrounding people). Emotion information is calculated (based on voice). In addition, when an image captured by the camera 16 is acquired in the process of immediately preceding step S74, the processing unit 11 uses the image captured during the measurement period (that is, based on the facial expression of the user). ) Calculate emotion information.
  • the processing unit 11 first identifies the voice of the user and the voice of another person (conversation partner) other than the user from the sound signal detected during the measurement period.
  • a conventional voice identification technique may be used, and for example, it may be performed as follows. That is, the processing unit 11 uses a sound signal measured during the measurement period, and a silent section and a section where emotions are difficult to discriminate (for example, a section with a lot of noise or a section where a plurality of voices overlap). Remove.
  • the processing unit 11 determines whether or not the remaining voice section is a section including the user's voice. This determination can be made by previously registering (storing) the user's voice in the mobile terminal 5 and comparing the user's voice registered in advance with the voice in the remaining voice section. For example, the processing unit 11 calculates the similarity for a predetermined feature amount for each unit section, and determines that the unit section includes the user's voice if the similarity is equal to or greater than a predetermined threshold. If is less than a predetermined threshold, it may be determined that the unit interval includes the voice of the conversation partner. As described above, the section including the user's voice (user voice section) and the section including the voice of the conversation partner (partner voice section) can be extracted from the sound signal measured during the measurement period.
  • the processing unit 11 determines a user's emotion based on the extracted user's voice. Any method may be used to discriminate emotion based on the user's voice, and a conventional emotion discriminating method may be used.
  • emotion is determined by the following method. That is, the processing unit 11 calculates a feature amount for each predetermined unit section of the voice signal of the user voice section. As the feature amount, for example, intensity, tempo, and intonation are calculated. The intensity can be calculated as an average of amplitudes in a predetermined section. The tempo can be obtained by calculating the number of phonemes per unit time. Intonation can be obtained by detecting a sentence break and detecting a specific intensity change pattern for the speech within the break.
  • the processing unit 11 calculates an index indicating emotion based on the calculated feature value.
  • the processing unit 11 calculates an index for each of the three types of emotions of anger, joy, and sadness based on the feature amount.
  • the processing unit 11 calculates the change in the feature amount (intensity, tempo, and intonation), and based on the change amount.
  • Each index is calculated.
  • the mobile terminal 5 stores a table indicating a change pattern of each feature amount for each type of emotion (anger, joy, and sadness). This change pattern may be created by an experiment (that is, based on a result of actually detecting voice from a plurality of subjects and calculating a feature amount).
  • the processing unit 11 compares the change pattern indicated by the table with the calculated feature amount change, and calculates the degree of similarity for each emotion type. Then, each index is calculated such that the index value is high for the type of emotion having a high degree of similarity and the index value is low for the type of emotion having a low degree of similarity. For example, the similarity between the change pattern indicated by the table relating to “anger” and the calculated feature amount change is high, and the similarity between the change pattern indicated by the table relating to “joy” and the change in the calculated feature amount is high.
  • an index such as “anger: 80, joy: 10, sadness: 50” is calculated. .
  • an index indicating the user's emotion based on the user's voice is calculated.
  • the processing unit 11 calculates an index indicating emotion for the voice of the conversation partner as well as the voice of the user. That is, the processing unit 11 calculates an index indicating the emotion of the conversation partner by the same calculation method as described above.
  • the user's own emotion from the emotion of the conversation partner. For example, when the conversation partner is angry, the user is angry (can be inferred), so the user is considered to have an emotion of “hate (hate)”. Further, when the conversation partner is pleased, the user is considered to have a feeling of “fun”.
  • the processing unit 11 calculates an index indicating the emotion of the user based on the emotion of the conversation partner. Specifically, indices indicating the user's “hate” and “fun” are calculated according to the indices “anger” and “joy” calculated for the conversation partner. The index indicating the disappointment of the user is calculated so as to increase as the numerical value of the anger index of the conversation partner increases. In addition, the index indicating the user's enjoyment is calculated so as to increase as the numerical value of the joy index of the conversation partner increases.
  • the type of emotion of the conversation partner is different from the type of emotion of the user calculated from it, but in other embodiments, the type of emotion of the conversation partner is calculated from it. The type of emotion of the user may be the same. For example, the processing unit 11 may calculate (correct) the index of sadness of the user based on the index of sadness of the conversation partner.
  • an index indicating five types of emotions of anger, joy, sadness, criticism, and fun is calculated for each predetermined unit section, which is a unit for calculating a feature value.
  • the processing unit 11 calculates emotion information in one measurement period based on each index in each unit section. For example, in the present embodiment, the processing unit 11 calculates the average value of each unit section for each of the five types of indicators.
  • the processing unit 11 uses the information including the average value of the five types of indices calculated as described above as emotion information. That is, in the present embodiment, emotion information indicating the five types of emotions is calculated.
  • the specific content of emotion information is not limited to this, but is arbitrary.
  • the emotion information may indicate some of the five types of the above-mentioned emotion types, or different emotion types (eg, surprise, fear, love) Or the like).
  • the emotion information is not limited to a plurality of numerical values, but may be a single numerical value.
  • the emotion information may indicate a scalar value indicating the height of emotion (depression).
  • the emotion information indicates two types of indexes, an index indicating the degree of positive type emotion (joy, fun, etc.) and an index indicating the degree of negative type emotion (anger, sadness, etc.). It may be a thing.
  • the mobile terminal 5 may determine the user's emotion based on the surrounding sound (voice) in addition to (or instead of) the user's voice and the conversation partner's voice. That is, the mobile terminal 5 may determine an emotion (for the user) according to the atmosphere around the user. For example, when the mobile terminal 5 detects a laughing voice around the user, the mobile terminal 5 estimates that the user is in a pleasant environment and determines that the user is happy (for example, calculates a high index indicating pleasure). May be. Further, when the mobile terminal 5 detects a scream or anger around the user, the mobile terminal 5 estimates that the user is in a tense environment and determines that the user is tense (for example, calculates a high index indicating tension). You may do it.
  • the processing unit 11 specifies some feature points (for example, eyes, mouth, eyebrows, and cheekbones) of the user's face through image recognition processing on the captured image by the camera 16.
  • the feature points may be calculated by a conventional image recognition process.
  • the processing unit 11 performs processing for each of one or more captured images acquired during a measurement period (all or part of the acquired captured images) acquired at a predetermined time interval. A feature point is calculated.
  • the processing unit 11 determines the user's emotion based on each feature point.
  • the emotion is determined based on the position of each feature point and the change of the feature point.
  • the mobile terminal 5 registers in advance the position of each feature point in the user's normal state by capturing the user's facial expression in the normal state with the camera 16 in advance.
  • the processing unit 11 calculates the change (change direction and change amount) from the normal time and the speed of change for each calculated feature point.
  • the mobile terminal 5 stores in advance a table in which the above change and change speed are associated with the type of emotion (anger, joy, or sadness) in that case.
  • This table may be created by an experiment (that is, based on the result of calculating the change and the change speed from the face image for each emotion type for a plurality of subjects).
  • the processing unit 11 refers to the table and calculates an index representing the emotion corresponding to the calculated change and speed of each feature point. Specifically, the similarity between the calculated change and change speed of each feature point and the change and change speed for each emotion type shown in the table is calculated, and an index corresponding to the similarity is calculated for each emotion type. calculate. For example, when the similarity is calculated high for the emotion of “anger”, the anger index is calculated high. As a result, even when the emotion is calculated based on the facial expression of the user, for example, “anger: 80, joy: 10, sadness: 50” for each emotion type, as in the case of calculating the emotion based on the voice. An indicator is calculated.
  • the above three types of indices are calculated for the user's face recognized from one captured image.
  • the processing unit 11 calculates emotion information in the measurement period based on the three types of indices calculated for each captured image acquired at the predetermined time interval. For example, in the present embodiment, an average value for each index is calculated for three types of indices calculated for each captured image.
  • the processing unit 11 uses information including the average value of the three types of indices calculated in this way as emotion information. That is, in the present embodiment, emotion information indicating the three types of emotions is calculated.
  • emotion information including an index is calculated for three types of emotions of “anger”, “joy”, and “sadness”.
  • some of the three types of indicators may be indicated, and emotion types different from the above three types (for example, ashamed, fun, surprise, fear, love) Or the like).
  • the same five types of indices as in the case of determining emotions using voice may be calculated.
  • the emotion information is not limited to indicating a plurality of numerical values, and may indicate one type of numerical value, or a positive type of emotion. Two types of indicators, i.e., an index indicating the degree and an index indicating the degree of negative type of emotion, may be used.
  • step S78 the processing unit 11 transmits emotion information to the server 3. That is, the processing unit 11 transmits the emotion information calculated in step S77 and stored in the memory to the server 3 through the communication unit 10.
  • step S78 the processing unit 11 executes the process of step S71 again. Thereafter, the processing unit 11 repeatedly executes the processes of steps S71 to S78 until the operation mode is changed to the off mode. Accordingly, emotion information is calculated and transmitted to the server 3 in response to a predetermined event on one day (for example, step S25 shown in FIG. 11).
  • the mobile terminal 5 calculates emotion information indicating the user's emotion during the event period.
  • the mobile terminal 5 may sequentially calculate emotion information during an event.
  • the mobile terminal 5 may calculate emotion information for each predetermined unit section, which is a unit in which the feature amount of the user's voice is calculated.
  • the mobile terminal 5 may sequentially transmit the calculated emotion information to the server 3.
  • the mobile terminal 5 can calculate emotion information in real time, and the server 3 can also provide the user with a network service according to the evaluation based on the emotion information in real time.
  • a period during which a predetermined event is performed is specified based on the schedule information so that measurement by the microphone 15 and the camera 16 can be performed in an appropriate situation. Measurement was performed (steps S72 to S76).
  • the period for detecting (measuring) information for calculating emotion information may be specified based on other information.
  • the mobile terminal 5 may specify a period during which a predetermined event is performed by intermittently detecting with the microphone 15.
  • an example in which detection by the microphone 15 is performed intermittently will be described.
  • FIG. 17 is a flowchart showing another example of the flow of emotion information calculation processing. The process shown in FIG. 17 is also continuously executed while the mobile terminal 5 is in the on mode, similarly to the process shown in FIG.
  • step S81 the processing unit 11 performs detection by the microphone 15 for a predetermined time. That is, the processing unit 11 turns on the microphone 15, performs detection by the microphone 15 for the predetermined time (for example, 3 seconds), and then turns off the microphone 15. Thereby, the processing unit 11 acquires sound for a predetermined time.
  • step S82 the processing unit 11 determines whether or not a measurement condition for starting measurement for calculating emotion information is satisfied based on the detection sound acquired in step S81. Specifically, the processing unit 11 determines whether or not a sound (for example, a user's voice or a conversation partner's voice) used for calculating emotion information is included in the detected sound. When the sound is included, it is determined that the measurement condition is satisfied, and when the sound is not included, it is determined that the measurement condition is not satisfied. If the determination result of step S82 is negative, the process of step S83 is executed. On the other hand, if the determination result of step S82 is affirmative, the process of step S84 described later is executed.
  • a sound for example, a user's voice or a conversation partner's voice
  • step S83 the processing unit 11 waits for a predetermined first time (for example, 10 seconds). And after 1st time passes, the process part 11 performs the process of step S81 again. Therefore, until the measurement condition is satisfied, the processing unit 11 performs detection by the microphone at the first time interval (step S81).
  • a predetermined first time for example, 10 seconds
  • step S84 the processing unit 11 starts measurement for calculating emotion information.
  • the process in step S84 is the same as the process in step S73 described above.
  • step S85 the processing unit 11 acquires information for calculating emotion information. That is, the processing unit 11 acquires the sound data detected by the microphone 15 and stores it in the memory in the same manner as the processing of step S74 in the case of performing measurement with the microphone 15. In step S81, the sound is intermittently detected by the microphone 15, whereas in step S85, the sound is detected continuously.
  • step S86 the processing unit 11 determines whether or not to end the measurement. In the example shown in FIG. 17, this determination is made based on the sound detected in step S85. Specifically, when the detection sound from the present to a predetermined time (for example, 1 minute) before does not include a sound (user's voice or conversation partner's voice) used for calculating emotion information, the measurement is terminated. judge. On the other hand, when the detection sound from the present to the predetermined time before includes a sound used for calculation of emotion information, it is determined that the measurement is not finished. If the determination result of step S86 is affirmative, the process of step S87 is executed. On the other hand, when the determination result of step S86 is negative, the process of step S85 is executed again.
  • a predetermined time for example, 1 minute
  • a sound user's voice or conversation partner's voice
  • steps S85 to S86 are repeatedly executed until it is determined in step S86 that the measurement is to be ended.
  • the processing unit 11 acquires the detection sound so that the detection sound from the microphone 15 is temporally continuous. That is, the sound during the measurement period is continuously detected by the processing loop.
  • sound may be detected intermittently at intervals of a second time shorter than the first time during the measurement period.
  • step S87 the processing unit 11 calculates emotion information.
  • the process of calculating emotion information in step S87 is the same as the process of calculating emotion information based on the sound detected by the microphone 15 in step S77.
  • the length of the measurement period (the period from the start of the process in step S84 to the end of the measurement in step S87) is long enough to calculate emotion information. It may not be. Therefore, the processing unit 11 does not calculate emotion information when the length of the measurement period (in other words, the length of the sound detected during the measurement period) is less than the predetermined time, and the length of the measurement period.
  • the emotion information may be calculated when is equal to or longer than a predetermined time.
  • the processing unit 11 transmits emotion information to the server 3 in the same manner as in step S78.
  • step S88 the processing unit 11 executes the process of step S81 again. Thereafter, the processing unit 11 repeatedly executes the processes of steps S81 to S88 until the operation mode is changed to the off mode.
  • the measurement by the microphone 15 is performed during a period in which information for calculating emotion information (user's voice or the like) can be detected within one day, and emotion information is calculated for the period.
  • the processing unit 11 obtains an image captured by the camera 16 in steps S81 and S85.
  • the processing unit 11 determines whether the captured image includes the user's face.
  • the processing unit 11 determines that the measurement is not finished when the user's face is included in the captured image from the present time to the predetermined time ago, and the user's face is included in the captured image. If not, it is determined that the measurement is finished.
  • the measurement period can be set according to the period during which emotion information can be calculated.
  • FIG. 18 is a flowchart illustrating an example of the flow of preference information calculation processing.
  • the preference information is a process of calculating preference information indicating the user's preference based on the input to the mobile terminal 5 by the user or the position (activity) of the user.
  • the preference information calculation process is continuously executed during the on mode. That is, the CPU of the processing unit 11 starts executing the program for the preference information calculation process in response to the operation mode of the mobile terminal 5 being turned on, and continues until the operation mode is turned off. The preference information calculation process is executed.
  • the processing unit 11 acquires information used for calculating preference information.
  • the processing unit 11 acquires position information detected by the position detection unit 13 and user input information (user input information) for the operation input unit 12.
  • the acquired information is stored in the memory of the processing unit 11.
  • step S92 the processing unit 11 determines whether a calculation condition for calculating preference information is satisfied.
  • This calculation condition includes a condition related to position (position condition) and a condition related to user input (user input condition). When either one of the position condition and the user input condition is satisfied, it is determined that the calculation condition is satisfied.
  • the position condition is that the user stays at a specific place where the preference information is calculated (a place where the user's preference can be estimated from the place). That is, the processing unit 11 determines whether or not the user has stayed at a certain location based on the detection position by the position detection unit 13. This determination can be made in the same manner as the determination as to whether or not the second condition described in “(Activity information calculation process)” is satisfied. When it is determined that the user has stayed at a certain place, the processing unit 11 specifies the type of stay place, and determines whether preference information can be calculated for the specified stay place (type). . As described above, the mobile terminal 5 stores in advance a table in which a place (facility) is associated with a genre indicated by preference information.
  • the processing unit 11 determines whether or not preference information can be calculated based on whether or not the specified stay location is included in the table. When it is determined that the preference information can be calculated, the processing unit 11 determines that the position condition is satisfied. On the other hand, (a) when it is determined that the user is not staying at a certain place, (b) when the specified staying place is not included in the table, or (c) the type of staying place cannot be specified In this case, the processing unit 11 determines that the position condition is not satisfied. For example, in step S31 described above, it is determined that the user is staying in a gym, and the gym is included in the table, so it is determined that the position condition is satisfied. On the other hand, in step S27 described above, it is determined that the user is staying at the workplace, and since the workplace is not included in the table, it is determined that the position condition is not satisfied.
  • the user input condition is that information capable of guessing the preference is input.
  • the processing unit 11 determines that the user input condition is satisfied. That is, when the input acquired in step S91 includes the input of a search word, the processing unit 11 can calculate the preference information, that is, the phrase that can guess the user's preference. It is determined whether or not there is.
  • the portable terminal 5 stores a table in which the phrase is associated with a preference genre (genre indicated by preference information) for the phrase. The processing unit 11 determines whether or not the input search word includes a word / phrase described in the table.
  • the processing unit 11 determines that the preference information can be calculated from the input search word and determines that the user input condition is satisfied. On the other hand, when the input acquired in step S91 does not include the input of the search word, or when the input search word does not include the words described in the table, the processing unit 11 determines that the user input condition is It is determined that it is not satisfied.
  • step S92 If the determination result of step S92 is affirmative, the process of step S93 is executed. On the other hand, when the determination result of step S92 is negative, the process of step S91 is executed again. That is, the processing unit 11 repeats the processes in steps S91 and S92 until it is determined in step S92 that the calculation condition is satisfied. Note that the processing loop of steps S91 and S92 is repeatedly executed at a rate of once per predetermined time, for example.
  • step S93 the processing unit 11 calculates preference information.
  • the processing unit 11 is based on the position information acquired in step S91 (more specifically, based on the stay location calculated from the position information). Calculate preference information. That is, the processing unit 11 identifies a genre associated with the staying place identified from the position information in the table in which the place and the favorite genre are associated. The processing unit 11 calculates preference information indicating the specified genre.
  • the processing unit 11 calculates the preference information based on the user input information acquired in step S91. That is, the processing unit 11 specifies a genre associated with a phrase included in a search word identified from user input information in a table in which a phrase is associated with a favorite genre. The processing unit 11 calculates preference information indicating the specified genre.
  • preference information is calculated in step S93.
  • one preference information is calculated and stored in the memory of the processing unit 11.
  • step S94 the processing unit 11 transmits the preference information calculated in step S93 to the server 3. That is, the processing unit 11 transmits the preference information stored in the memory to the server 3 through the communication unit 10.
  • the preference information is calculated based on the position information.
  • the preference information may be calculated based on the activity information. That is, the mobile terminal 5 may calculate activity information (for example, activity information indicating that the user has exercised at a gym) from the position information, and calculate preference information based on the activity information.
  • activity information for example, activity information indicating that the user has exercised at a gym
  • the mobile terminal 5 calculates the preference information based on the search word input at the search site.
  • the preference information may be calculated based on other user input information. For example, when the user performs an input for browsing a certain web page, the mobile terminal 5 may determine the user's preference based on the content of the web page (for example, a keyword in the web page). Further, for example, when a so-called “like” button is pressed on a SNS (social networking service) web page, the mobile terminal 5 may determine the user's preference based on the content of the web page.
  • SNS social networking service
  • the preference information may be calculated based on information other than the above.
  • the preference information may be calculated based on user profile information (age, presence of children, unmarried / married, family structure, sex, income, hobbies, etc.) stored in the mobile terminal 5.
  • the preference information may be calculated based on an application executed on the mobile terminal 5.
  • the mobile terminal 5 can also determine the user's preference (genre that the user is interested in) based on the type of application (for example, a game application) that is executed by the mobile terminal 5.
  • FIG. 19 is a flowchart illustrating an example of the flow of information presentation processing.
  • the information presentation process is a process of presenting information generated by the server 3 (information relating to the network service) to the user (outputting an image and / or sound).
  • the information presentation process is continuously executed during the on mode. That is, the CPU of the processing unit 11 starts executing the program for the information presentation process in response to the operation mode of the mobile terminal 5 becoming the on mode, and continuously until the operation mode becomes the off mode. Execute information presentation processing.
  • step S101 the processing unit 11 receives an input from a user. That is, information indicating the input made on the operation input unit 12 is acquired from the operation input unit 12.
  • the server 3 manages a website for providing a network service. By accessing the website using the mobile terminal 5, the user can browse the evaluation result by the server 3 or purchase a product related to the recommendation information presented from the server 3.
  • the processing unit 11 receives an input for making various requests to the website. This request includes, for example, a request to log in to a website, a request to browse web pages in the website (including pages showing evaluation results and pages for purchasing products, etc.), and purchasing products etc. Requests to do so.
  • the program for executing the information presentation process may be a part of a dedicated application for receiving a network service by the server 3 or a part of a general-purpose browser application for browsing a web page. Good.
  • step S102 the processing unit 11 executes processing corresponding to the input received in step S101. For example, when a request to log in to the website is made, the processing unit 11 requests the server 3 to log in. Further, for example, when a request for browsing a web page in a website is made, the processing unit 11 requests the server 3 to acquire a web page according to the request. Specifically, the processing unit 11 causes the communication unit 10 to transmit information indicating the request to the server 3.
  • the server 3 executes processing according to the request (step S119 described later). For example, when a login request is received, the server 3 transmits information on a login image (web page) to the mobile terminal 5. For example, when a request for acquiring a web page is received, the server 3 transmits information on the web page to the mobile terminal 5.
  • steps S101 and S102 may be performed in the same manner as the conventional processing for making various requests to the server that provides the web page.
  • step S103 the processing unit 11 determines whether information related to the network service has been received from the server 3.
  • Information received from the server 3 in the process of step S103 is information transmitted from the server 3 in response to the request in step S102, or the timing at which the server 3 provides a network service (shown in FIG. 11). This is information (that is, service data) transmitted from the server 3 in step S36). If the determination result of step S103 is affirmative, the process of step S104 is executed. On the other hand, when the determination result of step S103 is negative, the process of step S101 is executed again.
  • step S104 the processing unit 11 presents the information received from the server 3 to the user. That is, the processing unit 11 displays an image such as a web page on the display 17 or outputs sound from the speaker 18 based on information received from the server 3 by the communication unit 10.
  • the mobile terminal 5 may be provided with a vibration motor as an output device.
  • the service data transmitted from the server 3 includes content for controlling the vibration of the mobile terminal 5. May be included. That is, the mobile terminal 5 may output an image, sound, and / or vibration related to service data.
  • step S104 the processing unit 11 executes the process of step S101 again. Thereafter, the processing unit 11 repeatedly executes the processes of steps S101 to S104 until the operation mode is changed to the off mode.
  • the user can browse the information provided from the server 3 at the user's desired timing in one day, and push from the server 3 at the predetermined timing in the day (step S36 shown in FIG. 11). Thus, information is provided to the portable terminal 5.
  • the mobile terminal 5 transmits various QOL element information to the server 3.
  • the server 3 evaluates the user status (QOL or the like) based on the QOL element information, and provides a network service according to the evaluation result.
  • details of processing executed in the server 3 will be described.
  • FIG. 20 is a flowchart showing an example of the flow of processing executed in the server.
  • the flowchart illustrated in FIG. 20 is continuously executed regardless of the mode of the mobile terminal 5 (that is, regardless of whether it is an awakening period or a sleeping period).
  • step S111 the server 3 determines whether or not the QOL element information has been received from the mobile terminal 5.
  • the portable terminal 5 transmits the QOL element information to the server 3 at an appropriate timing (step S19 shown in FIG. 4, step S54 shown in FIG. 12, step S65 shown in FIG. 14, step shown in FIG. S78, step S94 shown in FIG. 18).
  • the server 3 receives the QOL element information from the portable terminal 5, and at this time, the determination result of step S111 is affirmative. If the determination result of step S111 is affirmative, the process of step S112 is executed. On the other hand, when the determination result of step S111 is negative, the process of step S112 is skipped and the process of step S113 described later is executed.
  • step S112 the server 3 stores (accumulates) the QOL element information received from the mobile terminal 5 for each user. That is, the server 3 updates the user data indicating various information about the user so as to include the received QOL element information.
  • user data stored in the server 3 will be described.
  • FIG. 21 is a diagram illustrating an example of a data configuration of user data stored in the server according to the present embodiment.
  • FIG. 21 shows user data stored in the server 3 for one user.
  • the server 3 stores data similar to the user data shown in FIG. 21 in a predetermined storage unit for each user in the network service.
  • the user data includes user identification data, notification user data, user status data, evaluation result data, and privilege data.
  • these five types of data sets are stored for each user.
  • the user data may include other data in addition to these five types of data, or may not include some of the five types of data.
  • User identification data is data indicating identification information (ID, password, etc.) for identifying a user.
  • the identification information is set in a predetermined registration process executed when starting a network service for the user, and user identification data indicating the set identification information is stored in the server 3.
  • the notification user data is data indicating another user (referred to as “notification target user”) who presents an evaluation result (or information based thereon) on the user indicated by the user identification data.
  • the notification user data indicates identification information (for example, ID) of the notification target user.
  • service data related to a network service corresponding to an evaluation result related to a certain user is transmitted to a terminal of another user in addition to the user (person) who is an evaluation target.
  • the notification user data indicates other users who transmit service data.
  • the notification target user may not be a user who can receive the network service.
  • the notification user data may indicate information indicating a transmission destination to which the service data is transmitted (for example, a mail address of a terminal used by the notification target user).
  • User state data is data indicating various states of the user. As shown in FIG. 21, in the present embodiment, the user state data includes health data, activity data, environmental data, emotion data, and preference data.
  • the health data is data indicating health information acquired from the user's mobile terminal 5.
  • the activity data is data indicating activity information acquired from the mobile terminal 5 of the user.
  • the environmental data is data indicating environmental information acquired from the user's mobile terminal 5.
  • Emotion data is data indicating emotion information acquired from the mobile terminal 5 of the user.
  • Each of these four pieces of data includes a plurality of pieces of QOL element information among the QOL element information acquired so far.
  • the above four data indicate, for example, QOL element information acquired in the past from the latest data in a predetermined storage period (for example, March). Therefore, when health information, activity information, environmental information, or emotion information is received in step S111, in step S112, the server 3 determines that the content includes the received information. Then, the data corresponding to the received information is updated.
  • the server 3 is assumed to have the same storage period for the four data. Thereby, the server 3 can perform a comprehensive evaluation of the user based on the QOL element information in the storage period.
  • the length of the storage period for the four data is arbitrary and may be different from each other.
  • the preference data is data indicating preference information acquired from the user's mobile terminal 5.
  • the preference data indicates a genre in which the user is interested, which is determined based on the preference information acquired so far. Specifically, the preference data indicates whether the user is interested in each of the above-described preference genres.
  • the server 3 updates the preference data so that the content reflects the received information. For example, when preference information indicating a certain genre is acquired, the server 3 updates the preference data as necessary so that the content indicates that the user is interested in the genre.
  • the preference data may be generated based on the preference information acquired so far, and the latest acquired preference information may not be immediately reflected. For example, when the preference information indicating the same genre is acquired a predetermined number of times (for example, 5 times) or more in a predetermined period (for example, January), the server 3 has contents indicating that it is interested in the genre.
  • the preference data may be updated.
  • the preference data may indicate preference information acquired in the past in a predetermined storage period (for example, March) from the latest data, like the health data and the like. .
  • the server 3 may store information used for calculating information represented by the user status data. That is, the mobile terminal 5 may transmit the QOL element information and may transmit information used to calculate the QOL element information to the server 3.
  • the server 3 may store the received information. Good.
  • the information used for calculating the QOL element information stored in the server 3 is, for example, the user in the portable terminal 5 by the process in step S119 described later (process for transmitting information from the server 3 to the portable terminal 5). May be presented.
  • step S113 the server 3 determines whether or not the evaluation timing has arrived. In the present embodiment, this determination is made based on whether or not a predetermined time has been reached. If the determination result of step S113 is affirmative, a series of processes of steps S114 to S117 are executed. On the other hand, when the determination result of step S113 is negative, a series of processing of steps S114 to S117 is skipped, and processing of step S118 described later is executed.
  • step S114 the server 3 evaluates the user based on the QOL element information acquired from the mobile terminal 5.
  • the user's health, environment, and emotion are evaluated. That is, the server 3 calculates the three element indexes, the health index, the environment index, and the emotion index described above.
  • a method for calculating these element indexes will be described.
  • the health index is calculated based on health information (health information corresponding to the sleep period) acquired at the user's awakening and activity information acquired at the user's awakening period. More specifically, the server 3 first refers to the fatigue level during the awakening period from the activity information (discriminated from the above-described first fatigue level calculated from the biological information during the sleep period as “second fatigue level”). ) And a health index is calculated based on the calculated second fatigue level and the health information.
  • the server 3 stores in advance a table in which the condition relating to the activity information and the amount of change in the second fatigue level are associated, and calculates the second fatigue level using the table.
  • FIG. 22 is a diagram illustrating an example of a table used for calculating the second fatigue level. As illustrated in FIG. 22, the table associates the condition regarding the activity information with the amount of change in the second fatigue level when the condition is satisfied. In the example shown in FIG. 22, the table associates the condition indicating that the activity content is “work” and the activity amount is “8 to 10 hours” with “+10” as the amount of change in the second fatigue level. ing.
  • the table shown in FIG. 22 associates the condition indicating that the activity content is “massage” and the activity amount is not specified with “ ⁇ 20” as the amount of change in the second fatigue level. This means that the second fatigue level is decreased by 20 when the activity content is “massage”.
  • both the condition for increasing the second fatigue level and the condition for decreasing the second fatigue level may be included, or only one of the conditions is included. Also good.
  • the server 3 calculates the corresponding change amount of the second fatigue degree by referring to the table with respect to the acquired activity information. For example, when activity information whose activity content is “move (walking)” and whose activity amount is “10 minutes” is acquired, the server 3 determines the amount of change (of the second fatigue level) corresponding to this activity information. “+10” is calculated. In the present embodiment, the server 3 calculates a corresponding change amount for each piece of activity information acquired during a predetermined period (in the present embodiment, during the current day).
  • the server 3 calculates the final second fatigue level based on a predetermined basic fatigue level (for example, “0”) and the calculated change amount of the second fatigue level.
  • the final second fatigue level is calculated by adding or decreasing the basic fatigue level according to the amount of change in the second fatigue level. For example, when the basic fatigue level is “0” and the change amounts “+10”, “+15”, and “ ⁇ 10” are calculated, the final second fatigue level is “+15”. Calculated.
  • the server 3 may use the value of the first fatigue level (fatigue index) indicated by the health information as the basic fatigue level.
  • the server 3 calculates a health index based on the second fatigue level and the health information.
  • the health index is calculated by reflecting the value of each fatigue level (first fatigue level and second fatigue level). For example, the health index is calculated such that the health index increases as the degree of fatigue (first fatigue level and second fatigue level) decreases.
  • the health index is calculated by reflecting the value of the sleep index indicated by the health information. For example, the health index is calculated such that the health index increases as the sleep index indicates that the quality of sleep is good.
  • the server 3 calculates a value obtained by adding a predetermined weight to each fatigue level as a total fatigue level, and increases or decreases the calculated total fatigue level according to the sleep index, thereby obtaining a health index. It may be calculated.
  • the health index is calculated as an integer from 0 to 100. The larger the health index, the healthier the health index.
  • the health index may be calculated based on other QOL element information.
  • the health index may be calculated based on environmental information in addition to the activity information. That is, even if the activity information has the same content, the server 3 may calculate different values of health indices according to the environmental information. For example, when the environment information indicates that the environment is relatively bad for the user (for example, when the temperature or humidity is too high), the server 3 indicates that the environment is relatively good for the user. You may calculate so that a 2nd fatigue degree may become high compared with the case (for example, when temperature and humidity are moderate values).
  • the health index may be calculated based on preference information in addition to the activity information. For example, when the activity information indicates exercise, if the preference information indicates that the user is interested in exercise, the server 3 calculates the second fatigue level relatively low, and the user is interested in exercise. If the preference information indicates that there is not, the value of the second fatigue level may be calculated relatively high.
  • the preference information is not used for the user-related evaluation (QOL index calculation). However, as described above, the preference information is used for the user-related evaluation (QOL index calculation). Good.
  • the environmental index is calculated based on environmental information acquired during the user's awakening period.
  • the server 3 stores in advance a table associating conditions related to environmental information and the amount of change in the environmental index, and calculates the environmental index using the table.
  • FIG. 23 is a diagram illustrating an example of a table used for calculating an environmental index.
  • the table associates a condition relating to environmental information and a change amount of the environmental index when the condition is satisfied.
  • the conditions regarding environmental information include items (conditions) related to activity contents and items (conditions) regarding environmental values.
  • the table shows that the activity content is “moving (walking)” and the environmental value is “temperature: 30 ° C. or higher and lower than 33 ° C. and humidity: 60% or higher and lower than 70%”.
  • the server 3 calculates the amount of change in the corresponding environmental index by referring to the above table for the acquired environmental information. For example, when the activity information is “movement (walking)” and the environmental information is “environmental value: 31 ° C. and humidity 65%”, the server 3 corresponds to this environmental information ( “ ⁇ 15” is calculated as the amount of change in the environmental index. In the present embodiment, the server 3 calculates a corresponding change amount for each piece of environmental information acquired during a predetermined period (in the present embodiment, during the current day).
  • the server 3 calculates the environmental index based on a predetermined basic value (for example, “50”) and the calculated change amount of the environmental index.
  • the final environmental index is calculated by adding or decreasing the basic value according to the amount of change in the environmental index. For example, if the basic value is “50” and the change amounts “ ⁇ 10”, “ ⁇ 15”, and “+5” are calculated, the final environmental index is calculated as “30”.
  • the basic value may be a predetermined fixed value or may be calculated based on environmental sensor information detected during the awakening period.
  • the server 3 can acquire the weather of the place where the user is, the basic value may be set variably according to the weather. That is, the server 3 may calculate the environmental index in consideration of the weather where the user is.
  • the environmental index is calculated as an integer from 0 to 100, and the larger the numerical value of the environmental index, the more comfortable the environment around the user is.
  • the environmental index may be calculated based on the season and / or region (location information).
  • the server 3 may specify the region and season based on the current date and time information and the position information of the mobile terminal 5.
  • the server 3 prepares a plurality of types of tables for each region and season as a table for calculating the amount of change of the environmental index, and uses the table corresponding to the specified region and season to calculate the amount of change. You may make it calculate.
  • the emotion index is calculated based on emotion information acquired during the user's awakening period.
  • emotion information includes an index indicating the degree of each emotion of three or five types of emotions (anger, joy, sadness, ashamed, fun).
  • the server 3 calculates an emotion index based on each index. Specifically, the server 3 sets the emotion index so that the negative type of emotion (in this embodiment, anger, sadness, and ashamed) becomes smaller as the index increases (the emotion index). calculate. Further, the server 3 calculates the emotion index so that the positive type of emotion (in the present embodiment, joy and fun) increases as these indexes increase (the emotion index).
  • the server 3 subtracts an amount corresponding to an index indicating a negative type of emotion from a predetermined basic value (eg, “50”), and responds to an index indicating a positive type of emotion.
  • the emotion index may be calculated by adding the obtained amount.
  • the basic value may be a fixed value determined in advance, or may vary according to user schedule information (for example, information indicating whether it is a holiday, whether it is busy, etc.), activity information, and / or weather. May be set.
  • the basic value may be set to be relatively high for holidays and relatively low for work days. Further, for example, the basic value may be set high when the user performs a play (leisure) activity, and low when the user performs a work activity.
  • the basic value may be set to be high when the weather is fine and low when the weather is bad.
  • the emotion index is calculated so as to increase as the user's emotion is positive.
  • the emotion index is calculated as an integer from 0 to 100.
  • the server 3 calculates a comprehensive index (QOL index) based on each element index calculated in step S114.
  • the QOL index may be calculated by any method for calculating the QOL index so as to have a size reflecting each element index.
  • the server 3 calculates, as the QOL index, a value obtained by adding a predetermined weight to each element index.
  • the QOL index is calculated as an integer from 0 to 100.
  • the server 3 stores (accumulates) evaluation result data indicating each calculated index.
  • the evaluation result data includes health index data indicating a health index, environment index data indicating an environmental index, emotion index data indicating an emotion index, and QOL index data indicating a QOL index.
  • each of these four index data indicates, for example, each index calculated in the past in a predetermined storage period (for example, March) from the latest one. Therefore, when each index is calculated in steps S114 and S115, the server 3 updates each index data so that the content includes the newly calculated index.
  • step S116 the server 3 specifies the content of the network service according to the evaluation result. That is, the server 3 specifies the content of the network service to be provided to the user based on the evaluation result in step S114 and / or S115.
  • the service for presenting the evaluation result is provided regardless of the content of the evaluation result. For services other than the presentation of evaluation results (advice information, recommendation information, content provision, and services related to the granting of benefits), whether or not they are provided and what they provide are specified according to the evaluation results.
  • the server 3 stores in advance a table that associates the conditions related to the evaluation results (each index) with the service content to be provided, and identifies the service content using the table.
  • FIG. 24 is a diagram illustrating an example of a table used for determining a network service according to the evaluation result. As shown in FIG. 24, the table associates the conditions regarding each index (QOL element index and QOL index) with the service contents to be provided when the condition is satisfied. In FIG. 24, “-” indicates that no condition is set.
  • the table includes a set in which the condition indicating that the QOL index is 30 or less, the advice information of the advice A, and the recommendation information related to the product A are associated ((a) shown in FIG. 24). ).
  • the condition regarding the evaluation result may include a condition regarding the QOL index. That is, the server 3 may specify the content of the network service based on the QOL index.
  • the table associates the condition indicating that the health index is 30 or less and the emotion index is 30 or less with the advice information of the advice B and the recommendation information regarding the product B.
  • the condition related to the evaluation result may include a condition related to a combination of each index (element index and / or comprehensive index). That is, the server 3 may specify the content of the network service based on two or more indexes.
  • the table indicates that the preference information indicates that the health index is 30 or less, the environmental index is 30 or less, and the user is interested in exercise.
  • a set in which the condition shown and the advice information of the advice C are associated ((d) shown in FIG. 24).
  • the condition regarding the evaluation result may include a condition regarding the preference information. That is, the server 3 may specify the contents of the network service based on the preference information in addition to the evaluation result (each index).
  • the table includes a set in which the condition indicating that the health index is 70 or more and the point addition are associated ((f) shown in FIG. 24).
  • the server 3 gives a privilege to the user based on the evaluation result regarding health (more specifically, on condition that the evaluation regarding health was better than a predetermined standard). Also good.
  • the server 3 specifies the content of the network service to be provided by referring to the above table based on the calculated evaluation result. That is, when the calculated evaluation result satisfies the conditions included in the table, the server 3 provides a network service associated with the condition.
  • the server 3 stores and stores data indicating the specified service in the storage unit for each user. That is, the server 3 stores information indicating the service content provided to the user.
  • the server 3 accumulates information about the user (user state data and evaluation result data) in the storage unit, that is, stores past information about the user. Therefore, in another embodiment, the server 3 stores the contents of service data to be provided to a user in past information (user status data and / or evaluation result data) related to the user accumulated in the storage unit. You may make it determine based on. For example, the server 3 may determine the service content based on the evaluation result of the past week (for example, the average value of the index of the past week), or the difference between the current evaluation result and the past evaluation result ( For example, the service content may be determined based on the degree of change in the index of this week compared to the previous week.
  • the server 3 stores information (user status data and evaluation result data) regarding a plurality of users in the storage unit for each user. Therefore, the server 3 determines the content of the service data to be provided to a certain user based on information (user state data and / or evaluation result data) related to another user different from the user stored in the storage unit. May be. For example, the server 3 may calculate an average value of an index for a plurality of predetermined users, and determine service contents based on a relationship between an index and an average value of a certain user.
  • the users whose information is used to determine the service content are not limited to all users who subscribe to the network service, but are users who satisfy a predetermined condition (for example, age groups) The same user, a user living in the same region, or a user whose calculated certain index is in the same range).
  • the server 3 may determine the content of service data to be provided to a certain user based on past information (user state data and evaluation result data) regarding another user different from the user. For example, the server 3 calculates, for a predetermined plurality of users, a change related to a predetermined index (for example, a degree of decrease in health index) during a predetermined period from the present to the past. Then, the server 3 determines that the calculated change has the same tendency as that of the certain user who should provide the service (for example, the health index has decreased by a predetermined rate or more during January). Identify. Furthermore, the server 3 determines the service content to be provided to the certain user based on the service content provided in the past to the specified other user. As described above, the server 3 should provide the user with reference to the service content provided to the other user having the same tendency as that of the user by using the past information of the other user. The service content may be determined.
  • a predetermined index for example, a degree of decrease in health index
  • the server 3 may specify the service content based on whether or not the evaluation result is improved from a predetermined standard. For example, the server 3 determines whether or not the evaluation result (various indexes calculated in steps S114 and S115) is improved from a predetermined standard, and it is determined that the evaluation result is improved from the predetermined standard. On the condition, a predetermined network service may be provided to the user (for example, a privilege is given).
  • a predetermined value fixed value
  • the server 3 may use the average value of one week last week (or a value obtained by adding a predetermined value to the average value) as a reference. That is, the server 3 may grant a privilege to the user on the condition that the index calculated this time is higher than the average value of the index for one week last week.
  • the server 3 repeatedly provides (transmits) service data (advice information and the like) to the mobile terminal 5. Therefore, the service is further provided based on the evaluation result of the user after providing a certain service. According to this, since service data such as advice information is repeatedly (continuously) provided to the user, it is possible to effectively prompt the user to improve the QOL.
  • the evaluation results before and after the server 3 and certain service data are provided to the mobile terminal 5 may be compared, and the content of the newly provided service (additional service) may be specified based on the comparison result. That is, the server 3 may provide services having different contents depending on the case where it is determined that the evaluation result is improved as a result of the comparison and the case where it is determined that the evaluation result is not improved. For example, the server 3 calculates a difference between evaluation results (indexes) before and after providing certain advice information, and specifies the content of the advice information provided after providing the advice information based on the calculated difference. Also good.
  • the server 3 sets the conditions (in the above embodiment, the table shown in FIG. 24) for determining the service content to be provided from the evaluation results based on the evaluation results of one or more users. May be updated. For example, when the advice information is presented to the user, the server 3 compares the evaluation results of the user before and after the advice information is presented, and updates the condition regarding the advice information based on the comparison result. Good. For example, if the server 3 determines that the evaluation result (for example, the QOL index) of the user has improved before and after the presentation of the advice information as a result of the comparison, the server 3 updates the condition so that the advice information can be easily presented. May be. Moreover, determination of whether conditions are updated may be performed based on the evaluation result regarding a some user.
  • the server 3 can easily present the advice information.
  • the above conditions may be updated. According to this, since the conditions for providing advice information can be changed according to the actual effect, more appropriate advice information can be presented to the user.
  • the server 3 can also update the above condition based on the evaluation result of one or more users for the services other than the advice information (recommendation information and / or provision of content) as well as the advice information.
  • the server 3 may compare the evaluation results before and after the user purchases the product by the recommendation information, and update the condition regarding the recommendation information based on the comparison result.
  • the server 3 may compare the evaluation results before and after the content is provided, and update the conditions related to the content provision based on the comparison result.
  • step S117 the server 3 transmits service data related to the network service to be provided to the mobile terminal 5. That is, the server 3 transmits data representing the evaluation results in the above steps S114 and S115 to the portable terminal 5 as service data. In addition, the server 3 transmits service data regarding the service content specified in step S ⁇ b> 116 to the mobile terminal 5. For example, when providing a service for presenting advice information, the server 3 transmits data indicating the advice information to the mobile terminal 5 as service data. For example, when providing the service which shows recommendation information, the server 3 transmits the data which show recommendation information to the portable terminal 5 as service data. For example, when providing a service that provides content, the server 3 transmits data of the content to the portable terminal 5 as service data. For example, when providing the service which provides a privilege, the server 3 transmits the data which show the notification which provides the said privilege to the portable terminal 5 as service data.
  • the server 3 memorize
  • the server 3 updates the privilege data memorize
  • This privilege data is an information processing device (a shop server or a billing server to be described later) that executes a process related to a privilege (a process for actually granting a privilege. For example, a billing process or a purchase process) when a privilege is actually granted. ).
  • charging or fee calculation is performed in consideration of the privilege data, and the privilege is used by the user.
  • the shop server refers to the privilege data when the user next purchases the product or the like.
  • the shop server is a server that manages purchase, billing, and provision of products and the like, and may be the same server as the server 3 or a different server.
  • the shop server calculates, as the billing amount, an amount obtained by discounting the amount according to the privilege data from the amount of the purchased product or the like.
  • privilege data may show the point which can be used for purchase of goods etc., and may show the amount of discount.
  • the billing server refers to the privilege data when charging the usage fee.
  • the billing server is a server that performs billing processing by calculating the usage fee of the mobile terminal 5, and may be the same server as the server 3 or a different server.
  • the billing server calculates the usage fee by subtracting the amount from the default usage fee according to the privilege data.
  • privilege data may show the point which can be used for a usage fee, and may show the amount of discount.
  • the server 3 uses the communication function in the mobile terminal 5 (a function for performing communication via a mobile phone communication network, including a call function by the communication) and a network service in the mobile terminal 5.
  • the usage fee is calculated together with the usage of. Therefore, the user can pay the call charge and the network service use charge together, which is convenient.
  • the server 3 stores usage fee data indicating the usage fee in the storage unit for each user.
  • the accounting server refers to the usage fee data stored in the storage unit of the server 3 and executes the accounting process.
  • the usage fee calculation method is arbitrary, and the server 3 may fix the usage fee per unit period, or may calculate the usage fee according to the communication amount and / or the usage amount of the network service. Good.
  • the server 3 transmits the service data to the mobile terminal 5 of the user to be evaluated and to the terminal of the notification target user set for the user. To do. That is, the server 3 transmits the service data to the terminal of the notification target user indicated by the notification user data included in the user data.
  • the service data transmitted to the mobile terminal 5 of the user to be evaluated and the service data transmitted to the terminal of the notification target user set for the user may be the same. , May be different. That is, the server 3 may provide network services having different contents to the evaluation target user and the notification target user.
  • step S118 the server 3 determines whether or not there is a request from the mobile terminal 5 of the user. That is, it is determined whether or not a request transmitted from the mobile terminal 5 is received in step S102. If the determination result of step S118 is affirmative, the process of step S119 is executed. On the other hand, when the determination result of step S118 is negative, the process of step S111 is executed again.
  • step S119 the server 3 executes processing corresponding to the request received in step S118.
  • the server 3 transmits information on a login image (web page) to the mobile terminal 5.
  • the server 3 transmits the information of the said web page to the portable terminal 5.
  • step S119 the server 3 executes the process of step S111 again.
  • the server 3 repeatedly executes a series of processes in steps S111 to S119. Note that the server 3 executes a series of processes in steps S111 to S119 for each portable terminal of a plurality of users who receive network services.
  • the server 3 evaluates the user at a predetermined timing in one day, and transmits service data related to the network service according to the evaluation result to the portable terminal 5.
  • the portable terminal 5 information is presented to the user based on the received service data.
  • FIG. 25 is a diagram illustrating an example of information presented on the mobile terminal 5.
  • the mobile terminal 5 receives the service data received in step S37 (step S104). For example, the image shown in FIG. 25 is displayed on the display 17.
  • the QOL score image 50 represents the evaluation result of the comprehensive evaluation, and specifically represents the numerical value (score) of the QOL index.
  • the QOL score image 50 is displayed as “(today's) QOL index” for the sake of easy understanding for the user.
  • the face image 51 is displayed such that the display form (specifically, facial expression) changes according to the QOL index.
  • the QOL index is medium
  • a face image representing a normal expression is displayed
  • the QOL index is relatively high (a good numerical value)
  • a face image representing a smile expression is displayed.
  • the QOL index is relatively low (a bad value)
  • a face image representing a tired facial expression as shown in FIG. 25 is displayed.
  • the numerical value of the QOL index as the evaluation result when the numerical value of the QOL index as the evaluation result is calculated, the numerical value itself may be presented to the user, or information indicating the magnitude of the numerical value may be presented to the user. By presenting such information, the degree of QOL as an evaluation result can be presented to the user in an easily understandable manner. Note that the presented information may represent a fatigue level in addition to the above score and image. For example, in another embodiment, information representing the QOL index in five stages from A to E may be presented.
  • various score images 52 to 54 are displayed on the display 17. These score images 52 to 54 represent numerical values (scores) of the above-described element indexes.
  • the health score image 52 represents a numerical value of a health index, which is an evaluation result related to the user's health, and is displayed as “Generity” on the display for the purpose of easy understanding for the user.
  • the environmental score image 53 represents a numerical value of an environmental index, which is an evaluation result regarding the user's environment, and is displayed as “comfort level” on the display for the purpose of easy understanding for the user.
  • the emotion score image 54 represents a numerical value of an emotion index, which is an evaluation result regarding the user's environment, and is displayed as “emotion level” on the display for the purpose of easy understanding for the user.
  • buttons 55 to 57 are displayed in association with the respective score images 52 to 54.
  • the detail button 55 is a button that is associated with the health score image 52 and displays more detailed information about the health index.
  • the detail button 56 is a button that is associated with the environmental score image 53 and displays more detailed information about the environmental index.
  • the detail button 57 is associated with the emotion score image 54 and is a button for displaying more detailed information about the emotion index.
  • the portable terminal 5 switches the screen shown in FIG. 25 to display detailed information about the index associated with the detail button ( (Described later with reference to FIG. 26) is displayed on the display 17.
  • an advice image 58 representing advice information is displayed on the display 17.
  • the advice image 58 represents advice information corresponding to the evaluation results (each score image 50, 52 to 54) presented (displayed) at the same time.
  • the advice information may represent advice corresponding to the comprehensive evaluation among a plurality of evaluation results presented at the same time, or may be advice corresponding to some (or one) evaluation.
  • the advice image 58 shown in FIG. 25 represents advice for improving the health index in relation to the health index indicated by the health score image 52 being relatively low.
  • a recommendation information button 59 is displayed on the display 17.
  • the recommendation information button 59 is a button for displaying recommendation information corresponding to the evaluation results (each score image 50, 52 to 54) presented (displayed) at the same time. That is, in response to the user making an input to the recommendation information button 59, the portable terminal 5 switches the screen shown in FIG. 25 and displays the recommendation information on the display 17.
  • recommendation information corresponding to the evaluation result may be displayed together with the evaluation result.
  • FIG. 26 is a diagram showing an example of an image displayed on the display 17 when an input is made on the detail button 55 shown in FIG.
  • the health score image 61 is displayed on the display 17.
  • the health score image 61 represents the numerical value of the health index, like the health score image 52 shown in FIG.
  • the health score image 61 shown in FIG. 26 includes information on the date on which the evaluation was performed.
  • the display 17 displays a sleep score image 62 and an awake score image 63.
  • the sleep score image 62 represents a health index (referred to as “sleep health index”) calculated from information (biological information) detected during the sleep period.
  • the sleep health index is calculated by the server 3 based on the above-described health information. More specifically, the sleep health index is calculated based on the fatigue index (first fatigue level) and the sleep index included in the health information. For example, a predetermined weight is assigned to each of the fatigue index and the sleep index. And calculated as the sum of the values.
  • the awakening score image 63 represents a health index (referred to as “awakening health index”) calculated from information (position information and environmental information) detected during the awakening period.
  • the awakening health index is calculated by the server 3 based on the above-described activity information.
  • the numerical value of the second fatigue degree calculated based on the activity information may be used as the awakening health index.
  • score images 61 to 63 are also displayed as “Generity” on the display for the purpose of easy understanding for the user, similarly to the health score image 52.
  • Each of the sleep score image 62 and the awake score image 63 includes a detail button (see FIG. 26).
  • the mobile terminal 5 displays more detailed information about the index represented by each score image. For example, the mobile terminal 5 uses the information used for calculating the index (for example, various sleep indices for the sleep health index, or the activity used to calculate the health index for the wakefulness). Information) may be displayed.
  • a graph display button 64 is displayed on the display 17.
  • the graph display button 64 is a button for displaying a graph relating to the health index. That is, when the user inputs to the graph display button 64, the mobile terminal 5 switches the screen shown in FIG. 26 and displays the graph on the display 17.
  • the graph may be a graph showing changes in the health index, the sleep health index, and the awakening health index in a predetermined period (for example, the latest one week).
  • a recommendation information button 65 is displayed on the display 17. Like the recommendation information button 59 shown in FIG. 25, the recommendation information button 65 is a button for displaying recommendation information. However, the recommendation information button 65 shown in FIG. 26 is a button for displaying recommendation information related to a health index (may be a sleep health index or an awakening health index). That is, in response to the user making an input to the recommendation information button 65, the portable terminal 5 switches the screen shown in FIG. 26 and displays the recommendation information regarding the product or the like for improving the health index on the display 17. To do.
  • the recommendation information button 65 is displayed when the recommendation information presented according to the evaluation result is the content related to the health index (in the case of a product etc. for improving the health index), and relates to the index other than the health index. If it is content, it may not be displayed.
  • FIG. 27 is a diagram illustrating an example of an image displayed on the display 17 when a privilege is given to the user.
  • each image 51 to 59 is displayed on the display 17 as in the case where other services are provided.
  • the advice image 58 represents not a piece of advice information but a message notifying that a privilege has been granted.
  • a notification that the privilege has been granted may be presented to the user.
  • FIG. 28 is a diagram illustrating an example of an image displayed on the terminal of the notification target user.
  • the image shown in FIG. 28 is displayed on the terminal of the notification target user when the image shown in FIG. 25 is displayed on the mobile terminal 5 of the evaluation target user.
  • each of the images 51 to 59 is also displayed on the terminal of the notification target user, similarly to the mobile terminal 5 of the evaluation target user.
  • the notification target user terminal is different from the image shown in FIG. 25 in that an image 66 indicating the name of the notification target user is displayed.
  • the content of the advice information indicated by the advice image 58 is different from the content displayed on the mobile terminal 5 of the evaluation target user.
  • more appropriate advice can be presented by making the advice for the evaluation target user different from the advice for the notification target user who is not the user.
  • the server 3 may vary the advice information (same for recommendation information) depending on the presented user. For example, let us consider a case where the user of the mobile terminal 5 is angry by the boss at work, resulting in a low emotion index. In this case, the server 3 presents advice information such as “Let's take a deep breath” to the user himself / herself, or recommend information that introduces stress-relieving goods. Advice information such as “Let's make you feel better” or “Let's make a dish that you like” may be presented.
  • the server 3 presents different information (advice information and / or recommendation information) to the notification target user according to the relationship (parent / child, wife, brother, family, friend, etc.) between the notification target user and the evaluation target user. You may make it do. For example, in the case of the above example, if the notification target user is a family member, the advice information such as “Let's make a favorite dish when he goes home” is presented, and the notification target user may be a friend. For example, advice information such as “Let me call you later” can be presented.
  • the server 3 can specify the relationship by storing notification user data including information indicating the relationship between the notification target user and the evaluation target user.
  • an image displayed on the mobile terminal 5 includes a button for displaying another image (for example, the buttons 55 to 57 shown in FIG. 25), the corresponding button is displayed.
  • Information (the other image) displayed when an input is performed may be acquired from the server 3 at an arbitrary timing. That is, the information may be transmitted in advance from the server 3 to the mobile terminal 5 as the service data, or the mobile terminal 5 makes a request to the server 3 in response to an input to the button. It may be transmitted from the server 3 to the portable terminal 5 in response to the request. That is, the information may be transmitted to the mobile terminal 5 by the process of step S117 or may be transmitted to the mobile terminal 5 by the process of step S119.
  • the information processing system 1 in the embodiment has the following effects.
  • biometric information pulse, respiration, etc.
  • various information for calculating the QOL element information is acquired by the portable terminal 5 and the base device 6, the user does not need to wear a special device. Since the process of acquiring (measuring) the various information is started without the user's operation, the user does not need to perform an operation for causing the terminal system 2 to acquire the various information.
  • -Since the above various information is automatically calculated and evaluation based on the various information is also automatically performed, the user does not have to wait for information acquisition (measurement) and calculation of the evaluation result.
  • the user can receive a service based on the QOL evaluation by simply spending his / her life as usual without performing troublesome operations and work. Therefore, the service provided in the present embodiment is easy to use for the user continuously. Since it is considered effective to provide services based on the QOL evaluation to the user continuously, the service is provided in a manner that is easy for the user to continue as in the present embodiment.
  • the information processing system 1 can provide a more effective service.
  • the information processing system 1 includes a stationary device (base device 6), a portable device (portable terminal 5) that is a multifunction terminal that can be connected to the base device, and the portable terminal 5. And a server 3 capable of communicating via a wide area network (Internet and / or mobile communication network).
  • the base device 6 is installed around the user who is entering the floor, and detects the biological information of the user who is sleeping (step S12).
  • the portable terminal 5 transmits information (health information, which may be the biological information itself) calculated from the biological information detected by the base device 6 to the server 3 as transmission information (steps S4 and S19).
  • the server 3 transmits to the portable terminal 5 service data related to the network service for improving the evaluation result (health index) for the user's sleep evaluation (health index calculation) performed based on the biological information (step). S9, step S117).
  • the mobile terminal 5 presents at least the image and / or sound related to the service data received from the server 3 regarding the predetermined network service to the user in a state where it is not connected to the base device 6 (step S37, step S104).
  • the information processing system 1 can evaluate the health of the user based on the biological information of the user during sleep, and can provide the user with a network service according to the evaluation result. Moreover, since information is transmitted to the server 3 by the portable terminal 5, the base device 6 does not need to have a means for communicating with the server 3, so that the configuration of the base device 6 can be simplified. Further, since the mobile terminal 5 can present an image and / or sound related to the service data in a state where it is not connected to the base device 6, the user can easily receive the service.
  • the stationary base device 6 detects user information (biological information) for evaluating the user's QOL (step S12).
  • the portable terminal 5 transmits information (health information, which may be the user information itself) calculated from the user information detected by the base device 6 to the server 3 as transmission information (steps S4 and S19).
  • the server 3 is a network service corresponding to an evaluation result (evaluation result (QOL index) regarding QOL) calculated from transmission information transmitted from the mobile terminal 5 (the transmission information may indicate an evaluation result). Is transmitted to the portable terminal 5 (step S9, step S117).
  • the information processing system 1 can evaluate the user's QOL based on the user information, and can provide the user with a network service according to the evaluation result.
  • the mobile terminal 5 presents information (evaluation result information, advice information, recommendation information, content information included in the service data, information related to benefits, etc.) based on the service data received from the server 3 to the user. May be.
  • the information processing system 1 calculates the QOL index based on three pieces of information such as the user's health, environment, and emotion as an evaluation result regarding the QOL.
  • the evaluation regarding the QOL may be performed based on at least one of the three pieces of information.
  • an evaluation result (health index described above) regarding the user's health may be calculated as a QOL index.
  • the evaluation regarding QOL may be performed based on other information different from the above three pieces of information.
  • the QOL index may be calculated based on information related to the user's preference (the preference information described above).
  • the stationary base device 6 is installed around the user who is entering the floor, and detects user information (biological information) for evaluating the user's QOL from the sleeping user (step). S12).
  • the portable terminal 5 transmits information calculated from the user information detected by the base device 6 to the server 3 as transmission information (steps S4 and S19).
  • the server 3 accumulates information (health information, which may be transmission information itself) calculated from transmission information transmitted from the mobile terminal 5 as accumulation information in a predetermined storage unit (step S112).
  • the information processing system 1 can calculate information on the user's QOL based on information detected from the sleeping user. Further, since QOL information can provide various services to the user by analyzing and evaluating it, the QOL information is useful information, and there are a plurality of QOL information (a plurality of information about one user). (It may be information on a plurality of users or information on a plurality of users). According to the above embodiment, the calculated QOL information is stored in the server 3, so that a large number of QOL information that is useful information can be easily managed without imposing a large load on the storage capacity of the mobile terminal 5. can do.
  • the base device 6 starts detecting user information (biological information) in response to being able to communicate with the mobile terminal 5 (see FIG. 6). According to this, since the user does not need to perform an operation for starting detection on the base device 6, it is possible to save time and effort of the user's operation. In addition, the base device 6 can transmit information based on the detected user information to the portable terminal 5 without having to store the information for a long time in the own device.
  • the mobile terminal 5 and the base device 6 can communicate with each other when the mobile terminal 5 is attached to the base device 6.
  • the mobile terminal 5 and the base device 6 may be configured to communicate with each other even if the mobile terminal 5 is not attached to the base device 6. For example, when the mobile terminal 5 and the base device 6 can perform short-distance wireless communication, the mobile terminal 5 and the base device 6 may be configured to be communicable when they enter a wireless communicable range. .
  • the mobile terminal 5 can be mounted on the base device 6 (may be mounted), and the base device 6 detects user information in response to the mobile terminal 5 being mounted or mounted. Start (see FIG. 6). According to this, since the user only needs to attach the mobile terminal 5 to the base device 6 in order to start the detection with respect to the base device 6, it is not necessary to perform an operation on the base device 6. The user's operation can be saved.
  • the base device 6 ends the detection in response to the user not being detected by the Doppler sensor 24 (step S20). In other words, the base device 6 continues to detect user information even when the mobile terminal 5 is removed from the base device 6 (see FIG. 6). According to this, the base device 6 detects even when the portable terminal 5 is removed from the base device 6 for some reason during the detection (for example, when the user hits the portable terminal 5 when turning over). Since it continues, the detection in a user's sleep can be performed more reliably. In another embodiment, the base device 6 may end the detection on condition that the user has awakened. As a result, as in the above embodiment, the base device 6 can continue to detect user information even when the mobile terminal 5 is removed from the base device 6.
  • the information processing system 1 calculates a sleep index related to the user's sleep based on the user information (biological information) (step S13), and the portable terminal 5 is controlled in operation and / or function according to the sleep index. (FIG. 6, step S15).
  • the operation and / or function of the portable terminal 5 can be controlled according to the user's sleep state. For example, the power consumption can be reduced by putting the mobile terminal 5 in the off mode during sleep, or the user's sleep can be prevented from being disturbed by turning off the call function during sleep.
  • the portable terminal 5 can be electrically connected to the stationary base device 6.
  • the base device 6 evaluates the user's QOL and charging means (power acquisition unit 23) for supplying power to the portable terminal 5 electrically connected to the base device 6 to charge the portable device.
  • detecting means Doppler sensor 24 for detecting user information (biological information).
  • the portable terminal 5 transmits information (health information, which may be user information itself) calculated from the user information detected by the base device 6 to the server 3 as transmission information.
  • the server 3 accumulates transmission information (information calculated from the transmission information) transmitted from the mobile terminal 5 as accumulation information in a predetermined storage unit.
  • the above “electrically connectable” means to include the following connection modes.
  • the mobile terminal is detachably attached to or placed on the base device, short-range wireless communication between the mobile terminal and the base device.
  • the base device 6 serves as both a charger for the portable terminal 5 and a sensor device that detects user information, the base device 6 can detect user information without taking an installation place. Further, since the transmission information is stored in the server 3, a large number of transmission information that is useful information can be easily managed without imposing a large load on the storage capacity of the portable terminal 5.
  • the charging function of the base device 6 can give the user motivation to attach the portable terminal 5 to the base device 6. Therefore, when the base device 6 starts detecting user information in response to the mounting or placement of the mobile terminal 5 (see FIG. 6), the user attaches the mobile terminal 5 to the base device 6. The possibility of forgetting can be reduced, and detection by the base device 6 can be performed more reliably.
  • the charging means charges the portable terminal 5 that is the transmission destination of the user information during the detection of the user information (biological information).
  • user information is detected while the user is connecting the mobile terminal 5 to the base device 6 in order to charge the mobile terminal 5.
  • the user is often near the mobile terminal 5 during charging of the mobile terminal 5. Therefore, by detecting user information when the user is near the portable terminal 5 (highly likely), the burden on the user at the time of detection can be reduced.
  • the information processing system 1 includes the stationary base device 6 and the mobile terminal 5.
  • the base device 6 detects first user information (biological information) for evaluating the user's QOL during the user's sleep (step S1, step S12).
  • the mobile terminal 5 detects second user information (position information, environmental sensor information, information on sound detected by a microphone, information on a captured image by a camera, etc.) for evaluating the user's QOL during the user's awakening. (Step S5, Step S22, Step S51).
  • the information processing system 1 evaluates the user's QOL based on the first user information and the second user information (step S7, step S35, step S114). According to the above, the information processing system 1 evaluates the QOL using both the first user information detected during sleep and the second user information detected during awakening. QOL can be evaluated in consideration of the state.
  • the first user information and the second user information may be the same or different.
  • the first user information and the second user information may be biological information related to the user.
  • the first user information and the second user information may be the same type of biometric information or different types of biometric information.
  • the information processing system 1 sequentially transmits the first user information (biological information, which may be information calculated from the first user information) to the mobile terminal 5 (step S1).
  • the portable terminal 5 does not detect the second user information while receiving information from the base device 6 (see FIG. 1).
  • the mobile terminal 5 can determine whether or not to detect the second user information by receiving information from the base device 6. Since the portable terminal 5 can prevent the second user information from being detected during a period of low necessity (period in which it is estimated that the user is not awake), the portable terminal 5 can efficiently perform the detection.
  • the information processing system 1 calculates a first index (first fatigue level / health information) related to the user's QOL, which is calculated based on the first user information (step S17), and based on the second user information.
  • a second index (second fatigue level / activity information, environmental information, emotion information) related to the user's QOL is calculated (step S114).
  • the information processing system 1 associates the first index (sleep score image 62 / health score image 52) with the second index (wake score image 63 / environmental score image 53 and emotion score image 54) to the user. (FIG. 26). According to this, since the first index based on the information detected during sleep and the second index based on the information detected during awakening are associated with each other and presented, both are easy to understand for the user. Can be presented.
  • the information processing system 1 includes the evaluation result (health score image 61 or QOL score image 50) related to the QOL based on the first index and the second index, and the first index (sleep score image 62 or health score).
  • the score image 52) and at least one of the second indices are associated with each other and presented to the user. (FIGS. 25 and 26). According to this, since the evaluation result based on the two indices and at least one of the indices are associated and presented, both can be presented to the user in an easy-to-understand manner.
  • the mobile terminal 5 can be mounted (or placed) on the base device 6, and the second user information is not detected while being mounted (or placed) on the base device 6. According to this, when the user does not carry the portable terminal 5, the portable terminal 5 does not detect the second user information. Here, it is generally considered that the user does not carry the mobile terminal 5 during sleep. Therefore, according to the above, it is possible to reduce the possibility that the mobile terminal 5 unnecessarily detects the second user information during the user's sleep.
  • the information processing system 1 includes the first terminal (base device 6), the second terminal (mobile terminal 5), and the server 3.
  • the base device 6 detects first user information (biological information) for evaluating the user's QOL (step S1, step S12).
  • the portable terminal 5 detects second user information (position information, environmental sensor information, information on sound detected by a microphone, information on a captured image by a camera, etc.) for evaluating the user's QOL (step S5, step S22, Step S51).
  • the portable terminal 5 transmits information (health information, which may be the first user information itself) calculated from the first user information to the server 3 as the first transmission information (steps S4 and S19).
  • the portable terminal 5 transmits the information (activity information, which may be the second user information itself) calculated from the second user information to the server 3 as the second transmission information together with or separately from the first transmission information. (Step S5, Step S23, etc., Step S54).
  • One of the base device 6 and the portable terminal 5 performs detection during the user's sleep, and the other performs detection during the user's awakening (see FIG. 4).
  • the server 3 evaluates the user's QOL based on the first transmission information and the second transmission information (step S7, step S114 or S115).
  • the information processing system 1 evaluates the QOL using both the first user information detected during sleep and the second user information detected during awakening, the user's state over one day is considered. Thus, the QOL can be evaluated. Further, since the detection information from the first terminal (base device 6) is transmitted to the server 3 by the second terminal (mobile terminal 5), the base device 6 does not have to have means for communicating with the server 3, and the base device 6 Can be simplified. In another embodiment, the base device 6 may include a communication unit that communicates with the server 3. At this time, the second user information (or information calculated from the second user information) detected by the mobile terminal 5 may be transmitted to the server 3 via the base device 6.
  • the stationary device detects first user information (biological information) for evaluating the user's QOL, which is information relating to the user's state and / or behavior ( Step S1, Step S12).
  • the mobile terminal 5 is information related to the user's state and / or behavior, and is second user information for evaluating the user's QOL (position information, environmental sensor information, information on sound detected by a microphone, and information of a captured image by a camera). Information, etc.) are detected (step S5, step S22, step S51).
  • the portable terminal 5 transmits information calculated from the first user information (health information, which may be the first user information itself) to the server 3 as first transmission information (steps S4 and S19).
  • the mobile terminal 5 uses the information (various QOL element information, which may be the second user information itself) calculated from the second user information as the second transmission information together with or separately from the first transmission information. (Step S5, Step S23, etc., Step S54).
  • the server 3 evaluates the user's QOL based on the first transmission information and the second transmission information (steps S7 and S114).
  • the “information regarding the user state and / or behavior” may be information representing the user state (for example, the above-described biological information, position information, environment information, emotion information, and preference information).
  • Information indicating the user's behavior (for example, the position information and activity information described above) may be used.
  • the information processing system 1 evaluates the QOL by using both the first user information detected by the base device 6 and the second user information detected by the mobile terminal 5, the user's state can be determined over a wider period. Evaluation can be performed in consideration. For example, the mobile device 5 detects the second user information while the user is carrying the mobile device 5, and the base device 6 detects the first user information when the user is not carrying the mobile device 5. It is also possible to do. Moreover, since the detection information by the base apparatus 6 is transmitted to the server 3 by the portable terminal 5, it is not necessary for the base apparatus 6 to have a communication means with the server 3, and the structure of the base apparatus 6 can be simplified.
  • the base device 6 detects information related to the user's sleep as first user information
  • the mobile terminal 5 detects information related to the action content when the user is awakened as second user information (see FIG. 4). According to this, since the information processing system 1 evaluates the QOL by using both the first user information detected during sleep and the second user information detected during awakening, the user's information over one day QOL can be evaluated in consideration of the state.
  • the information processing system 1 includes the first device (base device 6) and the second device (mobile terminal 5).
  • the base device 6 detects first user information (biological information) for evaluating the user's QOL in a state where the user is indoors without touching the user (step S1, step S12).
  • the mobile terminal 5 detects second user information (position information, environmental sensor information, information on sound detected by a microphone, information on a captured image by a camera, etc.) for evaluating the user's QOL when the user is outdoors. (Step S5, Step S22, Step S51). Note that the mobile terminal 5 only needs to be able to detect the second user information when the user is outdoors, and may detect the second user information when the user is indoors.
  • the information processing system evaluates the user's QOL based on the first user information and the second user information (step S7, step S114).
  • the information processing system 1 evaluates the QOL by using both the first user information detected when the user is indoors and the second user information detected when the user is outdoors. Therefore, QOL can be evaluated in consideration of the user's condition over one day.
  • the information processing system 1 includes the first device (base device 6) and the second device (mobile terminal 5).
  • the base device 6 detects first user information (biological information) for evaluating the user's QOL during the user's sleep (step S1, step S12).
  • the portable terminal 5 detects second user information (position information, environmental sensor information, information on sound detected by a microphone, information on a captured image by a camera, etc.) for evaluating the user's QOL during the user's awakening ( Step S5, Step S22, Step S51).
  • the information processing system 1 evaluates the user's QOL based on the first user information (calculates the first fatigue level in step S17 or calculates the health index in step S114), and adds the second user information.
  • the information processing system 1 evaluates the user's QOL based on the first user information and the second user information (calculates a health index in step S114 or calculates a QOL index in step S115).
  • the information processing system 1 evaluates the QOL using both the first user information detected during sleep and the second user information detected during awakening. QOL can be evaluated in consideration of the state. Moreover, since the information processing system 1 performs the evaluation based on the first user information, the evaluation based on the second user information, and the evaluation based on the two user information, the QOL can be evaluated from various aspects.
  • the information processing system 1 also includes an evaluation result based on the first user information (first fatigue level or health index) and an evaluation result based on the second user information (second fatigue level, environmental index, or emotion index). ) To calculate an index relating to the user's QOL (step S114 or step S115). According to this, since an index relating to QOL is calculated based on each evaluation result based on each user information, it is possible to calculate a QOL index considering both user information.
  • the portable terminal 5 uses the sensor (position detection unit 13, more specifically, a GPS sensor) of a different type from the sensor (Doppler sensor 24) that detects the first user information in the base device 6 to provide the second user information. Is detected.
  • the sensor position detection unit 13, more specifically, a GPS sensor
  • Doppler sensor 24 Doppler sensor 24
  • the information processing system 1 includes the terminal system 2 and the server 3.
  • the terminal system 2 detects first user information (biological information) related to the user's sleep during the user's sleep (step S1, step S12), and second user information (QOL element) related to the user's action content during awakening. Information) is detected (step S5).
  • the server 3 transmits service data for providing the user with a service using the first user information and the second user information to the terminal system 2 (step S9).
  • a useful service can be provided by using the first user information related to the user's sleep and the second user information related to the user's action content.
  • the server 3 evaluates the user's QOL based on the first user information (calculates a health index in step S114). Further, the information processing system 1 provides a service for improving the QOL based on the user's QOL evaluation result, and based on the second user information (preference information) as service data for providing the service. Service data having contents corresponding to the user's preference specified in step S116 is selected. According to this, the information processing system can provide a service for improving the user's QOL with the service content according to the user's preference, and can provide a useful service.
  • the information processing system includes the terminal system 2 including the portable terminal (the portable terminal 5) and the server 3.
  • the terminal system 2 acquires first information (biological information or position information) for evaluating the health of the user (step S12 or step S51).
  • the information processing system evaluates the user's health based on the acquired first information (step S114).
  • the server 3 transmits to the terminal system service data for providing a network service according to the user's health evaluation (step 9, step S36, step S117).
  • the server 3 stores privilege information (privilege data shown in FIG. 21) that is a privilege given to the user and indicates a privilege related to the network service and / or the portable terminal in a predetermined storage unit.
  • the server 3 updates the privilege information so as to give the user a privilege according to the evaluation result related to the user's health (step S116).
  • the information processing system 1 gives a privilege to the user according to the evaluation result of the user's health. According to this, the information processing system 1 can provide the user with the motivation to improve health by providing a privilege, and provide a useful service that can contribute to the improvement of the user's health. it can.
  • the information processing system 1 repeatedly acquires the first information regardless of whether there is a user instruction (step S12 or step S51). Further, the information processing system 1 repeatedly evaluates based on the first information (in the above embodiment, the evaluation is repeated every day).
  • the server 3 continuously transmits service data to the terminal system 2 regardless of whether there is a user instruction (step S117). In addition, the server 3 gives a privilege as part of a service in a continuously provided network service (in the above embodiment, transmission of service data is performed every day).
  • the information processing system 1 automatically and continuously evaluates health, and continuously provides a network service according to the evaluation result to the user. Therefore, the user can continuously receive health evaluation without repeatedly giving instructions.
  • the information processing system 1 can give the user the motivation to maintain the health and contribute to the maintenance of the user's health. be able to.
  • the information processing system 1 includes the terminal system 2 and the server 3.
  • the terminal system 2 acquires the biological information as first information from a sensor (Doppler sensor 24) that detects biological information from the sleeping user (step S12).
  • the information processing system 1 evaluates the user's health based on the acquired biological information (step S114).
  • Server 3 memorizes privilege information (privilege data shown in Drawing 21) which shows a privilege given to a user in a predetermined storage part.
  • Server 3 updates privilege information so that the privilege according to the evaluation result about a user's health may be given to the user concerned.
  • the information processing system 1 since the information processing system 1 gives a privilege to the user according to the evaluation result of the user's health, the user can be given motivation to improve the health and contribute to the improvement of the user's health. Can do.
  • the terminal system 2 further acquires second information (may be position information or activity information) regarding the user's behavior (step S91), and the information processing system 1 determines the user's preference based on the second information. Is determined (step S93).
  • the server 3 determines the content of the privilege given to the user based on the user's preference (step S116). According to this, the information processing system can provide a privilege with the content according to the user's preference, and can provide a useful service. Moreover, since a privilege can be made more attractive for a user, the motivation which improves health can be given to a user more strongly.
  • the server 3 performs health-related evaluation based on the first information (biological information) and the second information (may be position information or activity information) (step S114). According to this, since the health-related evaluation can be performed based on two different types of information, the accuracy of the evaluation can be improved.
  • the terminal system 2 includes the following configuration.
  • a sensor Doppler sensor 24 that detects user information (biological information) for calculating a state relating to the user's sleep Projector 25 that projects and displays a predetermined image
  • Control unit 22 that causes the projector 25 to project and display an image relating to the sleep state calculated based on the user information (step S18)
  • the “image relating to the sleep state” may be an image representing a sleep state (for example, the above-described sleep index) or an image representing an evaluation result (for example, the above-described sleep index) for the sleep state. Good.
  • the terminal system 2 can project and display an image at a location that is easy to see for a sleeping user, such as a ceiling. Thereby, the terminal system 2 can provide an easy-to-see display for a sleeping user. Further, the terminal system 2 can present the sleep state to the user by displaying the image on the projector 25.
  • the terminal system 2 (base device 6), which is an example of the display system, includes the following configuration.
  • a sensor Doppler sensor 24 that detects user information (biological information) for calculating a state relating to the user's sleep Projector 25 that projects and displays a predetermined image
  • a control unit 22 that identifies timing related to the user's awakening based on the user information and causes the projector to start projecting and displaying an image according to the identified timing (step S14, FIG. 6)
  • the “timing related to the user's awakening” is, for example, the timing when the user is awakened or the timing before and after the awakening.
  • the timing at which it is determined that the user's sleep has become shallow (in other words, the user has entered the state prior to awakening) and the timing at which the user has been awakened are as described above. It can be said that it is “timing about awakening”.
  • the timing after the user has awakened and based on the awakening timing (for example, the timing at which a predetermined time has elapsed from the awakening timing) can also be said to be the “timing related to the user's awakening”.
  • starting at the specified timing projection display of the image
  • the timing according to the specified timing for example, the specified timing This includes both the meaning of starting projection display at the timing of one minute later.
  • the terminal system 2 can provide an easy-to-see display for the sleeping user by the projector 25. Further, the terminal system 2 can present an image to the user according to the user's awakening. That is, the terminal system 2 can present an image to the user at an appropriate timing, and can reduce power consumption by the projector 25.
  • the terminal system 2 which is an example of a display system is provided with the following structures.
  • a sensor Doppler sensor 24 that detects user information for calculating a state relating to sleep of the user who is entering the floor Projector 25 that projects and displays a predetermined image while the user enters the floor Control unit 22 that controls the projector 25
  • a communication unit 10 that communicates with the server 3 via a network
  • the terminal system 2 can project and display an image at a location that is easy to see for a sleeping user, such as a ceiling. Thereby, the terminal system 2 can provide an easy-to-see display for a sleeping user.
  • the terminal system 2 includes a communication unit that communicates with the server 3, for example, an image to be displayed by the projector 25 is acquired from the server 3, and a detection result (or information based on the detection result) by the sensor is stored in the server. 3 can be transmitted.
  • control unit 22 causes the projector 25 to display an image related to the sleep state calculated based on the user information at a timing corresponding to the user's sleep state, which is a timing specified based on the user information. According to this, an image can be presented to the user at an appropriate timing according to the user's sleep state. Further, power consumption by the projector 25 can be reduced.
  • control unit 22 causes the projector 25 to display an image related to the sleep state at a timing when the user wakes up or at a timing before wakeup, which is a timing specified based on the user information. According to this, when the user wakes up, information related to the user's sleep state can be presented to the user, so that useful information can be presented to the user at an appropriate timing.
  • the terminal system 2 controls the power supply to the projector 25 according to the state related to sleep. For example, the terminal system 2 may start the power supply to the projector 25 according to the timing related to the user's awakening specified based on the user information. More specifically, the terminal system 2 may start power supply to the projector 25 at a timing before the user wakes up (or may wake up). According to this, it is possible to perform image display by the projector 25 when awakening while suppressing power supply to the projector 25 during sleep.
  • the terminal system 2 changes the image for inducing the user's sleep (sleeping content) and / or the image for inducing the awakening (awakening content) according to the user's sleep state, thereby changing the projector 25. May be projected and displayed. For example, the brightness of the image projected and displayed by the projector 25 may change according to the user's sleep state.
  • the terminal system 2 determines whether or not the user is awake during sleep ("presentation of information at the time of awakening") and "(presentation of the evaluation result at the time of awakening)”. reference). At this time, the terminal system 2 projects and displays different images on the projector 25 when it is determined that the user is not halfway awakened and when it is determined that the user is not halfway awakened (FIG. 6). According to this, it is possible to present the user with an appropriate image according to whether or not the user is awakened midway.
  • the terminal system 2 evaluates the user's sleep based on the user information (step S17), and is identified based on the user information, at a timing corresponding to the user's sleep state (for example, when the user wakes up).
  • the evaluation result is projected and displayed on the projector 25 (step S18). According to this, the terminal system 2 can present the evaluation result regarding sleep to the user at an appropriate timing.
  • the terminal system 2 (base device 6), which is an example of the display system, includes the following configuration.
  • a sensor Doppler sensor 24 that detects user information (biological information) for calculating a state relating to the user's sleep Projector 25 that projects and displays a predetermined image -Control part 22 which controls a projector according to the state about sleep calculated based on user information (Step S14)
  • the terminal system 2 can project and display an image at a location that is easy to see for a sleeping user, such as a ceiling.
  • the terminal system 2 can provide an easy-to-see display for a sleeping user.
  • the terminal system 2 controls the projector 25 according to the sleep state of the user, so that the power of the projector 25 (on / off) and / or the image projected and displayed by the projector 25 is displayed according to the sleep state. Can be controlled appropriately.
  • the terminal system 2 which is an example of a display system is provided with the following structures.
  • a sensor Doppler sensor 24 that detects user information for calculating a state relating to sleep of the user who is entering the floor Projector 25 that projects and displays a predetermined image while the user enters the floor
  • a display device (display 17 of the portable terminal 5) that is detachably connected to the projector 25 and has a screen that displays the same or different image as the predetermined image.
  • the projector 25 can provide an easy-to-see display for a sleeping user, and the display device can present an image at a position different from the projection location by the projector 25.
  • the display device may be formed integrally with the projector 25.
  • the display device (mobile terminal 5) is detachable from the housing of the projector 25. Therefore, the user can use the display device by removing it from the projector 25. Furthermore, since the display device is a portable information processing device, the user can carry and use the display device.
  • the display device can communicate with an external device (server 3) through the network by accessing the network through wireless communication. Therefore, the user can use the display device outdoors (for example, display content acquired from the server 3 by communication).
  • the base device 6 which is an example of the display device includes a sensor (Doppler sensor 24) that detects the biological information of the user and a projector that is provided in the same housing as the sensor and projects and displays a predetermined image. 25 (FIGS. 2 and 3).
  • the projector 25 can provide an easy-to-see display for a sleeping user.
  • a user's biometric information can be detected with a sensor.
  • the Doppler sensor 24 detects biological information for a user who is away from the base device 6 within a predetermined range. According to this, it is possible to detect biological information from a user in the vicinity of the display device without making the user aware of the detection operation by the sensor.
  • the base device 6 is a stationary device that is used in a mounted state during detection by the Doppler sensor 24. Therefore, the user only needs to place the display device in a place where detection by the sensor is performed, and it is not necessary to perform troublesome setting work in order to perform detection by the sensor.
  • the base device 6 may further include a speaker 26 provided in the same housing as the Doppler sensor 24 and the projector 25. According to this, a sound (for example, a sound matched to an image projected and displayed by the projector 25) can be presented to the sleeping user. Moreover, since it is not necessary to prepare a speaker separately, the system configuration can be simplified.
  • the mobile terminal 5 includes the detection unit (the microphone 15 and the camera 16) that detects sensor information for determining the user's emotion.
  • the information processing system 1 determines the user's emotion based on the sensor information (step S26, step S77, step S87).
  • the said detection part detects sensor information in the period when the portable terminal 5 is in a standby state.
  • the “standby state” is, for example, a state in which the display 17 of the mobile terminal 5 is turned off (in other words, a state in which the mobile terminal 5 has not been operated for a predetermined time).
  • the application may be running.
  • the detection unit may be configured to be able to detect sensor information in the standby state. The detection unit need not always detect the sensor information during the standby state, and may detect the sensor information in a state different from the standby state (for example, a state where the user is operating the mobile terminal 5). .
  • the sensor information is a detection sound by the microphone 15 and a captured image by the camera 16, but may be, for example, biological information of the user. For example, it is possible to detect a pulse as biometric information and discriminate a user's emotion (whether it is high or low) based on the pulse. Further, for example, when the user touches the mobile terminal 5, the user's sweating state can be detected, and the user's emotion can be determined based on the sweating state.
  • the mobile terminal 5 includes an acceleration sensor
  • the information processing system 1 calculates the user's posture and / or how to walk based on the detection result of the acceleration sensor, and based on the user's posture and / or how to walk. Emotion information may be calculated. For example, when the user's posture is walking with his / her back more than usual, or when the user's way of walking is slower than usual (walking suddenly), the information processing system 1 is depressed by the user. Emotion information indicating this may be calculated.
  • the information processing system 1 can determine the emotion of the user of the mobile terminal 5 based on the sensor information.
  • the information processing system 1 acquires the sensor information during a period when the user is not aware that the sensor information is being detected, and the user during the period Can distinguish emotions. As a result, it is possible to determine the user's emotions that occur in the daily life of the user carrying the mobile terminal 5.
  • the mobile terminal 5 is different from the sensor information and acquires user-related information (schedule information, position information, and / or activity information, etc.) related to the user (step S71), and detects sensor information (the microphone 15 and (Or measurement by the camera 16) is controlled based on the user related information (step S72). According to this, detection of sensor information can be performed under an appropriate situation (that is, under a situation where sensor information capable of determining emotions is acquired).
  • the mobile terminal 5 acquires information (schedule information, position information, and / or activity information, etc.) representing the user's behavior and / or activity as user related information. According to this, the information processing system 1 can determine whether or not to detect sensor information in consideration of the user's action or activity.
  • the mobile terminal 5 determines whether or not it is a period in which a predetermined event (for example, a meeting) is being performed for the user based on the user related information.
  • the sensor information is detected during a period in which the predetermined event is performed. According to this, the information processing system 1 can discriminate the user's emotion during an event period such as a meeting or movement.
  • the detection unit includes a first detection mode in which sensor information is detected at relatively long time intervals (a state in which the processing loop of steps S81 to S83 is executed), and a second detection mode in which sensor information is continuously detected (step In a state where the processing loop of S85 and S86 is executed).
  • a first detection mode in which sensor information is detected at relatively long time intervals
  • a second detection mode in which sensor information is continuously detected
  • step S87 the determination result in step S82 is affirmative
  • the mobile terminal 5 switches the operation mode of the detection unit to the second detection mode.
  • the information processing system 1 determines the user's emotion based on the sensor information detected in the second mode (step S87). Based on the above, the information processing system 1 can control whether or not to detect sensor information using sensor information without using the above-described user-related information.
  • the second detection mode may be a mode in which sensor information is detected at a relatively short time interval (compared to the first detection mode).
  • the mobile terminal 5 determines whether or not the user is operating the mobile terminal (step S72).
  • a detection part detects sensor information, when it determines with the user operating the portable terminal 5 (step S73). According to this, it is possible to determine the emotion of the user who is operating the mobile terminal 5 (in addition to the emotion of the user when the mobile terminal 5 is waiting).
  • the information processing system 1 detects sensor information for determining the user's emotion (step S74, step S85), and determines the user's emotion based on the sensor information (step S77, step S77).
  • Proposal information (service data) for making a proposal according to the emotion discrimination result to the user is presented to the user (step S117, step S104).
  • the information processing system 1 can determine the user's emotion based on the sensor information, and can acquire useful information such as the user's emotion.
  • the proposal which considered this user's emotion can be performed with respect to a user.
  • the information processing system 1 presents proposal information at a frequency of once (once a day) in a predetermined period (step S9), and according to the emotion discrimination result based on the sensor information detected in the predetermined period Generate proposal information. According to this, the proposal according to the discrimination
  • the information processing system 1 detects sensor information in a period during which an event is performed (period S24 to S25), and proposes information according to the end of the period during which the event is performed. May be presented to the user. According to this, since the proposal according to the emotion discrimination result can be made to the user after the event is over, the proposal can be made at an appropriate timing.
  • the server 3 stores identification information (notification user data) of another user different from the user in a predetermined storage unit in association with the user whose emotion is determined as the user who presents the proposal information.
  • the server 3 sends information (emotion information) indicating the determination result of the emotion of a certain user and proposal information (emotion index) corresponding to the determination result to another user (notification target user) associated with the certain user.
  • the information processing system 1 can make a proposal according to the emotion of the user himself / herself to another user different from the user himself / herself whose emotion is to be discriminated. For example, since information related to the user's emotions is useful information for the user's family, friends, and the like, it is possible to provide useful information to the family, friends, and the like.
  • the server 3 presents the first proposal information (information shown in FIG. 25) to the user as the proposal information corresponding to the determination result of the emotion of a certain user, and the second proposal information different from the first proposal information. (Information shown in FIG. 28) is presented to another user associated with the certain user.
  • the portable terminal 5 repeatedly detects the sensor information for discriminating a user's emotion (step S74, step S85), and the multiple detected during the predetermined monitoring period (measurement period). Based on the sensor information, the user's emotion during the monitoring period is determined (step S77, step S87).
  • the information processing system 1 presents the emotion discrimination result to the user.
  • the monitoring period may be set in any way, and the setting method is arbitrary.
  • the monitoring period may be a period from a predetermined start time to an end time, for example.
  • the information processing system 1 can determine the emotion of the user of the mobile terminal 5 based on the sensor information. In addition, since the sensor information is detected during the monitoring period, the information processing system 1 can determine the emotion of the user during a specific monitoring period in the user's daily life.
  • the mobile terminal 5 is information different from the sensor information, acquires user-related information (schedule information, position information, and / or activity information, etc.) related to the user, and determines the monitoring period based on the user-related information. According to this, for example, a period during which a user is performing a certain action (for example, during a meeting or during a meal) can be determined as a monitoring period, and therefore a period for detecting sensor information can be appropriately set. .
  • the mobile terminal 5 determines whether or not the user is operating the mobile terminal 5 (steps S72 and S76).
  • the information processing system 1 discriminates emotions by using a period during which it is determined that the user is operating the mobile terminal 5 as a monitoring period (steps S74 and S77). According to this, it is possible to determine the emotion of the user during the operation of the mobile terminal 5. Further, when the mobile terminal 5 includes a camera, the user's face can be imaged by the camera while the mobile terminal 5 is being operated, so that emotion can be determined from the user's facial expression.
  • the information processing system 1 detects sensor information for determining the user's emotion (step S74, step S85), and determines the user's emotion based on the sensor information (step S77, step S77). S87). In addition, the information processing system 1 acquires life information (position information, activity information, health information, environmental sensor information, environmental information, preference information) obtained by observing the user's life, and determines the emotion discrimination result and the life Based on the information, predetermined processing (evaluation of QOL and identification of service contents in the network service) is executed (steps S115 and S116).
  • the “life information” may be any information obtained by observing the user's life, and includes the position information, activity information, health information, environmental sensor information, environmental information, and preference information described above. Or some other type of information.
  • the content of the “predetermined processing” is arbitrary, and may be other types of processing in addition to the above-described processing for performing user-related evaluation and processing for specifying service content.
  • the information processing system 1 can determine the emotion of the user of the mobile terminal 5 based on the sensor information. In addition, the information processing system 1 can perform processing reflecting the user's life and emotion by using the emotion discrimination result and the life information.
  • the information processing system 1 executes a process of calculating an index indicating the state of the user based on the emotion discrimination result and the life information as the predetermined process (step S115). According to this, the information processing system 1 can calculate a useful index reflecting the user's QOL.
  • the information processing system 1 generates proposal information (advice information, recommendation information) for making a proposal to the user based on the emotion discrimination result and life information as the predetermined processing (step S116).
  • a process of presenting the proposal information to the user is executed (step S117). According to this, a useful proposal in consideration of the user's life and emotion can be presented to the user.
  • the information processing system 1 controls whether to detect sensor information based on life information, and calculates an index (emotion index, QOL index, etc.) indicating a user's state based on the sensor information. According to this, since the information processing system 1 can determine whether or not to detect sensor information based on life information, this determination can be made appropriately.
  • the information processing system 1 acquires life information in a period at least partially overlapping with a period in which sensor information is detected (FIG. 10). According to this, the information processing system 1 can perform a process reflecting the emotion of the user in a certain period and the life information of the user in that period.
  • the mobile terminal 5 includes the detection unit (the microphone 15 and the camera 16) that detects sensor information for determining the user's emotion.
  • the information processing system 1 discriminates the user's emotion based on the sensor information, and accumulates the emotion discrimination result in the storage unit of the server 3.
  • the mobile terminal 5 recognizes the user's voice included in the sound detected by the microphone 15 and discriminates the user's emotion based on the user's voice (steps S77 and S87). According to this, since the emotion of the user is determined based on the voice of the user of the mobile terminal 5, the emotion can be accurately determined.
  • the mobile terminal 5 may recognize the voice of another person other than the user included in the sound detected by the microphone 15 and discriminate the user's emotion based on the voice of the other person (step S77, step S77). S87). According to this, since the emotion of the user is determined based on the voice of another person other than the user of the mobile terminal 5, the emotion of the user can be determined even in a situation where the emotion cannot be determined from the voice of the user. . Therefore, the user's emotion can be discriminated in more situations.
  • the mobile terminal 5 may determine the user's emotion according to the atmosphere around the user based on the sound detected by the microphone 15. According to this, even if the emotion cannot be determined from the voice of the user of the mobile terminal 5, the user's emotion can be determined, and the user's emotion can be determined in more situations.
  • the information processing system 1 can determine the emotion of the user of the mobile terminal 5 based on the sensor information. Moreover, since emotion information can provide various services to users by analyzing and evaluating the emotion information, it is useful information, and there are a plurality of emotion information (a plurality of emotion information about one user). If it is information, it may be emotion information about a plurality of users). According to the embodiment, since the calculated emotion information is stored in the server 3, it is possible to easily manage a large number of emotion information as useful information without imposing a large load on the storage capacity of the mobile terminal 5. Can do.
  • the terminal system 2 is configured to include one mobile terminal 5 and one base device 6.
  • the terminal system 2 may include a plurality of portable terminals 5 and one base device 6. That is, the terminal system 2 may have a configuration in which a plurality of users (for example, a plurality of users who are family members) carry the portable terminal 5 and provide only one base device 6 for the plurality of portable terminals 5.
  • the base device 6 may detect biometric information of a specific user (for example, a user of the mobile terminal 5 connected to the base device 6).
  • the base apparatus 6 can detect biometric information from a plurality of users, the biometric information of each user may be detected.
  • the mobile terminal 5 can be used in combination with an arbitrary base device 6. That is, in the above embodiment, the information detected in the base device 6 is transmitted to the server 3 via the mobile terminal 5, so that the information can be specified as information related to the user of the mobile terminal 5. Therefore, if the relationship between the mobile terminal 5 and the user is fixed, the base device 6 can be used by any user (mobile terminal 5). For example, by installing the base device 6 in a hotel in addition to the user's home, the information processing system 1 can calculate health information even when the user sleeps outside the home.
  • the information processing system 1 may fix the combination of the mobile terminal 5 and the base device 6. For example, when a mobile terminal 5 and a base device 6 are connected, by performing an authentication process, only a specific base device 6 can be used for a certain mobile terminal 5.
  • each process in the information processing system 1 is executed by the base device 6, the mobile terminal 5, and the server 3.
  • each process in the information processing system 1 may be executed by any of the above three configurations (the base device 6, the portable terminal 5, and the server 3).
  • the base device 6 transmits the information detected by the sensor to the mobile terminal 5, but in another embodiment, the base device 6 may transmit information calculated from the detected information. For example, the base device 6 may calculate biological information of breathing and / or body movement and transmit it to the portable terminal 5, calculate a sleep index and transmit it to the portable terminal 5, or health information. (Sleep index and fatigue index) may be calculated and transmitted to the mobile terminal 5. Further, the base device 6 may calculate an evaluation result (an index representing the health information) based on the health information and transmit it to the mobile terminal 5.
  • an evaluation result an index representing the health information
  • the mobile terminal 5 may transmit information received from the base device 6 and / or information detected by itself to the server 3 as it is, or transmit information calculated from these information to the server 3. May be. In the latter case, in the above embodiment, the mobile terminal 5 calculates the QOL element information and transmits it to the server 3, but in other embodiments, the mobile terminal 5 performs an evaluation based on the QOL element information, The evaluation result (an index indicating) may be transmitted to the server 3.
  • the server 3 may receive information detected by the base device 6 and / or the mobile terminal 5 from the mobile terminal 5. At this time, the server 3 calculates an evaluation result based on the detected information. The server 3 may calculate an evaluation result based on information calculated from the detected information (biological information on breathing and / or body movement, sleep index, and QOL element information). The evaluation result may be received from the mobile terminal 5.
  • the QOL element information (or evaluation result) may be calculated by the mobile terminal 5, and the remaining QOL element information (or evaluation result) may be calculated by the server 3.
  • the base device 6 is configured to be connected to the network 4 via the mobile terminal 5.
  • the base device 6 may be configured to include a communication unit capable of communicating with the network 4.
  • the base device 6 may communicate with the server 3 without using the mobile terminal 5.
  • the base device 6 may transmit information detected by the sensor (or information calculated from the information) to the server 3 without using the mobile terminal 5.
  • the base device 6 may receive service data from the server 3 without going through the mobile terminal 5.
  • the base device 6 may cause the projector 25 to project and display an image based on service data (for example, the above-described content for sleeping or awakening) and / or an image transmitted from the server 3. .
  • the base device 6 is configured to include the projector 25 and the speaker 26 as an example of the output device.
  • the base device 6 may have another configuration as an output device.
  • the base device 6 may include a light emitting device that emits light.
  • the light emitting device is a light source that emits light to the user, and may be, for example, a lighting device.
  • the illuminating device may be integrated with the main body of the base device 6 shown in FIG. 3, or may be a separate body.
  • the terminal system 2 may control the lighting device according to the user's sleep state.
  • the lighting device may be turned on in response to the user entering a state before awakening (or when the user has awakened). Specifically, the terminal system 2 starts turning on the lighting device (irradiation of the light source) at a timing specified based on the biological information and before the user wakes up. According to this, it is possible to urge the user to wake up by irradiating light to the user before wakeup.
  • the terminal system 2 may control the lighting device so that it gradually becomes brighter after the lighting device is turned on. Further, the terminal system 2 may urge the user to awaken by light emission from the projector 25 instead of (or together with) the user to awaken by light emission of the lighting device.
  • the time when the user wakes up may be calculated (specified) by another method in addition to being calculated based on the biological information. For example, when the user has set a wake-up time for the terminal system 2 (the portable terminal 5), the terminal system 2 may use the time as a time when the user wakes up.
  • the terminal system 2 which is an example of the display system identifies a projector that projects and displays an image relating to the user's sleep, a light source that irradiates the user with light, and a time when the user wakes up. You may provide the control part which starts irradiation of a light source at the timing based on.
  • the projector 25 can provide an easy-to-see display for the sleeping user, and can urge the user to wake up by irradiating light to the user before the wakeup.
  • a service provided as a network service may be performed (provided) in the base device 6. That is, the base device 6 may perform a predetermined output based on service data received by the mobile terminal 5.
  • the predetermined output may be, for example, one or more of an image, light, sound, and smell.
  • the server 3 may transmit the above sleep content and / or awake content as service data to the mobile terminal 5 and the content may be reproduced by the projector 25 and / or the speaker 26 of the base device 6. That is, the projector 25 may project and display an image based on the service data.
  • the speaker 26 may output sound based on service data.
  • the base device 6 may include an odor generating device that emits an odor, and at this time, the odor generating device may be controlled based on service data received by the mobile terminal 5. Specifically, when service data indicating the type of odor is received by the mobile terminal 5 and then the mobile terminal 5 becomes communicable with the base device 6, the base device 6 displays the odor indicated by the service data. The odor generator is controlled to output. Thereby, the terminal system 2 can provide the user with an odor according to the evaluation result of the day during sleep, and can provide the user with a comfortable sleep environment.
  • the base device 6 may include an environmental sensor.
  • the environmental sensor may detect at least one of temperature, humidity, illuminance, atmospheric pressure, and sound, like the environmental sensor 14 of the mobile terminal 5.
  • the base device 6 detects biological information by the Doppler sensor 24 and also detects environmental sensor information by the environmental sensor.
  • the period for detecting the environmental sensor information only needs to include at least a part of the user's sleep period, and may be the same as the detection period of the biological information, or the user's sleep period (from sleep onset to awakening). Period).
  • the base device 6 transmits the detected environmental sensor information to the mobile terminal 5.
  • the base device 6 may transmit the environmental sensor information to the mobile terminal 5 as it is, or may perform some processing on the environmental sensor information and transmit it to the mobile terminal 5.
  • the portable terminal 5 transmits the environmental sensor information from the base device 6 and / or information calculated from the environmental sensor information to the server 3.
  • the mobile terminal 5 may calculate environmental information (for example, the above-described environmental value) from the environmental sensor information and transmit the environmental information to the server 3.
  • the mobile terminal 5 may transmit the environmental information together with the health information (including the environmental information in the transmission information including the health information) to the server 3, or the environmental information may be transmitted separately from the health information (at a different timing). ) It may be transmitted to the server 3.
  • the output from the base device 6 may be controlled based on the detection result (environment sensor information) by the environmental sensor.
  • this control may be performed by the control unit 22 of the base device 6 or the processing unit 11 of the mobile terminal 5.
  • the environmental sensor includes an illuminance sensor
  • the brightness (luminance) of the image projected and displayed by the projector 25 may be controlled based on the detection result of the illuminance sensor. That is, if the brightness of the room detected by the illuminance sensor is bright, the brightness of the image by the projector 25 may be increased.
  • the output volume by the speaker 26 may be controlled based on the detection result by the noise sensor. That is, if the noise detected by the noise sensor is large, the output volume from the speaker 26 may be increased.
  • the terminal system 2 which is an example of an output system is a sensor (Doppler sensor 24) which detects the user information (biological information) for calculating the state regarding the sleep of the user who is entering the floor.
  • a non-directional speaker that outputs sound while the user enters the floor may be provided.
  • the omnidirectional speaker it is difficult for the user to feel the position of the sound source of the output sound, and a more natural sound can be provided.
  • the omnidirectional speaker may be controlled to output sound similar to that of the speaker 26 described above.
  • the terminal system 2 may control the omnidirectional speaker according to the state relating to sleep calculated based on user information (biological information).
  • the omnidirectional speaker may be housed in the same housing as the sensor, or may be a separate body from the sensor.
  • the terminal system 2 that is an example of the display system includes a projector that projects and displays an image relating to the user's sleep (the above-described content for sleep, awakening content, an image of a sleep evaluation result, and the like) And an omnidirectional speaker that outputs sound related to sleep (the above-mentioned content for sleep, the content for awakening, the sound of sleep evaluation results, and the like).
  • a projector that projects and displays an image relating to the user's sleep
  • an image relating to the user's sleep the above-described content for sleep, awakening content, an image of a sleep evaluation result, and the like
  • an omnidirectional speaker that outputs sound related to sleep (the above-mentioned content for sleep, the content for awakening, the sound of sleep evaluation results, and the like).
  • the sensor that acquires the biological information of the user is a non-contact type (and non-wearing type) sensor (specifically, a Doppler sensor).
  • the sensor is arranged around the user to be detected. Accordingly, the user does not need to worry about the detection operation by the sensor, and thus the burden on the user due to the detection can be reduced. Further, when the sensor is a non-wearing type, there is no problem that the detection is not performed when the user forgets to wear the sensor, for example.
  • the non-contact type (and non-wearing type) sensor is not limited to the Doppler sensor 24 described above.
  • the Doppler sensor 24 transmits a radio wave toward the detection target and receives a reflected wave, and analyzes the movement of the detection target based on the reception result (based on the Doppler phenomenon of the received wave). Output biological information.
  • the present invention is not limited to this.
  • the non-contact type sensor transmits a radio wave (or sound wave) toward a detection target, receives a reflected wave, and receives the received result (received wave).
  • Biometric information may be output based on Specifically, the sensor may acquire an image of the detection target based on the received wave, analyze the movement of the detection target from the image information, and output biological information.
  • the non-contact type sensor may be a sensor that uses a predetermined detection wave such as an ultrasonic wave instead of the radio wave. Further, the non-contact type sensor may be an imaging unit (camera) disposed around the user. That is, the camera may shoot from a place away from the detection target, and the information processing system may analyze the movement of the detection target from the captured image and output biological information.
  • a game may be provided on the server 3.
  • the server that provides the game may be the same server as the server 3 or a dedicated server (game server).
  • a game application may be provided to the user in the above-described website (website for providing a network service) managed by the server 3.
  • the game application may be of a type that operates on a browser for browsing the website, or may be of a type that is downloaded from the server to the mobile terminal 5 and installed.
  • the game application may be acquired by the terminal system 2 by an arbitrary method in addition to being provided to the terminal system 2 from the server.
  • the game application may be executed on the mobile terminal 5 by connecting (or mounting) the storage medium storing the game application to the mobile terminal 5.
  • the game application may be executed on the mobile terminal 5 or may be executed on another user terminal (such as a mobile terminal, a personal computer, or a game device) possessed by the user.
  • the evaluation result of the user may be reflected in the game. That is, as a privilege to be given to the user in the processes of steps S116 and S117, a privilege related to the game may be given to the user.
  • the server 3 relates to the above game on the condition that a state where the value indicated by the predetermined index is a good value equal to or higher than the reference value has continued for a predetermined period, or that the predetermined index has improved beyond the predetermined reference. You may give a privilege to a user.
  • any privilege related to the game may be used.
  • the server 3 may give the user an item to be used in the game or advance a story in the game. .
  • an information processing system including a terminal system and a server executes game processing based on a game application.
  • the evaluation result stored in the server 3 (information for calculating the evaluation result, that is, user state data shown in FIG. 21 may be used).
  • a predetermined process in the game process is executed based on the referred evaluation result (that is, according to the referred result).
  • the predetermined process is, for example, a process of assigning the above items or a process of advancing a story in the game.
  • the information processing system performs processing for adding or updating game data used in the game application. That is, the game data of the item to be given is added, or the flag in the game is updated so that a new story can be played.
  • the game process may be executed by a server-side information processing device (for example, a game server or server 3), or a terminal-side information processing device (for example, the mobile terminal 5 or the other user described above). Terminal).
  • the game process may be executed in cooperation between the server-side information processing device and the terminal-side information processing device. That is, a part of the game process may be executed on the server side and the other part of the process may be executed on the terminal side.
  • a game application runs on a browser for browsing a website
  • the game process is executed on the server side or in cooperation between the server side and the terminal side.
  • the game process is performed on the terminal side. Or executed in cooperation between the server side and the terminal side.
  • addition or update of game data may be executed on the server side or may be executed on the terminal side. That is, the process of adding or updating game data may be executed by the server-side information processing apparatus adding or updating game data stored in the server-side or terminal-side storage unit. Further, the process of adding or updating the game data may be executed by the information processing apparatus on the terminal side adding or updating the game data stored in the storage unit on the terminal side.
  • the server identifies the user by user identification information (user identification data shown in FIG. 21) input at the time of login. can do. That is, the server stores the user identification information input at the time of login, and refers to the evaluation result of the user specified by the stored user identification information when referring to the evaluation result in the game process.
  • user identification information user identification data shown in FIG. 21
  • the server identifies the user using the game application. Specifically, the user terminal using the game application receives input of user identification information from the user before or during the game process, and transmits the input user identification information to the server. The server uses the user identification information from the user terminal to specify the evaluation result to be referred to. When addition or update of game data is executed on the server side, the server refers to the specified evaluation result, and performs predetermined processing (addition of game data or game data) based on the referred evaluation result. Change).
  • the server transmits the specified evaluation result to the user terminal.
  • the user terminal refers to the received evaluation result (that is, refers to the evaluation result stored on the server side), and executes a predetermined process during the game process based on the referred evaluation result.
  • the user identification information is not only a user account in the network service in the above embodiment, but may also serve as an account in a service providing a game application.
  • the user can use a plurality of network services in common on different user terminals (terminals with different platforms). Will improve.
  • the present invention can be used in, for example, an information processing system including a portable terminal for the purpose of providing useful information and / or services to a user.

Abstract

 表示システムは、センサと、プロジェクタと、制御手段とを備える。センサは、ユーザの睡眠に関する状態を算出するためのユーザ情報を検出する。ユーザ情報は、例えば、脈拍等の生体情報である。プロジェクタは、所定の画像を投影表示する。プロジェクタは、例えば、上方に向けて画像を投影することによって、天井に画像を投影表示する。制御手段は、ユーザ情報に基づいて算出される睡眠に関する状態に応じてプロジェクタを制御する。

Description

表示システム、および、表示装置
 本発明は、ユーザの就寝時に用いられる表示システムおよび表示装置に関する。
 従来、ユーザの睡眠段階を監視するシステムがある(例えば、特許文献1参照)。例えば、上記システムは、睡眠段階に応じた刺激をユーザに与えることによって、ユーザを別の睡眠段階へと推移させる。
特表2007-512086号公報
 ユーザの就寝時に用いられるシステムにおいては、就寝中のユーザにとって見やすい表示手段が用いられることが望まれる。
 それ故、本発明の目的は、就寝中のユーザにとって見やすい表示を提供することができる表示システムおよび表示装置を提供することである。
 上記の課題を解決すべく、本発明は、以下の(1)~(23)の構成を採用した。
(1)
 本発明の一例は、センサと、プロジェクタと、制御手段とを備える、表示システムである。センサは、ユーザの睡眠状態を算出するためのユーザ情報を検出する。プロジェクタは、所定の画像を投影表示する。制御手段は、ユーザ情報に基づいて算出される睡眠状態に関する画像をプロジェクタに投影表示させる。
(2)
 本発明の他の一例は、センサと、プロジェクタと、タイミング特定手段と、制御手段とを備える表示システムである。センサは、ユーザの睡眠状態を算出するためのユーザ情報を検出する。プロジェクタは、所定の画像を投影表示する。タイミング特定手段は、ユーザ情報に基づいて、ユーザの覚醒に関するタイミングを特定する。制御手段は、特定されたタイミングに応じて、画像の投影表示をプロジェクタに開始させる。
(3)
 本発明の他の一例は、センサと、プロジェクタと、制御手段と、通信手段とを備える、表示システムである。センサは、入床中のユーザの睡眠状態を算出するためのユーザ情報を検出する。プロジェクタは、ユーザの入床中に所定の画像を投影表示する。制御手段は、プロジェクタを制御する。通信手段は、ネットワークを介してサーバと通信を行う。
(4)
 制御手段は、ユーザ情報に基づいて特定される、ユーザの睡眠状態に応じたタイミングで、ユーザ情報に基づいて算出される睡眠状態に関する画像をプロジェクタに表示させてもよい。
(5)
 制御手段は、ユーザ情報に基づいて特定されるタイミングである、ユーザが覚醒するタイミング、または、覚醒前のタイミングで、睡眠状態に関する画像をプロジェクタに表示させてもよい。
(6)
 制御手段は、ユーザの睡眠状態に応じてプロジェクタへの電源供給を制御してもよい。
(7)
 制御手段は、ユーザ情報に基づいて特定される、ユーザの覚醒に関するタイミングに応じて、プロジェクタへの電源供給を開始させてもよい。
(8)
 制御手段は、ユーザの入眠を誘導する、および/または、覚醒を誘導するための画像を、ユーザの睡眠状態に応じて変化させてプロジェクタに投影表示させてもよい。
(9)
 表示システムは、ユーザが覚醒した場合、睡眠中の中途覚醒であるか否かを判定する判定手段をさらに備えていてもよい。このとき、制御手段は、中途覚醒であると判定された場合と中途覚醒でないと判定された場合とで異なる画像をプロジェクタに投影表示させてもよい。
(10)
 表示システムは、ユーザ情報に基づいてユーザの睡眠に対する評価を行う評価手段をさらに備えていてもよい。このとき、制御手段は、ユーザ情報に基づいて特定される、ユーザの睡眠状態に応じたタイミングで、評価の結果をプロジェクタに投影表示させてもよい。
(11)
 表示システムは、ユーザに対して光を照射する光源をさらに備えていてもよい。このとき、制御手段は、ユーザ情報に基づいて特定される、ユーザが覚醒する前のタイミングで、光源の照射を開始してもよい。
(12)
 制御手段は、センサからユーザ情報を逐次取得し、取得されたユーザ情報に応じてプロジェクタをリアルタイムに制御してもよい。
(13)
 通信手段は、ユーザの健康に関する評価に応じたネットワークサービスをユーザに対して提供するためのサービスデータをサーバから受信してもよい。
(14)
 プロジェクタは、サービスデータに基づく画像を投影表示してもよい。
(15)
 通信手段は、センサによって検出されたユーザ情報、および/または、当該ユーザ情報から算出される情報をサーバへ送信してもよい。
(16)
 通信手段は、サーバから画像コンテンツを受信してもよい。このとき、プロジェクタは、画像コンテンツを投影表示してもよい。
(17)
 プロジェクタは、上方の天井に画像を投影表示してもよい。
(18)
 センサは、ユーザに対して接触しない状態で当該ユーザの生体情報を検出してもよい。
(19)
 センサは、表示装置から所定範囲内で離れたユーザを対象として生体情報を検出してもよい。
(20)
 センサは、検出対象に向けて電波または音波を送出するとともに反射波を受信し、受信した結果に基づいて生体情報を出力してもよい。
(21)
 表示システムは、カメラと、補正手段とをさらに備えていてもよい。カメラは、プロジェクタによる投影箇所を撮像する。補正手段は、プロジェクタによって投影表示される画像に対して、カメラによって撮像された投影箇所の画像に基づいて、当該投影箇所の凹凸を考慮した補正を行う。
(22)
 補正手段は、プロジェクタによって投影表示される画像に対して、投影箇所の画像に基づいて、当該投影箇所の色を考慮した補正を行ってもよい。
(23)
 センサおよびプロジェクタと同じ筐体内に設けられるスピーカをさらに備えていてもよい。
 なお、本発明の別の一例は、上記(1)~(23)における各手段のいくつかを備える表示装置であってもよい。また、本発明の別の一例は、上記表示システム、または、表示装置のコンピュータを、上記(1)~(23)における各手段のいくつかとして機能させる情報処理プログラムであってもよい。また、本発明の別の一例は、上記表示システム、または表示装置において実行される情報処理方法(表示方法)であってもよい。
 本発明によれば、携帯端末のユーザの状態を評価することができる。
本実施形態における情報処理システムの構成の一例を示すブロック図 図2は、端末システム2の詳細な構成の一例を示す図 端末システム2の外観の一例を示す図 情報処理システムの動作の流れの一例を示すタイミングチャート 端末システム2が配置される様子の一例を示す図 睡眠期間における端末システム2の動作の一例を示す図 プロジェクタによって投影される、評価結果を表す画像の一例を示す図 携帯端末5の処理部11において健康情報を算出するための機能的構成の一例を示す機能ブロック図 睡眠期間に端末システムによって実行される処理の流れの一例を示すフローチャート 覚醒期間におけるユーザの行動と、情報処理システムによって判別される各種情報との関係の一例を示す図 覚醒期間における情報処理システムの動作の流れの一例を示すタイミングチャート 活動情報算出処理の流れの一例を示すフローチャート 本実施形態において算出される活動情報の一例を示す図 環境情報算出処理の流れの一例を示すフローチャート 本実施形態において算出される環境情報の一例を示す図 感情情報算出処理の流れの一例を示すフローチャート 感情情報算出処理の流れの他の一例を示すフローチャート 嗜好情報算出処理の流れの一例を示すフローチャート 情報提示処理の流れの一例を示すフローチャート サーバにおいて実行される処理の流れの一例を示すフローチャート 本実施形態におけるサーバにおいて記憶されるユーザデータのデータ構成の一例を示す図 第2疲労度を算出するために用いられるテーブルの一例を示す図 環境指標を算出するために用いられるテーブルの一例を示す図 評価結果に応じたネットワークサービスを決定するために用いられるテーブルの一例を示す図 携帯端末5において提示される情報の一例を示す図 図25に示す詳細ボタン55に対する入力が行われた場合にディスプレイ17に表示される画像の一例を示す図 ユーザに特典が付与される場合にディスプレイ17に表示される画像の一例を示す図 通知対象ユーザの端末に表示される画像の一例を示す図
[1.情報処理システムの構成]
 以下、図面を参照して、本実施形態に係る情報処理システム、情報処理サーバ、情報処理プログラム、および情報処理方法について説明する。まず、本実施形態に係る情報処理システムの全体構成について説明する。図1は、本実施形態における情報処理システムの構成の一例を示すブロック図である。図1に示すように、情報処理システム1は、端末システム2と、サーバ3とを含む。端末システム2およびサーバ3は、インターネットやモバイル通信網等のネットワーク4を介して互いに通信可能である。なお、図1では端末システム2を1つのみ示すが、本実施形態においては、情報処理システム1は、ユーザ毎にそれぞれ設けられる複数の端末システムを含んでいる。
 端末システム2は、ユーザに関する各種の情報(後述する、健康情報、活動情報、環境情報、感情情報、および、嗜好情報)を算出し、サーバ3へアップロードする。本実施形態においては、1日を通じて(すなわち、ユーザの睡眠中においても覚醒中においても)適宜のタイミングで各種の情報が算出(生成)される。詳細は後述するが、ユーザの睡眠中においては、端末システム2は、例えばユーザの健康および/または身体に関する健康情報として、睡眠や疲労に関する情報を算出する。また、ユーザの覚醒中においては、端末システム2は、例えばユーザの活動に関する活動情報、ユーザの周囲の環境に関する環境情報、ユーザの感情に関する感情情報、および、ユーザの趣味嗜好(趣味、好み、興味のあるもの、生活スタイル等)に関する嗜好情報を算出する。
 サーバ3は、端末システム2からアップロードされた情報に基づいて、ユーザの生活の質(QOL(Quality Of Life))に関する評価を行う。詳細は後述するが、本実施形態においては、端末システム2は、ユーザの健康(疲労および睡眠を含む)、環境、および感情についての評価を行い、さらに総合評価としてQOLに関する評価を行う。さらに、サーバ3は、これらの評価結果に応じたネットワークサービスをユーザに対して提供する。本実施形態においては、サーバ3は、評価結果をユーザに提示したり、評価結果に応じたアドバイス情報やリコメンド情報(例えば商品を紹介する情報)やコンテンツ(例えば音楽)をユーザに提供したり、評価結果に応じて特典をユーザに付与したりする。
 なお、本明細書において、ユーザのQOLの評価のために、または、この評価に応じたネットワークサービスのために用いられる上記各種の情報を「QOL要素情報」と呼ぶことがある。すなわち、本実施形態においては、健康情報、活動情報、環境情報、感情情報、および、嗜好情報がQOL要素情報として算出される。
 以下、端末システム2の構成の一例について説明する。図2は、端末システム2の詳細な構成の一例を示す図である。図3は、端末システム2の外観の一例を示す図である。図1~図3に示すように、端末システム2は、携帯端末5と、ベース装置6とを備える。携帯端末5はユーザによって携帯される。ベース装置6は、例えばユーザの自宅に配置される。
 本実施形態において、携帯端末5は、携帯型の情報処理装置であり、ベース装置6は、携帯端末5を接続可能なクレードルである。図3に示すように、携帯端末5は、ベース装置6に対して着脱可能に接続することが可能である。詳細は後述するが、携帯端末5とベース装置6とが接続された場合、携帯端末5とベース装置6との通信が可能となる。また、ベース装置6は携帯端末5に対して充電を行う機能を有しており、携帯端末5とベース装置6とが接続された場合、ベース装置6による携帯端末5に対する充電が可能となる。
 なお、他の実施形態においては、携帯端末5とベース装置6とは、ケーブルを介して着脱可能に接続される形態であってもよい。また、他の実施形態においては、携帯端末5とベース装置6との通信は、電波通信や赤外線通信等の無線通信によって行われてもよい。
 まず、本実施形態における携帯端末5の構成について説明する。携帯端末5は、携帯型の情報処理装置であり、本実施形態においては、例えば、携帯電話、スマートフォン、またはタブレット端末等といった多機能デバイスである。すなわち、携帯端末5は、一般的な多機能デバイスが有する各種の機能(入力機能、出力(表示)機能、情報処理機能、ネットワーク通信機能、通話機能、カメラ機能等)のうちのいくつかを有している。なお、ネットワーク通信機能は、インターネットを介した通信機能、および/または、モバイル通信網を介した通信機能である。携帯端末5は、既製の多機能デバイスに所定の機能をインストールすることで実現されてもよい。本実施形態において、携帯端末5は、上記多機能デバイスとして用いられることに加えて、上記QOL要素情報を算出してサーバ3へ送信するために用いられる。また、携帯端末5は、例えば腕時計型あるいはメガネ型の端末のように、ユーザに装着可能な情報処理装置(いわゆるウェアラブル端末)であってもよい。
 図2に示すように、携帯端末5は通信部10を備える。通信部10は、ネットワーク4に接続して、サーバ3との通信を行う。本実施形態において、通信部10は、モバイル通信網(携帯電話通信網)に接続して通信を行う機能を有する通信モジュールである。例えば、通信部10は、3Gの通信規格、あるいは、4G(LTE(Long Term Evolution)を含む)の通信規格に準拠した通信方式で通信を行う。なお、携帯端末5がサーバ3と通信するための方法は、Wi-Fiの認証を受けた通信モジュールによって無線LANを介して通信を行う方法であってもよい。また、携帯端末5は、モバイル通信網を介してサーバ3と通信する機能と、無線LANを介してサーバ3と通信を行う機能との両方を備えていてもよい。
 携帯端末5は処理部11を備える。処理部11は、携帯端末5において実行される各種の情報処理を実行する。処理部11は、携帯端末5の各部10,12~19に接続される。処理部11は、CPU(Central Processing Unit)およびメモリを有する。携帯端末5においては、CPUがメモリを用いて、携帯端末5に記憶された情報処理プログラムを実行することによって上記各種の情報処理が実行される。本実施形態においては、処理部11は、上記情報処理として、上述したQOL要素情報を算出する処理、および、サーバ3から受信した情報(例えば上記ネットワークサービスに関する情報)をユーザに提示する処理等を実行する。また、携帯端末5が多機能デバイスとして動作する場合、処理部11は、各機能を実現するための情報処理を実行する。
 携帯端末5は、入出力インターフェースを備え、ユーザが情報を入力したり閲覧したりするための情報処理装置(入出力端末)として機能する。具体的には、携帯端末5は、操作入力部12、ディスプレイ17、および、スピーカ18を備える。操作入力部12は、ユーザによる操作入力を受け付ける任意の入力装置である。本実施形態においては、操作入力部12は、ディスプレイ17上に設けられるタッチパネルと、ボタンとを含む。他の実施形態において、携帯端末5は、操作入力部12として、携帯端末5の姿勢を検出するためのセンサ(加速度センサやジャイロセンサ)を備えていてもよい。
 出力装置の一例であるディスプレイ17は、操作入力部12に対する入力に応じて携帯端末5において生成される各種の画像を表示したり、サーバ3から受信されたデータに基づく各種の画像(ネットワークサービスに関する画像)を表示したりする。出力装置の一例であるスピーカ18は、操作入力部12に対する入力に応じて携帯端末5において生成される各種の音を出力したり、サーバ3から受信されたデータに基づく各種の音(ネットワークサービスに関する音声や音楽)を出力したりする。
 携帯端末5は、上記QOL要素情報を算出するための情報を検出(取得)するセンサを備える。本実施形態においては、携帯端末5は、位置検出部13、環境センサ14、マイク15、および、カメラ16を備える。
 位置検出部13は、携帯端末5の位置を検出する。本実施形態においては、位置検出部13は、GNSS(Global Navigation Satellite System)を用いて位置を検出する。位置検出部13は、例えばGPS(Global Positioning System)センサ(GPSモジュール)である。なお、位置検出部13における位置検出方法は任意であり、位置検出部13は、例えばビーコンを用いて位置を検出してもよい。また例えば、位置検出部13は、気圧センサの検出結果に基づいて高度の変化を算出することで、ユーザの高度を示す情報(例えばビルの何階にいるかを示す情報)を算出してもよい。
 環境センサ14は、携帯端末5の周囲の環境を検出する。本実施形態においては、環境センサ14は、温度センサおよび湿度センサを含む。なお、他の実施形態においては、環境センサ14として、気圧センサ、照度センサ、騒音センサ、においセンサ等が含まれていてもよい。すなわち、環境センサ14は、温度、湿度、照度、気圧、音、およびにおいのうち少なくとも1つを検知するものであってもよい。また、他の実施形態においては、マイク15が周囲の騒音を検出するためのセンサとして用いられてもよい。
 マイク15は、携帯端末5の周囲の音を検出する。詳細は後述するが、本実施形態においては、マイク15は、感情情報を算出するために用いられる。なお、マイク15は、携帯端末5に対する音声入力を受け付けるために用いられてもよい。
 カメラ16は、ユーザを撮像し、撮像された画像を用いて感情情報を算出するために用いられる(詳細は後述する)。本実施形態においては、カメラ16は、携帯端末5においてディスプレイ17が設けられる面と同じ側(内側)に設けられる(図3参照)。つまり、カメラ16は、携帯端末5を操作するユーザを撮像することが可能な位置に設けられる。
 携帯端末5は、ベース装置6と電気的に接続するためのコネクタ19を備える。本実施形態においては、携帯端末5がベース装置6に装着された場合(図3参照)に、コネクタ19がベース装置6のコネクタ21と接触する。これによって、携帯端末5とベース装置6との通信が可能となる。
 なお、携帯端末5は、図示しない電池を備えており、携帯端末5の各部は、電池から供給される電力によって動作する。詳細は後述するが、本実施形態においては、ベース装置6によって携帯端末5の電池を充電することが可能である。
 次に、本実施形態におけるベース装置6の構成について説明する。本実施形態においては、ベース装置6は、例えばユーザの寝室に配置され(図5参照)、ユーザの就寝中においてユーザの睡眠に関する生体情報を検出するために用いられる。ここで、生体情報は、ユーザの身体から検出される情報である。本実施形態においては、呼吸、脈拍、および体動が生体情報として取得される。また、ベース装置6は、就寝中におけるユーザに対してコンテンツ(例えば、ユーザに入眠を促すコンテンツ)や情報(睡眠に関する評価結果の情報)を提示するために用いられる。
 ベース装置6は、携帯端末5を着脱可能に支持する支持部を備える。具体的には、図3に示すように、ベース装置6の筐体(支持部)には、携帯端末5の一部の形状に応じた凹部が設けられる。この凹部に携帯端末5が挿入されることによって、携帯端末5がベース装置6に装着される。
 図2に示すように、ベース装置6はコネクタ21を備える。上記凹部に携帯端末5が挿入された場合、携帯端末5のコネクタ19とベース装置6のコネクタ21とが接続される。その結果、携帯端末5とベース装置6との通信が可能となり、ベース装置6による携帯端末5に対する充電が可能となる。
 ベース装置6は、生体情報を検出するセンサの一例であるドップラーセンサ24を備える。ドップラーセンサ24は、マイクロ波を発射するとともに、発射したマイクロ波の反射波を受信することによって、発射したマイクロ波の周波数と受信したマイクロ波の周波数との差に基づいて動体を検出する。本実施形態においては、ドップラーセンサ24(の出射部24a)は、ベース装置6の前方に向かって電波を照射する(図3参照)。本実施形態においては、ドップラーセンサ24の検出対象はユーザであり、ドップラーセンサ24によってユーザの体動を検出する。詳細は後述するが、検出される生体情報(ドップラーセンサ24の出力波形)に対して周波数分析等の解析を行うことで、体動の他、呼吸および脈拍といった生体情報をさらに算出することができる。
 ベース装置6は、外部電源から電力を取得する電力取得部23を備える。本実施形態において、ベース装置6は、図示しない電源コードを介してACアダプタおよび電源プラグに接続(着脱可能でもよい)されている。電源プラグが外部電源のコンセントに接続されることによって、ベース装置6の電力取得部23に電力が供給される。ベース装置6は、電力取得部23によって取得される、外部電源からの電力によって動作する。また、電力取得部23は、供給された電力をコネクタ21を介して携帯端末5へ送ることで携帯端末5の充電を行う。なお、他の実施形態においては、ベース装置6は、電池を有していてもよく、電池に充電された電力を携帯端末5へ送るようにしてもよい。また、本実施形態においては、コネクタを介して電力が供給される態様で充電が行われたが、他の実施形態においては、非接触充電によって電力が供給されてもよい。
 ベース装置6は、壁面(天井を含む)やスクリーンに画像を投影するプロジェクタ25を備える。プロジェクタ25は、ベース装置6から離れた面(凹凸があってもよい)に画像を投影することで当該面に画像を表示する任意の表示装置でよい。本実施形態においては、図3に示すように、プロジェクタ25は、投光部(レンズ)25aが上方を向くように、すなわち、上方に向かって画像が投影されるようにベース装置6に設けられる。つまり、本実施形態においては、プロジェクタ25は、天井に画像を投影する。本実施形態においては、プロジェクタ25は、例えば、ユーザに入眠や覚醒を促す画像(後述する入眠用コンテンツ等)を表示したり、ユーザが朝に覚醒した時に睡眠の評価結果を示す画像を表示したりする。
 本実施形態においては、ベース装置6は、天井に投影する画像を、必要に応じて、いわゆるプロジェクションマッピングの技術を用いて補正する。すなわち、ベース装置6は、プロジェクタ25の投影面(天井)の凹凸および/または色に応じた画像が表示されるように当該画像を補正する。そのため、ベース装置6は、画像の補正を行うためのカメラ27を備える。図3に示すように、カメラ27は、プロジェクタ25によって画像が投影される場所を撮像範囲に含むような向きでベース装置6に設けられる。つまり、カメラ27は、プロジェクタ25と同じ方向(上方)を向くように設けられる。なお、画像を補正する方法については後述する。
 また、ベース装置6はスピーカ26を備える。スピーカ26は、例えば、ユーザに入眠や覚醒を促す音(後述する入眠用コンテンツ等)を出力するために用いられる。
 ベース装置6は、ベース装置6の各部23~27を制御する制御部22を備える。制御部22は、ベース装置6の各部21,23~27に接続される。制御部22は、ベース装置6において実行される各種の制御処理を実行する。制御部22は、CPU(Central Processing Unit)およびメモリを有する。ベース装置6においては、CPUがメモリを用いて、ベース装置6に記憶された情報処理プログラムを実行することによって上記各種の制御処理が実行される。例えば、制御部22は、電力取得部23を制御することによって、携帯端末5に対する充電動作を制御する。また、制御部22は、ベース装置においてユーザに提示するコンテンツや情報を、プロジェクタ25および/またはスピーカ26に再生させる。また、制御部22は、ドップラーセンサ24によって検出された情報を携帯端末5へ送信する。
 なお、ベース装置6は、図2に示す構成に加えて、または代えて、他の構成を備えていてもよい。例えば、ベース装置6は、環境センサ、ディスプレイ、無指向性スピーカ、光源(照明)、および、におい発生装置等を備えていてもよい(後述する“[8.変形例]”参照)
 次に、サーバ3の構成について説明する。サーバ3は、1以上の情報処理装置(サーバ装置)で構成される。本明細書では、「サーバ」とは、1つの情報処理装置(サーバ装置)を指す他、サーバが複数のサーバ装置によって構成される場合にはサーバ装置群(サーバシステム)全体を指す意味である。
 本実施形態においては、サーバ3を一体的な構成として説明するが、サーバ3は、機能および/または役割に応じて分けられた複数のサーバ装置を含む構成であってもよい。例えば、サーバ3は、携帯端末5から取得されるQOL要素情報を蓄積するデータサーバと、QOL要素情報に基づいて評価を行い、ネットワークサービスを提供するサービスサーバとを含む構成であってもよい。さらに、サーバ3は、上記ネットワークサービスの一環として商品等(「商品等」とは、商品の他に、サービスを含む意味である。以下同様に記載する。)を提供するサービスを行う場合、商品等の提供と課金とを行うショップサーバを含む構成であってもよい。
[2.情報処理システムの動作概要]
 次に、情報処理システム1における動作の概要について説明する。図4は、情報処理システムの動作の流れの一例を示すタイミングチャートである。図4のタイミングチャートは、1日における情報処理システムの動作の流れの一例を示している。図4に示すように、本実施形態においては、情報処理システム1は、夜間(ユーザが睡眠中である期間)と昼間(ユーザが覚醒中である期間)とで異なる態様で利用される。
 睡眠期間(典型的には夜)においては、携帯端末5がベース装置6に装着された状態にされる。このとき、ベース装置6は、ドップラーセンサ24によってユーザの生体情報を検出し、自身に接続されている携帯端末5へ生体情報を送信する(ステップS1)。睡眠期間において生体情報はベース装置6によって繰り返し検出され、携帯端末5へ繰り返し送信される。なお、図4では図示しないが、睡眠期間においてベース装置6は、情報および/またはコンテンツをプロジェクタ25等を用いてユーザに提示する処理を実行する。
 携帯端末5は、ベース装置6から取得された生体情報に基づいて、ユーザの睡眠に関する情報(睡眠情報)を算出する(ステップS2)。詳細は後述するが、睡眠情報は、睡眠に関する指標(睡眠指標)を含む。睡眠指標は、例えば、睡眠時間、睡眠潜時、中途覚醒時間、および、睡眠効率等を示す数値である。
 また、適宜のタイミングにおいて、携帯端末5は、睡眠情報に応じた動作、換言すれば、ユーザの睡眠状態に応じた動作を行う。詳細は後述するが、例えば、携帯端末5は、ユーザが入眠したことに応じて自身の動作モードをオフモードにし、ユーザが覚醒したことに応じて動作モードをオンモードにする。また例えば、携帯端末5は、ベース装置6におけるコンテンツの再生を睡眠状態に応じて制御したり、ベース装置6によってユーザに対して提示される情報を睡眠状態に応じて制御したりする。
 また、携帯端末5は、上述のQOL要素情報として、ベース装置6から取得された生体情報に基づいて健康情報を算出する(ステップS3)。本実施形態においては、携帯端末5は、健康情報として、上記の睡眠情報と、疲労情報とを含む情報を算出する。疲労情報は、ユーザの疲労に関する疲労指標を含む。詳細は後述するが、疲労指標は、睡眠指標を考慮して算出され、ユーザの疲労度合いを示す数値として算出される。本実施形態においては、ユーザが覚醒したことに応じて(つまり、睡眠期間が終了したことに応じて)健康情報が算出される。
 健康情報が算出されると、携帯端末5は、算出された健康情報をサーバ3へ送信する。サーバ3は、受信した健康情報をユーザ毎(携帯端末毎)に区別して記憶(蓄積)する。
 上記のように、睡眠期間においては、端末システム2は、睡眠中のユーザから生体情報を取得し、健康情報(睡眠および疲労に関する指標)を算出する。算出された健康情報はサーバ3に記憶される。
 一方、覚醒期間(典型的には昼)においては、携帯端末5は、ベース装置6から外され、ユーザに携帯される。このとき、携帯端末5は、上述のQOL要素情報として、活動情報、環境情報、感情情報、および、嗜好情報を算出する(ステップS5)。なお、図4においては、QOL要素情報を算出する処理(ステップS5)を1回のみ記載している。ただし、通常、当該処理は、覚醒期間における適宜のタイミングで実行され、1回(1日)の覚醒期間において複数回実行される。つまり、本実施形態において、QOL要素情報は、覚醒中におけるユーザの種々の行動に応じて算出される。例えば、ユーザが歩いて移動を行ったことに応じて、活動内容(徒歩で移動したこと)を示す活動情報が算出されたり、移動中の環境を示す環境情報が算出されたりする。また例えば、ユーザが仕事で会議に参加したことに応じて、会議中のユーザの感情を示す感情情報が算出される。また例えば、ユーザが仕事帰りにスポーツジムに立ち寄ったことに応じて、運動に興味があることを示す嗜好情報が算出される。
 携帯端末5は、算出されたQOL要素情報をサーバへ送信する(ステップS6)。なお、携帯端末5は、QOL要素情報が算出される度にサーバ3へ送信してもよいし、所定のタイミングが到来したことに応じて複数のQOL要素情報をまとめてサーバ3へ送信してもよい。サーバ3は、受信したQOL要素情報をユーザ毎(携帯端末毎)に区別して記憶(蓄積)する。
 サーバ3は、携帯端末5から取得したQOL要素情報に基づく評価を行う(ステップS7)。この評価は、夜間(睡眠期間)に取得された健康情報と、昼間(覚醒期間)に取得された活動情報、環境情報、および感情情報とに基づいて行われる。本実施形態においては、サーバ3は、QOL指標を判別するための要素指標として、健康情報および活動情報に基づく健康指標と、環境情報に基づく環境指標と、感情情報に基づく感情指標とを算出する(後述する図10参照)。さらに、サーバ3は、これら3つの要素指標に基づいてQOL指標を算出する。各指標の算出方法の詳細については後述する。このように、サーバ3は、ユーザの健康、環境、および感情に関する評価を行い、これらの評価結果に基づいてユーザのQOLに関する評価を行う。
 さらに、サーバ3は、評価結果に応じたネットワークサービスを提供する。すなわち、サーバ3は、評価結果に基づいて、提供すべきサービス内容を特定し(ステップS8)、特定されたサービスに関するデータ(サービスデータ)を携帯端末5へ送信する(ステップS9)。
 ここで、提供されるネットワークサービスの内容は任意である。本実施形態においては、サーバ3は、端末システム2(携帯端末5)に対して、評価結果に応じたアドバイス情報および/またはリコメンド情報を提供する。アドバイス情報とは、評価結果を示す各種指標(QOL指標等)を改善するためのアドバイスを含む情報である。また、リコメンド情報とは、評価結果を示す各種指標を改善するためにユーザに勧められる商品等を紹介する情報である。
 また、サーバ3は、ネットワークサービスとして、端末システム2(携帯端末5)に対して、評価結果に応じたコンテンツを提供する。このコンテンツは、例えば、評価結果を示す各種指標を改善するためのコンテンツであって、具体的には、不眠を改善するための音楽や、ストレスを解消するための動画等である。
 また、サーバ3は、ネットワークサービスとして、端末システム2(携帯端末5)のユーザに対して、評価結果に応じた特典を付与する。この特典は、ネットワークサービスに関する特典であってもよいし、携帯端末5に関する特典であってもよい。例えば、特典は、ネットワークサービスに関してユーザが支払うべき料金に関する特典、具体的には、上記リコメンド情報で紹介される商品等を購入する際に利用できるポイントであってもよい。また、特典は、携帯端末5の利用に関してユーザが支払うべき料金に関する特典、すなわち、携帯端末5の利用料金(例えば、通話料金)の割引き特典であってもよい。
 本実施形態においては、サーバ3による評価処理(ステップS7)およびサービス提供処理(ステップS8,S9)は、1日における所定のタイミングで実行される。具体的には、所定の時刻が到来したタイミングで実行される。この所定の時刻は、サーバ3側で予め設定されてもよいし、携帯端末5のユーザが予め指示した時刻に設定されてもよい。なお、他の実施形態においては、上記所定のタイミングは、ユーザの活動に基づいて特定されてもよい。例えば、上記所定のタイミングは、ユーザが帰宅したタイミングであってもよいし、ユーザが職場から退社するタイミングであってもよい。なお、これらのタイミングは、例えば活動情報に基づいて特定することができる。
 以上のように、本実施形態においては、情報処理システム1は、睡眠中のユーザに関して健康情報を算出し(ステップS3)、覚醒中のユーザに関して活動情報、環境情報、感情情報、および嗜好情報を算出する(ステップS5)。そして、情報処理システム1は、これらのQOL要素情報に基づいてユーザのQOLを評価する(ステップS7)。これによれば、1日を通じてユーザに関する各種の情報を算出するので、1日を通じたユーザの状態や行動を反映してユーザのQOLを評価することができる。
[3.睡眠期間における端末システムの動作]
(3-1:動作例)
 次に、睡眠期間における端末システムの動作例について説明する。図5は、端末システム2が配置される様子の一例を示す図である。図5に示すように、本実施形態において、ベース装置6は、ユーザの寝室に配置される。ベース装置6は、ユーザの周囲(枕元等)に配置される。また、図5に示すように、睡眠期間においては、携帯端末5がベース装置6に装着される。つまり、ユーザは、就寝時に携帯端末5をベース装置6に装着する。これに応じて、睡眠期間における端末システム2における動作が開始される(図6参照)。
 なお、本実施形態においては、ベース装置6が携帯端末5を充電する機能を有している。これによって、携帯端末5をベース装置6に装着する動機付けをユーザに与えることができるので、携帯端末5のベース装置6への装着をユーザが忘れる可能性を低減することができる。
 図6は、睡眠期間における端末システム2の動作の一例を示す図である。携帯端末5がベース装置6に装着されると、ベース装置6は携帯端末5に対する充電を開始する。なお、図示しないが、ベース装置6は、携帯端末5の電池が容量まで充電されたことに応じて充電動作を終了する。また、ベース装置6に対する携帯端末5の装着時点において、携帯端末5における電池残量が所定量(例えば、電池の容量の半分)以上である場合には、ベース装置6は充電を行わないようにしてもよい。本実施形態においては、ユーザは、充電を行う目的以外の目的(例えば、生体情報の検出を行う目的)で携帯端末5をベース装置6に装着することがあるからである。例えば、携帯端末5は、ベース装置6に装着されたことに応じて電池残量をベース装置6に通知し、ベース装置6は、通知された電池残量に基づいて充電の要否を判断してもよい。あるいは、携帯端末5は、ベース装置6に装着されたことに応じて、電池残量に基づいて充電の要否を判断し、充電の要否をベース装置6に通知するようにしてもよい。
 また、ベース装置6に対する携帯端末5の装着時点において、ベース装置6は、ドップラーセンサ24による検出動作を開始する(図6参照)。ドップラーセンサ24による検出結果は携帯端末5へ送信される。携帯端末5は、検出結果に基づいて生体情報(ユーザの体動、呼吸および脈拍)を算出し、さらに、生体情報に基づいて睡眠指標を算出する(詳細は後述する)。ドップラーセンサ24による検出動作、および、検出結果に基づく睡眠指標の算出処理は、睡眠期間中繰り返し実行される。本実施形態においては、ドップラーセンサ24による検出動作は、ユーザが検出されなくなるまで繰り返し実行される。また、睡眠指標の算出処理は、ユーザが覚醒するまで繰り返し実行される。
 詳細は後述するが、携帯端末5は、ユーザの睡眠に関する状態を表す睡眠指標をリアルタイムで算出する。具体的には、携帯端末5は、少なくとも、ユーザが睡眠中であるか覚醒中であるかと、睡眠の深さとをリアルタイムで判別することができる。なお、上記「リアルタイムで算出(判別)する」とは、厳密な意味で即時に算出(判別)することに限らず、数秒程度の遅れを生じて算出(判別)することをも含む意味である。
 上記のように、本実施形態では、端末システム2は、ユーザがセンサを装着しない状態で生体情報を検出可能な、非装着型のセンサ(ドップラーセンサ24)を用いるので、ユーザの邪魔にならず(ユーザは睡眠を妨げられることなく)生体情報を検出することができる。
 また、ベース装置6に対する携帯端末5の装着時点において、ベース装置6は、プロジェクタ25およびスピーカ26を用いて入眠用コンテンツの再生を開始する(図6参照)。入眠用コンテンツは、ユーザに入眠を促すためのコンテンツであり、換言すれば、ユーザに入眠を促す効果のあるコンテンツである。例えば、入眠用コンテンツは、星空の画像、川のせせらぎの音等である。本実施形態においては、入眠用コンテンツは、画像(動画)および/または音によるコンテンツである。なお、ベース装置6は、プロジェクタ25を用いてまずメニュー画像を表示し、再生するコンテンツをメニュー画像においてユーザが選択できるようにしてもよい。
 なお、睡眠期間中に端末システム2(ベース装置6)において再生されるコンテンツ(例えば、入眠用コンテンツ)は、当該睡眠期間に算出される生体情報(脈拍、呼吸等)および/または睡眠指標に基づいて決定されてもよい。例えば、端末システム2は、再生すべきコンテンツとして、生体情報である脈拍または呼吸のテンポに合ったテンポの音楽を決定してもよい。また例えば、端末システム2は、睡眠指標から睡眠時の理想的なリズムを特定し、ユーザの脈拍または呼吸のリズムを、特定されたリズムに誘導するような音楽(例えば、当該リズムに合ったテンポの音楽)を、再生すべきコンテンツとして決定してもよい。また、上記生体情報および/または睡眠指標に基づいて上記コンテンツの再生が制御されてもよい。例えば、端末システム2は、再生される音楽のテンポを、脈拍あるいは呼吸のテンポに合ったテンポに変更して再生してもよいし、睡眠時の理想的なリズムに合ったテンポに変更して再生してもよい。このとき、再生されるコンテンツ(音楽)のテンポは、逐次検出される脈拍または呼吸のテンポに応じて(あるいは、逐次算出される睡眠指標に基づいて逐次算出される理想的なリズムに応じて)リアルタイムに変更されてもよい。
 本実施形態においては、図5に示すように、プロジェクタ25は、画像(入眠用コンテンツ)を天井に投影する。したがって、ユーザは寝ている状態で容易に画像を見ることができる。
 上記のように、ベース装置6に対する携帯端末5の装着に応じて、端末システム2はユーザの睡眠状態を判別することができる。本実施形態においては、端末システム2は、ユーザの睡眠状態に応じた種々の動作を行う。以下、これら種々の動作の具体例を説明する。
(携帯端末5のモードオフ変更)
 本実施形態においては、ユーザが入眠する(睡眠状態に移行する)と、携帯端末5の動作モードが変更される(図6参照)。すなわち、ユーザが入眠すると、携帯端末5は、上記睡眠指標を算出する処理によって、ユーザが睡眠状態に入ったことを判別する。これに応じて、携帯端末5は、自身の動作モードをオンモードからオフモードへと変更する。
 ここで、オンモードは、上述した活動情報、環境情報、感情情報、および、嗜好情報の算出処理が実行されるモードである。また、オンモードは、携帯端末5が多機能デバイスとして動作するモードであると言うこともできる。ユーザの覚醒中においては、携帯端末5のモードは、基本的には(ユーザがモードを変更する操作を行わない限り)オンモードに設定される。
 一方、オフモードは、上述した活動情報、環境情報、感情情報、および、嗜好情報の算出処理が実行されないモードである。このように、オフモードにおいて、睡眠期間中に不要な処理を実行しないようにすることで、消費電力を低減することができる。なお、オフモードにおいて、サーバ3に対する通信機能は停止されなくてもよいし、停止されてもよい。
 また、オフモードにおいては、多機能デバイスとしての機能のうちいくつかの機能が停止される。本実施形態においては、オフモードにおいては、電話および電子メール(いずれか一方でもよい)における着信を音によって通知する機能が停止される。これによれば、携帯端末5の音によってユーザの睡眠を妨げる可能性を低減することができる。例えば、オフモードにおいては、携帯端末5は、電話着信があった場合には着信音を発せずに、留守番電話のメッセージが相手側に流れるようにし、また、メール着信があった場合には着信音を発しないようにする。
(入眠用コンテンツの再生制御)
 また、ユーザが睡眠状態に入ったことが携帯端末5によって判別されたことに応じて、端末システム2は、入眠用コンテンツの再生態様を変化させる(図6参照)。具体的には、端末システム2は、プロジェクタ25による画像表示(投影)を停止する。睡眠中においては、プロジェクタによる画像表示は不要であるからである。このとき、端末システム2は、プロジェクタ25への電源供給を停止してもよい。また、端末システム2は、スピーカ26による出力音量を減少させる。睡眠中においては、入眠用コンテンツの音を出力する目的および効果は小さい(あるいは無い)からである。ただし、急に音を停止すると、ユーザがそれに気づいて目を覚ます可能性を考慮して、本実施形態においては、出力音量を徐々に小さくするようにしている。なお、他の実施形態において、端末システム2は、スピーカ26による音出力を停止してもよい。
 さらにその後、ユーザの眠りが深くなる(例えばノンレム睡眠の状態になる)と、携帯端末5は、上記睡眠指標を算出する処理によって、ユーザの眠りの深さが所定の基準以上になったことを判別する。これに応じて、端末システム2は、入眠用コンテンツの再生を停止する(図6参照)。これによって、効果の小さいコンテンツ再生を停止することができ、電力消費を抑えることができる。
(中途覚醒時の情報提示)
 本実施形態においては、睡眠途中でユーザが覚醒(中途覚醒)すると、端末システム2は、現在時刻をユーザに提示する(図6参照)。すなわち、睡眠途中でユーザが覚醒した場合、携帯端末5は、上記睡眠指標を算出する処理によって、ユーザが中途覚醒したことを判別する。これに応じて、端末システム2は、プロジェクタ25を用いて(天井に)現在時刻を表示する。これによれば、ユーザは夜中に目を覚ました時、即座に現在時刻を知ることができる。また、本実施形態においては、天井に現在時刻が表示されるので、ユーザは寝た状態のままで現在時刻を知ることができる。
 なお、睡眠途中の覚醒(中途覚醒)であるか、それとも、起床時の覚醒(「中途覚醒」と区別して「起床時覚醒」と呼ぶことがある。)であるかの判定は、例えば判定基準時刻を設定しておくことによって行うことができる。すなわち、端末システム2は、ユーザが覚醒したことが判定基準時刻よりも前に判別された場合には、中途覚醒であると判定し、ユーザが覚醒したことが判定基準時刻以後に判別された場合には、起床時覚醒であると判定することができる。ここで、判定基準時刻は、ユーザが起床すると予測される時刻(起床予測時刻)に基づいて設定することができる。例えば、端末システム2は、起床予測時刻の所定時間前(例えば、2時間前)の時刻を判定基準時刻として設定してもよい。また、起床予測時刻は、過去のユーザの起床時刻(起床時覚醒の時刻)に基づいて算出されてもよいし、ユーザによって設定されてもよい。また、端末システム2(携帯端末5)に対してユーザが目覚ましの時刻を設定している場合には、当該時刻が起床予測時刻として設定されてもよい。
(覚醒用コンテンツの再生制御)
 本実施形態においては、起床予測時刻に近くなってユーザの眠りが浅くなった(例えばレム睡眠の状態になった)場合、端末システム2は、覚醒用コンテンツの再生を開始する(図6参照)。具体的には、上記の場合、携帯端末5は、上記睡眠指標を算出する処理によって、ユーザが覚醒前の状態に入ったことを判別する。なお、ユーザが覚醒前の状態に入ったことの判別は、例えば、眠りが浅くなり、かつ、起床予測時刻まで所定時間(例えば1時間)以内となったことによって行うことができる。ユーザが覚醒前の状態に入ったことが判別されたことに応じて、端末システム2は、覚醒用コンテンツの再生を開始する。覚醒用コンテンツは、ユーザに覚醒を促すためのコンテンツであり、換言すれば、ユーザに覚醒を促す効果のあるコンテンツである。例えば、覚醒用コンテンツは、明るい青空の画像や、鳥のさえずる音等である。本実施形態においては、覚醒用コンテンツは、画像(動画)および/または音によるコンテンツである。覚醒用コンテンツの再生によって、適切なタイミングで快適に目覚めることをユーザに促すことができる。
(覚醒時における評価結果の提示)
 本実施形態においては、ユーザが覚醒(起床時覚醒)すると、ユーザの睡眠に対する評価が行われ、評価結果が提示される(図6参照)。具体的には、上記“(中途覚醒時の情報提示)”で述べた方法によって起床時覚醒であることを携帯端末5が判別した場合、端末システム2は、今回の睡眠期間に関する(複数の)睡眠指標に基づいてユーザの睡眠の評価を行う。なお、「今回の睡眠期間に関する睡眠指標」とは、今回の睡眠期間に検出された生体情報に基づいて算出された睡眠指標を指す。端末システム2は、評価結果を表す画像をプロジェクタ25を用いて天井に表示する。
 図7は、プロジェクタによって投影される、評価結果を表す画像の一例を示す図である。本実施形態においては、端末システム2は、上記評価結果として快眠指数を算出する。すなわち、図7に示すように、端末システム2は、睡眠情報に基づいて算出される快眠指数31を表示する。例えば、快眠指数は、0点から100点の範囲で、評価結果が良いほど(睡眠の質が良いほど)数値が高くなるように算出される。より具体的には、快眠指数は、所定の1種類以上の睡眠指標に対して指標毎に重みを付して加算することによって算出されてもよい。評価結果が数値(スコア)として表示されることによって、睡眠の質をわかりやすくユーザに提示することができる。
 また、端末システム2は、評価結果を表す顔画像32を表示する(図7参照)。顔画像32は、上記快眠指数に応じて表示形態(具体的には、顔の表情)が変化するように表示される。例えば、快眠指数が中程度である場合は、通常の表情を表す顔画像が表示され、快眠指数が相対的に高い(評価結果が良い)場合は、笑顔の表情を表す顔画像が表示され(図7参照)、快眠指数が相対的に低い(評価結果が悪い)場合は、疲れた表情を表す顔画像が表示される。このような顔画像32が評価結果として表示されることによって、評価結果を直感的にユーザに認識させることができる。
 なお、端末システム2は、上記評価結果として、例えば睡眠時間や睡眠潜時等のような、睡眠指標の数値そのものを表示してもよい。また、評価結果として必ずしも数値が表示される必要はなく、例えば上記顔画像32のみが評価結果として表示されてもよい。
 また、端末システム2は、評価結果に応じたアドバイスを表すアドバイス情報33を表示する(図7参照)。アドバイス情報33は、睡眠の質を改善するためのアドバイスを表す。アドバイス情報33は、睡眠情報、および/または、睡眠指数に基づいて生成される。例えば、睡眠指数の大きさ(数値の大きさ)に応じて異なる内容のアドバイス情報が表示されてもよい。また例えば、睡眠時間、睡眠潜時、および中途覚醒時間といった各種の睡眠指標に基づいてアドバイス情報の内容が決定されてもよい。また、他の実施形態においては、アドバイス情報33に代えて(またはアドバイス情報33とともに)、リコメンド情報が表示されてもよい。
 なお、他の実施形態においては、評価結果の情報がプロジェクタ25によって投影表示されるとともに、携帯端末5のディスプレイ17に、プロジェクタ25によって投影表示される情報とは異なる他の情報が表示されてもよい。例えば、ディスプレイ17には、評価結果から算出される情報が表示されてもよい。「評価結果から算出される情報」とは、例えば、評価結果である睡眠指数の統計情報(例えば、過去1週間の睡眠指数の変化を示す情報)であってもよいし、評価結果に基づくネットワークサービスに関する情報(例えば、上記アドバイス情報やリコメンド情報)であってもよい。
(携帯端末5のモードオン変更・健康情報送信)
 本実施形態においては、ユーザが覚醒(起床時覚醒)すると、携帯端末5の動作モードがオンモードに変更される(図6参照)。すなわち、上記“(中途覚醒時の情報提示)”で述べた方法によって起床時覚醒であることを携帯端末5が判別した場合、自身の動作モードをオフモードからオンモードへと変更する。これによって、ユーザの覚醒中においては、携帯端末5は自動的にオンモードに維持されるので、ユーザは携帯端末5を支障なく利用することができる。
 また、ユーザが覚醒(起床時覚醒)すると、携帯端末5は、睡眠情報(睡眠指標)に基づいて健康情報を算出し、健康情報をサーバ3へ送信する(図6参照)。ここで算出される健康情報は、睡眠情報と、睡眠情報から算出される疲労情報(疲労指標)とを含む。疲労指標の算出方法については後述する。
 以上のように、本実施形態においては、端末システム2は、ユーザの睡眠期間において、ユーザの睡眠状態に応じた種々の動作を行う。睡眠期間が終了する(ユーザが覚醒する)と、ユーザは移動する(例えば寝室を出る)ので、ユーザはドップラーセンサ24の検知範囲から外れる。したがって、端末システム2は、ドップラーセンサ24によってユーザが検出されなくなった場合、ドップラーセンサ24の検出動作を終了する(図6参照)。以上によって、端末システム2は、ユーザの睡眠時に行われる動作を終了する。
 なお、他の実施形態において、ベース装置6と携帯端末5とが無線通信可能な場合には、端末システム2は、ドップラーセンサ24によって対象が検出されなくなったことに応じて、携帯端末5の動作モードをオンモードに変更してもよい。すなわち、ドップラーセンサ24によって対象が検出されなくなった場合、ベース装置6は携帯端末5に対して通知を行い、携帯端末5は、この通知を受け取ったことに応じて動作モードをオンモードに変更してもよい。
 また、ユーザは、起床時に携帯端末5をベース装置6から外して携帯すると考えられる。そのため、他の実施形態においては、端末システム2は、携帯端末5がベース装置6から外されたことに応じて、携帯端末5の動作モードをオンモードに変更してもよい。すなわち、携帯端末5は、オフモードにおいてベース装置6との接続状態を検知し、ベース装置6と接続されなくなったことが検知された場合、自身の動作モードをオンモードに変更してもよい。
 なお、他の実施形態においては、端末システム2は、ユーザが覚醒(起床時覚醒)したことに応じてドップラーセンサ24の検出動作を終了してもよい。また、他の実施形態においては、端末システム2は、携帯端末5がベース装置6から外されたことに応じてドップラーセンサ24の検出動作を終了してもよい。
 また、他の実施形態においては、生体情報の測定期間の決定方法、すなわち、ドップラーセンサ24の検出を開始または終了する条件は任意であり、例えば以下の方法が用いられてもよい。
 例えば、他の実施形態においては、端末システム2は、センサ(ドップラーセンサ24)によって間欠的に検出を行い、その検出結果に基づいて測定期間を決定してもよい。具体的には、端末システム2は、所定時間間隔でドップラーセンサ24による検出を行うことによって、ユーザが検出されるか否か(ユーザが検出範囲内に存在するか否か)を判定する。ユーザが検出されない場合、端末システム2は、ドップラーセンサ24による検出を停止する。この場合、測定は開始されない。一方、ユーザが検出される場合、端末システム2は、ドップラーセンサ24による検出をそのまま継続することによって、測定を開始する。さらに、測定を開始した場合、端末システム2は、ドップラーセンサ24によってユーザが検出される間、測定を継続する。つまり、上記実施形態と同様、端末システム2は、ユーザが検出されなくなったことに応じて、ドップラーセンサ11による測定を終了する。以上によれば、ドップラーセンサ24による測定期間を、ドップラーセンサ24自身による(間欠的に行われる)検出結果に基づいて決定することができる。これによれば、他のセンサ等の装置を用いることなく、測定期間を決定することができるので、装置の構成を簡易化することができる。
 また、他の実施形態においては、ドップラーセンサ24の測定期間は、ドップラーセンサ24とは異なるセンサ(例えば人感センサ)の検出結果に基づいて決定されてもよい。例えば、端末システム2は、人感センサとして、赤外線センサおよび/またはカメラを用いてもよい。具体的には、端末システム2は、人感センサによって、間欠的に、または、連続してユーザを検知する。そして、人感センサによってユーザが検知される期間において、端末システム2は、ドップラーセンサ24による測定を行う。これによっても、本実施形態の方法、および、上記ドップラーセンサ11の検出結果に基づいて測定期間を決定する方法と同様、測定期間を自動的に決定することができる。すなわち、ユーザは測定(の開始および終了)のために操作を行う必要がないので、端末システム2の利便性を向上することができる。さらに言えば、ユーザに手間や負担をかけることなく生体情報の測定を行うことができるので、継続的な生体情報の取得が行いやすくなる。
 また、他の実施形態においては、ドップラーセンサ24の測定期間は、予め定められていてもよい。例えば、端末システム2は、所定の時間帯(例えば、夜の20時から翌朝の10時までの時間帯)において測定を行うようにしてもよいし、(ユーザによる停止操作がない限り)測定を常時行うようにしてもよい。これによっても上記と同様、ユーザは測定の開始および終了のために操作を行う必要がないので、端末システム1の利便性を向上することができる。
 また、上記実施形態においては、端末システム2は、生体情報の測定を自動的に行うことに加えて、生体情報に基づく健康情報(睡眠指標および疲労指標)の算出を自動的に(換言すれば、ユーザによる特定の操作が無くても)行う。したがって、ユーザが特別な操作を行わなくても端末システム2において健康情報が算出されるので、端末システム2の利便性を向上することができる。
(3-2:健康情報の算出方法)
 以下、ドップラーセンサ24の検出結果に基づいて健康情報(睡眠指標および疲労指標)を算出する処理について説明する。図8は、携帯端末5の処理部11において健康情報を算出するための機能的構成の一例を示す機能ブロック図である。図8に示すように、処理部11は、波形解析部41と、睡眠算出部42と、自律神経算出部43と、疲労算出部44とを含む。
 波形解析部41は、ドップラーセンサ24が検出した生体情報(出力波形)に基づいて、呼吸、脈拍、および体動をさらなる生体情報として算出する。ここで、従来より、ドップラーセンサ24の出力波形を周波数に応じて分離することによって、呼吸、脈拍、および体動を表す波形を得ることができることが知られている。波形解析部41は、周波数解析等によって出力波形を、呼吸に対応する周波数帯域と、脈拍に対応する周波数帯域と、体動に対応する周波数帯域とに分離し、分離したそれぞれの波形データを出力する。図8に示すように、波形解析部41の出力は、睡眠算出部42および自律神経算出部43にそれぞれ入力される。
 睡眠算出部42は、生体情報(呼吸、脈拍、および体動)に基づいて各種の睡眠指標を算出する。ここで、従来より、呼吸、脈拍、および体動に基づいて睡眠指標を算出する方法が知られている。本実施形態においては、睡眠算出部42は、以下の情報を示す睡眠指標を算出する。
・睡眠潜時(入眠潜時)
・中途覚醒時間
・中途覚醒回数
・睡眠効率
・総睡眠時間
・睡眠時活動量
・睡眠ステージ
・レム睡眠時間
・ノンレム睡眠時間
・睡眠品質
なお、他の実施形態においては、上記の睡眠指標のうちのいくつかのみが算出されてもよいし、上記の睡眠指標とは異なる種類の睡眠指標が算出されてもよい。
 自律神経算出部43は、生体情報に基づいて、自律神経(交感神経および副交感神経)の働き度合いを示す指標(自律神経指標)を算出する。具体的には、生体情報に含まれる脈拍(RR間隔)の波形を、最大エントロピー法、フーリエ変換によって周波数解析し、当該波形の高周波成分(約0.15~0.40[Hz])HFと低周波成分(約0.04~0.15[Hz])LFとを算出する。ここで、上記高周波成分HFは、副交感神経の働き度合いを示すことが知られており、上記低周波成分LFは、交感神経の働き度合いを示すことが知られている。また、副交感神経の働き度合いと交感神経の働き度合いとの割合によって疲労度を評価できることが知られている(例えば、特開2010-201113号公報参照)。したがって、自律神経算出部43は、自律神経指標として、上記高周波成分HFと低周波成分LFとの割合(LF/HF)を算出する。図8に示すように、自律神経算出部43の出力は、疲労算出部44において入力として用いられる。
 疲労算出部44は、上記睡眠指標および自律神経指標に基づいて、疲労指標を算出する。なお、本実施形態においては、疲労指標として、疲労の度合い(レベル)を0から100の数値で示す疲労度が算出される。疲労指標の算出方法は任意であるが、例えば以下の方法が考えられる。なお、以下では、ここで算出される疲労度を、後述する、覚醒期間に対応する疲労度と区別して、「第1疲労度」と呼ぶことがある。
 第1の方法は、睡眠指標から疲労指標を算出する方法である。ここで、睡眠指標は、第1疲労度との相関があると考えられる。例えば、第1疲労度が高いと推測される例としては、以下が挙げられる。
・睡眠潜時が長い。
・中途覚醒時間が長い。
・中途覚醒回数が多い。
・睡眠効率が悪い。
・総睡眠時間が短い。
・レム睡眠時間とノンレム睡眠時間とのバランスが悪い(レム睡眠時間とノンレム睡眠時間との比率が、正常な範囲から外れている)。
 したがって、疲労算出部44は、睡眠指標が上記の例に該当すれば第1疲労度が高くなり、上記の例に該当しなければ第1疲労度が低くなるように、第1疲労度を算出する。例えば、疲労算出部44は、上記の各項目について該当するか否かを判定し、該当する数に応じたポイントを計算し、合計のポイントに応じて第1疲労度を算出するようにしてもよい。このとき、疲労算出部44は、項目毎に重みを付してポイントを計算してもよい。また、各項目について基準値(例えば、総睡眠時間について「6時間」)を設定し、算出された睡眠指標の値が基準値から離れているほどポイントが大きくなるように、ポイントが計算されてもよい。
 以上のように、本実施形態においては、生体情報に基づいて、ユーザの睡眠に関する睡眠指標が算出され、睡眠指標に基づいて疲労指標が算出される。上記のように、睡眠指標と疲労の度合いとの間には相関があると考えられるので、睡眠指標に基づいて疲労指標を算出することによって、疲労指標の精度を向上することができる。
 第2の方法は、自律神経指標に基づいて疲労指標を算出する方法である。上述のように、交感神経と副交感神経との働き度合いのバランス、すなわち、上記の自律神経指標を用いて第1疲労度を評価できることが知られている。したがって、疲労算出部44は、例えば、自律神経指標の値が基準値から離れるほど第1疲労度が高くなるように第1疲労度を算出する。
 本実施形態においては、疲労算出部44は、上記第1および第2の方法を用いて第1疲労度を算出する。具体的には、疲労算出部44は、上記2つの方法でそれぞれ疲労度を算出し、算出された各疲労度に基づいて最終的な第1疲労度を算出する。疲労算出部44は、例えば、2つの疲労度の平均値を最終的な第1疲労度としてもよいし、2つのうちどちらかの疲労度に重みを付して最終的な第1疲労度を算出してもよい。
 また、他の実施形態においては、上記2つの方法に加え、次の方法を用いて第1疲労度が算出されてもよい。すなわち、所定期間(例えば1週間)における睡眠時間に基づいて第1疲労度を算出する方法が用いられてもよい。ここで、従来より、疲労リスク管理システム(FRMS(Fatigue Risk Management System))において、睡眠時間と労働時間とに基づいて疲労度を算出する手法がある。上記手法において例えば簡易的に労働時間を一定とすることで、睡眠時間(のみ)に基づいて第1疲労度を算出することができる。
 なお、他の実施形態においては、疲労指標の算出方法は任意であり、疲労指標の内容も任意である。他の実施形態においては、疲労指標として、疲労の種類毎に疲労度合いを示す値が算出されてもよい。例えば、他の実施形態においては、疲労指標は、急性疲労の度合いを示す値と、累積疲労の度合いを示す値と、精神疲労の度合いを示す値という3種類の値であってもよい。
 また、他の実施形態においては、カメラ16および/またはマイク15の検出結果を用いて健康情報を算出してもよい。例えば、カメラ16で撮像されたユーザの画像に基づいて、脈拍および/または体動といった生体情報を算出することが可能である。したがって、処理部11は、ドップラーセンサ24の検出結果から得られるこれらの生体情報に加えて(または代えて)、カメラ16による撮像画像から得られる生体情報を用いて睡眠指標(および疲労指標)を算出してもよい。また、処理部11は、マイク15で検出されるいびきの音を考慮して睡眠指標を算出してもよい。
(3-3:端末システム2における処理の具体例)
 次に、睡眠期間に端末システム2において実行される処理の具体例について説明する。図9は、睡眠期間に端末システムによって実行される処理の流れの一例を示すフローチャートである。図9に示す一連の処理は、携帯端末5がベース装置6に装着されたことに応じて開始される。なお、他の実施形態においては、上記一連の処理は、携帯端末5とベース装置6との通信が開始されたことに応じて開始されてもよいし、ユーザが携帯装置5またはベース装置6に対して所定の開始操作を行ったことに応じて開始されてもよい。また、図9に示す各処理は、携帯端末5およびベース装置6のいずれか一方によって、または、両方が協働することによって実行される。
 なお、本出願において、図面に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えて(または代えて)別の処理が実行されてもよい。また、本明細書では、上記フローチャートの各ステップの処理を各装置(携帯端末5、ベース装置6、および、サーバ3)のCPUが実行するものとして説明するが、上記フローチャートにおける一部のステップの処理を、CPU以外のプロセッサや専用回路が実行するようにしてもよい。
 まずステップS11において、端末システム2は、開始時処理を実行する。開始時処理は、図9に示す一連の処理の開始に応じて(本実施形態では、ベース装置6に携帯端末5が装着されたことに応じて)実行される処理である。本実施形態においては、開始時処理として、充電開始処理、検出開始処理、および、再生開始処理が実行される(図6参照)。なお、他の実施形態においては、開始時処理として実行される処理は任意であり、上記3つの処理のうちいずれか1つまたは2つの処理が実行されてもよいし、上記3つの処理とは異なる他の処理が実行されてもよいし、開始時処理が実行されなくてもよい。
 上記充電開始処理において、ベース装置6は、携帯端末5に対する充電を開始する。具体的には、制御部22は、充電を開始する旨の指示を電力取得部23に対して行う。この指示に応じて、電力取得部23は、外部電源から供給される電力を、コネクタ21を介して携帯端末5へ供給する。なお、ベース装置6は、外部電源に接続された状態(すなわち、電源プラグがコンセントに接続された状態)であるとする。なお、ベース装置6は、携帯端末5の電池残量を確認し、電池残量が所定量以下であることを条件として充電動作を開始するようにしてもよい。ステップS11で開始された充電動作は、携帯端末5の電池が容量まで充電されたことに応じて終了する。
 また、上記検出開始処理において、ベース装置6は、健康情報を算出するための生体情報を検出するセンサ(ドップラーセンサ24)による検出を開始する。すなわち、ベース装置6の制御部22は、検出動作を開始する旨の指示をドップラーセンサ24に対して行う。この指示に応じて、ドップラーセンサ24は検出動作を開始する。
 また、上記再生開始処理において、ベース装置6は、入眠用コンテンツの再生を開始する。すなわち、制御部22は、予め記憶されている入眠用コンテンツを読み出し、プロジェクタ25およびスピーカ26を用いて入眠用コンテンツを再生する。なお、ベース装置6において再生されるコンテンツ(入眠時コンテンツや覚醒用コンテンツ)は、ベース装置6に記憶されていてもよいし、携帯端末5に記憶されていてもよいし、外部装置(例えばサーバ3)から携帯端末5を介して取得されてもよい。
 上記ステップS11の処理の後、以下に説明するステップS12~S20の処理が、睡眠期間中において繰り返し実行される。なお、本実施形態においては、ステップS12~S20の処理ループは、所定時間に1回の割合で実行される。
 ステップS12において、端末システム2は、ドップラーセンサ24の検出結果(生体情報)を取得する。上記ステップS11の検出開始処理によって検出動作を開始したドップラーセンサ24は、検出結果(出力波形)を制御部22へ出力する。制御部22は、検出結果を携帯端末5へ送信する(図4に示すステップS1)。これによって、ドップラーセンサ24の検出結果が携帯端末5に取得される。なお、制御部22は、ドップラーセンサ24の検出結果の情報をそのまま携帯端末5へ送信してもよいし、検出結果に何らかの加工(例えば、検出結果の信号に含まれるノイズを除去する処理や、上記睡眠指標を算出する処理等)を行って携帯端末5へ送信してもよい。
 ステップS13において、携帯端末5は、睡眠情報(各種睡眠指標)を算出する(図4に示すステップS2)。すなわち、処理部11は、ステップS12で取得された検出結果(生体情報)に基づいて、各種睡眠指標を算出する。睡眠指標の算出は、上述の“(3-2:健康情報の算出方法)”で述べた方法によって行われる。なお、ステップS13においては、処理部11は、後述するステップS14およびS15においてユーザの睡眠状態を判別するために用いられる情報(睡眠指標)を算出すればよい。ステップS13においては、処理部11は、睡眠期間が終了した時点でなければ算出できない睡眠指標(例えば、総睡眠時間)、および、疲労情報(疲労指標)を算出しなくてもよい。
 ステップS14において、携帯端末5は、ユーザの睡眠状態に応じてベース装置6の出力を制御する(図4に示すステップS2)。すなわち、処理部11は、ステップS13で算出される睡眠指標に基づいて、ベース装置6における出力(プロジェクタ25および/またはスピーカ26による出力)を制御する。具体的には、処理部11は、ステップS13で算出された睡眠指標に基づいて、ユーザの睡眠状態が所定の状態となったか否かを判定する。所定の状態とは、例えば、ユーザが入眠した状態、深い眠りに入った状態、中途覚醒した状態、および、覚醒前の状態等である(図6参照)。そして、所定の状態となったと判定された場合、処理部11は、当該状態に応じた再生制御処理を実行する。本実施形態においては、ステップS14の処理によって、上述した、プロジェクタ25の電源の制御、入眠用コンテンツの再生を制御する動作、中途覚醒に応じて時刻を表示する動作、および、覚醒用コンテンツの再生を制御する動作(図6参照)が実行される。
 他の実施形態においては、端末システム2は、睡眠期間においてコンテンツおよび/または情報をユーザに提示する場合、ベース装置6からの出力に加えて、または代えて、携帯端末5から出力を行うようにしてもよい。例えば、ユーザが中途覚醒したことに応じて行われる現在時刻の表示は、携帯端末5において行われてもよい。また例えば、プロジェクタ25によるコンテンツ再生に応じた音(音楽)の出力は、携帯端末5によって行われてもよい。なお、携帯端末5には、プロジェクタ25によって投影表示される画像と同じ画像が表示されてもよいし、異なる画像が表示されてもよい。
 ステップS15において、携帯端末5は、ユーザの睡眠状態に応じて携帯端末5を制御する(図4に示すステップS2)。すなわち、処理部11は、ステップS13で算出される睡眠指標に基づいて、携帯端末5の動作モードを制御する。具体的には、処理部11は、上記ステップS14と同様に、ユーザの睡眠状態が所定の状態となったか否かを判定する。そして、所定の状態となったと判定された場合、処理部11は、携帯端末5の動作モードを当該状態に応じたモードに変更する。本実施形態においては、ステップS15の処理によって、上述したオフモードへの変更動作、および、オンモードへの変更動作が実行される。
 なお、上記ステップS15の処理は、携帯端末5の動作モードに限らず、携帯端末5の設定を変更する処理であってもよい。例えば、携帯端末5は、ユーザの睡眠状態に応じて、携帯端末5の出力音量の設定、および/または、画面表示の設定を変更してもよい。例えば、ユーザが睡眠状態にある場合には、携帯端末5の出力音量がゼロに設定されたり、画面表示がオフになるように設定されたりしてもよい。
 ステップS16において、携帯端末5は、ユーザが覚醒(起床時覚醒)したか否かを判定する。すなわち、処理部11は、上述の“(中途覚醒時の情報提示)”で述べた方法によって、ステップS13で算出される睡眠指標に基づいて、ユーザが覚醒したか否かを判定する。ユーザが覚醒したと判定された場合、ステップS17~S19の一連の処理が実行される。一方、ユーザが覚醒していないと判定された場合、ステップS17~S19の一連の処理がスキップされてステップS20の処理が実行される。
 ステップS17において、携帯端末5は、睡眠期間中に取得された情報(生体情報)に基づいて健康情報を算出する(図4に示すステップS3)。健康情報は、上述した“(3-2:健康情報の算出方法)”で述べた方法によって算出される。本実施形態においては、ステップS17において、処理部11はまず、ステップS12で取得された生体情報に基づいて自律神経指標を算出する。また、処理部11は、睡眠期間中には算出することができない睡眠指標(例えば、総睡眠時間等)を、ステップS12で取得された生体情報に基づいて算出する。さらに、処理部11は、各種の睡眠指標と自律神経指標とに基づいて疲労指標(第1疲労度)を算出する。以上によって、睡眠指標と疲労指標とを含む健康情報が算出される。なお、他の実施形態においては、健康情報は、睡眠情報(睡眠指標)および疲労情報(疲労指標)のいずれか一方のみを含んでいてもよい。
 ステップS18において、端末システム2は、睡眠の評価結果をユーザに対して提示する。すなわち、処理部11は、算出された睡眠指標に基づいて、評価結果を示す画像(図7参照)を生成する。本実施形態においては、快眠指数およびアドバイス情報が睡眠指標に基づいて算出され、算出された情報を含む画像が生成される。処理部11は、生成した画像をベース装置6へ送信する。ベース装置6の制御部22は、受信した画像をプロジェクタ25によって(天井に)投影表示する。これによって、評価結果を示す画像がユーザに提示される。なお、他の実施形態においては、画像の生成はベース装置6によって行われてもよい。すなわち、携帯端末5は、算出された睡眠指標の情報をベース装置6に送信し、ベース装置6が受信した睡眠指標に基づいて画像を生成してもよい。
 ステップS19において、携帯端末5は、算出された健康情報をサーバ3へ送信する(図4に示すステップS4)。すなわち、処理部11は、ステップS17で算出された健康情報を通信部10によってサーバ3へ送信する。これによって、1回の睡眠期間に対する健康情報がサーバ3へ送信され、サーバ3において保存されることになる。このように、本実施形態においては、携帯端末5は、送信すべき情報を自動的に(ユーザによる指示がなくても)サーバ3へ送信する。つまり、ユーザが指示を行わなくても、サーバ3へ情報がアップロードされる。
 ステップS20において、ベース装置6は、ドップラーセンサ24による検出動作を終了するか否かを判定する。具体的には、制御部22は、ドップラーセンサ24の検出結果に基づいて、ユーザが検知されなくなったか(センサの検出範囲からユーザが外れたか)否かを判定する。ユーザが検知されなくなった場合、制御部22は、検出動作を終了すると判定し、図9に示す一連の処理を終了する。一方、ユーザが検知される場合、制御部22は、検出動作を終了しないと判定し、上記ステップS12の処理を再度実行する。以降、ステップS20において検出動作を終了すると判定されるまで、ステップS12~S20の一連の処理が繰り返し実行される。
 なお、他の実施形態においては、端末システム2は、上記ステップS19において健康情報をサーバ3へ送信した後、図9に示す一連の処理を終了するようにしてもよい。この場合、上記ステップS16の判定結果が否定であればステップS12の処理が再度実行され、上記ステップS16の判定結果が肯定となるまでステップS12~S16の処理が繰り返し実行される。
 なお、本実施形態においては、上記睡眠期間中において、何らかの理由で携帯端末5がベース装置6から外された場合(例えば、ユーザが寝返りをうった際に携帯端末5に当たってしまった場合)、ベース装置6は、ドップラーセンサ24の検出結果を携帯端末5へ送信することができない。この場合、ベース装置6は、携帯端末5へ送信することができなかった検出結果のデータを自身の記憶部(メモリ等)に記憶しておく。そして、次に携帯端末5がベース装置6に装着されたことに応じて、ベース装置6は、記憶部に記憶されている検出結果のデータを携帯端末5へ送信する。上記データを受信した携帯端末5は、検出結果に基づいて睡眠指標を算出する(ステップS13)。なお、携帯端末5は、このとき算出された睡眠指標に基づく制御処理(ステップS14,S15)を実行しなくてよい。このとき算出された睡眠指標は、過去の検出結果に基づくものであるからである。
 また、算出された睡眠指標に基づいて、ユーザが覚醒していると判定された場合(ステップS16の判定結果が肯定となる場合)、携帯端末5は、上記ステップS17~S19の処理を実行する。このように、ユーザの睡眠中に携帯端末5がベース装置6から外された場合であっても、次に携帯端末5がベース装置6に装着されたことに応じて、健康情報が算出されてサーバ3へ送信される。したがって、例えば、ユーザが覚醒した時に、携帯端末5がベース装置6から外れていたことに気づいた場合には、ユーザは、携帯端末5をベース装置6に装着するとよい。これによって、端末システム2は、睡眠の評価結果をユーザに提示することができるとともに、健康情報をサーバ3へ送信することができる。
 なお、他の実施形態において、携帯端末5とベース装置6とが無線通信可能である場合には、携帯端末5がベース装置6から外れた場合であっても、上記ステップS12~S19の処理を継続して実行することができる。
 なお、上記ステップS14においては、プロジェクタ25によって天井に画像が投影表示される。ここで、プロジェクタ25によって画像を投影表示する場合、ベース装置6は、当該画像を補正する補正処理を実行してもよい。この補正処理は、プロジェクタ25の投影箇所(天井)の凹凸および色を考慮して、適切な画像が投影表示されるように画像を補正する処理である。ベース装置6は、プロジェクタ25によって投影表示される画像に対して、カメラ27によって撮像された投影箇所の画像に基づいて、当該投影箇所の凹凸および色を考慮した補正を行う。具体的には、図9に示す処理を実行する前に、ベース装置6は、予め定められたテスト画像をプロジェクタ25によって天井に投影表示する。ここで、天井に凹凸がある場合には、投影表示されたテスト画像は、元のテスト画像と比べて歪んでいる。また、天井に色が付いている場合は、投影表示されたテスト画像は、元のテスト画像とは色が異なっている。ベース装置6は、元のテスト画像から歪んだり、あるいは、色が変化したりしている、天井に投影表示されたテスト画像をカメラ27によって撮像する。そして、ベース装置6は、カメラ27によって撮像された画像に基づいて、天井に投影表示されたテスト画像が適切に表示されるように元のテスト画像を補正する補正処理を特定する。つまり、ベース装置6は、投影表示されたテスト画像が、凹凸がある投影箇所において正しい形状に表示され、かつ、投影箇所において正しい色で表示されるように、元のテスト画像を補正する補正処理の内容を特定する。上記補正処理が特定されると、ベース装置6は、補正処理の内容を記憶しておく。
 上記ステップS114においてプロジェクタ25によって画像を投影表示する場合、ベース装置6は、記憶しておいた補正処理によって画像を補正し、補正後の画像をプロジェクタ25によって投影表示する。これによって、投影表示される画像は、適切な形状(元の画像と同じ形状)で、かつ、適切な色(元の画像と同じ色)となる。なお、上記で説明した補正処理は、従来のプロジェクションマッピングの技術と同様の方法によって行われてもよい。また、補正処理は、投影箇所の凹凸および色のいずれか一方のみを考慮した補正を行うものであってもよい。
[4.昼間における端末システムの動作]
(4-1:動作の概要)
 次に、覚醒期間における情報処理システムの動作の概要について説明する。図10は、覚醒期間におけるユーザの行動と、情報処理システムによって判別される各種情報との関係の一例を示す図である。また、図11は、覚醒期間における情報処理システムの動作の流れの一例を示すタイミングチャートである。図10では、ユーザの1日の行動の例として、出社し、会議に出席し、退社後にスポーツジムに立ち寄った後、帰宅する場合を示している。以下では、ユーザの1日の行動として図10に示す行動をユーザが行う場合における情報処理システムの動作を例として説明する。
 上述したように、本実施形態においては、ユーザが覚醒したことに応じて携帯端末5の動作モードがオンモードに変更される。動作モードがオンモードになったことに応じて、携帯端末5は、覚醒期間中に算出すべきQOL要素情報(活動情報、環境情報、感情情報、および、嗜好情報)を算出するための処理を開始する。すなわち、携帯端末5は、位置検出部13による位置情報の検出と、環境センサ14による環境センサ情報の検出とを開始する(図11に示すステップS21)。詳細は後述するが、位置情報は、活動情報を算出するために用いられ、環境センサ情報は、環境情報を算出するために用いられる。本実施形態においては、位置情報の検出および環境センサ情報の検出は、オンモードである間、繰り返し実行される(図10参照)。
 図10に示す例では、ユーザは、覚醒後に外出し、職場に出社する。このとき、携帯端末5は、位置情報に基づいて、ユーザが移動を行ったことを示す活動情報を算出する(図10、および、図11に示すステップS22)。すなわち、携帯端末5は、位置情報により示される検出位置がある場所(ここでは、自宅)から移動を開始し、別の場所(ここでは、職場)に到着して移動を停止した場合、移動を示す活動情報を算出する。
 移動を示す活動情報の内容は任意であるが、本実施形態においては、移動方法と、移動量とを含む活動情報が算出される。詳細は後述するが、移動方法としては、徒歩、電車、および車のいずれかが特定される。移動量としては、移動距離および/または移動時間が算出される。なお、他の実施形態においては、移動を示す活動情報は、移動前の場所(出発地。上記ステップS22の例では、自宅)および/または移動後の場所(目的地。上記ステップS22の例では、職場)を示す情報を含んでいてもよい。
 また、本実施形態においては、活動情報が算出されると、携帯端末5は、活動情報に対応する環境情報を算出する。「活動情報に対応する環境情報」とは、活動情報が示す活動が行われた期間におけるユーザの環境を示す環境情報である。上記ステップS22においては、移動を行っている期間におけるユーザの環境を示す環境情報が算出される。詳細は後述するが、本実施形態においては、携帯端末5は、行われたユーザの活動の内容を示す情報(図15に示す活動内容)と、当該活動中に検出された気温および湿度の平均値を示す情報(図15に示す環境値)とを含む環境情報(図15参照)を算出する。
 上記のようにして活動情報および環境情報が算出されると、携帯端末5は、算出された活動情報および環境情報をサーバ3へ送信する(ステップS23)。サーバ3は、受信した活動情報および環境情報をユーザ毎(携帯端末毎)に区別して記憶(蓄積)する。以降のステップS26,S28,S30,S32,S34の処理においてもステップS23と同様、サーバ3は、携帯端末5からQOL要素情報を受信すると、ユーザ毎に区別して記憶する。
 図10に示すように、出社後にユーザは会議に出席する。このとき、携帯端末5は、会議中における感情を判別する。すなわち、携帯端末5は、会議中における感情を示す感情情報を算出し、算出された感情情報をサーバ3へ送信する(図10、および、図11に示すステップS24~S26)。この感情情報の算出は、次のように行われる。
 まず、携帯端末5は、会議が開始されたことに応じて、感情情報を算出するための情報の検出を開始する(ステップS24)。本実施形態においては、会議が開始されたか否かの判定は、携帯端末5に記憶されているスケジュール情報に基づいて行われる。すなわち、携帯端末5には、会議の開始日時および終了日時を示すスケジュール情報が予め登録されているものとする。携帯端末5は、このスケジュール情報を参照することによって会議が開始されたか否かを判定し、会議が開始された場合、検出を開始する。
 なお、ステップS24においては、携帯端末5は、感情情報を算出するための情報として、マイク15によって検出される音を検出する。すなわち、携帯端末5は、マイク15による音検出を開始する。
 会議が終了すると、携帯端末5は、上記情報の検出を終了する(ステップS25)。すなわち、携帯端末5は、マイク15による音の検出を終了する。なお、会議が終了されたか否かの判定は、携帯端末5に記憶されているスケジュール情報に基づいて行うことができる。
 会議が終了すると、携帯端末5は、会議中に検出された情報(マイク15によって検出された音の情報)に基づいて感情情報を算出する(ステップS26)。詳細は後述するが、本実施形態においては、携帯端末5は、マイク15によって検出されたユーザの声等に基づいてユーザの感情を判別し、判別結果を示す情報を感情情報として算出する。詳細は後述するが、本実施形態においては、怒り、喜び、悲しみ、憎しみ、および、楽しみという5種類の感情の度合い(感情の強さ)を表す感情情報が算出される。
 上記のように、ユーザが会議に参加した場合には、会議中における音が検出されて、検出された音に基づいてユーザの感情が判別される。なお、図10および図11では図示しないが、本実施形態においては、会議中の他、ユーザが携帯端末5を操作する間においても感情が判別される。詳細は後述するが、携帯端末5の操作中においては、携帯端末5は、ユーザをカメラ16で撮像し、撮像したユーザの表情に基づいて感情を判別する。
 図10に示す例においては、会議が終了した後、ユーザは退社する。このとき、携帯端末5は、仕事(をしたこと)を示す活動情報を算出する(図10、および、図11に示すステップS27)。すなわち、携帯端末5は、位置情報により示される検出位置が特定の場所(ここでは、職場)から移動を開始した場合、ユーザが当該特定の場所に滞在していたことを判別し、当該特定の場所に対応する活動(ここでは、仕事)を示す活動情報を算出する。場所に対応する活動を示す活動情報の内容は任意であるが、本実施形態においては、活動内容(仕事)と、活動時間(仕事の時間)とを含む活動情報が算出される(図13参照)。
 上記のように、仕事を示す活動情報が算出されると、携帯端末5は、活動情報に対応する環境情報を算出する。環境情報の算出方法は、上記ステップS22の処理と同様である。すなわち、ステップS27においては、携帯端末5は、仕事を行っている期間におけるユーザの環境を示す環境情報を算出する。
 上記のようにして活動情報および環境情報が算出されると、携帯端末5は、上記ステップS23の処理と同様、算出された活動情報および環境情報をサーバ3へ送信する(ステップS28)。
 図10に示す例においては、ユーザは退社した後にスポーツジムに立ち寄る。ユーザがスポーツジムに到着すると、携帯端末5は、位置情報に基づいて、ユーザが移動を行ったことを示す活動情報を算出する(図10、および、図11に示すステップS29)。移動を示す活動情報を算出する処理は、上記ステップS22における処理と同様である。また、ステップS22と同様、携帯端末5は、活動情報に対応する環境情報を算出し、算出された活動情報および環境情報をサーバ3へ送信する(ステップS30)。
 図10に示す例では、ユーザは、スポーツジムでの活動(運動等)を終えるとスポーツジムを出発する。このとき、携帯端末5は、上記ステップS27の同様の処理によって、ユーザが特定の場所(ここでは、スポーツジム)に滞在していたことを判別する。そして、携帯端末5は、ユーザが滞在していた場所に基づいて嗜好情報を算出し、算出された嗜好情報をサーバ3へ送信する(ステップS32)。
 算出される嗜好情報は、ユーザの趣味や嗜好を示す任意の形式の情報でよい。本実施形態においては、嗜好情報は、予め定められた複数のジャンル(項目)のうちで、ユーザが興味があると判別されたジャンルを示す。複数のジャンルには、例えば、運動、健康、美容、ファッション、音楽、映画、ニュース、料理、食事、ペット、ゲーム等、が含まれる。詳細は後述するが、携帯端末5は、場所(施設)と、上記ジャンルとを関連付けたテーブルを予め記憶しておく。そして、ユーザが特定の場所(施設)に滞在したことを判別した場合、携帯端末5は、上記テーブルにおいて当該場所に関連付けられるジャンルを特定する。例えば、上記テーブルにおいては、スポーツジムに対して「運動」および「健康」のジャンルが関連付けられている。そのため、ユーザがスポーツジムに立ち寄った場合には、「運動」および「健康」を示す嗜好情報が算出(生成)される。
 また、図10および図11では図示していないが、本実施形態においては、嗜好情報は、ユーザの入力による情報に基づいて算出されることもある(詳細は後述する)。例えば、携帯端末5は、ユーザが携帯端末5を用いてインターネット上のウェブページを閲覧する際において、検索サイトにおいてユーザが入力した検索ワードに基づいて嗜好を判別してもよいし、閲覧しているウェブページの内容(例えばウェブページに含まれるキーワード等)に基づいて嗜好を判別してもよい。
 図10に示す例では、ユーザは、スポーツジムを離れた後に帰宅する。ユーザが帰宅すると、携帯端末5は、位置情報に基づいて、ユーザが移動を行ったことを示す活動情報を算出する(図10、および、図11に示すステップS33)。移動を示す活動情報を算出する処理は、上記ステップS22における処理と同様である。また、ステップS22と同様、携帯端末5は、活動情報に対応する環境情報を算出し、算出された活動情報および環境情報をサーバ3へ送信する(ステップS34)。
 本実施形態においては、サーバ3は、所定の評価タイミングが到来すると、携帯端末5から送信されてきたQOL要素情報に基づいて、QOL要素情報に基づくユーザの評価を行う(図11に示すステップS36、図4に示すステップS7)。すなわち、サーバ3は、携帯端末5から受信した各種QOL要素情報(健康情報、活動情報、環境情報、および、感情情報)に基づいて各種の指標(健康指標、環境指標、感情指標、および、QOL指標)を算出する。なお、QOL要素情報に基づくユーザの評価は、携帯端末を有するユーザ(ネットワークサービスを受けるユーザ)毎に行われる(ステップS36)
 図10に示すように、本実施形態においては、健康情報と活動情報とに基づいて、ユーザの健康(疲労度)を示す健康指標が算出され、環境情報に基づいて、ユーザの周囲の環境を示す環境指標が算出され、感情情報に基づいて、ユーザの感情を示す感情指標が算出される。また、これらの健康指標と、環境指標と、感情指標とに基づいて、総合指標であるQOL指標が算出される。なお、これらの指標の算出方法の詳細については後述する。
 サーバ3が評価を行う上記評価タイミングは任意であるが、本実施形態においては、評価タイミングは、予め定められた所定時刻になったタイミングである。なお、評価タイミングは、サーバ3(ネットワークサービスの提供事業者)によって設定されたタイミングであってもよいし、ユーザによって指定されたタイミングであってもよい。また、評価タイミングは、所定時刻になったタイミングに限らず、ユーザの活動(上記活動情報)に基づいて設定されてもよい。例えば、評価タイミングは、ユーザが退社したタイミング、あるいは、ユーザが帰宅したタイミングであってもよい。
 また、サーバ3は、1日につき1回に限らず、複数回評価を行ってもよい。例えば、サーバ3は、QOL要素情報を携帯端末5から受信する度に、受信したQOL要素情報に基づく評価を行ってもよい。このとき、サーバ3は、総合評価以外の評価(QOL指標以外の指標の算出)についてはQOL要素情報を受信する度に実行し、総合評価(QOL指標の算出)については、1日に1回の所定の評価タイミングで実行するようにしてもよい。また、サーバ3は、所定の条件を満たすQOL要素情報が受信された場合(例えば、所定の種類のQOL要素情報が受信された場合)に、受信されたタイミングに応じて、QOL要素情報に基づく評価を行い、所定の条件を満たさないQOL要素情報が受信された場合には、受信されたタイミングに応じては評価を行わない(後で評価を行う)ようにしてもよい。
 評価を行った後、サーバ3は、評価結果に応じたネットワークサービスをユーザに提供する(図11に示すステップS37、図4に示すステップS8,S9)。すなわち、サーバ3は、ステップS36で算出された各種指標に基づいて、ユーザに提供すべきサービス内容を特定する(図10参照)。上述したように、本実施形態においては、ネットワークサービスとして、(a)評価結果の提示、(b)評価結果を改善するためのアドバイス情報の提示、(c)評価結果を改善するための商品等を勧めるリコメンド情報の提示、(d)評価結果を改善するためのコンテンツの提供、および、(e)評価結果に応じた特典の付与等が行われる。
 本実施形態においては、評価結果を提示するサービスとして、上記各指標を表す指数を含む情報が携帯端末5へ送信されてユーザに提示される(図24等)。また、アドバイス情報として、例えば、ユーザが暑い環境にいたことを示す評価結果(環境指標)が算出された場合に、夏バテを防止する方法を示すアドバイス情報がユーザに提示されてもよい。また、リコメンド情報として、例えば、疲労が溜まっている旨の評価結果(健康指標)が算出された場合に、疲労回復の効果がある商品を勧めるリコメンド情報がユーザに提示されてもよい。また、ネットワークサービスにおいて提供されるコンテンツとして、例えば、睡眠不足であることを示す評価結果(健康指標)が算出された場合に、入眠しやすくなる効果のある音楽コンテンツが提供されたり、気分が落ち込んでいる旨の評価結果(感情指標)が算出された場合に、気分を盛り上げるようなコンテンツが提供されたりしてもよい。また、特典として、例えば、ユーザが健康な状態を維持することができていることを示す評価(健康指標)が算出された場合に、ネットワークサービスにおいて利用可能なポイントを付与する特典が付与されたり、携帯端末5の利用料金を割り引く特典が付与されたりしてもよい。
 また、本実施形態においては、サーバ3は、嗜好情報に基づいてサービス内容を特定する(図10参照)。例えば、サーバ3は、嗜好情報が示す、ユーザが興味のあるジャンルに基づいて、リコメンド情報で勧める商品等の種類を変更してもよい。具体的には、あるユーザについて同じ評価結果が算出された場合でも、運動に興味があることを嗜好情報が示すのであれば、サーバ3はスポーツ用品に関するリコメンド情報を提示し、食事に興味があることを嗜好情報が示すのであれば、サーバ3は健康食品に関するリコメンド情報を提示するようにしてもよい。また例えば、サーバ3は、嗜好情報に基づいて、付与すべき特典の内容を変更してもよい。例えば、サーバ3は、ユーザに特典として商品をプレゼントする場合に、嗜好情報が示す、ユーザが興味のあるジャンルに基づいて、商品の種類を決定してもよい。
 サービス内容を特定すると、サーバ3は、ネットワークサービスに係るサービスデータを携帯端末5へ送信する(図11参照)。サービスデータは、例えば、評価結果のデータ、アドバイス情報のデータ、リコメンド情報のデータ、提供されるコンテンツのデータ、および/または、特典に関するデータ(特典付与の通知を示すデータ、特典自身のデータ)等である。
 なお、詳細は後述するが、本実施形態においては、あるユーザに関する評価結果に応じたネットワークサービスに係るサービスデータが、評価対象であるユーザ(本人)の他に、他のユーザ(例えば、当該あるユーザの家族や友人)の端末へ送信されることがある。このとき、評価対象のユーザに送信されるサービスデータの内容と、他のユーザに送信されるサービスデータの内容とは、異なっていてもよい。
 上記のように、本実施形態においては、所定時刻になったタイミングでサーバ3において評価が行われ、評価が行われたことに応じてネットワークサービスの提供が行われる。ここで、ネットワークサービスを提供するタイミングは任意である。例えば、他の実施形態においては、所定時刻になったタイミングに限らず、ユーザの活動(上記活動情報)に基づいて設定されるタイミングでネットワークサービスが提供されてもよい。例えば、サーバ3は、ユーザが退社したタイミング、あるいは、ユーザが帰宅したタイミングでネットワークサービスを提供してもよい。
 また、他の実施形態において、QOL要素情報が受信される度にサーバ3が評価を行う場合、サーバ3は、評価が行われる度にネットワークサービスの提供を行うようにしてもよい。また、サーバ3は、所定の条件を満たす評価結果が算出された場合に、算出されたタイミングに応じて、当該評価に基づくネットワークサービスを提供し、所定の条件を満たさない評価結果が算出された場合には、算出されたタイミングに応じてはネットワークサービスを提供しない(後で提供する)ようにしてもよい。なお、「所定の条件を満たす評価結果が算出された場合」とは、例えば、所定の種類のQOL要素情報に基づく評価結果が算出された場合、あるいは、所定の結果となる評価結果が算出された場合である。例えば、図10に示す例において、会議の終了に応じて行われた評価の結果が、ユーザが落ち込んでいることを表す場合には、会議が終了した後すぐのタイミングで、例えば「深呼吸しましょう。」といったアドバイス情報がサーバ3から携帯端末5へ送信されてもよい。また例えば、移動の終了に応じて行われた評価の結果が、ユーザが暑い環境下で移動していたことを表す場合には、移動が終了した後すぐのタイミングで、熱中症を予防するアドバイス情報がサーバ3から携帯端末5へ送信されてもよい。
 携帯端末5は、サーバ3から送信されてくるサービスデータを受信する。そして、携帯端末5は、受信したサービスデータを用いて、サービスデータに係る情報をユーザに提示する(ステップS38)。これによって、例えば、評価結果、アドバイス情報、および/または、リコメンド情報が携帯端末5のディスプレイ17に表示されたり、サービスに係るコンテンツが携帯端末5において再生されたり、サービスに係る特典が付与された旨の通知が携帯端末5に表示されたりする。
 なお、他の実施形態においては、ネットワークサービスを受けることができる端末は、携帯端末5でなくてもよい。すなわち、サービスデータに係る情報は、携帯端末5に限らず、他の装置で提示されてもよい。例えば、ネットワークサービスによって提供されるコンテンツは、携帯端末5によって取得され、ベース装置6において再生されてもよい。また例えば、サーバ3は、携帯端末5とは異なる、予め登録された端末(例えば、ユーザの自宅のパソコン)へサービスデータが送信されてもよい。
 以上のように、本実施形態においては、ユーザの覚醒期間において、携帯端末5は、活動情報、環境情報、感情情報、および嗜好情報といったQOL要素情報を算出し、サーバ3へ送信する。サーバ3は、睡眠期間に受信したQOL要素情報と、覚醒期間に取得されたQOL要素情報とに基づいて、ユーザの健康、活動、環境、および/または、感情に関する評価を行う。そして、この評価結果に応じたネットワークサービスがユーザに提供される。
 上述したように、ユーザは、就寝時に携帯端末5をベース装置6に装着する(図11参照)。これに応じて、携帯端末5の動作モードがオフモードへと移行する。動作モードがオフモードになったことに応じて、携帯端末5は、覚醒期間中に算出すべきQOL要素情報を算出するための処理を終了する。すなわち、携帯端末5は、位置検出部13による位置情報の検出と、環境センサ14による環境センサ情報の検出とを終了する(図11に示すステップS38)。
 なお、本実施形態においては、携帯端末5は、位置情報および環境センサ情報の取得を、1日を通じて(すなわち、覚醒期間中において)行った。ここで、他の実施形態においては、QOL要素情報を算出するための情報を取得する条件(期間および/またはタイミング)は任意である。つまり、QOL要素情報を算出するための情報の取得は、所定の条件が満たされたことに応じて開始および/または終了されてもよい。例えば、他の実施形態においては、携帯端末5は、ユーザの活動(活動情報)に基づいて位置情報の取得を終了してもよい。具体的には、携帯端末5は、ユーザが帰宅したことを判別したことに応じて位置情報の取得を終了してもよい。また例えば、携帯端末5は、ユーザの活動(活動情報)に基づいて、環境情報の取得の開始および/終了を制御してもよい。具体的には、携帯端末5は、ユーザが所定の活動(例えば、移動や仕事)を行っている間のみ環境情報を取得するようにしてもよい。また例えば、他の実施形態においては、サーバ3からサービスデータを受信したタイミングで取得処理を終了してもよい。
 なお、本実施形態においては、サービスデータを受信した後においても、位置情報および環境センサ情報が取得されるので、活動情報および環境情報が算出され得る。携帯端末5は、サービスデータを受信した後に算出される位置情報および環境情報についても受信前と同様に、サーバ3へ送信する。したがって、サーバ3は、次の評価タイミング(明日に行われる評価タイミング)において、サービスデータを受信した後に算出される位置情報および環境情報に基づいて評価を行ってもよい。また、サーバ3は、ユーザの就寝時において、サービスデータを受信した後に算出される位置情報および環境情報に基づいて評価を行い、所定のタイミングで(例えば、次の日の朝にユーザが覚醒したタイミングで)この評価に基づくサービスデータを携帯端末5へ送信してもよい。なお、例えば、ベース装置6に携帯端末5が装着されたことに応じて携帯端末5がサーバ3へ通知を行うことによって、携帯端末5はサーバ3へユーザの就寝時を通知することができる。
 また、他の実施形態においては、携帯端末5は、サービスデータを受信した後においては、位置情報および環境センサ情報の検出を停止してもよいし、活動情報および環境情報の算出を停止してもよい。このように、所定期間に1回の割合でサービスデータを受信する場合において、当該所定期間中にサービスデータを受信した場合、携帯端末5は、当該所定期間中においてはQOL要素情報の算出、および/または、QOL要素情報を算出するための情報の取得(検出)を停止するようにしてもよい。
(4-2:携帯端末における処理)
 次に、覚醒期間において携帯端末5で実行される処理の具体例について説明する。オンモード中(覚醒期間中)において、携帯端末5は、活動情報算出処理、環境情報算出処理、感情情報算出処理、嗜好情報算出処理、および、情報提示処理を実行する。本実施形態においては、これらの処理はそれぞれ異なるプログラム(アプリケーション)によって実行される。携帯端末5は、マルチタスクで各種のアプリケーションを実行可能である。なお、上記の処理の他、多機能デバイスである携帯端末5が有する機能に応じたアプリケーションが適宜実行されてもよい。以下、上記の各処理の詳細について説明する。
(活動情報算出処理)
 図12は、活動情報算出処理の流れの一例を示すフローチャートである。活動情報算出処理は、ユーザの位置(位置情報)に基づいて、ユーザの活動を示す活動情報を算出する処理である。本実施形態においては、活動情報算出処理は、オンモード中において継続的に実行される。すなわち、処理部11のCPUは、携帯端末5の動作モードがオンモードとなったことに応じて、活動情報算出処理のためのプログラムの実行を開始し、動作モードがオフモードになるまで継続的に活動情報算出処理を実行する。
 まずステップS51において、処理部11は、活動情報の算出に用いる情報を取得する。本実施形態においては、活動情報の算出に用いる情報は、上述した位置情報である。すなわち、処理部11は、位置検出部13から位置情報を取得する。また、本実施形態においては、処理部11は、位置情報に対応する時刻情報として、位置情報が取得された時点の時刻を示す時刻情報を取得する。取得された位置情報および時刻情報は処理部11のメモリに記憶される。
 ステップS52において、処理部11は、活動情報を算出する条件が満たされたか否かを判定する。この算出条件は任意であるが、本実施形態においては、ユーザの移動が終了したこと(第1条件)、および、活動情報を算出する場所にユーザが滞在したこと(第2条件)が用いられる。第1条件および第2条件のいずれか一方が満たされた場合、活動情報を算出する条件が満たされたと判定される。
 上記第1条件が満たされたか否かは、例えば、位置情報により示される検出位置が、ある場所から移動した後、所定時間以上(例えば、10分以上)別の場所に停止したか否かによって判定することができる。なお、検出位置が、ある場所から所定距離以上離れていない場合、あるいは、移動時間が所定時間以下である場合には、処理部11は、検出位置はある場所から移動していないと判断してもよい。これによって、上述したステップS22,S29,S33の処理において、処理部11は、ユーザがある場所から別の場所への移動(例えば、自宅から職場までの移動や、職場からスポーツジムまでの移動等)を判別することができる。
 上記第2条件が満たされたか否かは、次のようにして判定される。すなわち、処理部11はまず、検出位置が所定時間以上(例えば、15分以上)ある場所にとどまっていた後で移動を開始したか否かを判定する。所定時間以上とどまっていない、または、移動を開始していないと判定された場合、処理部11は、第2条件が満たされてないと判定する。一方、とどまっていた後で移動を開始したと判定された場合、処理部11は、その滞在場所の種類を特定する。滞在場所の種類とは、例えば、自宅あるいは職場といった、ユーザに関する場所でもよいし、スポーツジム、レストラン、あるいは映画館といった施設でもよい。本実施形態においては、ユーザに関する場所の位置は、携帯端末5において予め登録されて記憶されているものとする。また、施設の位置は、例えば、地図上の位置とその位置に存在する施設とが関連付けられた地図情報を用いて特定される。地図情報は、携帯端末5に予め記憶されていてもよいし、インターネット等を介して外部装置から携帯端末5に取得されてもよい。処理部11は、上記ユーザに関する場所の位置、および、上記施設の位置のうちで、とどまっていた場所の位置と一致する位置を特定することで、滞在場所の種類を特定する。例えば、上述したステップS27においては、滞在場所は職場であると特定され、上述したステップS31においては、滞在場所はスポーツジムであると特定される。なお、滞在場所の種類が特定できない場合、処理部11は、第2条件が満たされてないと判定する。
 次に、処理部11は、特定された滞在場所が、活動情報を算出する場所であるか否かを判定する。ここで、携帯端末5は、活動情報を算出する場所の種類を予め記憶しておく。例えば、本実施形態においては、職場を含むいくつかの場所が記憶されており、スポーツジムは記憶されていないものとする。上記判定は、特定された滞在場所の種類が、予め記憶されている場所の種類のいずれかに一致するか否かによって行われる。特定された滞在場所が、活動情報を算出する場所であると判定された場合、処理部11は、上記第2条件が満たされたと判定する。一方、特定された滞在場所が、活動情報を算出する場所でないと判定された場合、処理部11は、上記第2条件が満たされないと判定する。例えば、上述したステップS27においては、滞在場所である職場は、活動情報を算出する場所であると判定され、第2条件が満たされたと判定される。一方、上述したステップS31においては、滞在場所であるスポーツジムは、活動情報を算出する場所でないと判定され、第2条件が満たされないと判定される。なお、他の実施形態においては、活動情報を算出する場所としてスポーツジムを登録しておくことによって、ユーザがスポーツジムに滞在したことに応じて活動情報が算出されるようにしてもよい。
 上記のように、本実施形態においては、活動情報を算出するか否かの判定は、位置情報(ステップS51で取得されたメモリに記憶された位置情報)に基づいて行われる。ここで、他の実施形態においては、この判定は、他の情報に基づいて行われてもよい。例えば、他の実施形態においては、ユーザのスケジュール情報に基づいて行われてもよい。例えば、仕事の終了時刻がスケジュール情報に登録されている場合、携帯端末5は、終了時刻になったことに応じて、活動情報を算出すると判定してもよい。
 上記ステップS52の判定結果が肯定である場合、ステップS53の処理が実行される。一方、上記ステップS52の判定結果が否定である場合、ステップS51の処理が再度実行される。すなわち、処理部11は、ステップS52において条件が満たされたと判定されるまで、ステップS51およびS52の処理を繰り返す。なお、ステップS51およびS52の処理ループは、例えば所定時間に1回の割合で繰り返し実行される。
 ステップS53において、処理部11は活動情報を算出する。図13は、本実施形態において算出される活動情報の一例を示す図である。図13は、図10に示す行動をユーザが行った場合に算出される一連の活動情報を示している。図13に示すように、本実施形態においては、活動情報は、活動内容と、活動量とを含む。また、上述したように、本実施形態においては、処理部11は、移動を示す活動情報と、場所に応じた活動(例えば仕事)を示す活動情報とを算出することが可能である。
 ここで、上記ステップS52において第1条件が満たされた場合、処理部11は、移動を示す活動情報(図13における(a)、(c)、(d)の活動情報)を算出する。本実施形態において、移動を示す活動情報は、活動内容として移動方法と、活動量として移動量とを示す。すなわち、処理部11は、移動中に検出された位置情報から移動速度と移動経路とを算出し、移動速度と移動経路とに基づいて移動方法を特定する。例えば、移動速度が所定速度未満であれば、移動方法は徒歩であると特定される。また、移動速度が所定速度以上で、かつ、移動経路が道路上であれば、移動方法は車(バイク)であると特定される。また、移動速度が所定速度以上で、かつ、移動経路が鉄道の線路上であれば、移動方法は電車であると特定される。
 なお、移動中において移動速度が変化している場合には、複数種類の移動方法が特定されてもよい。例えば、移動の開始時においては移動速度が所定速度未満であって、途中から移動速度が所定速度以上となった場合には、移動方法は徒歩および車(あるいは電車)であると特定されてもよい。また、この場合、処理部11は、移動方法が徒歩である活動情報と、移動方法が車(あるいは電車)である活動情報という2種類の活動情報を算出するようにしてもよい。
 また、処理部11は、移動量として、移動中に取得された位置情報に対応する時刻情報に基づいて移動時間を算出することができる。なお、他の実施形態においては、処理部11は、移動量として、上記移動経路に基づいて移動距離を算出してもよい。
 上記ステップS52において第2条件が満たされた場合には、場所に応じた活動を示す活動情報(図13における(b)の活動情報)が算出される。「場所に応じた活動」とは、ユーザの滞在場所から推測することができる活動であり、例えば、滞在場所が職場である場合における「仕事」や、滞在場所がレストランである場合における「食事」である。
 図13に示すように、場所に応じた活動を示す活動情報も、移動を示す活動情報と同様、活動内容と、活動量(活動時間)とを含む。活動内容は、上記滞在場所に基づいて算出される。具体的には、携帯端末5は、滞在場所(例えば職場)と活動内容(例えば仕事)とを関連付けたテーブルを記憶しておき、当該テーブルを用いて活動内容を特定する。したがって、例えばテーブルにおいて、滞在場所としての「職場」と、活動内容としての「仕事」とが関連付けられているとすると、上記ステップS27において、滞在場所が職場であると特定された場合には、活動内容が仕事であると特定される。
 また、活動時間は、例えば、滞在場所に滞在していた時間として算出することができる。この時間は、滞在場所にとどまっていた間に取得された位置情報に対応する時刻情報に基づいて算出することができる。
 以上のようにして、ステップS53において活動情報が算出される。1回のステップS53の処理においては、1つの活動情報が算出されて処理部11のメモリに記憶される。
 ステップS54において、処理部11は、上記ステップS53で算出された活動情報をサーバ3へ送信する。すなわち、処理部11は、メモリに記憶されている活動情報を、通信部10によってサーバ3へ送信する。
 ステップS54の後、処理部11は、ステップS51の処理を再度実行する。以降、動作モードがオフモードに変更されるまで、処理部11は、ステップS51~S54の処理を繰り返し実行する。これによって、1日における所定のタイミング(例えば、図11に示すステップS22,S27,S29,S33)で活動情報が算出されてサーバ3へ送信される。
(環境情報算出処理)
 図14は、環境情報算出処理の流れの一例を示すフローチャートである。環境情報算出処理は、環境センサ情報(気温および湿度)に基づいて、ユーザの周囲の環境を示す環境情報を算出する処理である。本実施形態においては、環境情報算出処理は、オンモード中において継続的に実行される。すなわち、処理部11のCPUは、携帯端末5の動作モードがオンモードとなったことに応じて、環境情報算出処理のためのプログラムの実行を開始し、動作モードがオフモードになるまで継続的に環境情報算出処理を実行する。
 まずステップS61において、処理部11は、環境情報の算出に用いる情報として、環境センサ情報を取得する。すなわち、処理部11は、環境センサ14から環境センサ情報として、温度センサによって検出される気温情報と、湿度センサによって検出される湿度情報とを取得する。取得された環境センサ情報は、処理部11のメモリに記憶される。
 ステップS62において、処理部11は、環境情報を算出するか否かの判定を行うための情報として、位置情報を取得する。ステップS62の処理は、位置情報を取得する上記ステップS51の処理と同様である。したがって、処理部11は、ステップS62を省略して、ステップS51において取得されてメモリに記憶されている位置情報を用いるようにしてもよい。
 ステップS63において、処理部11は、環境情報を算出する条件が満たされたか否かを判定する。上述のように、本実施形態においては、活動情報が算出されるタイミングで環境情報が算出される(図11に示すステップS22,S27,S29,S33参照)。したがって、ステップS63の判定は、活動情報が算出されたか否かによって行うことができる。ステップS63の判定結果が肯定である場合、ステップS64の処理が実行される。一方、ステップS63の判定結果が否定である場合、ステップS61の処理が再度実行される。すなわち、処理部11は、ステップS63において条件が満たされたと判定されるまで、ステップS61~S63の処理を繰り返す。なお、ステップS61~S63の処理ループは、例えば所定時間に1回の割合で(ステップS51およびS42の処理ループと同じ割合でもよい)繰り返し実行される。
 ステップS64において、処理部11は、ステップS61で算出された環境センサ情報に基づいて環境情報を算出する。図15は、本実施形態において算出される環境情報の一例を示す図である。図15は、図10に示す行動をユーザが行った場合に算出される一連の環境情報を示している。図15に示すように、本実施形態においては、環境情報は、活動内容と、環境値とを含む。
 環境情報に含まれる活動内容は、当該環境情報に対応する活動情報に含まれる活動内容と同じである(図15参照)。本実施形態においては、活動情報により示される活動をユーザが行う間における環境を示す環境情報が算出される。換言すれば、環境情報に含まれる活動内容は、環境センサ情報が検出された期間におけるユーザの活動を示す。ステップS64において、処理部11は、上記ステップS53で算出された活動内容を、環境情報における活動内容として設定する。
 環境情報に含まれる環境値は、環境値に関連付けられる活動内容に関する活動期間に取得された環境センサ情報から算出される値を示す。本実施形態においては、環境値は、活動期間における環境センサ情報によって示される各指標(気温および湿度)の平均値である(図15参照)。すなわち、処理部11は、まず、活動情報に基づいて活動期間を特定する。活動期間は、活動情報により示される活動が開始された時点の時刻情報と、当該活動が終了された時点の時刻情報とに基づいて特定することができる。次に、処理部11は、活動期間に取得された複数の環境センサ情報をメモリから読み出し、各環境センサ情報に含まれる気温の平均値を算出し、当該各環境センサ情報に含まれる湿度の平均値を算出する。なお、環境値は、気温および湿度の平均値に限らず、環境センサ情報から算出される任意の値であってよい。例えば、環境センサ情報から暑さ指数(WBGT(Wet Bulb Globe Temperature))を算出可能である場合には、暑さ指数が環境値として算出されてもよい。
 他の実施形態においては、環境情報は、環境値に代えて(または環境値とともに)、活動期間に取得された各環境センサ情報の履歴情報を含んでいてもよい。履歴情報は、活動期間に取得された各環境センサ情報を全て含むものであってもよいし、当該各環境センサのうちの一部(例えば、所定時間に1つの割合となるように間引かれた環境センサ情報)を含むものであってもよい。環境情報が上記履歴情報を含む場合、サーバ3は、活動期間における環境(温度、湿度等)の変化を知ることができる。また、サーバ3は、環境情報に基づく評価結果をユーザに提示する際に、活動期間における環境の変化をユーザに提示してもよい。例えば、携帯端末5において評価結果(例えば、図25に示す画像)が表示される際に、ユーザが所定の指示を行ったことに応じて(例えば、図25に示す詳細ボタン56に対する入力が行われたことに応じて)、履歴情報に基づく情報(例えば、履歴情報を表す折れ線グラフ)が携帯端末5に表示されてもよい。
 なお、環境情報は、ユーザの周囲の環境を表す任意の情報でよい。すなわち、他の実施形態においては、携帯端末5は、天気に関する天気情報を取得して環境情報に含めてもよい。天気情報は、例えば、インターネットを介して外部装置から取得されてもよい。また例えば、携帯端末5は、気圧センサを備え、気圧センサによって検出される気圧情報に基づいて環境情報を生成してもよい。携帯端末5は、照度センサを備え、照度センサによって検出される照度情報に基づいて環境情報を生成してもよい。また例えば、携帯端末5は、マイクによって騒音を検出し、検出される騒音に基づいて環境情報を生成してもよい。このように、環境情報は、ユーザがいる場所の気温、湿度、天気、気圧、明るさ、および、騒音のうち少なくとも1つを示すものであってもよい。
 以上のようにして、ステップS64において活動内容と環境値とを含む環境情報が生成される。これによって、例えば、ユーザが移動中における環境を示す環境情報(図15に示す(a)、(c)、(d)の環境情報)や、ユーザが特定の活動(例えば仕事)を行っている期間における環境を示す環境情報(図15に示す(b))が算出される。1回のステップS64の処理においては、1つの環境情報が算出されて処理部11のメモリに記憶される。
 詳細は後述するが、本実施形態においては、サーバ3において環境情報に基づいて環境指標を算出する際に、活動情報が用いられる。そのため、本実施形態においては、活動情報を算出するとともに環境情報を算出するべく、処理部11は、活動情報が算出されたことを条件として環境情報を算出するようにしている(ステップS63)。また、処理部11は、活動情報に対応する活動期間において取得された環境センサ情報に基づいて環境情報を算出している(ステップS64)。
 ここで、他の実施形態においては、環境情報を算出するための条件は任意であり、活動情報に関する条件に限らない。また、環境情報を算出する対象となる期間は任意であり、上記活動期間に限らない。例えば、他の実施形態においては、携帯端末5は、所定の開始時刻から所定の終了時刻までの期間を対象として(当該期間に取得された環境センサ情報に基づいて)、当該終了時刻となったことを条件として、環境情報を算出してもよい。
 また、他の実施形態においては、携帯端末5は、位置検出部13によって検出される位置情報に基づいて、環境情報を算出するか否かを判定してもよい。例えば、携帯端末5は、ユーザが外出したことと、帰宅したこととを位置情報に基づいて判別し、外出期間(外出してから帰宅するまでの期間)を対象として、環境情報を算出してもよい。このとき、ユーザが帰宅したことを条件として環境情報が算出されてもよい。
 また、他の実施形態においては、携帯端末5は、ユーザのスケジュール情報に基づいて、環境情報を算出するか否かを判定してもよい。例えば、仕事の開始時刻および終了時刻がスケジュール情報に登録されている場合、携帯端末5は、当該開始時刻から終了時刻までの期間を対象として、環境情報を算出してもよい。このとき、終了時刻が到来したことを条件として環境情報が算出されてもよい。
 ステップS65において、処理部11は、上記ステップS64で算出された環境情報をサーバ3へ送信する。すなわち、処理部11は、メモリに記憶されている環境情報を、通信部10によってサーバ3へ送信する。
 ステップS65の後、処理部11は、ステップS61の処理を再度実行する。以降、動作モードがオフモードに変更されるまで、処理部11は、ステップS61~S65の処理を繰り返し実行する。これによって、1日における所定のタイミング(例えば、図10に示すステップS22,S27,S29,S33)で環境情報が算出されてサーバ3へ送信される。
(感情情報算出処理)
 図16は、感情情報算出処理の流れの一例を示すフローチャートである。感情情報算出処理は、携帯端末5の周囲の声(ユーザ自身の声および/または会話相手の声)、あるいは、ユーザの表情に基づいて、ユーザの感情を示す感情情報を算出する処理である。本実施形態においては、以下に示す感情情報算出処理は、携帯端末5のオンモード中において継続的に実行される。すなわち、処理部11のCPUは、携帯端末5の動作モードがオンモードとなったことに応じて、感情情報算出処理のためのプログラムの実行を開始し、動作モードがオフモードになるまで継続的に感情情報算出処理を実行する。
 以上より、本実施形態においては、携帯端末5の待機状態(携帯端末5のディスプレイ17がオフにされた状態)においても、感情情報が算出されることがある。また、ユーザが携帯端末5の操作中であって、感情情報算出処理のためのプログラム以外の他のアプリケーションを実行している場合でも(当該他のアプリケーションのバックグラウンドで)感情情報が算出される。
 まずステップS71において、処理部11は、感情情報の算出に用いる情報の測定を開始するか否かを判定するための情報を取得する。ここで、本実施形態においては、感情情報の算出のために、マイク15による検出音、または、カメラ16による撮像画像が用いられる。ただし、マイク15やカメラ16による検出は、携帯端末5の状況によってはうまく行うことができず、感情を正しく算出することができない場合がある。例えば、携帯端末5がユーザのポケットや鞄の中に入れられた状況では、雑音が多くなるためマイク15によってユーザの音声等がうまく検出できないおそれがある。また、ユーザが声を発していない状況では、感情情報の算出に用いる情報を得ることができない。さらに、携帯端末5がユーザのポケットや鞄の中に入れられた状況、あるいは、机の上に置かれた状態では、カメラ16によってユーザの顔を撮像できないおそれがあると考えられる。
 したがって、本実施形態においては、携帯端末5は、マイク15およびカメラ16による測定を、適切な状況下で(感情情報をある程度正確に算出することできる状況下で)行う。すなわち、マイク15による検出およびカメラ16による撮像は、オンモード中において常に実行されるわけではなく、所定の測定条件が満たされたことに応じて開始される。ステップS71の処理は、この測定条件を判定するための情報を取得する処理である。具体的には、処理部11は、上述したスケジュール情報と、携帯端末5に対する操作を示す操作情報とを取得する。スケジュール情報は、携帯端末5の記憶部(メモリ等)から取得される。操作情報は、操作入力部12から取得される。
 ステップS72において、処理部11は、測定条件が満たされたか否かを判定する。本実施形態においては、測定条件は、マイク15による測定を開始するための条件(マイク条件)と、カメラ16による測定を開始するための条件(カメラ条件)との少なくとも一方が満たされたことである。マイク条件は、例えば所定のイベントが開始されたことである。なお、所定のイベントは、上述した「会議」の他、例えば、食事、仕事、あるいは、移動等であってもよい。ここでは、所定のイベントとして、「会議」を含む1以上の種類のイベントが予め定められているものとする。本実施形態においては、マイク条件は、スケジュール情報に基づいて判定される。すなわち、処理部11は、ステップS71で取得されたスケジュール情報を参照して、予め定められた所定のイベントのいずれかが開始される時刻になったか否かを判定する。処理部11は、イベントが開始される時刻になった場合、マイク条件が満たされたと判定し、イベントが開始される時刻になっていない場合、マイク条件が満たされていないと判定する。
 上記のように、本実施形態においては、所定のイベントが開始されたか否かの判定は、スケジュール情報に基づいて行われた。ここで、他の実施形態においては、上記判定は、他の情報に基づいて行われてもよい。例えば、他の実施形態においては、処理部11は、上記位置情報(および/または、位置情報から算出される活動情報)に基づいて上記判定を行ってもよい。例えば、処理部11は、ユーザがレストランに入ったことを位置情報に基づいて判別した場合、あるいは、「食事」を示す活動情報が算出された場合に、「食事」のイベントが開始されたと判定してもよい。
 また、他の実施形態においては、携帯端末5は、ユーザが携帯端末5を用いて通話を行っている期間においてマイク15による測定を行うようにしてもよい。すなわち、処理部11は、携帯端末5において通話が開始されたことを、マイク条件として用いてもよい。このとき、後述するステップS76においては、処理部11は、携帯端末5において通話が終了したことを条件として、測定を終了すると判定してもよい。これによれば、携帯端末5は、ユーザが携帯端末5によって通話している期間にユーザの声を検出することができ、当該期間における感情を判別することができる。
 また、カメラ条件は、ユーザによって携帯端末5に対する操作が開始されたことである。カメラ条件は、操作情報に基づいて判定される。すなわち、処理部11は、操作情報に基づいて、携帯端末5に対する何らかの操作が実行されたか否かを判定する。処理部11は、携帯端末5に対する何らかの操作が実行された場合、カメラ条件が満たされたと判定し、携帯端末5に対する操作が実行されていない場合、カメラ条件が満たされていないと判定する。なお、カメラ条件は、ユーザが携帯端末5を見ていること(換言すれば、カメラの撮像範囲にユーザが含まれること)を判別することができる任意の条件であってもよい。例えば、他の実施形態においては、カメラ条件は、携帯端末5において所定の情報処理(例えば、動画の再生処理)が開始されたことであってもよい。このとき、後述するステップS76において、処理部11は、動画の再生が終了したことを条件として、測定を終了すると判定してもよい。
 なお、他の実施形態においては、処理部11は、誤操作(例えば、ユーザが意図せずに携帯端末5のボタンを触ってしまった場合)、および/または、短期間の操作(例えば、ユーザが現在時刻を見るだけのために携帯端末5を操作した場合)に応じて条件が満たされることを防止するようにしてもよい。すなわち、処理部11は、所定期間において所定回数以上の操作があった場合、カメラ条件が満たされたと判定し、所定期間において所定回数以上の操作がなかった場合、カメラ条件が満たされていないと判定してもよい。
 上記ステップS72の判定結果が肯定である場合、ステップS73の処理が実行される。一方、上記ステップS72の判定結果が否定である場合、ステップS71の処理が再度実行される。すなわち、処理部11は、ステップS72において条件が満たされたと判定されるまで、ステップS71およびS72の処理を繰り返す。なお、ステップS71およびS72の処理ループは、例えば所定時間に1回の割合で繰り返し実行される。
 ステップS73において、処理部11は、感情情報を算出するための測定を開始する。すなわち、上記ステップS72において、マイク条件が満たされた場合、処理部11は、マイク15をオンにし、マイク15による検出を開始する。また、カメラ条件が満たされた場合、処理部11は、カメラ16をオンにし、カメラ16による検出(撮像)を開始する。
 ステップS74において、処理部11は、感情情報を算出するための情報を取得する。すなわち、マイク15による測定を行っている場合、処理部11は、マイク15によって検出された音データを取得し、メモリに記憶する。また、カメラ16による測定を行っている場合、処理部11は、カメラ16によって撮像された画像データを取得し、メモリに記憶する。本実施形態においては、測定期間(ステップS74の処理が開始されてから後述するステップS77において測定が終了されるまでの期間)中に取得された上記音データまたは画像(動画)データはメモリに蓄積され、測定期間の終了後(後述するステップS77)において、蓄積されたデータを用いて感情情報が算出される。
 ステップS75において、処理部11は、感情情報の算出に用いる情報の測定を終了するか否かを判定するための情報を取得する。すなわち、マイク15による検出を行っている場合、処理部11は、上述したスケジュール情報を取得する。また、カメラ16による検出を行っている場合、処理部11は、上述した操作情報を取得する。
 ステップS76において、処理部11は、測定を終了するか否かを判定する。すなわち、マイク15による検出を行っている場合、処理部11は、ステップS72において開始したと判定された所定のイベントが終了したか否かを判定する。すなわち、処理部11は、ステップS75で取得されたスケジュール情報を参照して、上記所定のイベントが終了される時刻になったか否かを判定する。処理部11は、イベントが終了される時刻になった場合、測定を終了すると判定する。一方、処理部11は、イベントが終了される時刻になっていない場合、測定を終了しない(継続する)と判定する。
 上記のように、本実施形態においては、マイク15による検出を行うか否かの判定は、所定のイベント期間中であるか否かによって行われた。ここで、他の実施形態においては、上記の判定は、ユーザが移動中であるか否かによって行われてもよい。例えば、携帯端末5が動きを検出可能なセンサ(加速度センサ等)を有する場合、携帯端末5は、加速度センサの検出結果に基づいてユーザが徒歩移動中であるか否かを判定し、徒歩移動中である場合には、マイク15による検出を行わないようにしてもよい。徒歩移動中においては、ユーザのポケットや鞄に携帯端末5が入っている状況が想定され、このような状況では、ユーザの声を精度良く検出することが難しいからである。
 また、カメラ16による検出を行っている場合、処理部11は、ユーザによる携帯端末5に対する操作が終了したか否かを判定する。この判定は、例えば、所定時間の間、携帯端末5に対する操作が行われなかったか否かによって行われる。処理部11は、携帯端末5に対する操作が終了したと判定される場合、測定を終了すると判定する。一方、処理部11は、携帯端末5に対する操作が終了していないと判定される場合、測定を終了しない(継続する)と判定する。
 上記のように、本実施形態においては、カメラ16による検出は、携帯端末5に対する操作が行われている期間に行われる。ここで、他の実施形態においては、上記期間であるか否かの判定は、操作情報に限らず、他の情報に基づいて行われてもよい。例えば、携帯端末5が、操作が行われていない期間はディスプレイ17が消灯され、操作が行われたことに応じてディスプレイ17が点灯する機能を有する場合、上記の判定は、ディスプレイ17の点灯されているか否かによって行われてもよい。また、上記の判定は、携帯端末5において所定のアプリケーションが起動されているか否かによって行われてもよい。
 ステップS76の判定結果が肯定である場合、ステップS77の処理が実行される。一方、上記ステップS76の判定結果が否定である場合、ステップS74の処理が再度実行される。すなわち、処理部11は、ステップS76において測定を終了すると判定されるまで、ステップS74~S76の処理を繰り返す。なお、ステップS74~S76の処理ループは、例えば所定時間に1回の割合で繰り返し実行される。
 ステップS77において、処理部11は、マイク15またはカメラ16による検出(測定)を終了し、感情情報を算出する。すなわち、直前のステップS74の処理においてマイク15によって検出される音が取得されている場合には、処理部11は、測定期間中に検出された音を用いて(すなわち、ユーザや周りの人の声に基づいて)感情情報を算出する。また、直前のステップS74の処理においてカメラ16によって撮像される画像が取得されている場合には、処理部11は、測定期間中に撮像された画像を用いて(すなわち、ユーザの表情に基づいて)感情情報を算出する。
 まず、マイク15によって検出される音を用いて感情情報を算出する方法の一例について説明する。本実施形態においては、まず処理部11は、測定期間中に検出された音の信号から、ユーザの声と、ユーザ以外の他の人(会話相手)の声とを識別する。ユーザおよび会話相手の音声を識別する方法は、従来の音声識別の技術が用いられてもよく、例えば、以下のように行われてもよい。すなわち、処理部11は、測定期間中に測定された音の信号から、無音の区間と、感情の判別が難しい区間(例えば、雑音が多い区間や、複数の声が重複している区間)とを除去する。そして、処理部11は、残りの音声区間について、ユーザの音声を含む区間であるか否かを判定する。この判定は、携帯端末5においてユーザの音声を予め登録(記憶)しておき、予め登録されたユーザの音声と、上記残りの音声区間における音声とを比較することで行うことができる。例えば、処理部11は、単位区間毎に両者に関する所定の特徴量について類似度を算出し、類似度が所定の閾値以上であれば、その単位区間はユーザの音声を含むと判断し、類似度が所定の閾値未満であれば、その単位区間は会話相手の音声を含むと判断してもよい。以上によって、測定期間中に測定された音の信号から、ユーザの音声を含む区間(ユーザ音声区間)と、会話相手の音声を含む区間(相手音声区間)とを抽出することができる。
 次に、処理部11は、抽出されたユーザの音声に基づいてユーザの感情の判別を行う。ユーザの音声に基づいて感情を判別する方法は、どのような方法であってもよく、従来における感情判別方法が用いられてもよい。本実施形態においては、例えば以下の方法で感情の判別が行われる。すなわち、処理部11は、上記ユーザ音声区間の音声信号について、所定の単位区間毎に特徴量を算出する。特徴量としては、例えば、強度、テンポ、および、抑揚が算出される。強度は、所定区間における振幅の大きさの平均として算出することができる。テンポは、単位時間における音素の数を算出することで得ることができる。抑揚は、文章の区切りを検出し、区切り内の音声について、特定の強度変化パターンを検出することで得ることができる。
 処理部11は、算出された上記特徴量に基づいて、感情を示す指標を算出する。なお、本実施形態においては、処理部11は、上記特徴量に基づいて、怒り、喜び、および悲しみという3種類の感情について、それぞれ指標を算出する。ここで、これらの感情は、上記の特徴量の変化から推定することができるので、処理部11は、上記特徴量(強度、テンポ、および抑揚)の変化を算出し、その変化量に基づいて各指標を算出する。本実施形態においては、携帯端末5は、感情の種類(怒り、喜び、および悲しみ)毎にそれぞれ、各特徴量の変化パターンを示すテーブルを記憶しておく。この変化パターンは、実験により(すなわち、実際に複数の被験者から音声を検出して特徴量を算出した結果に基づいて)作成されてもよい。処理部11は、各感情の種類について、テーブルにより示される変化パターンと、算出された特徴量の変化とを比較し、感情の種類毎に類似度を算出する。そして、類似度が高い感情の種類については、指標の値が高くなり、類似度が低い感情の種類については、指標の値が低くなるように、各指標が算出される。例えば、「怒り」に関するテーブルにより示される変化パターンと算出された特徴量の変化との類似度が高く、「喜び」に関するテーブルにより示される変化パターンと算出された特徴量の変化との類似度が低く、「悲しみ」に関するテーブルにより示される変化パターンと算出された特徴量の変化との類似度が中程度である場合、“怒り:80,喜び:10,悲しみ:50”といった指標が算出される。以上のようにして、ユーザの音声に基づくユーザの感情を示す指標が算出される。
 また、本実施形態においては、処理部11は、ユーザの音声と同様に、会話相手の音声についても、感情を示す指標を算出する。すなわち、処理部11は、上記と同様の算出方法によって、会話相手の感情を示す指標が算出される。
 ここで、会話相手の感情から、ユーザ本人の感情を推測することも可能である。例えば、会話相手が怒っている場合、ユーザは怒られている(と推測できる)ので、ユーザは「憎しみ(嫌悪)」の感情を持つと考えられる。また、会話相手が喜んでいる場合、ユーザは「楽しみ」の感情を持つと考えられる。
 したがって、本実施形態においては、処理部11は、会話相手の感情に基づいて、ユーザの感情を示す指標を算出する。具体的には、会話相手について算出される「怒り」および「喜び」の各指標に応じて、ユーザの「憎しみ」および「楽しみ」を示す指標をそれぞれ算出する。ユーザの憎しみを示す指標は、会話相手の怒りの指標の数値が大きいほど大きくなるように算出される。また、ユーザの楽しみを示す指標は、会話相手の喜びの指標の数値が大きいほど大きくなるように算出される。なお、本実施形態においては、会話相手の感情の種類と、それから算出されるユーザの感情の種類とは異なっているが、他の実施形態においては、会話相手の感情の種類と、それから算出されるユーザの感情の種類とは同じであってもよい。例えば、処理部11は、会話相手の悲しみの指標に基づいて、ユーザの悲しみの指標を算出(補正)してもよい。
 以上のようにして、本実施形態においては、特徴量が算出される単位である上記所定の単位区間毎に、怒り、喜び、悲しみ、憎しみ、楽しみの5種類の感情を示す指標が算出される。処理部11は、各単位区間における各指標に基づいて、1回の測定期間における感情情報を算出する。例えば、本実施形態においては、処理部11は、上記5種類の指標についてそれぞれ、各単位区間の平均値を算出する。処理部11は、このようにして算出された、5種類の指標の平均値を含む情報を感情情報とする。つまり、本実施形態においては、上記5種類の感情を示す感情情報が算出される。
 なお、感情情報の具体的な内容はこれに限らず、任意である。例えば、他の実施形態においては、感情情報は、上記5種類のうちのいくつかの指標を示すものであってもよいし、上記5種類とは異なる感情の種類(例えば、驚き、恐怖、愛しみ等)を示すものであってもよい。また、感情情報は、複数の数値を示すものに限らず、1種類の数値を示すものであってもよい。例えば、感情情報は、感情の高ぶり(落ち込み)を示すスカラー値を示すものであってもよい。また、感情情報は、肯定的な種類の感情(喜び、楽しみ等)の度合いを表す指標と、否定的な種類の感情(怒り、悲しみ等)の度合いを表す指標との2種類の指標を示すものであってもよい。
 また、他の実施形態においては、携帯端末5は、ユーザの声および会話相手の声に加えて(または代えて)、周囲の音(声)に基づいてユーザの感情を判別してもよい。すなわち、携帯端末5は、ユーザの周囲の雰囲気に応じた(当該ユーザの)感情を判別してもよい。例えば、携帯端末5は、ユーザの周囲における笑い声を検出した場合に、ユーザは楽しい環境にいると推測し、ユーザは喜んでいると判別する(例えば、喜びを示す指標を高く算出する)ようにしてもよい。また、携帯端末5は、ユーザの周囲における叫び声や怒号を検出した場合に、ユーザは緊張した環境にいると推測し、ユーザは緊張していると判別する(例えば、緊張を示す指標を高く算出する)ようにしてもよい。
 次に、カメラ16によって撮像される画像を用いて感情情報を算出する方法の一例について説明する。ここで、本実施形態においては、カメラ16は内向きに取り付けられ、また、携帯端末5が操作している時にカメラ16による撮像が行われるので、撮像画像にはユーザの顔が含まれていると考えられる。そのため、まず処理部11は、カメラ16による撮像画像に対する画像認識処理によってユーザの顔のいくつかの特徴点(例えば、目、口、眉、およびほお骨)を特定する。特徴点は、従来の画像認識処理によって算出されてもよい。なお、処理部11は、測定期間中に取得された撮像画像のうち、所定時間間隔で取得される1以上の撮像画像(取得された撮像画像の全部でもよいし一部でもよい)について、各特徴点を算出する。
 次に、処理部11は、各特徴点に基づいてユーザの感情を判別する。本実施形態においては、各特徴点の位置と特徴点の変化とに基づいて感情が判別される。具体的には、携帯端末5は、平常時におけるユーザの表情を予めカメラ16によって撮像しておくことによって、ユーザの平常時における各特徴点の位置を予め登録しておく。処理部11は、算出された各特徴点について、平常時からの変化(変化方向および変化量)と変化の速度とを算出する。
 ここで、携帯端末5は、上記変化および変化速度と、その場合の感情の種類(怒り、喜び、または、悲しみ)とを関連付けたテーブルを予め記憶しておく。このテーブルは、実験により(すなわち、実際に複数の被験者について、感情の種類毎の顔の画像から上記変化および変化速度を算出した結果に基づいて)作成されてもよい。処理部11は、上記テーブルを参照して、算出された各特徴点の変化および変化速度に応じた感情を表す指標を算出する。具体的には、算出された各特徴点の変化および変化速度と、テーブルが示す感情の種類毎の変化および変化速度との類似度を算出し、感情の種類毎に類似度に応じた指標を算出する。例えば、「怒り」の感情について類似度が高く算出された場合、怒りの指標が高く算出される。これによって、ユーザの表情に基づいて感情を算出する場合においても、音声に基づいて感情を算出する場合と同様、感情の種類毎に、例えば“怒り:80,喜び:10,悲しみ:50”といった指標が算出される。
 以上のようにして、1つの撮像画像から認識されるユーザの顔について、上記3種類の指標が算出される。処理部11は、上記所定時間間隔で取得される各撮像画像についてそれぞれ算出される3種類の指標に基づいて、測定期間における感情情報を算出する。例えば、本実施形態においては、各撮像画像についてそれぞれ算出される3種類の指標について、指標毎の平均値を算出する。処理部11は、このようにして算出された3種類の指標の平均値を含む情報を感情情報とする。つまり、本実施形態においては、上記3種類の感情を示す感情情報が算出される。
 上記のように、本実施形態においては、撮像画像を用いて感情を判別する場合、「怒り」、「喜び」、および「悲しみ」の3種類の感情について指標を含む感情情報が算出される。なお、他の実施形態においては、上記3種類のうちのいくつかの指標を示すものであってもよいし、上記3種類とは異なる感情の種類(例えば、憎しみ、楽しみ、驚き、恐怖、愛しみ等)を示すものであってもよい。例えば、音声を用いて感情を判別する場合と同じ5種類の指標が算出されてもよい。また、撮像画像を用いる場合も音声を用いる場合と同様、感情情報は、複数の数値を示すものに限らず、1種類の数値を示すものであってもよいし、肯定的な種類の感情の度合いを表す指標と、否定的な種類の感情の度合いを表す指標との2種類の指標を示すものであってもよい。
 ステップS78において、処理部11は、感情情報をサーバ3へ送信する。すなわち、処理部11は、ステップS77で算出されてメモリに記憶されている感情情報を、通信部10によってサーバ3へ送信する。
 ステップS78の後、処理部11は、ステップS71の処理を再度実行する。以降、動作モードがオフモードに変更されるまで、処理部11は、ステップS71~S78の処理を繰り返し実行する。これによって、1日における所定のイベントが行われたことに応じて(例えば、図11に示すステップS25)で感情情報が算出されてサーバ3へ送信される。
 なお、本実施形態においては、携帯端末5は、所定のイベントが終了した後で、当該イベントの期間におけるユーザの感情を示す感情情報を算出した。ここで、他の実施形態においては、携帯端末5は、イベント中に感情情報を逐次算出してもよい。例えば、携帯端末5は、ユーザの音声の特徴量が算出される単位である上記所定の単位区間毎に感情情報を算出してもよい。また、このとき、携帯端末5は、算出された感情情報をサーバ3へ逐次送信してもよい。これによれば、携帯端末5は、リアルタイムで感情情報を算出することができ、サーバ3は、感情情報に基づく評価に応じたネットワークサービスをリアルタイムでユーザに提供することも可能である。
(感情情報算出処理の他の例)
 次に、感情情報算出処理の他の例について説明する。上述した本実施形態における感情情報算出処理においては、マイク15およびカメラ16による測定を適切な状況下で行うべく、スケジュール情報に基づいて所定のイベントが行われる期間を特定し、特定される期間において測定を行った(ステップS72~S76)。ここで、他の実施形態においては、感情情報を算出するための情報を検出(測定)する期間は、他の情報に基づいて特定されてもよい。例えば、携帯端末5は、所定のイベントが行われる期間を、マイク15による検出を間欠的に行うことによって特定するようにしてもよい。以下、感情情報算出処理の他の一例として、マイク15による検出を間欠的に行う例について説明する。
 図17は、感情情報算出処理の流れの他の一例を示すフローチャートである。図17に示す処理も図16に示す処理と同様、携帯端末5のオンモード中において継続的に実行される。
 まずステップS81において、処理部11は、所定時間だけマイク15による検出を実行する。すなわち、処理部11は、マイク15をオンにし、上記所定時間(例えば、3秒)マイク15による検出を行った後、マイク15をオフにする。これによって、処理部11は、所定時間分の音を取得する。
 ステップS82において、処理部11は、ステップS81で取得された検出音に基づいて、感情情報を算出するための測定を開始するための測定条件が満たされたか否かを判定する。具体的には、処理部11は、上記検出音に、感情情報の算出に用いる音(例えば、ユーザの声または会話相手の声)が含まれているか否かを判定する。当該音が含まれている場合、測定条件が満たされたと判定され、当該音が含まれていない場合、測定条件が満たされていないと判定される。ステップS82の判定結果が否定となる場合、ステップS83の処理が実行される。一方、ステップS82の判定結果が肯定となる場合、後述するステップS84の処理が実行される。
 ステップS83において、処理部11は、所定の第1時間(例えば、10秒)だけ待機する。そして、第1時間が経過した後、処理部11はステップS81の処理を再度実行する。したがって、測定条件が満たされるまでの間、処理部11は、上記第1時間の間隔でマイクによる検出(ステップS81)を行う。
 一方、ステップS84において、処理部11は、感情情報を算出するための測定を開始する。ステップS84の処理は、上述したステップS73の処理と同様である。
 ステップS85において、処理部11は、感情情報を算出するための情報を取得する。すなわち、マイク15による測定を行う場合における上記ステップS74の処理と同様、処理部11は、マイク15によって検出された音データを取得し、メモリに記憶する。上記ステップS81においては、マイク15によって音が間欠的に検出されたのに対して、ステップS85においては、音が連続的に検出される。
 ステップS86において、処理部11は、測定を終了するか否かを判定する。図17に示す例においては、この判定は、ステップS85において検出される音に基づいて行われる。具体的には、現在から所定時間(例えば、1分)前までの検出音に、感情情報の算出に用いる音(ユーザの声または会話相手の声)が含まれていない場合、測定を終了すると判定する。一方、現在から上記所定時間前までの検出音に、感情情報の算出に用いる音が含まれている場合、測定を終了しないと判定する。ステップS86の判定結果が肯定である場合、ステップS87の処理が実行される。一方、ステップS86の判定結果が否定である場合、ステップS85の処理が再度実行される。以降、ステップS86において測定を終了すると判定されるまで、ステップS85~S86の処理が繰り返し実行される。ステップS85~S86の処理ループが繰り返し実行される場合、処理部11は、マイク15による検出音が時間的に連続するように当該検出音を取得する。つまり、上記処理ループによって、測定期間中における音が連続して検出されることになる。ただし、他の実施形態においては、測定期間中において、上記第1時間よりも短い第2時間の間隔を空けて断続的に音が検出されてもよい。
 ステップS87において、処理部11は感情情報を算出する。ステップS87において感情情報を算出する処理は、上記ステップS77においてマイク15による検出音に基づいて感情情報を算出する処理と同様である。ただし、図17に示す例においては、測定期間(上記ステップS84の処理が開始されてからステップS87において測定が終了されるまでの期間)の長さが、感情情報を算出するのに十分な長さでない場合があり得る。したがって、処理部11は、測定期間の長さ(換言すれば、測定期間中に検出された音の長さ)が所定時間未満である場合には感情情報を算出せず、測定期間の長さが所定時間以上である場合に感情情報を算出するようにしてもよい。続くステップS88において、処理部11は、上記ステップS78と同様に、感情情報をサーバ3へ送信する。
 ステップS88の後、処理部11は、ステップS81の処理を再度実行する。以降、動作モードがオフモードに変更されるまで、処理部11は、ステップS81~S88の処理を繰り返し実行する。これによって、1日のうちで、感情情報を算出するための情報(ユーザの音声等)が検出可能な期間についてマイク15による測定が実行され、当該期間について感情情報が算出される。
 なお、上記においては、マイク15による検出音を用いて感情情報を算出する場合に、マイク15の測定期間を設定する方法ついて説明した。ここで、カメラ16による撮像画像を用いて感情情報を算出する場合についても、図17に示す方法と同様の方法で、カメラ16による測定期間(撮像を行う期間)を設定することができる。すなわち、処理部11は、ステップS81およびS85において、カメラ16による撮像画像を取得する。また、上記ステップS82において、処理部11は、撮像画像にユーザの顔が含まれているか否かを判定する。また、上記ステップS86において、処理部11は、現在から所定時間前までの撮像画像にユーザの顔が含まれている場合、測定を終了しないと判定し、当該撮像画像にユーザの顔が含まれていない場合、測定を終了すると判定する。以上によって、カメラ16による撮像画像を用いて感情情報を算出する場合において、感情情報を算出可能な期間に応じて測定期間を設定することができる。
(嗜好情報算出処理)
 図18は、嗜好情報算出処理の流れの一例を示すフローチャートである。嗜好情報は、ユーザによる携帯端末5に対する入力、あるいは、ユーザの位置(活動)に基づいて、ユーザの嗜好を示す嗜好情報を算出する処理である。本実施形態においては、嗜好情報算出処理は、オンモード中において継続的に実行される。すなわち、処理部11のCPUは、携帯端末5の動作モードがオンモードとなったことに応じて、嗜好情報算出処理のためのプログラムの実行を開始し、動作モードがオフモードになるまで継続的に嗜好情報算出処理を実行する。
 まずステップS91において、処理部11は、嗜好情報の算出に用いる情報を取得する。本実施形態においては、処理部11は、位置検出部13によって検出される位置情報と、操作入力部12に対するユーザの入力情報(ユーザ入力情報)とを取得する。取得された情報は、処理部11のメモリに記憶される。
 ステップS92において、処理部11は、嗜好情報を算出するための算出条件が満たされたか否かを判定する。この算出条件は、位置に関する条件(位置条件)と、ユーザの入力に関する条件(ユーザ入力条件)とを含む。位置条件およびユーザ入力条件のいずれか一方が満たされた場合、算出条件が満たされたと判定される。
 本実施形態において、位置条件は、ユーザが、嗜好情報を算出する特定の場所(その場所からユーザの嗜好を推測できる場所)に滞在したことである。すなわち、処理部11は、位置検出部13による検出位置に基づいて、ユーザがある場所に滞在していたか否かを判定する。なお、この判定は、上記“(活動情報算出処理)”において説明した第2条件が満たされたか否かの判定と同様に行うことができる。ユーザがある場所に滞在していたと判定される場合、処理部11は、滞在場所の種類を特定し、特定された滞在場所(の種類)について、嗜好情報の算出が可能か否かを判定する。上述のように、携帯端末5は、場所(施設)と、嗜好情報により示されるジャンルとを関連付けたテーブルを予め記憶している。処理部11は、特定された滞在場所が上記テーブルに含まれるか否かによって、嗜好情報の算出が可能か否かを判定する。嗜好情報の算出が可能であると判定された場合、処理部11は、位置条件が満たされたと判定する。一方、(a)ユーザがある場所に滞在していないと判定される場合、(b)特定された滞在場所が上記テーブルに含まれていない場合、または、(c)滞在場所の種類を特定できない場合には、処理部11は、位置条件が満たされていないと判定する。例えば、上述したステップS31においては、ユーザがスポーツジムに滞在していると判別され、スポーツジムは上記テーブルに含まれるので、位置条件が満たされたと判定される。一方、上述したステップS27においては、ユーザが職場に滞在していると判別され、職場は上記テーブルに含まれないので、位置条件が満たされていないと判定される。
 また、ユーザ入力条件は、嗜好を推測可能な情報が入力されたことである。具体的には、本実施形態においては、検索サイトにおいて、嗜好情報を推測することが可能な特定の検索ワードが入力された場合、処理部11は、ユーザ入力条件が満たされたと判定する。すなわち、処理部11は、ステップS91で取得された入力に検索ワードの入力が含まれている場合、当該検索ワードが嗜好情報を算出可能なものか、すなわち、ユーザの嗜好を推測可能な語句であるか否かを判定する。ここで、携帯端末5は、語句と、当該語句に対する嗜好のジャンル(嗜好情報によって示されるジャンル)とを関連付けたテーブルを記憶しておく。処理部11は、入力された検索ワードが上記テーブルに記述される語句を含むか否かを判定する。入力された検索ワードが上記テーブルに記述される語句を含む場合、処理部11は、入力された検索ワードから嗜好情報を算出可能と判断し、ユーザ入力条件が満たされたと判定する。一方、ステップS91で取得された入力に検索ワードの入力が含まれていない場合、あるいは、入力された検索ワードが上記テーブルに記述される語句を含まない場合、処理部11は、ユーザ入力条件が満たされないと判定する。
 上記ステップS92の判定結果が肯定である場合、ステップS93の処理が実行される。一方、上記ステップS92の判定結果が否定である場合、ステップS91の処理が再度実行される。すなわち、処理部11は、ステップS92において算出条件が満たされたと判定されるまで、ステップS91およびS92の処理を繰り返す。なお、ステップS91およびS92の処理ループは、例えば所定時間に1回の割合で繰り返し実行される。
 ステップS93において、処理部11は嗜好情報を算出する。ここで、上記ステップS92において位置条件が満たされた場合、処理部11は、ステップS91で取得された位置情報に基づいて(より具体的には、位置情報から算出される滞在場所に基づいて)嗜好情報を算出する。すなわち、処理部11は、場所と嗜好のジャンルとを関連付けたテーブルにおいて、位置情報から特定された滞在場所に関連付けられるジャンルを特定する。処理部11は、特定されたジャンルを示す嗜好情報を算出する。
 また、上記ステップS92においてユーザ入力条件が満たされた場合、処理部11は、ステップS91で取得されたユーザ入力情報に基づいて嗜好情報を算出する。すなわち、処理部11は、語句と嗜好のジャンルとを関連付けたテーブルにおいて、ユーザ入力情報から特定される検索ワードに含まれる語句に関連付けられるジャンルを特定する。処理部11は、特定されたジャンルを示す嗜好情報を算出する。
 以上のようにして、ステップS93において嗜好情報が算出される。1回のステップS93の処理においては、1つの嗜好情報が算出されて処理部11のメモリに記憶される。
 ステップS94において、処理部11は、上記ステップS93で算出された嗜好情報をサーバ3へ送信する。すなわち、処理部11は、メモリに記憶されている嗜好情報を通信部10によってサーバ3へ送信する。
 上記のように、本実施形態においては、嗜好情報は位置情報に基づいて算出される。なお、他の実施形態においては、嗜好情報は、活動情報に基づいて算出されてもよい。すなわち、携帯端末5は、位置情報から活動情報(例えば、スポーツジムで運動したことを示す活動情報)を算出し、活動情報に基づいて嗜好情報を算出してもよい。
 また、本実施形態においては、携帯端末5は、検索サイトにおいて入力された検索ワードに基づいて嗜好情報を算出した。他の実施形態においては、嗜好情報は、他のユーザ入力情報に基づいて算出されてもよい。例えば、携帯端末5は、ユーザがあるウェブページを閲覧する入力を行った場合、ウェブページの内容(例えば、ウェブページにおけるキーワード)に基づいてユーザの嗜好を判別してもよい。また例えば、SNS(ソーシャルネットワーキングサービス)のウェブページにおいていわゆる「いいね」ボタンを押した場合、携帯端末5は、当該ウェブページの内容に基づいてユーザの嗜好を判別してもよい。
 また、他の実施形態においては、嗜好情報は、上記以外の他の情報に基づいて算出されてもよい。例えば、嗜好情報は、携帯端末5に記憶されているユーザのプロフィール情報(年齢、子供の有無、未婚/既婚、家族構成、性別、収入、趣味等)に基づいて算出されてもよい。また、嗜好情報は、携帯端末5において実行されるアプリケーションに基づいて算出されてもよい。例えば、携帯端末5は、自機で実行されるアプリケーションの種類(例えば、ゲームアプリ等)に基づいてユーザの嗜好(ユーザが興味のあるジャンル)を判別することも可能である。
(情報提示処理)
 図19は、情報提示処理の流れの一例を示すフローチャートである。情報提示処理は、サーバ3で生成される情報(ネットワークサービスに係る情報)をユーザに対して提示する(画像および/または音を出力する)処理である。本実施形態においては、情報提示処理は、オンモード中において継続的に実行される。すなわち、処理部11のCPUは、携帯端末5の動作モードがオンモードとなったことに応じて、情報提示処理のためのプログラムの実行を開始し、動作モードがオフモードになるまで継続的に情報提示処理を実行する。
 まずステップS101において、処理部11は、ユーザから入力を受け付ける。すなわち、操作入力部12に対して行われた入力を示す情報を操作入力部12から取得する。ここで、本実施形態においては、サーバ3は、ネットワークサービスを提供するためのウェブサイトを管理する。ユーザは、このウェブサイトに携帯端末5を用いてアクセスすることによって、サーバ3による評価結果を閲覧したり、サーバ3から提示されるリコメンド情報に関する商品等の購入を行ったりすることができる。上記ステップS101においては、処理部11は、上記ウェブサイトに対する各種の要求を行うための入力を受け付ける。この要求とは、例えば、ウェブサイトにログインする要求、ウェブサイト内のウェブページ(評価結果を示すページ、および、商品等の購入を行うページを含む)を閲覧する要求、ならびに、商品等を購入する要求等である。情報提示処理を実行するためのプログラムは、サーバ3によるネットワークサービスを受けるための専用アプリケーションの一部であってもよいし、ウェブページを閲覧するための汎用のブラウザアプリケーションの一部であってもよい。
 ステップS102において、処理部11は、ステップS101で受け付けた入力に応じた処理を実行する。例えば、ウェブサイトにログインする要求が行われた場合、処理部11は、サーバ3に対してログインの要求を行う。また例えば、ウェブサイト内のウェブページを閲覧する要求が行われた場合、処理部11は、要求に係るウェブページの取得をサーバ3に対して要求する。具体的には、処理部11は、上記の要求を示す情報を、通信部10にサーバ3へ送信させる。
 上記の要求に応じて、サーバ3は、要求に応じた処理を実行する(後述するステップS119)。例えば、ログインの要求を受け付けた場合、サーバ3は、ログイン用の画像(ウェブページ)の情報を携帯端末5へ送信する。また例えば、ウェブページの取得の要求を受け付けた場合、サーバ3は、当該ウェブページの情報を携帯端末5へ送信する。
 上記ステップS101およびS102の処理は、ウェブページを提供するサーバに対して各種の要求を行うための従来の処理と同様の方法で行われてもよい。
 ステップS103において、処理部11は、ネットワークサービスに関する情報をサーバ3から受信したか否かを判定する。ステップS103の処理においてサーバ3から受信される情報は、上記ステップS102における要求に対してサーバ3から送信されてくる情報、あるいは、上述した、サーバ3がネットワークサービスを提供するタイミング(図11に示すステップS36)でサーバ3から送信されてくる情報(すなわち、サービスデータ)である。ステップS103の判定結果が肯定である場合、ステップS104の処理が実行される。一方、ステップS103の判定結果が否定である場合、ステップS101の処理が再度実行される。
 ステップS104において、処理部11は、サーバ3から受信した情報をユーザに提示する。すなわち、処理部11は、通信部10によってサーバ3から受信した情報に基づいて、ウェブページ等の画像をディスプレイ17に表示したり、音声をスピーカ18から出力したりする。なお、他の実施形態においては、携帯端末5は、出力装置として振動モータを備えていてもよく、このとき、サーバ3から送信されてくるサービスデータは、携帯端末5の振動を制御する内容を含んでいてもよい。すなわち、携帯端末5は、サービスデータに係る画像、音、および/または振動を出力するものであってもよい。
 ステップS104の次に、処理部11は、ステップS101の処理を再度実行する。以降、動作モードがオフモードに変更されるまで、処理部11は、ステップS101~S104の処理を繰り返し実行する。これによって、ユーザは、1日におけるユーザの所望のタイミングで、サーバ3から提供される情報を閲覧することができるとともに、1日における所定のタイミング(図11に示すステップS36)でサーバ3からプッシュで携帯端末5に情報が提供される。
[5.サーバにおける動作]
 次に、サーバ3で実行される処理の具体例について説明する。上述のように、携帯端末5は各種のQOL要素情報をサーバ3へ送信する。サーバ3は、QOL要素情報に基づいてユーザの状態(QOL等)を評価し、評価結果に応じたネットワークサービスを提供する。以下、サーバ3において実行される処理の詳細について説明する。
 図20は、サーバにおいて実行される処理の流れの一例を示すフローチャートである。図20に示すフローチャートは、携帯端末5のモードによらず(すなわち、覚醒期間であるか睡眠期間であるかによらず)継続的に実行される。
 まずステップS111において、サーバ3は、携帯端末5からQOL要素情報を受信したか否かを判定する。上述のように、携帯端末5は、適宜のタイミングでQOL要素情報をサーバ3へ送信する(図4に示すステップS19、図12に示すステップS54、図14に示すステップS65、図16に示すステップS78、図18に示すステップS94)。これに応じて、サーバ3は携帯端末5からのQOL要素情報を受信し、このとき、ステップS111の判定結果が肯定となる。ステップS111の判定結果が肯定となる場合、ステップS112の処理が実行される。一方、ステップS111の判定結果が否定となる場合、ステップS112の処理がスキップされて、後述するステップS113の処理が実行される。
 ステップS112において、サーバ3は、携帯端末5から受信したQOL要素情報をユーザ毎に記憶(蓄積)する。すなわち、サーバ3は、ユーザに関する各種情報を示すユーザデータを、受信したQOL要素情報を含むように更新する。ここで、サーバ3において記憶されるユーザデータについて説明する。
 図21は、本実施形態におけるサーバにおいて記憶されるユーザデータのデータ構成の一例を示す図である。図21には、1人のユーザについてサーバ3に記憶されるユーザデータを示している。図示しないが、サーバ3は、ネットワークサービスにおける各ユーザについてそれぞれ、図21に示すユーザデータと同様のデータを所定の記憶部に記憶している。
 図21に示すように、ユーザデータは、ユーザ識別データ、通知ユーザデータ、ユーザ状態データ、評価結果データ、および、特典データを含む。サーバ3においては、これら5種類のデータの組がユーザ毎に蓄積される。なお、ユーザデータは、これら5種類のデータ以外に他のデータを含んでいてもよいし、これら5種類のデータのうちの一部のデータを含んでいなくてもよい。
 ユーザ識別データは、ユーザを識別するための識別情報(IDやパスワード等)を示すデータである。本実施形態においては、ユーザに対するネットワークサービスを開始する際に実行される所定の登録処理において、上記識別情報が設定され、設定された識別情報を示すユーザ識別データがサーバ3に記憶される。
 通知ユーザデータは、ユーザ識別データが示すユーザに関する評価結果(またはそれに基づく情報)を提示する他のユーザ(「通知対象ユーザ」と呼ぶ。)を示すデータである。具体的には、通知ユーザデータは、上記通知対象ユーザの識別情報(例えばID)を示す。上述したように、本実施形態においては、あるユーザに関する評価結果に応じたネットワークサービスに係るサービスデータが、評価対象であるユーザ(本人)の他に、他のユーザの端末へ送信される。通知ユーザデータは、サービスデータを送信する他のユーザを示すものである。なお、通知対象ユーザは、ネットワークサービスを受けることができるユーザでなくてもよい。このとき、通知ユーザデータは、サービスデータを送信する送信先を表す情報(例えば、通知対象ユーザが用いる端末のメールアドレス等)を示すものであってもよい。
 ユーザ状態データは、ユーザの各種の状態を示すデータである。図21に示すように、本実施形態においては、ユーザ状態データは、健康データ、活動データ、環境データ、感情データ、および、嗜好データを含む。
 健康データは、ユーザの携帯端末5から取得された健康情報を示すデータである。活動データは、ユーザの携帯端末5から取得された活動情報を示すデータである。環境データは、ユーザの携帯端末5から取得された環境情報を示すデータである。感情データは、ユーザの携帯端末5から取得された感情情報を示すデータである。これら4つのデータは、それぞれ、これまでに取得されたQOL要素情報のうちの複数のQOL要素情報を含む。具体的には、本実施形態においては、上記4つのデータは、例えば、最新のものから過去に所定の保存期間(例えば、3月)に取得されたQOL要素情報を示す。したがって、上記ステップS111で健康情報、活動情報、環境情報、または感情情報が受信された場合、ステップS112において、サーバ3は、受信された情報を含む内容となるように、上記4つのデータのうちで、当該受信された情報に対応するデータを更新する。
 なお、サーバ3は、上記4つのデータに関する上記保存期間は同じであるとする。これによって、サーバ3は、上記保存期間におけるQOL要素情報に基づいてユーザの総合評価を行うことができる。なお、他の実施形態においては、上記4つのデータに関する上記保存期間の長さは任意であり、それぞれ異なっていてもよい。
 また、嗜好データは、ユーザの携帯端末5から取得された嗜好情報を示すデータである。本実施形態においては、嗜好データは、これまでに取得された嗜好情報に基づいて判断される、ユーザが興味を持っているジャンルを示す。具体的には、嗜好データは、上述した嗜好の各ジャンルのそれぞれについて、ユーザの興味の有無を示す。
 したがって、上記ステップS111で嗜好情報が受信された場合、ステップS112において、サーバ3は、受信された情報を反映した内容となるように嗜好データを更新する。例えば、あるジャンルを示す嗜好情報が取得された場合、サーバ3は、当該ジャンルに興味があることを示す内容となるように、必要に応じて嗜好データを更新する。なお、嗜好データは、これまでに取得された嗜好情報に基づいて生成されればよく、取得された最新の嗜好情報がすぐに反映されていなくてもよい。例えば、サーバ3は、所定期間(例えば1月)に所定回数(例えば、5回)以上、同じジャンルを示す嗜好情報が取得された場合に、当該ジャンルに興味があることを示す内容となるように嗜好データを更新してもよい。
 また、他の実施形態においては、嗜好データは、上記健康データ等と同様、最新のものから過去に所定の保存期間(例えば、3月)に取得された嗜好情報を示すものであってもよい。
 なお、サーバ3には、ユーザ状態データに加えて、ユーザ状態データが表す情報を算出するために用いられた情報が記憶されてもよい。すなわち、携帯端末5は、QOL要素情報を送信するとともに、QOL要素情報を算出するために用いられた情報をサーバ3へ送信してもよく、サーバ3は、受信した当該情報を記憶してもよい。また、サーバ3に記憶される、QOL要素情報を算出するために用いられた情報は、例えば後述するステップS119の処理(サーバ3から携帯端末5へ情報を送信する処理)によって携帯端末5においてユーザに提示されてもよい。
 なお、図21に示す評価結果データおよび特典データの詳細については後述する。
 図20の説明に戻り、ステップS113において、サーバ3は、上記評価タイミングが到来したか否かを判定する。本実施形態においては、この判定は、予め定められた所定時刻になったか否かによって行われる。ステップS113の判定結果が肯定である場合、ステップS114~S117の一連の処理が実行される。一方、ステップS113の判定結果が否定である場合、ステップS114~S117の一連の処理がスキップされ、後述するステップS118の処理が実行される。
 ステップS114において、サーバ3は、携帯端末5から取得されたQOL要素情報に基づいてユーザの評価を行う。ステップS114の処理においては、ユーザの健康、環境、および、感情に関する評価が行われる。すなわち、サーバ3は、上述した健康指標、環境指標、および、感情指標という3つの要素指標を算出する。以下、これらの要素指標の算出方法について説明する。
(健康指標の算出)
 まず、健康指標の算出方法(健康に関する評価方法)の具体例について説明する。本実施形態において、健康指標は、ユーザの覚醒時に取得される健康情報(睡眠期間に対応する健康情報)と、ユーザの覚醒期間において取得される活動情報とに基づいて算出される。より具体的には、サーバ3は、まず活動情報から覚醒期間における疲労度(上述した、睡眠期間中における生体情報から算出される第1疲労度と区別して、「第2疲労度」と呼ぶ。)を算出し、算出された第2疲労度と、上記健康情報とに基づいて健康指標を算出する。
 本実施形態において、サーバ3は、活動情報に関する条件と第2疲労度の変化量とを関連付けたテーブルを予め記憶しておき、当該テーブルを用いて第2疲労度を算出する。図22は、第2疲労度を算出するために用いられるテーブルの一例を示す図である。図22に示すように、テーブルは、活動情報に関する条件と、当該条件が満たされる場合における第2疲労度の変化量とを関連付ける。図22に示す例においては、テーブルは、活動内容が「仕事」であり活動量が「8~10時間」であることを示す条件と、第2疲労度の変化量として「+10」とを関連付けている。これは、活動内容が「仕事」であり、活動量が8時間以上10時間未満である活動情報が取得された場合、第2疲労度を10増加させることを意味している。また、図22に示すテーブルは、活動内容が「マッサージ」であり活動量が指定されないことを示す条件と、第2疲労度の変化量として「-20」とを関連付けている。これは、活動内容が「マッサージ」である場合、第2疲労度を20減少させることを意味している。このように、上記テーブルにおいては、第2疲労度を増加させる条件と、第2疲労度を減少させる条件との両方が含まれていてもよいし、どちらか一方の条件のみが含まれていてもよい。
 サーバ3は、取得された活動情報について、上記テーブルを参照することによって、対応する第2疲労度の変化量を算出する。例えば、活動内容が「移動(徒歩)」であり活動量が「10分」である活動情報が取得された場合、サーバ3は、この活動情報に対応する(第2疲労度の)変化量として「+10」を算出する。本実施形態において、サーバ3は、所定期間(本実施形態においては今日1日の間)に取得された活動情報のそれぞれについて、対応する変化量を算出する。
 さらに、サーバ3は、予め定められる基本疲労度(例えば“0”)と、算出された第2疲労度の変化量とに基づいて、最終的な第2疲労度を算出する。具体的には、最終的な第2疲労度は、基本疲労度に対して、第2疲労度の変化量に応じた増減を加えることによって算出される。例えば、基本疲労度を「0」であるとした場合において、「+10」、「+15」、および「-10」という変化量が算出された場合、最終的な第2疲労度は「+15」と算出される。なお、サーバ3は、健康情報により示される第1疲労度(疲労指標)の値を、上記基本疲労度として用いてもよい。
 第2疲労度を算出すると、サーバ3は、第2疲労度と、健康情報とに基づいて、健康指標を算出する。健康指標は、各疲労度(第1疲労度および第2疲労度)の値を反映して算出される。例えば、健康指標は、各疲労度(第1疲労度および第2疲労度)が小さいほど(健康指標が)大きくなるように算出される。また、健康指標は、健康情報により示される睡眠指標の値を反映して算出される。例えば、健康指標は、睡眠の質が良いことを睡眠指標が示すほど(健康指標が)高くなるように算出される。例えば、サーバ3は、各疲労度にそれぞれ所定の重みを付して加算した値を総合疲労度として算出し、算出された総合疲労度を、睡眠指標に応じて増減することによって、健康指標を算出してもよい。なお、本実施形態においては、健康指標は、0から100までの整数として算出されるものとし、健康指標の数値が大きいほど、健康であることを表すものとする。
 なお、他の実施形態においては、健康指標は、他のQOL要素情報に基づいて算出されてもよい。例えば、健康指標は、上記活動情報に加えて、環境情報に基づいて算出されてもよい。すなわち、サーバ3は、活動情報が同じ内容であっても、環境情報に応じて異なる値の健康指標を算出してもよい。例えば、サーバ3は、ユーザにとって環境が相対的に良くないことを環境情報が示す場合(例えば、気温や湿度が高すぎる場合)には、ユーザにとって環境が相対的に良いことを環境情報が示す場合(例えば、気温や湿度が適度な値である場合)に比べて、第2疲労度が高くなるように算出してもよい。
 また、他の実施形態においては、健康指標は、上記活動情報に加えて、嗜好情報に基づいて算出されてもよい。例えば、サーバ3は、活動情報が運動を示す場合において、ユーザが運動に興味があることを嗜好情報が示すならば、第2疲労度の値を相対的に低く算出し、ユーザが運動に興味がないことを嗜好情報が示すならば、第2疲労度の値を相対的に高く算出するようにしてもよい。本実施形態においては、嗜好情報はユーザに関する評価(QOL指標の算出)には用いられないものとしたが、上記のように、嗜好情報がユーザに関する評価(QOL指標の算出)に用いられてもよい。
(環境指標の算出)
 次に、環境指標の算出方法(環境に関する評価方法)の具体例について説明する。本実施形態においては、環境指標は、ユーザの覚醒期間において取得される環境情報に基づいて算出される。本実施形態においては、サーバ3は、環境情報に関する条件と環境指標の変化量とを関連付けたテーブルを予め記憶しておき、当該テーブルを用いて環境指標を算出する。
 図23は、環境指標を算出するために用いられるテーブルの一例を示す図である。図23に示すように、テーブルは、環境情報に関する条件と、当該条件が満たされる場合における環境指標の変化量とを関連付ける。また、環境情報に関する条件は、活動内容に関する項目(条件)と、環境値に関する項目(条件)とを含む。図23に示す例においては、テーブルは、活動内容が「移動(徒歩)」であり、かつ、環境値が「気温:30℃以上33℃未満、かつ、湿度:60%以上70%未満」であることを示す条件と、環境指標の変化量として「-15」とを関連付けている。これは、活動内容が「移動(徒歩)」であり、環境値が「気温:30℃以上33℃未満、かつ、湿度:60%以上70%未満」の条件を満たす環境情報が取得された場合、環境指標を15減少させることを意味している。また、上記テーブルは、活動内容が「仕事」であり、かつ、環境値が「気温:28℃未満、かつ、湿度:60%未満」であることを示す条件と、環境指標の変化量として「+10」とを関連付けている。これは、活動内容が「仕事」であり、環境値が「気温:28℃未満、かつ、湿度:60%未満」の条件を満たす環境情報が取得された場合、環境指標を10増加させることを意味している。このように、上記テーブルにおいては、環境指標を増加させる条件と、環境指標を減少させる条件との両方が含まれていてもよいし、どちらか一方の条件のみが含まれていてもよい。
 サーバ3は、取得された環境情報について、上記テーブルを参照することによって、対応する環境指標の変化量を算出する。例えば、活動内容が「移動(徒歩)」であり、環境値が「気温:31℃、かつ、湿度65%」である環境情報が取得された場合、サーバ3は、この環境情報に対応する(環境指標の)変化量として「-15」を算出する。本実施形態において、サーバ3は、所定期間(本実施形態においては今日1日の間)に取得された環境情報のそれぞれについて、対応する変化量を算出する。
 さらに、サーバ3は、予め定められる基本値(例えば“50”)と、算出された環境指標の変化量とに基づいて、環境指標を算出する。具体的には、最終的な環境指標は、基本値に対して、環境指標の変化量に応じた増減を加えることによって算出される。例えば、基本値を「50」であるとした場合において、「-10」、「-15」、および「+5」という変化量が算出された場合、最終的な環境指標は「30」と算出される。なお、上記基本値は、予め定められた固定値であってもよいし、覚醒期間中に検出される環境センサ情報に基づいて算出されてもよい。また、ユーザがいる場所の天気をサーバ3が取得することが可能である場合、上記基本値は、天気に応じて可変に設定されてもよい。つまり、サーバ3は、ユーザがいる場所の天気を考慮して環境指標を算出してもよい。なお、本実施形態においては、環境指標は、0から100までの整数として算出されるものとし、環境指標の数値が大きいほど、ユーザの周囲の環境が快適であることを表すものとする。
 また、他の実施形態においては、環境指標は、季節および/または地域(位置情報)に基づいて算出されてもよい。例えば、サーバ3は、現在日時の情報と携帯端末5の位置情報とに基づいて、地域および季節を特定してもよい。サーバ3は、環境指標の変化量を算出するためのテーブルとして、地域および季節毎に複数種類のテーブルを用意しておき、特定された地域および季節に対応するテーブルを用いて、上記変化量を算出するようにしてもよい。
(感情指標の算出)
 次に、感情指標の算出方法(感情に関する評価方法)の具体例について説明する。本実施形態においては、感情指標は、ユーザの覚醒期間において取得される感情情報に基づいて算出される。上述のように、本実施形態においては、感情情報は、3つまたは5つの種類の感情(怒り、喜び、悲しみ、憎しみ、楽しみ)について、それぞれの感情の度合いを示す指標を含む。サーバ3は、各指標に基づいて感情指標を算出する。具体的には、サーバ3は、否定的な種類の感情(本実施形態では、怒り、悲しみ、および憎しみ)については、これらの指標が大きいほど(感情指標が)小さくなるように、感情指標を算出する。また、サーバ3は、肯定的な種類の感情(本実施形態では、喜びおよび楽しみ)については、これらの指標が大きいほど(感情指標が)大きくなるように、感情指標を算出する。例えば、サーバ3は、予め定められた基本値(例えば“50”)に対して、否定的な種類の感情を示す指標に応じた量を減算し、肯定的な種類の感情を示す指標に応じた量を加算することによって、感情指標を算出してもよい。上記基本値は、予め定められた固定値であってもよいし、ユーザのスケジュール情報(例えば、休日かどうか、忙しいかどうか等を表す情報)、活動情報、および/または、天気に応じて可変に設定されてもよい。基本値は、例えば、休日であれば相対的に高く、仕事がある日であれば相対的に低く設定されてもよい。また例えば、基本値は、遊び(レジャー)の活動をユーザが行っている日は高く、仕事の活動を行っている日は低く設定されてもよい。また例えば、基本値は、天気の良い日は高く、天気の悪い日は低く設定されてもよい。以上のように、本実施形態においては、感情指標は、ユーザの感情が肯定的なものであるほど大きくなるように、算出される。また、本実施形態においては、感情指標は、0から100までの整数として算出されるものとする。
 ステップS115において、サーバ3は、ステップS114で算出された各要素指標に基づいて総合指標(QOL指標)を算出する。QOL指標は、各要素指標を反映した大きさとなるように算出する任意の方法で算出されてよい。例えば、本実施形態においては、サーバ3は、各要素指標にそれぞれ所定の重みを付して加算した値を、QOL指標として算出する。本実施形態においては、QOL指標は、0から100までの整数として算出されるものとする。
 以上のように、ステップS114およびS115において各指標が算出されると、サーバ3は、算出した各指標を示す評価結果データを記憶(蓄積)する。図21に示すように、評価結果データは、健康指標を示す健康指標データ、環境指標を示す環境指標データ、感情指標を示す感情指標データ、および、QOL指標を示すQOL指標データを含む。本実施形態において、これら4つの各指標データは、例えば、最新のものから過去に所定の保存期間(例えば、3月)に算出された各指標を示す。したがって、上記ステップS114およびS115で各指標が算出された場合、サーバ3は、新たに算出された各指標を含む内容となるように、各指標データを更新する。
 ステップS116において、サーバ3は、評価結果に応じたネットワークサービスの内容を特定する。すなわち、サーバ3は、ステップS114および/またはS115における評価結果に基づいて、ユーザに提供すべきネットワークサービスの内容を特定する。本実施形態においては、評価結果を提示するサービスは、評価結果の内容によらず提供されるものとする。また、評価結果の提示以外のサービス(アドバイス情報、リコメンド情報、および、コンテンツの提供、ならびに、特典の付与に関するサービス)については、評価結果に応じて、提供の有無、および、提供内容が特定される。
 本実施形態においては、サーバ3は、評価結果(各指標)に関する条件と、提供するサービス内容とを関連付けたテーブルを予め記憶しておき、当該テーブルを用いてサービス内容を特定する。図24は、評価結果に応じたネットワークサービスを決定するために用いられるテーブルの一例を示す図である。図24に示すように、テーブルは、各指標(QOL要素指標およびQOL指標)に関する条件と、当該条件が満たされる場合において提供すべきサービス内容とを関連付ける。なお、図24において、“-”は、条件が設定されないことを示す。
 図24に示す例においては、テーブルは、QOL指標が30以下であることを示す条件と、アドバイスAのアドバイス情報および商品Aに関するリコメンド情報とが関連付けた組を含む(図24に示す(a))。このように、評価結果に関する条件は、QOL指標に関する条件を含んでいてもよい。つまり、サーバ3は、QOL指標に基づいてネットワークサービスの内容を特定してもよい。
 また、図24に示す例においては、テーブルは、健康指標が30以下であり、かつ、感情指標が30以下であることを示す条件と、アドバイスBのアドバイス情報および商品Bに関するリコメンド情報とが関連付けた組を含む(図24に示す(b))。このように、評価結果に関する条件は、各指標(要素指標および/または総合指標)の組み合わせに関する条件を含んでいてもよい。つまり、サーバ3は、2以上の指標に基づいてネットワークサービスの内容を特定してもよい。
 また、図24に示す例においては、テーブルは、健康指標が30以下であり、かつ、環境指標が30以下であり、かつ、ユーザが運動に興味を持っていることを嗜好情報が示すことを示す条件と、アドバイスCのアドバイス情報とが関連付けた組を含む(図24に示す(d))。このように、評価結果に関する条件は、嗜好情報に関する条件を含んでいてもよい。つまり、サーバ3は、評価結果(各指標)に加えて、嗜好情報に基づいてネットワークサービスの内容を特定してもよい。
 また、図24に示す例においては、テーブルは、健康指標が70以上であることを示す条件と、ポイント加算とが関連付けた組を含む(図24に示す(f))。このように、サーバ3は、健康に関する評価結果に基づいて(より具体的には、健康に関する評価が所定の基準より良い結果であったことを条件として)ユーザに特典を付与するものであってもよい。
 サーバ3は、算出された評価結果に基づいて、上記テーブルを参照することによって、提供すべきネットワークサービスの内容を特定する。すなわち、算出された評価結果が、上記テーブルに含まれる条件を満たす場合、サーバ3は、当該条件に関連付けられるネットワークサービスを提供する。なお、図示しないが、サーバ3は、特定されたサービスを示すデータをユーザ毎に上記記憶部に蓄積記憶しておく。つまり、サーバ3は、ユーザに対して提供されたサービス内容を示す情報を記憶しておく。
 なお、サーバ3は、ユーザに関する情報(ユーザ状態データおよび評価結果データ)を記憶部に蓄積している、すなわち、ユーザに関する過去の情報も記憶している。そのため、他の実施形態においては、サーバ3は、あるユーザに提供すべきサービスデータの内容を、記憶部に蓄積された、当該ユーザに関する過去の情報(ユーザ状態データおよび/または評価結果データ)に基づいて決定するようにしてもよい。例えば、サーバ3は、過去1週間の評価結果(例えば、過去1週間の指標の平均値)に基づいてサービス内容を決定してもよいし、今回の評価結果と過去の評価結果との差(例えば、先週に比べて今週の指標が変化した度合い)に基づいてサービス内容を決定してもよい。
 また、サーバ3は、複数のユーザに関する情報(ユーザ状態データおよび評価結果データ)をユーザ毎に記憶部に蓄積している。したがって、サーバ3は、あるユーザに提供すべきサービスデータの内容を、記憶部に蓄積された、当該ユーザとは異なる他のユーザに関する情報(ユーザ状態データおよび/または評価結果データ)に基づいて決定してもよい。例えば、サーバ3は、所定の複数のユーザについて指標の平均値を算出し、あるユーザの指標と平均値との関係に基づいてサービス内容を決定してもよい。なお、サービス内容を決定するために情報が用いられるユーザ(平均値を算出する対象となるユーザ)は、ネットワークサービスに加入する全ユーザに限らず、所定の条件を満たすユーザ(例えば、年齢層が同じユーザ、同じ地域に住むユーザ、算出されたある指標が同じ範囲であるユーザ)であってもよい。
 また例えば、サーバ3は、あるユーザに提供すべきサービスデータの内容を、当該ユーザとは異なる他のユーザに関する過去の情報(ユーザ状態データおよび評価結果データ)に基づいて決定してもよい。例えば、サーバ3は、所定の複数のユーザについて、現在から過去の所定期間における所定の指標に関する変化(例えば、健康指標の低下度合い等)を算出する。そして、サーバ3は、算出された変化が、サービスを提供すべき上記あるユーザと同じ傾向を有する(例えば、1月の間に健康指標が所定の割合以上低下している等)他のユーザを特定する。さらに、サーバ3は、特定された他のユーザに対して過去に提供されたサービス内容に基づいて、当該あるユーザに提供すべきサービス内容を決定する。このように、サーバ3は、他のユーザの過去の情報を用いることによって、指標の変化がユーザと同じ傾向を有する他のユーザに提供されたサービス内容を参考にして、当該ユーザに提供すべきサービス内容を決定してもよい。
 また、上記ステップS116において、サーバ3は、評価結果が所定の基準よりも改善されたか否かに基づいてサービス内容を特定するようにしてもよい。例えば、サーバ3は、評価結果(ステップS114およびS115で算出される各種の指標)が所定の基準よりも改善されたか否かを判定し、評価結果が所定の基準よりも改善されたと判定されたことを条件として、ユーザに対して所定のネットワークサービスを提供する(例えば、特典を付与する)ようにしてもよい。上記所定の基準の具体的な内容は任意であるが、例えば、所定の値(固定値)であってもよいし、過去の評価結果(指標)に基づく値であってもよい。例えば、サーバ3は、先週1週間の平均値(あるいはその平均値に所定値を加算した値)を基準として用いてもよい。つまり、今回算出された指標が先週1週間の当該指標の平均値よりも高いことを条件として、サーバ3はユーザに特典を付与するようにしてもよい。
 また、本実施形態において、サーバ3は、サービスデータ(アドバイス情報等)を携帯端末5へ繰り返し提供(送信)する。したがって、あるサービスを提供した後のユーザの評価結果に基づいて、さらにサービスが提供される。これによれば、アドバイス情報等のサービスデータが繰り返し(継続的に)ユーザに提供されるので、QOLの改善をユーザに対して効果的に促すことができる。
 なお、サーバ3、あるサービスデータを携帯端末5へ提供した前後における評価結果を比較し、比較の結果に基づいて、新たに提供するサービス(追加のサービス)の内容を特定してもよい。すなわち、サーバ3は、比較の結果、評価結果が改善していると判定する場合と、改善していないと判定する場合とで、異なる内容のサービスを提供してもよい。例えば、サーバ3は、あるアドバイス情報を提供した前後における評価結果(指標)の差を算出し、当該アドバイス情報の提供後に提供されるアドバイス情報の内容を、算出された差に基づいて特定してもよい。
 なお、他の実施形態においては、サーバ3は、評価結果から、提供すべきサービス内容を決定する条件(上記実施形態においては、図24に示すテーブル)を、1以上のユーザの評価結果に基づいて更新してもよい。例えば、サーバ3は、アドバイス情報をユーザに提示した場合、アドバイス情報を提示する前後における当該ユーザの評価結果を比較し、比較の結果に基づいて当該アドバイス情報に関する上記条件を更新するようにしてもよい。例えば、サーバ3は、上記比較の結果、アドバイス情報の提示前後においてユーザの評価結果(例えばQOL指標)が改善したと判断した場合には、当該アドバイス情報が提示されやすくなるように上記条件を更新してもよい。また、条件を更新するか否かの判定は、複数のユーザに関する評価結果に基づいて行われてもよい。例えば、あるアドバイス情報が提示された複数のユーザについて、評価結果が改善したユーザが所定数以上(あるいは所定の割合以上)であった場合には、サーバ3は、当該アドバイス情報が提示されやすくなるように上記条件を更新してもよい。これによれば、アドバイス情報を提供する条件を実際の効果に応じて変更することができるので、より適切なアドバイス情報をユーザに提示することができる。
 なお、サーバ3は、アドバイス情報以外の他のサービス(リコメンド情報、および/または、コンテンツの提供)についても、アドバイス情報と同様、1以上のユーザの評価結果に基づいて上記条件を更新することが可能である。例えば、リコメンド情報については、サーバ3は、リコメンド情報によってユーザが商品を購入した前後における評価結果を比較し、比較の結果に基づいて当該リコメンド情報に関する条件を更新するようにしてもよい。また、コンテンツの提供については、サーバ3は、コンテンツが提供された前後における評価結果を比較し、比較の結果に基づいて当該コンテンツの提供に関する条件を更新するようにしてもよい。
 ステップS117において、サーバ3は、提供すべきネットワークサービスに関するサービスデータを携帯端末5へ送信する。すなわち、サーバ3は、サービスデータとして、上記ステップS114およびS115による評価結果を表すデータを携帯端末5へ送信する。また、サーバ3は、ステップS116で特定したサービス内容に関するサービスデータを携帯端末5へ送信する。例えば、アドバイス情報を提示するサービスを提供する場合、サーバ3は、アドバイス情報を示すデータをサービスデータとして携帯端末5へ送信する。また例えば、リコメンド情報を提示するサービスを提供する場合、サーバ3は、リコメンド情報を示すデータをサービスデータとして携帯端末5へ送信する。また例えば、コンテンツを提供するサービスを提供する場合、サーバ3は、当該コンテンツのデータをサービスデータとして携帯端末5へ送信する。また例えば、特典を付与するサービスを提供する場合、サーバ3は、当該特典を付与する通知を示すデータをサービスデータとして携帯端末5へ送信する。
 なお、サーバ3は、ユーザに対して付与される特典を示す特典情報のデータ(特典データ)をユーザ毎に記憶部に記憶しておく(図21参照)。上記ステップS117において、特典を付与するサービスを提供する場合、サーバ3は、記憶部に記憶される特典データを、付与される特典を示す内容となるように更新する。この特典データは、特典が実際に付与される際に、特典に関する処理(特典を実際に付与する処理。例えば、課金処理や購入処理等)を実行する情報処理装置(後述するショップサーバや課金サーバ)によって参照される。これによって、特典データを考慮して課金あるいは料金計算が行われ、ユーザによって特典が利用されたことになる。
 例えば、特典が商品等の購入に関するものである場合には、ユーザが次に商品等を購入した際に、ショップサーバが上記特典データを参照する。ここで、ショップサーバは、商品等の購入、課金、および提供を管理するサーバであり、サーバ3と同じサーバであってもよいし、異なるサーバであってもよい。例えば、ショップサーバは、ユーザが商品等を購入した場合、購入された商品等の金額から、特典データに応じて金額を割り引いた額を、課金額として算出する。なお、特典データは、商品等の購入に用いることができるポイントを示してもよいし、割引額を示してもよい。
 また例えば、特典が携帯端末5の利用料金に関するものである場合には、利用料金を課金する際に、課金サーバが上記特典データを参照する。課金サーバは、携帯端末5の利用料金を計算して課金処理を行うサーバであり、サーバ3と同じサーバであってもよいし、異なるサーバであってもよい。例えば、課金サーバは、携帯端末5の利用料金を計算する際、既定の利用料金から、特典データに応じて金額を割り引いた額を利用料金として算出する。なお、特典データは、利用料金に用いることができるポイントを示してもよいし、割引額を示してもよい。
 なお、本実施形態においては、サーバ3は、携帯端末5における通信機能(携帯電話通信網を介して通信を行う機能。当該通信による通話機能を含む。)の利用と、携帯端末5におけるネットワークサービスの利用とを合わせて利用料金を算出する。したがって、ユーザは通話料金とネットワークサービスの利用料金とをまとめて支払うことができ、便利である。具体的には、サーバ3は、上記利用料金を示す利用料金データを上記記憶部にユーザ毎に記憶しておく。課金サーバは、サーバ3の記憶部に記憶されている利用料金データを参照して課金処理を実行する。なお、利用料金の算出方法は任意であり、サーバ3は、単位期間あたりの利用料金を固定にしてもよいし、通信量および/またはネットワークサービスの利用量に応じて利用料金を算出してもよい。
 本実施形態においては、上記ステップS117において、サーバ3は、サービスデータを、評価の対象となるユーザの携帯端末5へ送信するとともに、当該ユーザに対して設定される上記通知対象ユーザの端末へ送信する。すなわち、サーバ3は、ユーザデータに含まれる通知ユーザデータにより示される通知対象ユーザの端末へサービスデータを送信する。詳細は後述するが、評価対象となるユーザの携帯端末5へ送信されるサービスデータと、そのユーザに設定される通知対象ユーザの端末へ送信されるサービスデータとは、同じであってもよいし、異なっていてもよい。つまり、サーバ3は、評価対象となるユーザと通知対象ユーザとに対して、異なる内容のネットワークサービスを提供してもよい。
 ステップS118において、サーバ3は、ユーザの携帯端末5からの要求があったか否かを判定する。すなわち、上記ステップS102において携帯端末5から送信される要求を受信したか否かを判定する。ステップS118の判定結果が肯定である場合、ステップS119の処理が実行される。一方、ステップS118の判定結果が否定である場合、ステップS111の処理が再度実行される。
 ステップS119において、サーバ3は、ステップS118で受信した要求に応じた処理を実行する。例えば、上記要求がウェブサイトへのログインの要求である場合、サーバ3は、ログイン用の画像(ウェブページ)の情報を携帯端末5へ送信する。また例えば、上記要求がウェブページの取得の要求である場合、サーバ3は、当該ウェブページの情報を携帯端末5へ送信する。なお、携帯端末5においては、サーバ3における上記ステップS119の処理に応じて、上述したステップS103およびS104の処理が実行される。
 ステップS119の次に、サーバ3は、上記ステップS111の処理を再度実行する。サーバ3は、ステップS111~S119の一連の処理を繰り返し実行する。なお、サーバ3は、ネットワークサービスを受ける複数のユーザが持つ各携帯端末を対象として、上記ステップS111~S119の一連の処理を実行する。
[6.提示される情報の具体例]
 次に、以上で説明した情報処理システム1の処理動作によってユーザに提示される情報の具体例について説明する。上述したように、1日における所定のタイミングで、サーバ3はユーザの評価を行い、評価結果に応じたネットワークサービスに係るサービスデータを携帯端末5へ送信する。携帯端末5においては、受信したサービスデータに基づいて情報がユーザに提示される。
 図25は、携帯端末5において提示される情報の一例を示す図である。本実施形態において、上述したステップS36(ステップS117)において、サーバ3から携帯端末5へサービスデータが送信されると、携帯端末5は、上述のステップS37(ステップS104)において、受信されたサービスデータに基づいて、例えば図25に示す画像をディスプレイ17に表示する。
 図25に示すように、ディスプレイ17には、QOLスコア画像50と、顔画像51とが表示される。QOLスコア画像50は、総合評価の評価結果を表し、具体的には上記QOL指標の数値(スコア)を表す。なお、QOLスコア画像50は、表示上は、ユーザにとってわかりやすくする目的で「(今日の)QOL指数」と表示されている。
 また、顔画像51は、QOL指標に応じて表示形態(具体的には、顔の表情)が変化するように表示される。例えば、QOL指標が中程度である場合は、通常の表情を表す顔画像が表示され、QOL指標が相対的に高い(良い数値である)場合は、笑顔の表情を表す顔画像が表示され、QOL指標が相対的に低い(悪い数値である)場合は、図25に示すような疲れた表情を表す顔画像が表示される。このような顔画像51が評価結果として表示されることによって、評価結果であるQOLの度合いを直感的にユーザに認識させることができる。
 上記のように、評価結果であるQOL指標の数値が算出される場合、その数値自体がユーザに提示されてもよいし、その数値の大きさを表す情報がユーザに提示されてもよい。このような情報を提示することによって、評価結果であるQOLの度合いをわかりやすくユーザに提示することができる。なお、提示される情報は、上記のスコアや画像の他、疲労度のレベルを表すものであってもよい。例えば、他の実施形態においては、QOL指標をAからEの5段階で表す情報が提示されてもよい。
 図25に示すように、ディスプレイ17には、各種のスコア画像52~54が表示される。これらスコア画像52~54は、上述した各要素指標の数値(スコア)を表す。健康スコア画像52は、ユーザの健康に関する評価結果である健康指標の数値を表し、表示上は、ユーザにとってわかりやすくする目的で「元気度」と表示されている。環境スコア画像53は、ユーザの環境に関する評価結果である環境指標の数値を表し、表示上は、ユーザにとってわかりやすくする目的で「快適度」と表示されている。感情スコア画像54は、ユーザの環境に関する評価結果である感情指標の数値を表し、表示上は、ユーザにとってわかりやすくする目的で「感情度」と表示されている。
 また、ディスプレイ17には、各スコア画像52~54に関連付けて詳細ボタン55~57が表示される。詳細ボタン55は、健康スコア画像52に関連付けられ、健康指標についてより詳細な情報を表示するためのボタンである。詳細ボタン56は、環境スコア画像53に関連付けられ、環境指標についてより詳細な情報を表示するためのボタンである。詳細ボタン57は、感情スコア画像54に関連付けられ、感情指標についてより詳細な情報を表示するためのボタンである。ユーザが各詳細ボタン55~57に対して入力を行う(例えばタッチする)ことに応じて、携帯端末5は、図25に示す画面を切り替えて、詳細ボタンに関連付けられた指標について詳細な情報(図26参照して後述する)をディスプレイ17に表示する。
 また、ディスプレイ17には、アドバイス情報を表すアドバイス画像58が表示される。アドバイス画像58は、同時に提示(表示)される評価結果(各スコア画像50,52~54)に対応するアドバイス情報を表す。アドバイス情報は、同時に提示される複数の評価結果のうち、総合評価に対応するアドバイスを表すものであってもよいし、いくつか(1つでもよい)の評価に対応するアドバイスでもよい。例えば、図25に示すアドバイス画像58は、健康スコア画像52により示される健康指標が比較的低いことに関連して、健康指標を改善するためのアドバイスを表している。
 また、ディスプレイ17には、リコメンド情報ボタン59が表示される。リコメンド情報ボタン59は、同時に提示(表示)される評価結果(各スコア画像50,52~54)に対応するリコメンド情報を表示するためのボタンである。すなわち、ユーザがリコメンド情報ボタン59に対して入力を行うことに応じて、携帯端末5は、図25に示す画面を切り替えてリコメンド情報をディスプレイ17に表示する。なお、他の実施形態においては、リコメンド情報ボタン59に代えて、評価結果とともに、当該評価結果に対応するリコメンド情報が表示されてもよい。
 次に、上記の詳細ボタンに対する入力が行われた場合に携帯端末5に表示される画像の具体例について説明する。図26は、図25に示す詳細ボタン55に対する入力が行われた場合にディスプレイ17に表示される画像の一例を示す図である。
 図26においては、ディスプレイ17には、健康スコア画像61が表示される。健康スコア画像61は、図25に示す健康スコア画像52と同様、健康指標の数値を表す。ただし、図26に示す健康スコア画像61は、評価が行われた日付けの情報を含んでいる。
 また、ディスプレイ17には、睡眠時スコア画像62と、覚醒時スコア画像63とが表示される。睡眠時スコア画像62は、睡眠期間に検出される情報(生体情報)から算出される健康指標(「睡眠時健康指標」と呼ぶ)を表す。睡眠時健康指標は、本実施形態においては、サーバ3によって上述の健康情報に基づいて算出される。より具体的には、睡眠時健康指標は、健康情報に含まれる疲労指標(第1疲労度)および睡眠指標に基づいて算出され、例えば、疲労指標と睡眠指標とのそれぞれに所定の重みを付して合算した値として算出される。
 覚醒時スコア画像63は、覚醒期間に検出される情報(位置情報や環境情報)から算出される健康指標(「覚醒時健康指標」と呼ぶ)を表す。覚醒時健康指標は、本実施形態においては、サーバ3によって上述の活動情報に基づいて算出される。例えば、覚醒時健康指標としては、活動情報に基づいて算出される上述の第2疲労度の数値が用いられてもよい。
 なお、上記スコア画像61~63も健康スコア画像52と同様、表示上は、ユーザにとってわかりやすくする目的で「元気度」と表示されている。
 睡眠時スコア画像62および覚醒時スコア画像63にはそれぞれ、詳細ボタンが含まれている(図26参照)。これらの詳細ボタンに対する入力が行われた場合、携帯端末5は、各スコア画像が表す指標についてより詳細な情報を表示する。例えば、携帯端末5は、指標の算出に用いられた情報(例えば、睡眠時健康指標であれば各種の睡眠指標、あるいは、覚醒時健康指標であれば、それを算出するために用いられた活動情報)を表示してもよい。
 また、ディスプレイ17には、グラフ表示ボタン64が表示される。グラフ表示ボタン64は、健康指標に関するグラフを表示するためのボタンである。すなわち、ユーザがグラフ表示ボタン64に対して入力を行うことに応じて、携帯端末5は、図26に示す画面を切り替えて上記グラフをディスプレイ17に表示する。例えば、グラフは、所定期間(例えば、最近1週間)における、健康指標、睡眠時健康指標、および、覚醒時健康指標の変化を示すグラフであってもよい。
 また、ディスプレイ17には、リコメンド情報ボタン65が表示される。リコメンド情報ボタン65は、図25に示すリコメンド情報ボタン59と同様、リコメンド情報を表示するためのボタンである。ただし、図26に示すリコメンド情報ボタン65は、健康指標(睡眠時健康指標または覚醒時健康指標でもよい)に関するリコメンド情報を表示するためのボタンである。すなわち、ユーザがリコメンド情報ボタン65に対して入力を行うことに応じて、携帯端末5は、図26に示す画面を切り替えて、健康指標を改善するための商品等に関するリコメンド情報をディスプレイ17に表示する。なお、リコメンド情報ボタン65は、評価結果に応じて提示されるリコメンド情報が、健康指標に関する内容である場合(健康指標を改善するための商品等に関する場合)に表示され、健康指標以外の指標に関する内容である場合には表示されないようにしてもよい。
 次に、ネットワークサービスとしてユーザに特典が付与される場合に携帯端末5に表示される画像の具体例について説明する。図27は、ユーザに特典が付与される場合にディスプレイ17に表示される画像の一例を示す図である。
 図27に示すように、特典が付与される場合においても他のサービスが提供される場合と同様、各画像51~59がディスプレイ17に表示される。ただし、図27においては、アドバイス画像58は、アドバイス情報ではなく、特典が付与されたことを通知するメッセージを表す。このように、特典が付与される場合には、特典が付与された旨の通知がユーザに対して提示されてもよい。
 次に、通知対象ユーザの端末に表示される画像の具体例について説明する。図28は、通知対象ユーザの端末に表示される画像の一例を示す図である。図28に示す画像は、評価対象のユーザの携帯端末5に、図25に示す画像が表示される場合において、通知対象ユーザの端末に表示される。
 図28に示すように、通知対象ユーザの端末においても、評価対象のユーザの携帯端末5と同様に、各画像51~59が表示される。なお、通知対象ユーザの端末においては、通知対象ユーザの名前を示す画像66が表示される点で、図25に示す画像と異なっている。また、通知対象ユーザの端末においては、アドバイス画像58により示されるアドバイス情報の内容が、評価対象のユーザの携帯端末5に表示される内容とは異なっている。このように、評価対象のユーザ本人に対するアドバイスと、ユーザ本人ではない通知対象ユーザに対するアドバイスとを異ならせることによって、より適切なアドバイスを提示することができる。
 このように、サーバ3は、アドバイス情報(リコメンド情報についても同様)を、提示されるユーザによって異ならせるようにしてもよい。例えば、携帯端末5のユーザが、仕事で上司に怒られたために感情指標が低い結果となった場合を考える。この場合、サーバ3は、ユーザ本人に対しては、「深呼吸しましょう」といったアドバイス情報を提示したり、ストレス解消グッズを紹介するリコメンド情報を提示したりする一方、通知対象ユーザに対しては、「気分を盛り上げてあげましょう。」あるいは「本人が好きな料理を作ってあげましょう。」といったアドバイス情報を提示してもよい。
 また、サーバ3は、通知対象ユーザと評価対象のユーザとの関係(親子、妻、兄弟、家族、または友人等)に応じて異なる情報(アドバイス情報および/またはリコメンド情報)を通知対象ユーザに提示するようにしてもよい。例えば、上記の例の場合において、通知対象ユーザが家族であれば、「家に帰ったら本人が好きな料理を作ってあげましょう。」といったアドバイス情報を提示し、通知対象ユーザが友人であれば、「後で電話して話を聞いてあげましょう。」といったアドバイス情報を提示してもよい。なお、サーバ3は、通知対象ユーザと評価対象のユーザとの関係を示す情報を含む通知ユーザデータを記憶しておくことによって、当該関係を特定することができる。
 なお、図25~図28において、携帯端末5に表示される画像内に、他の画像を表示するためのボタン(例えば、図25に示すボタン55~57等)が含まれる場合、当該ボタンに対する入力が行われた場合に表示される情報(上記他の画像)は、任意のタイミングでサーバ3から取得されてよい。すなわち、上記情報は、上記サービスデータとして予めサーバ3から携帯端末5へ送信されていてもよいし、ボタンに対する入力が行われたことに応じて携帯端末5がサーバ3に対して要求を行い、当該要求に応じてサーバ3から携帯端末5へ送信されてもよい。つまり、上記情報は、ステップS117の処理によって携帯端末5へ送信されてもよいし、ステップS119の処理によって携帯端末5へ送信されてもよい。
[7.本実施形態の作用効果]
 以上のように、上記実施形態における情報処理システム1は、次のような効果を奏する。
・生体情報(脈拍や呼吸等)はユーザに接触することなく取得(測定)されるので、ユーザは、センサに触れる必要がない。
・QOL要素情報を算出するための各種情報は、携帯端末5およびベース装置6によって取得されるので、ユーザは特別な装置を身につける必要がない。
・上記各種情報を取得(測定)する処理はユーザの操作なしに開始されるので、ユーザは、当該各種情報を端末システム2に取得させるための操作を行わなくてよい。
・上記各種情報は自動的に算出され、各種情報に基づく評価も自動的に行われるので、ユーザは、情報の取得(測定)および評価結果の算出を待つ必要がなく、また、取得の度に特別な準備を行う必要がない。
 以上より、上記実施形態によれば、ユーザは、面倒な操作や作業を行うことなく、普段どおりに生活を過ごすだけで、QOLの評価に基づくサービスを受けることができる。そのため、本実施形態において提供されるサービスは、ユーザにとっては継続して利用しやすいものとなる。QOLの評価に基づくサービスの提供は、ユーザに対して継続的に行われることが効果的であると考えられるので、本実施形態のようにユーザにとって継続しやすい方法でサービスが提供されることによって、情報処理システム1は、より効果的なサービスを提供することができる。
(情報処理システムの構成に関する作用効果)
 上記実施形態によれば、情報処理システム1は、据置型装置(ベース装置6)と、当該ベース装置に接続可能な多機能端末である携帯型装置(携帯端末5)と、当該携帯端末5と広域ネットワーク(インターネットおよび/またはモバイル通信網)を介して通信可能なサーバ3とを含む。ベース装置6は、入床中のユーザの周囲に設置され、睡眠中のユーザの生体情報を検出する(ステップS12)。携帯端末5は、ベース装置6によって検出された生体情報から算出される情報(健康情報。生体情報自身でもよい。)を送信情報としてサーバ3へ送信する(ステップS4,ステップS19)。サーバ3は、生体情報に基づいて行われるユーザの睡眠に対する評価(健康指標の算出)についての評価結果(健康指標)を改善するためのネットワークサービスに係るサービスデータを携帯端末5へ送信する(ステップS9,ステップS117)。携帯端末5は、ベース装置6と接続されていない状態において少なくとも、所定のネットワークサービスに関してサーバ3から受信したサービスデータに係る画像および/または音をユーザに提示する(ステップS37,ステップS104)。
 上記によれば、情報処理システム1は、睡眠中のユーザの生体情報に基づいてユーザの健康を評価し、評価結果に応じたネットワークサービスをユーザに提供することができる。また、携帯端末5によって情報をサーバ3へ送信することから、ベース装置6はサーバ3との通信手段を有する必要はないので、ベース装置6の構成を簡易化することができる。また、携帯端末5は、ベース装置6と接続されていない状態において、サービスデータに係る画像および/または音を提示することができるので、ユーザはサービスの提供を容易に受けることができる。
 上記実施形態によれば、据置型のベース装置6は、ユーザのQOLを評価するためのユーザ情報(生体情報)を検出する(ステップS12)。携帯端末5は、ベース装置6によって検出されたユーザ情報から算出される情報(健康情報。ユーザ情報自身でもよい。)を送信情報としてサーバ3へ送信する(ステップS4,ステップS19)。サーバ3は、携帯端末5から送信されてくる送信情報から算出される(送信情報が評価結果を示すものであってもよい)評価結果(QOLに関する評価結果(QOL指標))に応じたネットワークサービスをユーザに対して提供するためのサービスデータを携帯端末5へ送信する(ステップS9,ステップS117)。これによれば、情報処理システム1は、ユーザ情報に基づいてユーザのQOLを評価し、評価結果に応じたネットワークサービスをユーザに提供することができる。なお、上記において、携帯端末5は、サーバ3から受信したサービスデータに基づく情報(評価結果の情報、アドバイス情報、リコメンド情報、サービスデータに含まれるコンテンツの情報、特典に関する情報等)をユーザに提示してもよい。
 なお、上記実施形態においては、情報処理システム1は、QOLに関する評価結果として、ユーザの健康、環境、および感情という3つの情報に基づいてQOL指標を算出した。ここでQOLに関する評価は、上記3つの情報のうち少なくとも1つに基づいて行われるものであってもよい。例えば、他の実施形態においては、ユーザの健康に関する評価結果(上述した健康指標)がQOL指標として算出されてもよい。また、QOLに関する評価は、上記3つの情報とは異なる他の情報に基づいて行われるものであってもよい。例えば、他の実施形態においては、ユーザの嗜好に関する情報(上述した嗜好情報)に基づいてQOL指標が算出されてもよい。
 上記実施形態によれば、据置型のベース装置6は、入床中のユーザの周囲に設置され、ユーザのQOLを評価するためのユーザ情報(生体情報)を睡眠中のユーザから検出する(ステップS12)。携帯端末5は、ベース装置6によって検出されたユーザ情報から算出される情報を送信情報としてサーバ3へ送信する(ステップS4,ステップS19)。サーバ3は、携帯端末5から送信されてくる送信情報から算出される情報(健康情報。送信情報自身でもよい。)を蓄積情報として所定の記憶部に蓄積する(ステップS112)。
 これによれば、情報処理システム1は、睡眠中のユーザから検出される情報に基づいてユーザのQOLに関する情報を算出することができる。また、QOLの情報は、それを分析したり評価したりすることによって各種のサービスをユーザに提供することができるので、有用な情報であり、QOLの情報が複数(1人のユーザについての複数の情報であってもよいし、複数人のユーザについての情報であってもよい)あればさらに有用な情報となる。上記実施形態によれば、算出されたQOLの情報はサーバ3に蓄積されるので、携帯端末5の記憶容量に大きな負荷をかけることなく、有用な情報である多数のQOLの情報を容易に管理することができる。
 また、ベース装置6は、携帯端末5と通信可能となったことに応じてユーザ情報(生体情報)の検出を開始する(図6参照)。これによれば、ユーザは、ベース装置6に対して検出を開始させるための操作を行わなくてもよいので、ユーザの操作の手間を省くことができる。また、ベース装置6は、検出したユーザ情報に基づく情報を自機において長期間保存する必要がなく、携帯端末5へ送信することができる。なお、上記実施形態においては、携帯端末5がベース装置6に装着されることによって、携帯端末5とベース装置6とが通信可能になる構成であった。ただし、他の実施形態においては、携帯端末5がベース装置6に装着されなくても、携帯端末5とベース装置6とが通信可能になる構成であってもよい。例えば、携帯端末5とベース装置6とが近距離無線通信を行うことが可能である場合には、両者が無線通信可能な範囲に入ったことに応じて通信可能となる構成であってもよい。
 また、携帯端末5は、ベース装置6に装着可能であり(載置可能であってもよい)、ベース装置6は、携帯端末5が装着または載置されたことに応じてユーザ情報の検出を開始する(図6参照)。これによれば、ユーザは、ベース装置6に対して検出を開始させるために、携帯端末5をベース装置6に装着するだけでよく、ベース装置6に対して操作を行わなくてもよいので、ユーザの操作の手間を省くことができる。
 また、ベース装置6は、ドップラーセンサ24によってユーザが検出されなくなることに応じて検出を終了する(ステップS20)。換言すれば、ベース装置6は、携帯端末5が当該ベース装置6から外された場合であってもユーザ情報の検出を継続する(図6参照)。これによれば、ベース装置6は、検出中において何らかの理由で携帯端末5がベース装置6から外された場合(例えば、ユーザが寝返りをうった際に携帯端末5に当たってしまった場合)でも検出を継続するので、ユーザの睡眠中における検出をより確実に行うことができる。なお、他の実施形態においては、ベース装置6は、ユーザが覚醒したことを条件として検出を終了するようにしてもよい。これによっても上記実施形態と同様、ベース装置6は、携帯端末5が当該ベース装置6から外された場合であってもユーザ情報の検出を継続することができる。
 また、情報処理システム1は、ユーザ情報(生体情報)に基づいてユーザの睡眠に関する睡眠指標を算出し(ステップS13)、携帯端末5は、睡眠指標に応じて動作および/または機能が制御される(図6、ステップS15)。これによれば、ユーザの睡眠状態に応じて携帯端末5の動作および/または機能を制御することができる。例えば、睡眠中に携帯端末5をオフモードにすることによって消費電力を低減したり、睡眠中に通話機能をオフにすることによってユーザの睡眠を妨げないようにしたりすることができる。
 上記実施形態によれば、携帯端末5は、据置型のベース装置6に電気的に接続可能である。ベース装置6は、当該ベース装置6に電気的に接続された携帯端末5に対して電力を供給して当該携帯型装置の充電を行う充電手段(電力取得部23)と、ユーザのQOLを評価するためのユーザ情報(生体情報)を検出する検出手段(ドップラーセンサ24)とを備える。携帯端末5は、ベース装置6によって検出されたユーザ情報から算出される情報(健康情報。ユーザ情報自身でもよい。)を送信情報としてサーバ3へ送信する。サーバ3は、携帯端末5から送信されてくる送信情報(送信情報から算出される情報でもよい。)を蓄積情報として所定の記憶部に蓄積する。
 上記「電気的に接続可能」とは、以下の接続態様を含む意味である。
・上記実施形態のように、携帯端末がベース装置に着脱可能に装着され(載置されてもよい)、互いのコネクタが接触することによって通信が可能となる態様
・携帯端末とベース装置とが着脱可能なケーブルを介して接続されることによって、通信が可能となる態様
・携帯端末がベース装置に着脱可能に装着または載置された場合に、携帯端末とベース装置との間で近距離無線通信が可能となる態様
 上記によれば、ベース装置6は、携帯端末5のための充電器と、ユーザ情報を検出するセンサ装置との両方を兼ねるので、設置場所をとらずにユーザ情報を検出することができる。また、送信情報はサーバ3に蓄積されるので、携帯端末5の記憶容量に大きな負荷をかけることなく、有用な情報である多数の送信情報を容易に管理することができる。
 さらに、上記によれば、ベース装置6の充電機能によって、携帯端末5をベース装置6に装着する動機付けをユーザに与えることができる。そのため、ベース装置6が、携帯端末5が装着または載置されたことに応じてユーザ情報の検出を開始する場合(図6参照)には、携帯端末5のベース装置6への装着をユーザが忘れる可能性を低減することができ、ベース装置6による検出をより確実に行うことができる。
 また、充電手段(電力取得部23)は、ユーザ情報(生体情報)の検出中に、当該ユーザ情報の送信先である携帯端末5の充電を行う。これによれば、ユーザが携帯端末5を充電するためにベース装置6に携帯端末5を接続している間に、ユーザ情報が検出される。ここで、携帯端末5の充電中においては、通常、ユーザは携帯端末5の近くにいることが多いと考えられる。したがって、ユーザが携帯端末5の近くにいる(可能性が高い)場合にユーザ情報の検出を行うことによって、検出時におけるユーザの負担を小さくすることができる。
(複数の情報に基づく評価に関する作用効果)
 上記実施形態によれば、情報処理システム1は、据置型のベース装置6と、携帯端末5とを含む。ベース装置6は、ユーザの睡眠中において、当該ユーザのQOLを評価するための第1ユーザ情報(生体情報)を検出する(ステップS1、ステップS12)。携帯端末5は、上記ユーザの覚醒中において、当該ユーザのQOLを評価するための第2ユーザ情報(位置情報、環境センサ情報、マイクによる検出音の情報、カメラによる撮像画像の情報等)を検出する(ステップS5、ステップS22、ステップS51)。情報処理システム1は、第1ユーザ情報と第2ユーザ情報とに基づいてユーザのQOLに関する評価を行う(ステップS7、ステップS35、ステップS114)。上記によれば、情報処理システム1は、睡眠中に検出される第1ユーザ情報と、覚醒中に検出される第2ユーザ情報との両方を用いてQOLを評価するので、1日にわたるユーザの状態を考慮してQOLの評価を行うことができる。
 なお、上記において、第1ユーザ情報と第2ユーザ情報とは、同じであってもよいし、異なっていてもよい。例えば、第1ユーザ情報と第2ユーザ情報とは、ユーザに関する生体情報であってもよい。また、各ユーザ情報がともに生体情報である場合において、第1ユーザ情報と第2ユーザ情報とは、同じ種類の生体情報であってもよいし、異なる種類の生体情報であってもよい。
 また、情報処理システム1は、第1ユーザ情報(生体情報。第1ユーザ情報から算出される情報であってもよい)を携帯端末5へ逐次送信する(ステップS1)。携帯端末5は、ベース装置6から情報を受信している間は、第2ユーザ情報の検出を行わない(図1参照)。これによれば、携帯端末5は、ベース装置6から情報を受信することによって、第2ユーザ情報の検出を行うか否かを判定することができる。携帯端末5は、必要性の低い期間(覚醒中でないと推測される期間)については、第2ユーザ情報の検出を行わないようにすることができるので、検出を効率良く行うことができる。
 また、情報処理システム1は、第1ユーザ情報に基づいて算出される、ユーザのQOLに関する第1指標(第1疲労度/健康情報)を算出し(ステップS17)、第2ユーザ情報に基づいて算出される、ユーザのQOLに関する第2指標(第2疲労度/活動情報、環境情報、感情情報)を算出する(ステップS114)。情報処理システム1は、第1指標(睡眠時スコア画像62/健康スコア画像52)と第2指標(覚醒時スコア画像63/環境スコア画像53および感情スコア画像54)とを対応付けてユーザに対して提示する(図26)。これによれば、睡眠中に検出される情報に基づく第1指標と、覚醒中に検出される情報に基づく第2指標とが対応付けられて提示されるので、ユーザに対して両者をわかりやすく提示することができる。
 また、情報処理システム1は、第1指標および第2指標に基づくQOLに関する評価結果(健康スコア画像61、または、QOLスコア画像50)と、当該第1指標(睡眠時スコア画像62、または、健康スコア画像52)および当該第2指標(覚醒時スコア画像63、または、各画像53および54)の少なくとも1つ(図25および図26の例では両方)とを対応付けてユーザに対して提示する(図25、図26)。これによれば、2つの指標に基づく評価結果と、各指標の少なくともいずれかとが対応付けられて提示されるので、ユーザに対して両者をわかりやすく提示することができる。
 また、携帯端末5は、ベース装置6に装着(または載置)可能であり、ベース装置6に装着(または載置)されている間は、第2ユーザ情報の検出を行わない。これによれば、ユーザが携帯端末5を携帯していない場合には、携帯端末5は第2ユーザ情報の検出を行わないこととなる。ここで、通常、睡眠中においてはユーザは携帯端末5を携帯していないと考えられる。したがって、上記によれば、携帯端末5がユーザの睡眠中に不要に第2ユーザ情報の検出を行う可能性を低減することができる。
 上記実施形態によれば、情報処理システム1は、第1端末(ベース装置6)と、第2端末(携帯端末5)と、サーバ3とを含む。ベース装置6は、ユーザのQOLを評価するための第1ユーザ情報(生体情報)を検出する(ステップS1、ステップS12)。携帯端末5は、ユーザのQOLを評価するための第2ユーザ情報(位置情報、環境センサ情報、マイクによる検出音の情報、カメラによる撮像画像の情報等)を検出する(ステップS5、ステップS22、ステップS51)。また、携帯端末5は、第1ユーザ情報から算出される情報(健康情報。第1ユーザ情報そのものでもよい)を第1送信情報としてサーバ3へ送信する(ステップS4、ステップS19)。また、携帯端末5は、第1送信情報とともに、または、別個に、第2ユーザ情報から算出される情報(活動情報。第2ユーザ情報そのものでもよい)を第2送信情報としてサーバ3へ送信する(ステップS5、ステップS23等、ステップS54)。ベース装置6および携帯端末5は、一方がユーザの睡眠中において検出を行い、他方がユーザの覚醒中において検出を行う(図4参照)。サーバ3は、第1送信情報と第2送信情報とに基づいてユーザのQOLに関する評価を行う(ステップS7、ステップS114またはS115)。
 また、情報処理システム1は、睡眠中に検出される第1ユーザ情報と、覚醒中に検出される第2ユーザ情報との両方を用いてQOLを評価するので、1日にわたるユーザの状態を考慮してQOLの評価を行うことができる。また、第1端末(ベース装置6)による検出情報は第2端末(携帯端末5)によってサーバ3へ送信されるので、ベース装置6がサーバ3との通信手段を有する必要はなく、ベース装置6の構成を簡易化することができる。なお、他の実施形態においては、ベース装置6がサーバ3と通信を行う通信部を備えていてもよい。このとき、携帯端末5において検出される第2ユーザ情報(または第2ユーザ情報から算出される情報)は、ベース装置6を介してサーバ3へ送信されてもよい。
 上記実施形態によれば、据置型装置(ベース装置6)は、ユーザの状態および/または行動に関する情報であって、ユーザのQOLを評価するための第1ユーザ情報(生体情報)を検出する(ステップS1、ステップS12)。携帯端末5は、ユーザの状態および/または行動に関する情報であって、ユーザのQOLを評価するための第2ユーザ情報(位置情報、環境センサ情報、マイクによる検出音の情報、カメラによる撮像画像の情報等)を検出する(ステップS5、ステップS22、ステップS51)。携帯端末5は、第1ユーザ情報から算出される情報(健康情報。第1ユーザ情報そのものでもよい。)を第1送信情報としてサーバ3へ送信する(ステップS4、ステップS19)。また、携帯端末5は、第1送信情報とともに、または、別個に、第2ユーザ情報から算出される情報(各種QOL要素情報。第2ユーザ情報そのものでもよい。)を第2送信情報としてサーバ3へ送信する(ステップS5、ステップS23等、ステップS54)。サーバ3は、第1送信情報と第2送信情報とに基づいてユーザのQOLに関する評価を行う(ステップS7、ステップS114)。なお、上記「ユーザの状態および/または行動に関する情報」は、ユーザの状態を表す情報(例えば、上述した生体情報、位置情報、環境情報、感情情報、および、嗜好情報)であってもよいし、ユーザの行動を表す情報(例えば、上述した位置情報および活動情報)であってもよい。
 情報処理システム1は、ベース装置6によって検出される第1ユーザ情報と、携帯端末5によって検出される第2ユーザ情報との両方を用いてQOLを評価するので、より広い期間にわたってユーザの状態を考慮して評価を行うことができる。例えば、ユーザが携帯端末5を携帯している期間においては携帯端末5が第2ユーザ情報を検出し、ユーザが携帯端末5を携帯していない期間においてはベース装置6が第1ユーザ情報を検出することも可能である。また、ベース装置6による検出情報は携帯端末5によってサーバ3へ送信されるので、ベース装置6がサーバ3との通信手段を有する必要はなく、ベース装置6の構成を簡易化することができる。
 また、ベース装置6は、ユーザの睡眠に関する情報を第1ユーザ情報として検出し、携帯端末5は、ユーザの覚醒時の行動内容に関する情報を第2ユーザ情報として検出する(図4参照)。これによれば、情報処理システム1は、睡眠中に検出される第1ユーザ情報と、覚醒中に検出される第2ユーザ情報との両方を用いてQOLを評価するので、1日にわたるユーザの状態を考慮してQOLの評価を行うことができる。
 上記実施形態によれば、情報処理システム1は、第1装置(ベース装置6)と、第2装置(携帯端末5)とを含む。ベース装置6は、ユーザが屋内にいる状態において 当該ユーザのQOLを評価するための第1ユーザ情報(生体情報)を、当該ユーザに対して接触しない状態で検出する(ステップS1、ステップS12)。携帯端末5は、ユーザが屋外にいる状態において、ユーザのQOLを評価するための第2ユーザ情報(位置情報、環境センサ情報、マイクによる検出音の情報、カメラによる撮像画像の情報等)を検出する(ステップS5、ステップS22、ステップS51)。なお、携帯端末5は、ユーザが屋外にいる状態において第2ユーザ情報を検出することができればよく、ユーザが屋内にいる状態において第2ユーザ情報を検出してもよい。情報処理システムは、第1ユーザ情報と第2ユーザ情報とに基づいてユーザのQOLに関する評価を行う(ステップS7、ステップS114)。
 上記によれば、情報処理システム1は、ユーザが屋内にいる場合に検出される第1ユーザ情報と、ユーザが屋外にいる場合に検出される第2ユーザ情報との両方を用いてQOLを評価するので、1日にわたるユーザの状態を考慮してQOLの評価を行うことができる。
 上記実施形態によれば、情報処理システム1は、第1装置(ベース装置6)と、第2装置(携帯端末5)とを含む。ベース装置6は、ユーザの睡眠中において、ユーザのQOLを評価するための第1ユーザ情報(生体情報)を検出する(ステップS1、ステップS12)。携帯端末5は、ユーザの覚醒中において、ユーザのQOLを評価するための第2ユーザ情報(位置情報、環境センサ情報、マイクによる検出音の情報、カメラによる撮像画像の情報等)を検出する(ステップS5、ステップS22、ステップS51)。情報処理システム1は、第1ユーザ情報に基づいてユーザのQOLに関する評価を行い(ステップS17において第1疲労度を算出する、または、ステップS114において健康指標を算出する。)、第2ユーザ情報に基づいてユーザのQOLに関する評価を行う(ステップS114において第2疲労度を算出する、または、ステップS114において環境指標または感情指標を算出する)。さらに、情報処理システム1は、第1ユーザ情報および第2ユーザ情報に基づいてユーザのQOLに関する評価を行う(ステップS114において健康指標を算出する、または、ステップS115においてQOL指標を算出する)。
 上記によれば、情報処理システム1は、睡眠中に検出される第1ユーザ情報と、覚醒中に検出される第2ユーザ情報との両方を用いてQOLを評価するので、1日にわたるユーザの状態を考慮してQOLの評価を行うことができる。また、情報処理システム1は、第1ユーザ情報に基づく評価と、第2ユーザ情報に基づく評価と、2つのユーザ情報に基づく評価とを行うので、QOLに関する評価を多面的に行うことができる。
 また、情報処理システム1は、第1ユーザ情報に基づく評価結果(第1疲労度、または、健康指標)と、第2ユーザ情報に基づく評価結果(第2疲労度、または、環境指標もしくは感情指標)とに基づいて、ユーザのQOLに関する指標を算出する(ステップS114、または、ステップS115)。これによれば、各ユーザ情報に基づく各評価結果に基づいてQOLに関する指標が算出されるので、各ユーザ情報の両方を考慮したQOL指標を算出することができる。
 また、携帯端末5は、ベース装置6において第1ユーザ情報を検出するセンサ(ドップラーセンサ24)とは異なる種類のセンサ(位置検出部13。より具体的には、GPSセンサ)によって第2ユーザ情報を検出する。このように、各ユーザ情報を異なるセンサによって検出することで、より多面的にユーザ情報を取得することができ、QOLに関する評価の精度を向上することができる。
 上記実施形態によれば、情報処理システム1は、端末システム2と、サーバ3とを含む。端末システム2は、ユーザの睡眠中において、当該ユーザの睡眠に関する第1ユーザ情報(生体情報)を検出し(ステップS1、ステップS12)、覚醒中におけるユーザの行動内容に関する第2ユーザ情報(QOL要素情報)を検出する(ステップS5)。サーバ3は、第1ユーザ情報と第2ユーザ情報とを用いたサービスをユーザに対して提供するためのサービスデータを端末システム2へ送信する(ステップS9)。上記によれば、ユーザの睡眠に関する第1ユーザ情報と、ユーザの行動内容に関する第2ユーザ情報とを用いることによって、有用なサービスを提供することができる。
 また、サーバ3は、第1ユーザ情報に基づいてユーザのQOLを評価する(ステップS114で、健康指標を算出する)。また、情報処理システム1は、ユーザのQOLの評価結果に基づいて、QOLを改善するためのサービスを提供し、当該サービスを提供するためのサービスデータとして、第2ユーザ情報(嗜好情報)に基づいて特定されるユーザの嗜好に応じた内容のサービスデータを選択する(ステップS116)。これによれば、情報処理システムは、ユーザのQOLを改善するためのサービスを、ユーザの嗜好に応じたサービス内容で提供することができ、有用なサービスを提供することができる。
(健康に関する評価結果に応じた特典付与に関する作用効果)
 上記実施形態によれば、情報処理システムは、携帯型端末(携帯端末5)を含む端末システム2と、サーバ3とを含む。端末システム2は、ユーザの健康を評価するための第1情報(生体情報、あるいは、位置情報)を取得する(ステップS12またはステップS51)。情報処理システムは、取得された第1情報に基づいて、ユーザの健康に関する評価を行う(ステップS114)。サーバ3は、ユーザの健康に関する評価に応じたネットワークサービスを提供するためのサービスデータを端末システムへ送信する(ステップ9、ステップS36、ステップS117)。また、サーバ3は、ユーザに付与される特典であって、ネットワークサービスおよび/または携帯型端末に関する特典を示す特典情報(図21に示す特典データ)を所定の記憶部に記憶する。サーバ3は、ユーザの健康に関する評価結果に応じた特典を当該ユーザに付与するように特典情報を更新する(ステップS116)。
 上記によれば、情報処理システム1は、ユーザの健康の評価結果に応じてユーザに特典を付与する。これによれば、情報処理システム1は、特典を付与することによって、健康を改善する動機づけをユーザに与えることができ、ユーザの健康改善に寄与することができる有用なサービスを提供することができる。
 情報処理システム1は、ユーザの指示の有無にかかわらず第1情報を繰り返し取得する(ステップS12またはステップS51)。また、情報処理システム1は、第1情報に基づいて繰り返し評価を行う(上記実施形態では、評価は毎日繰り返される。)。サーバ3は、ユーザの指示の有無にかかわらず継続的にサービスデータを端末システム2へ送信する(ステップS117)。また、サーバ3は、継続的に提供されるネットワークサービス(上記実施形態では、サービスデータの送信が毎日実行される。)におけるサービスの一部として特典を付与する。上記によれば、情報処理システム1は、健康に関する評価を自動的にかつ継続的に行い、評価結果に応じたネットワークサービスを継続的にユーザに提供する。したがって、ユーザは、繰り返し指示を行わなくても健康の評価を継続的に受けることができる。また、評価を継続的に行うとともに、評価に応じた特典をユーザに付与することによって、情報処理システム1は、ユーザに健康を維持する動機付けを与えることができ、ユーザの健康維持に寄与することができる。
 上記実施形態によれば、情報処理システム1は、端末システム2と、サーバ3とを含む。端末システム2は、睡眠中のユーザから生体情報を検出するセンサ(ドップラーセンサ24)から当該生体情報を第1情報として取得する(ステップS12)。情報処理システム1は、取得された生体情報に基づいて、ユーザの健康に関する評価を行う(ステップS114)。サーバ3は、ユーザに付与される特典を示す特典情報(図21に示す特典データ)を所定の記憶部に記憶する。サーバ3は、ユーザの健康に関する評価結果に応じた特典を当該ユーザに付与するように特典情報を更新する。上記によれば、情報処理システム1は、ユーザの健康の評価結果に応じてユーザに特典を付与するので、健康を改善する動機づけをユーザに与えることができ、ユーザの健康改善に寄与することができる。
 端末システム2は、ユーザの行動に関する第2情報(位置情報、または、活動情報であってもよい)をさらに取得し(ステップS91)、情報処理システム1は、第2情報に基づいてユーザの嗜好を判断する(ステップS93)。サーバ3は、ユーザに付与される特典の内容を、当該ユーザの嗜好に基づいて決定する(ステップS116)。これによれば、情報処理システムは、ユーザの嗜好に応じた内容で特典を提供することができ、有用なサービスを提供することができる。また、特典をユーザにとってより魅力的なものすることができるので、健康を改善する動機付けをより強くユーザに与えることができる。
 上記において、サーバ3は、第1情報(生体情報)と第2情報(位置情報、または、活動情報であってもよい)とに基づいて健康に関する評価を行う(ステップS114)。
これによれば、異なる2種類の情報に基づいて健康に関する評価を行うことができるので、評価の精度を向上することができる。
(ベース装置に関する作用効果)
 上記実施形態によれば、表示システムの一例である端末システム2(ベース装置6)は、以下の構成を備える。
・ユーザの睡眠に関する状態を算出するためのユーザ情報(生体情報)を検出するセンサ(ドップラーセンサ24)
・所定の画像を投影表示するプロジェクタ25
・ユーザ情報に基づいて算出される睡眠状態に関する画像をプロジェクタ25に投影表示させる制御部22(ステップS18)
 上記「睡眠状態に関する画像」とは、睡眠状態(例えば、上述の睡眠指標)を表す画像であってもよいし、睡眠状態に対する評価結果(例えば、上述の快眠指数)を表す画像であってもよい。上記によれば、端末システム2は、プロジェクタ25を用いることによって、例えば天井等、就寝中のユーザにとって見やすい箇所に画像を投影表示することができる。これによって、端末システム2は、就寝中のユーザにとって見やすい表示を提供することができる。また、端末システム2は、上記画像をプロジェクタ25に表示させることによって、ユーザに自身の睡眠状態を提示することができる。
 上記実施形態によれば、表示システムの一例である端末システム2(ベース装置6)は、以下の構成を備える。
・ユーザの睡眠に関する状態を算出するためのユーザ情報(生体情報)を検出するセンサ(ドップラーセンサ24)
・所定の画像を投影表示するプロジェクタ25
・ユーザ情報に基づいて、ユーザの覚醒に関するタイミングを特定し、特定されたタイミングに応じて、画像の投影表示をプロジェクタに開始させる制御部22(ステップS14、図6)
 上記「ユーザの覚醒に関するタイミング」とは、例えば、ユーザの覚醒時のタイミング、または、覚醒前後のタイミングである。上記実施形態における、ユーザの眠りが浅くなった(換言すれば、ユーザが覚醒前の状態に入った)と判定されたタイミング、および、ユーザが覚醒したと判定されたタイミングは、上記「ユーザの覚醒に関するタイミング」であると言える。また、ユーザが覚醒した後のタイミングであって、覚醒タイミングに基づくタイミング(例えば、覚醒タイミングから所定時間が経過したタイミング)も、上記「ユーザの覚醒に関するタイミング」であると言える。
 また、「特定されたタイミングに応じて(画像の投影表示を)開始する」とは、当該タイミングに投影表示が開始する意味と、特定されたタイミングに応じたタイミング(例えば、特定されたタイミングの1分後のタイミング)に投影表示が開始する意味との両方の意味を含む。
 上記によれば、端末システム2は、プロジェクタ25によって、就寝中のユーザにとって見やすい表示を提供することができる。また、端末システム2は、ユーザの覚醒に応じてユーザに画像を提示することができる。つまり、端末システム2は、適切なタイミングでユーザに画像を提示することができるとともに、プロジェクタ25による電力消費を低減することができる。
 上記実施形態によれば、表示システムの一例である端末システム2は、以下の構成を備える。
・入床中のユーザの睡眠に関する状態を算出するためのユーザ情報を検出するセンサ(ドップラーセンサ24)
・ユーザの入床中に所定の画像を投影表示するプロジェクタ25
・プロジェクタ25を制御する制御部22
・ネットワークを介してサーバ3と通信を行う通信部10
 上記によれば、端末システム2は、プロジェクタ25を用いることによって、例えば天井等、就寝中のユーザにとって見やすい箇所に画像を投影表示することができる。これによって、端末システム2は、就寝中のユーザにとって見やすい表示を提供することができる。また、端末システム2は、サーバ3と通信を行う通信部を備えるので、例えば、プロジェクタ25によって表示すべき画像をサーバ3から取得したり、センサによる検出結果(または検出結果に基づく情報)をサーバ3へ送信したりすることができる。
 また、制御部22は、ユーザ情報に基づいて特定されるタイミングである、ユーザの睡眠状態に応じたタイミングで、ユーザ情報に基づいて算出される睡眠状態に関する画像をプロジェクタ25に表示させる。これによれば、ユーザの睡眠状態に応じた適切なタイミングでユーザに画像を提示することができる。また、プロジェクタ25による電力消費を低減することができる。
 また、制御部22は、ユーザ情報に基づいて特定されるタイミングである、ユーザが覚醒するタイミング、または、覚醒前のタイミングで、睡眠状態に関する画像をプロジェクタ25に表示させる。これによれば、ユーザが覚醒した際に、ユーザの睡眠状態に関する情報をユーザに提示することができるので、適切なタイミングで有用な情報をユーザに提示することができる。
 端末システム2は、睡眠に関する状態に応じてプロジェクタ25への電源供給を制御する。例えば、端末システム2は、ユーザ情報に基づいて特定される、ユーザの覚醒に関するタイミングに応じて、プロジェクタ25への電源供給を開始させてもよい。より具体的には、端末システム2は、ユーザが覚醒する前のタイミング(覚醒するタイミングでもよい)で、プロジェクタ25への電源供給を開始させてもよい。これによれば、睡眠中におけるプロジェクタ25への電源供給を抑えつつ、覚醒時にプロジェクタ25による画像表示を行うことができる。
 端末システム2は、ユーザの入眠を誘導するための画像(入眠用コンテンツ)、および/または、覚醒を誘導するための画像(覚醒用コンテンツ)を、ユーザの睡眠状態に応じて変化させてプロジェクタ25に投影表示させてもよい。例えば、プロジェクタ25によって投影表示される画像の明るさがユーザの睡眠状態に応じて変化してもよい。
 端末システム2は、ユーザが覚醒した場合、睡眠中の中途覚醒であるか否かを判定する(上述の“(中途覚醒時の情報提示)”および“(覚醒時における評価結果の提示)”を参照)。このとき、端末システム2は、中途覚醒であると判定された場合と中途覚醒でないと判定された場合とで異なる画像をプロジェクタ25に投影表示させる(図6)。これによれば、ユーザの中途覚醒か否かに応じた適切な画像をユーザに提示することができる。
 端末システム2は、ユーザ情報に基づいてユーザの睡眠に対する評価を行い(ステップS17)、ユーザ情報に基づいて特定される、ユーザの睡眠状態に応じたタイミング(例えば、ユーザが覚醒するタイミング)で、評価の結果をプロジェクタ25に投影表示させる(ステップS18)。これによれば、端末システム2は、睡眠に関する評価結果を適切なタイミングでユーザに提示することができる。
 上記実施形態によれば、表示システムの一例である端末システム2(ベース装置6)は、以下の構成を備える。
・ユーザの睡眠に関する状態を算出するためのユーザ情報(生体情報)を検出するセンサ(ドップラーセンサ24)
・所定の画像を投影表示するプロジェクタ25
・ユーザ情報に基づいて算出される睡眠に関する状態に応じてプロジェクタを制御する制御部22(ステップS14)
 上記によれば、端末システム2は、プロジェクタ25を用いることによって、例えば天井等、就寝中のユーザにとって見やすい箇所に画像を投影表示することができる。これによって、端末システム2は、就寝中のユーザにとって見やすい表示を提供することができる。また、端末システム2は、ユーザの睡眠状態に応じてプロジェクタ25を制御することによって、プロジェクタ25の電源(オン/オフ)、および/または、プロジェクタ25によって投影表示される画像を、睡眠状態に応じて適切に制御することができる。
 上記実施形態によれば、表示システムの一例である端末システム2は、以下の構成を備える。
・入床中のユーザの睡眠に関する状態を算出するためのユーザ情報を検出するセンサ(ドップラーセンサ24)
・ユーザの入床中に所定の画像を投影表示するプロジェクタ25
・プロジェクタ25と着脱可能に接続され、上記所定の画像と同じまたは異なる画像を表示する画面を有する表示装置(携帯端末5のディスプレイ17)
 上記によれば、プロジェクタ25によって、就寝中のユーザにとって見やすい表示を提供することができるとともに、表示装置によって、プロジェクタ25による投影箇所とは異なる位置で画像を提示することができる。なお、他の実施形態においては、上記表示装置は、プロジェクタ25と一体的に形成されてもよい。
 表示装置(携帯端末5)は、プロジェクタ25の筐体に対して着脱可能である。したがって、ユーザは、表示装置をプロジェクタ25から外して利用することができる。さらに、上記表示装置は携帯型の情報処理装置であるので、ユーザは、表示装置を携帯して利用することができる。また、上記表示装置は、無線通信でネットワークにアクセスすることによって当該ネットワークを介して外部装置(サーバ3)と通信可能である。したがって、ユーザは、表示装置を屋外で利用する(例えば、サーバ3から通信によって取得されるコンテンツを表示する等)ことが可能である。
 上記実施形態によれば、表示装置の一例であるベース装置6は、ユーザの生体情報を検出するセンサ(ドップラーセンサ24)と、センサと同じ筐体内に設けられ、所定の画像を投影表示するプロジェクタ25とを備える(図2、図3)。これによれば、プロジェクタ25によって、就寝中のユーザにとって見やすい表示を提供することができる。また、センサによってユーザの生体情報を検出することができる。
 なお、ドップラーセンサ24は、ベース装置6から所定範囲内で離れたユーザを対象として生体情報を検出する。これによれば、センサによる検出動作をユーザに意識させずに、表示装置の付近にいるユーザから生体情報を検出することができる。
 また、ベース装置6は、ドップラーセンサ24による検出中においては載置された状態で使用される据置型の装置である。したがって、ユーザは、センサによる検出を行う場所に表示装置を載置しておけばよく、センサによる検出を行うために面倒な設定作業を行わなくてもよい。
 また、ベース装置6は、上記ドップラーセンサ24およびプロジェクタ25と同じ筐体内に設けられるスピーカ26をさらに備えていてもよい。これによれば、就寝中のユーザに対して音(例えば、プロジェクタ25によって投影表示される画像に合わせた音)を提示することができる。また、別にスピーカを用意しなくてもよいので、システムの構成を簡易化することができる。
(感情情報の算出に関する作用効果)
 上記実施形態によれば、携帯端末5は、ユーザの感情を判別するためのセンサ情報を検出する検出部(マイク15およびカメラ16)を備える。情報処理システム1は、センサ情報に基づいてユーザの感情を判別する(ステップS26、ステップS77、ステップS87)。ここで、上記検出部は、携帯端末5が待機状態となっている期間にセンサ情報を検出する。
 上記「待機状態」とは、例えば、携帯端末5のディスプレイ17が消灯された状態(換言すれば、携帯端末5に対して所定時間操作が行われていない状態)である。待機状態においては、アプリケーションが実行中であってもよい。なお、上記において、検出部は、待機状態においてセンサ情報を検出することが可能な構成であればよい。検出部は、待機状態中に常にセンサ情報を検出する必要はなく、また、待機状態とは異なる状態(例えば、ユーザが携帯端末5を操作している状態)においてセンサ情報を検出してもよい。
 また、上記センサ情報は、上記実施形態においては、マイク15による検出音、および、カメラ16による撮像画像であるが、例えばユーザの生体情報であってもよい。例えば、生体情報として脈拍を検出し、脈拍に基づいてユーザの感情(高ぶっているか落ち着いているか等)を判別することが可能である。また例えば、ユーザが携帯端末5に触った際にユーザの発汗状態を検出し、発汗状態に基づいてユーザの感情を判別することが可能である。また、携帯端末5が加速度センサを備える場合には、情報処理システム1は、加速度センサの検出結果に基づいてユーザの姿勢および/または歩き方を算出し、ユーザの姿勢および/または歩き方に基づいて感情情報を算出してもよい。例えば、ユーザの姿勢が通常よりも背中を丸めて歩いている場合、あるいは、ユーザの歩き方が通常よりも遅い(とぼとぼ歩いている)場合には、情報処理システム1は、ユーザが落ち込んでいることを示す感情情報を算出するようにしてもよい。
 上記によれば、情報処理システム1は、センサ情報に基づいて携帯端末5のユーザの感情を判別することができる。また、センサ情報は携帯端末5の待機状態において検出されるので、情報処理システム1は、センサ情報の検出が行われていることをユーザが意識しない期間にセンサ情報を取得し、その期間におけるユーザの感情を判別することができる。これによって、携帯端末5を携帯するユーザの普段の生活の中で生じるユーザの感情を判別することができる。
 携帯端末5は、センサ情報とは異なる情報であってユーザに関するユーザ関連情報(スケジュール情報、位置情報、および/または、活動情報等)を取得し(ステップS71)、センサ情報の検出(マイク15および/またはカメラ16による測定)を行うか否かをユーザ関連情報に基づいて制御する(ステップS72)。これによれば、センサ情報の検出を適切な状況下で(すなわち、感情の判別が可能なセンサ情報が取得されると想定される状況下で)行うことができる。
 携帯端末5は、ユーザの行動および/または活動を表す情報(スケジュール情報、位置情報、および/または、活動情報等)をユーザ関連情報として取得する。これによれば、情報処理システム1は、ユーザの行動または活動を考慮して、センサ情報の検出を行うか否かの判断を行うことができる。
 携帯端末5は、ユーザ関連情報に基づいて、ユーザに関して所定のイベント(例えば会議)が行われている期間であるか否かを判定する。センサ情報は、上記所定のイベントが行われている期間において検出される。これによれば、情報処理システム1は、例えば会議や移動といったイベントの期間におけるユーザの感情を判別することができる。
 検出部は、相対的に長い時間間隔でセンサ情報を検出する第1検出モード(ステップS81~S83の処理ループが実行される状態)と、連続してセンサ情報を検出する第2検出モード(ステップS85およびS86の処理ループが実行される状態)とで少なくとも動作可能である。携帯端末5は、第1検出モードで検出されたセンサ情報が所定の条件を満たす場合(ステップS82の判定結果が肯定となる場合)、検出部の動作モードを第2検出モードへと切り替える。情報処理システム1は、第2モードにおいて検出されたセンサ情報に基づいてユーザの感情を判別する(ステップS87)。上記によれば、情報処理システム1は、上述したユーザ関連情報を用いずとも、センサ情報を用いてセンサ情報の検出を行うか否かを制御することができる。
 なお、上記第2検出モードは、(上記第1検出モードに比べて)相対的に短い時間間隔でセンサ情報を検出するモードであってもよい。
 携帯端末5は、ユーザが当該携帯端末を操作中であるか否かを判定する(ステップS72)。検出部は、携帯端末5をユーザが操作中であると判定される場合にセンサ情報を検出する(ステップS73)。これによれば、(携帯端末5が待機中である場合のユーザの感情に加えて、)携帯端末5を操作中であるユーザの感情を判別することができる。
 上記実施形態によれば、情報処理システム1は、ユーザの感情を判別するためのセンサ情報を検出し(ステップS74、ステップS85)、センサ情報に基づいてユーザの感情を判別し(ステップS77、ステップS87)、感情の判別結果に応じた提案をユーザに対して行うための提案情報(サービスデータ)をユーザに提示する(ステップS117、ステップS104)。上記によれば、情報処理システム1は、センサ情報に基づいてユーザの感情を判別することができ、ユーザの感情という有用な情報を取得することができる。また、このユーザの感情を考慮した提案をユーザに対して行うことができる。
 情報処理システム1は、所定期間に1回(1日に1回)の頻度で提案情報を提示し(ステップS9)、当該所定期間に検出されたセンサ情報に基づく感情の判別結果に応じて当該提案情報を生成する。これによれば、感情の判別結果に応じた提案をユーザに定期的に行うことができる。
 なお、他の実施形態において、情報処理システム1は、イベントが行われている期間(ステップS24~S25の期間)においてセンサ情報を検出し、イベントが行われている期間の終了に応じて提案情報をユーザに提示してもよい。これによれば、イベントが終わった後のユーザに対して、感情の判別結果に応じた提案を行うことができるので、適切なタイミングで提案を行うことができる。
 サーバ3は、提案情報を提示するユーザとして、感情の判別が行われたユーザに関連付けて、当該ユーザとは異なる他のユーザの識別情報(通知ユーザデータ)を所定の記憶部に記憶する。サーバ3は、あるユーザの感情の判別結果を示す情報(感情情報)、および、当該判別結果に応じた提案情報(感情指標)を、当該あるユーザに関連付けられた他のユーザ(通知対象ユーザ)に対して提示する(ステップS117)。これによれば、情報処理システム1は、感情の判別対象であるユーザ本人とは異なる他のユーザに対して、ユーザ本人の感情に応じた提案を行うことができる。例えばユーザの家族や友人等にとって当該ユーザの感情に関する情報は有用な情報であるので、家族や友人等に有用な情報を提供することができる。
 サーバ3は、あるユーザの感情の判別結果に応じた提案情報として、当該ユーザに対して第1提案情報(図25に示す情報)を提示し、当該第1提案情報とは異なる第2提案情報(図28に示す情報)を、当該あるユーザに関連付けられた他のユーザに対して提示する。
 また、上記実施形態によれば、携帯端末5は、ユーザの感情を判別するためのセンサ情報を繰り返し検出し(ステップS74、ステップS85)、所定のモニタ期間(測定期間)中に検出された複数のセンサ情報に基づいて、当該モニタ期間におけるユーザの感情を判別する(ステップS77、ステップS87)。情報処理システム1は、感情の判別結果をユーザに提示する。なお、上記モニタ期間は、どのように設定されてもよく、設定方法も任意である。モニタ期間は、例えば、予め定められた開始時刻から終了時刻までの期間であってもよい。
 上記によれば、情報処理システム1は、センサ情報に基づいて携帯端末5のユーザの感情を判別することができる。また、センサ情報はモニタ期間中において検出されるので、情報処理システム1は、ユーザの普段の生活の中における特定のモニタ期間中におけるユーザの感情を判別することができる。
 携帯端末5は、センサ情報とは異なる情報であってユーザに関するユーザ関連情報(スケジュール情報、位置情報、および/または、活動情報等)を取得し、モニタ期間をユーザ関連情報に基づいて決定する。これによれば、例えばユーザがある行動を行っている期間(例えば、会議中や食事中)等をモニタ期間として決定することができるので、センサ情報を検出する期間を適切に設定することができる。
 携帯端末5は、ユーザが当該携帯端末5を操作中であるか否かを判定する(ステップS72,S76)。情報処理システム1は、携帯端末5をユーザが操作中であると判定される期間をモニタ期間として感情の判別を行う(ステップS74,S77)。これによれば、携帯端末5の操作中におけるユーザの感情を判別することができる。また、携帯端末5がカメラを備えている場合には、携帯端末5の操作中であればカメラによってユーザの顔を撮像することができるので、ユーザの表情から感情を判別することができる。
 上記実施形態によれば、情報処理システム1は、ユーザの感情を判別するためのセンサ情報を検出し(ステップS74、ステップS85)、センサ情報に基づいてユーザの感情を判別する(ステップS77、ステップS87)。また、情報処理システム1は、ユーザの生活を観察することによって得られる生活情報(位置情報、活動情報、健康情報、環境センサ情報、環境情報、嗜好情報)を取得し、感情の判別結果と生活情報とに基づいて所定の処理(QOLの評価、および、ネットワークサービスにおけるサービス内容の特定)を実行する(ステップS115,S116)。
 なお、上記「生活情報」は、ユーザの生活を観察することによって得られる任意の情報であればよく、上述の位置情報、活動情報、健康情報、環境センサ情報、環境情報、および嗜好情報のうちのいくつかであってもよいし、他の種類の情報であってもよい。また、上記「所定の処理」の内容は任意であり、上述した、ユーザに関する評価を行う処理、および、サービス内容を特定する処理の他、他の種類の処理であってもよい。
 上記によれば、情報処理システム1は、センサ情報に基づいて携帯端末5のユーザの感情を判別することができる。また、情報処理システム1は、感情の判別結果と生活情報とを用いることで、ユーザの生活と感情とを反映した処理を行うことができる。
 情報処理システム1は、上記所定の処理として、感情の判別結果と生活情報とに基づいて、ユーザの状態を示す指標を算出する処理を実行する(ステップS115)。これによれば、情報処理システム1は、ユーザのQOLを反映した有用な指標を算出することができる。
 情報処理システム1は、上記所定の処理として、感情の判別結果と生活情報とに基づいて、ユーザに対して提案を行うための提案情報(アドバイス情報、リコメンド情報)を生成し(ステップS116)、当該提案情報をユーザに提示する処理を実行する(ステップS117)。これによれば、ユーザの生活と感情とを考慮した有用な提案をユーザに提示することができる。
 情報処理システム1は、センサ情報の検出を行うか否かを生活情報に基づいて制御し、センサ情報に基づいて、ユーザの状態を示す指標(感情指標、QOL指標等)を算出する。これによれば、情報処理システム1は、生活情報に基づいて、センサ情報の検出を行うか否かの判断を行うことができるので、この判断を適切に行うことができる。
 情報処理システム1は、センサ情報が検出される期間と少なくとも一部が重複する期間において生活情報を取得する(図10)。これによれば、情報処理システム1は、ある期間におけるユーザの感情と、その期間におけるユーザの生活情報とを反映した処理を行うことができる。
 上記実施形態によれば、携帯端末5は、ユーザの感情を判別するためのセンサ情報を検出する検出部(マイク15およびカメラ16)を備える。情報処理システム1は、センサ情報に基づいてユーザの感情を判別し、感情の判別結果をサーバ3が有する記憶部に蓄積する。
 また、携帯端末5は、マイク15によって検出される音のうちに含まれるユーザの声を認識し、ユーザの声に基づいて当該ユーザの感情を判別する(ステップS77、ステップS87)。これによれば、携帯端末5のユーザ自身の声に基づいて当該ユーザの感情を判別するので、感情を正確に判別することができる。
 また、携帯端末5は、マイク15によって検出される音のうちに含まれる、ユーザ以外の他人の声を認識し、他人の声に基づいてユーザの感情を判別してもよい(ステップS77、ステップS87)。これによれば、携帯端末5のユーザ以外の他人の声に基づいて当該ユーザの感情を判別するので、ユーザの声から感情を判別できない状況であっても当該ユーザの感情を判別することができる。したがって、より多くの状況でユーザの感情を判別することができる。
 また、携帯端末5は、マイク15によって検出される音に基づいて、ユーザの周囲の雰囲気に応じた当該ユーザの感情を判別してもよい。これによれば、携帯端末5のユーザの声から感情を判別できない状況であっても当該ユーザの感情を判別することができ、より多くの状況でユーザの感情を判別することができる。
 上記によれば、情報処理システム1は、センサ情報に基づいて携帯端末5のユーザの感情を判別することができる。また、感情情報は、それを分析したり評価したりすることによって各種のサービスをユーザに提供することができるので、有用な情報であり、感情情報が複数(1人のユーザについての複数の感情情報であってもよいし、複数人のユーザについての感情情報であってもよい)あればさらに有用な情報となる。上記実施形態によれば、算出された感情情報はサーバ3に蓄積されるので、携帯端末5の記憶容量に大きな負荷をかけることなく、有用な情報である多数の感情情報を容易に管理することができる。
[8.その他の変形例]
(端末システムの構成に関する変形例)
 上記実施形態においては、端末システム2は、1つの携帯端末5と1つのベース装置6とを含む構成であった。ここで、他の実施形態においては、端末システム2は、複数の携帯端末5と1つのベース装置6とを含む構成であってもよい。すなわち、端末システム2は、複数のユーザ(例えば家族である複数のユーザ)がそれぞれ携帯端末5を携帯し、複数の携帯端末5に対してベース装置6を1つのみ設ける構成であってもよい。このとき、ベース装置6は、特定の1人のユーザ(例えば、ベース装置6に接続された携帯端末5のユーザ)の生体情報を検出してもよい。また、ベース装置6が複数のユーザから生体情報を検出可能である場合には、各ユーザの生体情報をそれぞれ検出してもよい。
 また、上記実施形態においては、携帯端末5を任意のベース装置6と組み合わせて利用することができる。すなわち、上記実施形態においては、ベース装置6において検出された情報は携帯端末5を介してサーバ3へ送信されるので、当該情報は携帯端末5のユーザに関する情報であることを特定できる。そのため、携帯端末5とユーザとの関係が固定であれば、ベース装置6は、任意のユーザ(携帯端末5)によって用いられることができる。例えば、ベース装置6をユーザの自宅の他にホテルにも設置しておくことによって、情報処理システム1は、自宅以外でユーザが眠る場合においても健康情報を算出することができる。
 なお、他の実施形態においては、情報処理システム1は、携帯端末5とベース装置6との組み合わせを固定にしてもよい。例えば、携帯端末5とベース装置6とを接続する際に、認証処理を行うようにすることによって、ある携帯端末5に対して特定のベース装置6のみを利用可能とすることができる。
(情報処理システム1に含まれる各装置の機能に関する変形例)
 上記実施形態においては、ベース装置6、携帯端末5、およびサーバ3によって、情報処理システム1における各処理が実行された。ここで、情報処理システム1における各処理は、上記3つの構成(ベース装置6、携帯端末5、およびサーバ3)のいずれで実行されてもよい。
 ベース装置6は、センサによって検出された情報を携帯端末5へ送信したが、他の実施形態においては、検出された情報から算出される情報を送信してもよい。例えば、ベース装置6は、呼吸および/または体動の生体情報を算出して携帯端末5へ送信してもよいし、睡眠指標を算出して携帯端末5へ送信してもよいし、健康情報(睡眠指標および疲労指標)を算出して携帯端末5へ送信してもよい。さらには、ベース装置6は、健康情報に基づく評価結果(を表す指標)を算出して携帯端末5へ送信してもよい。
 また、携帯端末5は、ベース装置6から受信した情報、および/または、自身で検出した情報をそのままサーバ3へ送信してもよいし、これらの情報から算出される情報をサーバ3へ送信してもよい。後者の場合、上記実施形態においては、携帯端末5は上記QOL要素情報を算出してサーバ3へ送信したが、他の実施形態においては、携帯端末5は、QOL要素情報に基づく評価を行い、評価結果(を表す指標)をサーバ3へ送信してもよい。
 また、サーバ3は、ベース装置6および/または携帯端末5によって検出された情報を携帯端末5から受信してもよい。このとき、サーバ3は、検出された情報に基づいて評価結果を算出する。また、サーバ3は、上記検出された情報から算出される情報(呼吸および/または体動の生体情報、睡眠指標、および、QOL要素情報等)に基づいて評価結果を算出してもよいし、評価結果を携帯端末5から受信してもよい。
 なお、上記実施形態のように、複数種類のQOL要素情報が算出されたり、複数種類の評価が行われたりする場合には、複数種類のQOL要素情報(または評価結果)のうちのいくつかのQOL要素情報(または評価結果)については携帯端末5で算出され、残りのQOL要素情報(または評価結果)についてはサーバ3で算出されてもよい。
(ベース装置に関する変形例)
 上記実施形態において、ベース装置6は、携帯端末5を介してネットワーク4に接続される構成であった。ここで、他の実施形態においては、ベース装置6は、ネットワーク4と通信可能な通信部を備える構成であってもよい。このとき、ベース装置6は携帯端末5を介さずにサーバ3と通信を行うようにしてもよい。例えば、ベース装置6は、センサによって検出された情報(または、当該情報から算出される情報)を、携帯端末5を介さずにサーバ3へ送信してもよい。また例えば、ベース装置6は、サーバ3からサービスデータを、携帯端末5を介さずに受信してもよい。また、ベース装置6は、サービスデータに基づく画像(例えば、上述の入眠用コンテンツや覚醒用コンテンツ)、および/または、サーバ3から送信されてくる画像をプロジェクタ25によって投影表示するようにしてもよい。
 上記実施形態において、ベース装置6は、出力装置の一例として、プロジェクタ25およびスピーカ26を備える構成であった。ここで、他の実施形態においては、ベース装置6は、出力装置として、他の構成を備えていてもよい。例えば、ベース装置6は、光を発する発光装置を備えていてもよい。発光装置は、ユーザに対して光を照射する光源であり、例えば照明装置であってもよい。照明装置は、図3に示したベース装置6本体と一体であってもよいし、別体であってもよい。
 端末システム2は、ユーザの睡眠状態に応じて照明装置を制御してもよい。例えば、ユーザが覚醒前の状態に入ったこと(あるいは、ユーザが覚醒したこと)に応じて照明装置が点灯されてもよい。具体的には、端末システム2は、生体情報に基づいて特定される、ユーザが覚醒する前のタイミングで、照明装置の点灯(光源の照射)を開始する。これによれば、覚醒前のユーザに光を照射することによって、ユーザに覚醒を促すことができる。なお、上記において、端末システム2は、照明装置の点灯後において、次第に明るくなるように照明装置を制御してもよい。また、端末システム2は、照明装置の発光によってユーザに覚醒を促すことに代えて(またはともに)、プロジェクタ25による発光によってユーザに覚醒を促すようにしてもよい。
 また、ユーザが覚醒する時点は、生体情報に基づいて算出される他、他の方法で算出(特定)されてもよい。例えば、端末システム2(携帯端末5)に対してユーザが目覚ましの時刻を設定している場合には、端末システム2は、当該時刻をユーザが覚醒する時点として用いてもよい。このように、表示システムの一例である端末システム2は、ユーザの睡眠に関する画像を投影表示するプロジェクタと、ユーザに対して光を照射する光源と、ユーザが覚醒する時点を特定し、当該時点に基づくタイミングで光源の照射を開始する制御部を備えていてもよい。これによれば、プロジェクタ25によって就寝中のユーザにとって見やすい表示を提供することができるとともに、覚醒前のユーザに光を照射することによって、ユーザに覚醒を促すことができる。
 なお、他の実施形態においては、ネットワークサービスとして提供されるサービスがベース装置6において行われる(提供される)ものであってもよい。すなわち、ベース装置6は、携帯端末5によって受信されたサービスデータに基づいて、所定の出力を行うものであってもよい。この所定の出力は、例えば、画像、光、音、および、においのうちの1以上であってもよい。例えば、サーバ3は、上述した入眠用コンテンツおよび/または覚醒用コンテンツをサービスデータとして携帯端末5へ送信し、これらのコンテンツがベース装置6のプロジェクタ25および/またはスピーカ26によって再生されてもよい。すなわち、プロジェクタ25は、サービスデータに基づく画像を投影表示してもよい。また、スピーカ26は、サービスデータに基づく音を出力してもよい。
 また例えば、ベース装置6は、においを発するにおい発生装置を備えていてもよく、このとき、携帯端末5によって受信されたサービスデータに基づいてにおい発生装置が制御されてもよい。具体的には、においの種類を示すサービスデータが携帯端末5によって受信され、その後、携帯端末5がベース装置6と通信可能となった場合、ベース装置6は、サービスデータが示す種類のにおいを出力するようににおい発生装置を制御する。これによって、端末システム2は、その日の評価結果に応じたにおいを睡眠時にユーザに提供することができ、快適な入眠環境をユーザに提供することができる。
 また、他の実施形態においては、ベース装置6は環境センサを備えていてもよい。環境センサは、携帯端末5が有する環境センサ14と同様、温度、湿度、照度、気圧、および音のうち少なくとも1つを検知するものであってもよい。このとき、ベース装置6は、ドップラーセンサ24によって生体情報を検出するとともに、環境センサによって環境センサ情報を検出する。環境センサ情報を検出する期間は、ユーザの睡眠期間の少なくとも一部の期間を含んでいればよく、生体情報の検出期間と同じであってもよいし、ユーザの睡眠期間(入眠から覚醒までの期間)であってもよい。また、ベース装置6は、検出された環境センサ情報を携帯端末5へ送信する。なお、ベース装置6は、環境センサ情報をそのまま携帯端末5へ送信してもよいし、環境センサ情報に何らかの加工を行って携帯端末5へ送信してもよい。
 携帯端末5は、ベース装置6からの環境センサ情報、および/または、当該環境センサ情報から算出される情報をサーバ3へ送信する。例えば、携帯端末5は、環境センサ情報から環境情報(例えば、上述した環境値)を算出し、環境情報をサーバ3へ送信してもよい。なお、携帯端末5は、環境情報を健康情報とともに(健康情報を含む送信情報に環境情報も含めて)サーバ3へ送信してもよいし、環境情報を健康情報とは別に(別のタイミングで)サーバ3へ送信してもよい。
 また、ベース装置6が環境センサを備える場合、環境センサによる検出結果(環境センサ情報)に基づいて、ベース装置6(あるいは携帯端末5)による出力が制御されてもよい。なお、この制御は、ベース装置6の制御部22によって行われてもよいし、携帯端末5の処理部11によって行われてもよい。例えば、環境センサが照度センサを含む場合、照度センサによる検出結果に基づいてプロジェクタ25(あるいは、携帯端末5のディスプレイ17)によって投影表示される画像の明るさ(輝度)が制御されてもよい。つまり、照度センサによって検出される部屋の明るさが明るければ、プロジェクタ25による画像の輝度が高くされてもよい。また例えば、環境センサが騒音センサを含む場合、騒音センサによる検出結果に基づいてスピーカ26(あるいは、携帯端末5のスピーカ18)による出力音量が制御されてもよい。つまり、騒音センサによって検出される騒音が大きければ、スピーカ26による出力音量が大きくされてもよい。
 また、他の実施形態においては、出力システムの一例である端末システム2は、入床中のユーザの睡眠に関する状態を算出するためのユーザ情報(生体情報)を検出するセンサ(ドップラーセンサ24)と、ユーザの入床中に音を出力する無指向性スピーカとを備えていてもよい。無指向性スピーカによれば、ユーザが出力音の音源位置を感じにくくなり、より自然な音を提供することができる。また、無指向性スピーカは、上述のスピーカ26と同様の音出力を行うように制御されてもよい。例えば、端末システム2は、ユーザ情報(生体情報)に基づいて算出される睡眠に関する状態に応じて無指向性スピーカを制御してもよい。なお、無指向性スピーカは、上記センサと同じ筐体に収納されてもよいし、当該センサとは別体であってもよい。
 以上のように、表示システムの一例である端末システム2は、ユーザの睡眠に関する画像(上述の入眠用コンテンツ、覚醒用コンテンツ、睡眠の評価結果の画像等)を投影表示するプロジェクタと、ユーザの睡眠に関する音(上述の入眠用コンテンツ、覚醒用コンテンツ、睡眠の評価結果の音声等)を出力する無指向性スピーカとを備えていてもよい。これによれば、プロジェクタ25によって就寝中のユーザにとって見やすい表示を提供することができるとともに、無指向性スピーカによってより自然な音をユーザに提供することができる。
 (センサに関する変形例)
 上記実施形態および変形例においては、ユーザの生体情報を取得するセンサは、非接触型(かつ非装着型)のセンサ(具体的には、ドップラーセンサ)である。換言すれば、センサは、検出対象となるユーザの周辺に配置される。これによって、ユーザは、センサによる検出動作を気にする必要がないので、検出によるユーザの負担を軽減することができる。また、センサが非装着型である場合には、例えばユーザがセンサを装着し忘れることによって検出が行われないといった問題が生じない。
 なお、非接触型(かつ非装着型)のセンサは、上述したドップラーセンサ24に限らない。すなわち、上記実施形態においては、ドップラーセンサ24は、検出対象に向けて電波を送出するとともに反射波を受信し、受信結果に基づいて(受信波のドップラー現象に基づいて検出対象の動きを分析することにより)生体情報を出力する。他の実施形態においては、これに限らず、例えば、上記非接触型のセンサは、検出対象に向けて電波(または音波)を送出するとともに、反射波を受信し、受信した結果(受信波)に基づいて生体情報を出力してもよい。具体的には、センサは、受信波に基づいて検出対象の像を取得して、当該像情報から検出対象の動きを分析して生体情報を出力してもよい。また、非接触型のセンサは、電波の代わりに超音波等の所定の検出波を用いるセンサであってもよい。また、非接触型のセンサは、ユーザの周辺に配置される撮像手段(カメラ)であってもよい。つまり、検出対象を離れた場所からカメラが撮影し、情報処理システムは、撮影された像から検出対象の動きを分析して生体情報を出力してもよい。
 (ネットワークサービスに関する変形例)
 他の実施形態においては、サーバ3においてゲームが提供されてもよい。ゲームを提供するサーバは、サーバ3と同じサーバであってもよいし、専用のサーバ(ゲームサーバ)であってもよい。例えば、サーバ3が管理する上述のウェブサイト(ネットワークサービスを提供するためのウェブサイト)内においてゲームアプリケーションがユーザに提供されてもよい。なお、ゲームアプリケーションは、上記ウェブサイトを閲覧するためのブラウザ上で動作する種類のものであってもよいし、サーバから携帯端末5にダウンロードされてインストールされる種類のものであってもよい。
 なお、ゲームアプリケーションは、サーバから端末システム2に提供される他、任意の方法で端末システム2に取得されてもよい。例えば、ゲームアプリケーションを記憶した記憶媒体が携帯端末5に接続(または装着)されることによって、携帯端末5においてゲームアプリケーションが実行されてもよい。
 また、ゲームアプリケーションは、携帯端末5において実行されてもよいし、ユーザが有する他のユーザ端末(携帯端末、パーソナルコンピュータ、および、ゲーム装置等)において実行されてもよい。
 上記のようにユーザ端末(携帯端末5、および/または、上記他のユーザ端末)においてゲームアプリケーションが実行される場合、ユーザの評価結果がゲームに反映されてもよい。すなわち、上記ステップS116およびS117の処理においてユーザに付与される特典として、ゲームに関する特典をユーザに付与するようにしてもよい。例えば、サーバ3は、所定の指標が示す値が基準値以上の良い値である状態が所定期間継続したこと、あるいは、所定の指標が所定の基準以上改善したこと等を条件として、上記ゲームに関する特典をユーザに付与してもよい。また、ゲームに関する特典はどのようなものであってもよいが、例えば、サーバ3は、ゲーム内で利用するアイテムをユーザに付与したり、ゲーム内のストーリーを進行させたりするようにしてもよい。
 上記において、端末システムとサーバとを含む情報処理システムは、ゲームアプリケーションに基づくゲーム処理を実行する。ここで、情報処理システムは、ゲーム処理を実行する際に、サーバ3に記憶されている評価結果(評価結果を算出するための情報、すなわち、図21に示すユーザ状態データであってもよい)を参照する。そして、参照した評価結果に基づいて(つまり、参照した結果に応じて)当該ゲーム処理中の所定の処理が実行される。所定の処理は、例えば、上記のアイテムを付与する処理や、ゲーム内のストーリーを進める処理である。具体的には、情報処理システムは、ゲームアプリケーションで利用されるゲームデータを追加または更新する処理を行う。つまり、付与されるアイテムのゲームデータが追加されたり、新たなストーリーをプレイできるようにゲーム内のフラグが更新されたりする。
 なお、ゲーム処理は、サーバ側の情報処理装置(例えば、ゲームサーバ、または、サーバ3)で実行されてもよいし、端末側の情報処理装置(例えば、携帯端末5、または、上記他のユーザ端末)で実行されてもよい。また、ゲーム処理は、サーバ側の情報処理装置と端末側の情報処理装置とが協働して実行されてもよい。つまり、ゲーム処理の一部の処理がサーバ側で実行され、他の一部の処理が端末側で実行されてもよい。例えば、ウェブサイトを閲覧するためのブラウザ上でゲームアプリケーションが動作する場合には、ゲーム処理はサーバ側で実行されたり、サーバ側と端末側とで協働して実行されたりする。また、ゲームアプリケーションが端末側の情報処理装置にインストールされる場合、あるいは、当該情報処理装置に接続される記憶媒体に記憶されるゲームアプリケーションが実行される場合には、ゲーム処理は、端末側で実行されたり、サーバ側と端末側とで協働して実行されたりする。
 また、ゲームデータの追加または更新は、サーバ側で実行されてもよいし、端末側で実行されてもよい。すなわち、ゲームデータを追加または更新する処理は、サーバ側の情報処理装置が、サーバ側または端末側の記憶部に記憶されるゲームデータに対して追加または更新を行うことによって実行されてもよい。また、ゲームデータを追加または更新する処理は、端末側の情報処理装置が、端末側の記憶部に記憶されるゲームデータに対して追加または更新を行うことによって実行されてもよい。
 なお、上記のようにゲームアプリケーションにおいて評価結果を利用(参照)する際には、ゲームアプリケーションのユーザに関する評価結果が参照される。例えば、サーバ3が管理するウェブサイトにユーザがログインした状態でゲームアプリケーションが利用される場合には、サーバは、ログイン時に入力されるユーザ識別情報(図21に示すユーザ識別データ)によってユーザを特定することができる。すなわち、サーバは、ログイン時に入力されたユーザ識別情報を記憶しておき、ゲーム処理において評価結果を参照する際、記憶しておいたユーザ識別情報によって特定されるユーザの評価結果を参照する。
 また、上記ポータルサイトにユーザがログインしていない状態でゲームアプリケーションが利用される場合(あるいは、ログインしている端末とは異なる端末を用いてゲームアプリケーションが利用される場合)には、ゲーム処理の前またはゲーム処理中において、サーバは、ゲームアプリケーションを利用しているユーザを識別する。具体的には、ゲームアプリケーションを利用しているユーザ端末は、ゲーム処理の前またはゲーム処理中において、ユーザ識別情報の入力をユーザから受け付け、入力されたユーザ識別情報をサーバへ送信する。サーバは、ユーザ端末からのユーザ識別情報を用いて、参照すべき評価結果を特定する。ゲームデータの追加または更新がサーバ側で実行される場合には、サーバは、特定された評価結果を参照して、参照した評価結果に基づいてゲーム処理中の所定の処理(ゲームデータの追加または変更)を実行する。一方、ゲームデータの追加または更新が端末側で実行される場合には、サーバは、特定された評価結果をユーザ端末へ送信する。ユーザ端末は、受信した評価結果を参照して(つまり、サーバ側で記憶される評価結果を参照して)、参照した評価結果に基づいてゲーム処理中の所定の処理を実行する。
 上記においては、ユーザ識別情報は、上記実施形態におけるネットワークサービスにおけるユーザのアカウントであるだけでなく、ゲームアプリケーションを提供するサービスにおけるアカウントを兼ねてもよい。この場合、複数のネットワークサービスにおけるユーザのアカウントを共通にすることによって、ユーザは、異なるユーザ端末(プラットホームが異なる端末でもよい)において、複数のネットワークサービスを共通に利用することができるので、利便性が向上する。
 以上のように、本発明は、有用な情報および/またはサービスをユーザに提供すること等を目的として、例えば、携帯端末を含む情報処理システムに利用することが可能である。
1 情報処理システム
2 端末システム
3 サーバ
4 ネットワーク
10 通信部
11 処理部
12 操作入力部
13 位置検出部
14 環境センサ
15 マイク
16 カメラ
17 ディスプレイ
18 スピーカ
19 コネクタ
21 コネクタ
22 制御部
23 電力取得部
24 ドップラーセンサ
25 プロジェクタ
26 スピーカ
27 カメラ
41 波形解析部
42 睡眠算出部
43 自律神経算出部
44 疲労算出部
 

Claims (26)

  1.  ユーザの睡眠状態を算出するためのユーザ情報を検出するセンサと、
     所定の画像を投影表示するプロジェクタと、
     前記ユーザ情報に基づいて算出される睡眠状態に関する画像を前記プロジェクタに投影表示させる制御手段とを備える、表示システム。
  2.  ユーザの睡眠状態を算出するためのユーザ情報を検出するセンサと、
     所定の画像を投影表示するプロジェクタと、
     前記ユーザ情報に基づいて、前記ユーザの覚醒に関するタイミングを特定するタイミング特定手段と、
     特定されたタイミングに応じて、画像の投影表示を前記プロジェクタに開始させる制御手段とを備える、表示システム。
  3.  入床中のユーザの睡眠状態を算出するためのユーザ情報を検出するセンサと、
     前記ユーザの入床中に所定の画像を投影表示するプロジェクタと、
     前記プロジェクタを制御する制御手段と、
     ネットワークを介してサーバと通信を行う通信手段とを備える、表示システム。
  4.  前記制御手段は、前記ユーザ情報に基づいて特定される、前記ユーザの睡眠状態に応じたタイミングで、前記ユーザ情報に基づいて算出される睡眠状態に関する画像を前記プロジェクタに表示させる、請求項1から請求項3のいずれか1項に記載の表示システム。
  5.  前記制御手段は、前記ユーザ情報に基づいて特定されるタイミングである、前記ユーザが覚醒するタイミング、または、覚醒前のタイミングで、前記睡眠状態に関する画像を前記プロジェクタに表示させる、請求項4に記載の表示システム。
  6.  前記制御手段は、ユーザの睡眠状態に応じて前記プロジェクタへの電源供給を制御する、請求項1から請求項3のいずれか1項に記載の表示システム。
  7.  前記制御手段は、前記ユーザ情報に基づいて特定される、前記ユーザの覚醒に関するタイミングに応じて、前記プロジェクタへの電源供給を開始させる、請求項6に記載の表示システム。
  8.  前記制御手段は、ユーザの入眠を誘導する、および/または、覚醒を誘導するための画像を、前記ユーザの睡眠状態に応じて変化させて前記プロジェクタに投影表示させる、請求項1から請求項3のいずれか1項に記載の表示システム。
  9.  ユーザが覚醒した場合、睡眠中の中途覚醒であるか否かを判定する判定手段をさらに備え、
     前記制御手段は、中途覚醒であると判定された場合と中途覚醒でないと判定された場合とで異なる画像を前記プロジェクタに投影表示させる、請求項1から請求項3のいずれか1項に記載の表示システム。
  10.  前記ユーザ情報に基づいてユーザの睡眠に対する評価を行う評価手段をさらに備え、
     前記制御手段は、前記ユーザ情報に基づいて特定される、前記ユーザの睡眠状態に応じたタイミングで、前記評価の結果を前記プロジェクタに投影表示させる、請求項1から請求項3のいずれか1項に記載の表示システム。
  11.  ユーザに対して光を照射する光源をさらに備え、
     前記制御手段は、前記ユーザ情報に基づいて特定される、前記ユーザが覚醒する前のタイミングで、前記光源の照射を開始する、請求項1から請求項3のいずれか1項に記載の表示システム。
  12.  前記制御手段は、前記センサから前記ユーザ情報を逐次取得し、取得されたユーザ情報に応じて前記プロジェクタをリアルタイムに制御する、請求項1から請求項3のいずれか1項に記載の表示システム。
  13.  前記通信手段は、前記ユーザの健康に関する評価に応じたネットワークサービスを前記ユーザに対して提供するためのサービスデータを前記サーバから受信する、請求項3に記載の表示システム。
  14.  前記プロジェクタは、前記サービスデータに基づく画像を投影表示する、請求項13に記載の表示システム。
  15.  前記通信手段は、前記センサによって検出されたユーザ情報、および/または、当該ユーザ情報から算出される情報を前記サーバへ送信する、請求項3、請求項13、および請求項14のいずれか1項に記載の表示システム。
  16.  前記通信手段は、前記サーバから画像コンテンツを受信し、
     前記プロジェクタは、前記画像コンテンツを投影表示する、請求項3、および、請求項13から請求項15のいずれか1項に記載の表示システム。
  17.  前記プロジェクタは、上方の天井に画像を投影表示する、請求項1から請求項16のいずれか1項に記載の表示システム。
  18.  前記センサは、ユーザに対して接触しない状態で当該ユーザの生体情報を検出する、請求項1から請求項17のいずれか1項に記載の表示システム。
  19.  前記センサは、前記表示装置から所定範囲内で離れたユーザを対象として生体情報を検出する、請求項18に記載の表示システム。
  20.  前記センサは、検出対象に向けて電波または音波を送出するとともに反射波を受信し、受信した結果に基づいて前記生体情報を出力する、請求項19に記載の表示システム。
  21.  前記プロジェクタによる投影箇所を撮像するカメラと、
     前記プロジェクタによって投影表示される画像に対して、前記カメラによって撮像された前記投影箇所の画像に基づいて、当該投影箇所の凹凸を考慮した補正を行う補正手段とをさらに備える、請求項20から請求項26のいずれか1項に記載の表示システム。
  22.  前記補正手段は、前記プロジェクタによって投影表示される画像に対して、前記投影箇所の画像に基づいて、当該投影箇所の色を考慮した補正を行う、請求項22に記載の表示システム。
  23.  前記センサおよび前記プロジェクタと同じ筐体内に設けられるスピーカをさらに備える、請求項1から請求項22のいずれか1項に記載の表示システム。
  24.  ユーザの睡眠状態を算出するためのユーザ情報を検出するセンサと、
     所定の画像を投影表示するプロジェクタと、
     前記ユーザ情報に基づいて算出される睡眠状態に関する画像を前記プロジェクタに投影表示させる制御手段とを備える、表示装置。
  25.  ユーザの睡眠状態を算出するためのユーザ情報を検出するセンサと、
     所定の画像を投影表示するプロジェクタと、
     前記ユーザ情報に基づいて、前記ユーザの覚醒に関するタイミングを特定するタイミング特定手段と、
     特定されたタイミングに応じて、画像の投影表示を前記プロジェクタに開始させる制御手段とを備える、表示装置。
  26.  入床中のユーザの睡眠状態を算出するためのユーザ情報を検出するセンサと、
     前記ユーザの入床中に所定の画像を投影表示するプロジェクタと、
     前記プロジェクタを制御する制御手段と、
     ネットワークを介してサーバと通信を行う通信手段とを備える、表示装置。
     
PCT/JP2014/078827 2014-01-17 2014-10-29 表示システム、および、表示装置 WO2015107746A1 (ja)

Priority Applications (23)

Application Number Priority Date Filing Date Title
EP14878971.2A EP3096238A4 (en) 2014-01-17 2014-10-29 Display system and display apparatus
JP2015557714A JP6595918B2 (ja) 2014-01-17 2014-10-29 表示システム、および、表示装置
JP2016539860A JP6592441B2 (ja) 2014-08-07 2015-04-10 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法
PCT/JP2015/061273 WO2016021235A1 (ja) 2014-08-07 2015-04-10 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法
PCT/JP2015/061274 WO2016021236A1 (ja) 2014-08-07 2015-04-10 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法
JP2016539859A JP6592440B2 (ja) 2014-08-07 2015-04-10 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法
PCT/JP2015/069653 WO2016021361A1 (ja) 2014-08-07 2015-07-08 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
JP2016540128A JP6392875B2 (ja) 2014-01-17 2015-07-08 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
EP15830638.1A EP3179381A4 (en) 2014-08-07 2015-07-08 Information processing system, information processing server, information processing program, and information provision method
US15/211,497 US10504616B2 (en) 2014-01-17 2016-07-15 Display system and display device
US15/421,724 US10847255B2 (en) 2014-01-17 2017-02-01 Information processing system, information processing server, storage medium storing information processing program, and information provision method
US15/421,708 US10504617B2 (en) 2014-01-17 2017-02-01 Information processing system, information processing device, storage medium storing information processing program, and information processing method
JP2018158911A JP6706293B2 (ja) 2014-01-17 2018-08-28 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
US16/567,811 US10987042B2 (en) 2014-01-17 2019-09-11 Display system and display device
US16/570,951 US11026612B2 (en) 2014-01-17 2019-09-13 Information processing system, information processing device, storage medium storing information processing program, and information processing method
JP2019172746A JP6962982B2 (ja) 2014-08-07 2019-09-24 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法
JP2020085828A JP6935540B2 (ja) 2014-01-17 2020-05-15 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
US17/332,746 US11571153B2 (en) 2014-01-17 2021-05-27 Information processing system, information processing device, storage medium storing information processing program, and information processing method
JP2021136986A JP7184980B2 (ja) 2014-01-17 2021-08-25 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
JP2021168763A JP7304391B2 (ja) 2014-08-07 2021-10-14 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法
JP2022187606A JP2023010983A (ja) 2014-01-17 2022-11-24 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
US18/106,299 US20230181073A1 (en) 2014-08-07 2023-02-06 Information processing system, information processing device, storage medium storing information processing program, and information processing method
JP2023104096A JP2023130391A (ja) 2014-08-07 2023-06-26 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPPCT/JP2014/050851 2014-01-17
PCT/JP2014/050851 WO2015107681A1 (ja) 2014-01-17 2014-01-17 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
JPPCT/JP2014/070931 2014-08-07
PCT/JP2014/070931 WO2015107710A1 (ja) 2014-01-17 2014-08-07 情報処理システム、情報処理サーバ、情報処理プログラム、および疲労評価方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/211,497 Continuation US10504616B2 (en) 2014-01-17 2016-07-15 Display system and display device

Publications (1)

Publication Number Publication Date
WO2015107746A1 true WO2015107746A1 (ja) 2015-07-23

Family

ID=53542599

Family Applications (8)

Application Number Title Priority Date Filing Date
PCT/JP2014/050851 WO2015107681A1 (ja) 2014-01-17 2014-01-17 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
PCT/JP2014/070931 WO2015107710A1 (ja) 2014-01-17 2014-08-07 情報処理システム、情報処理サーバ、情報処理プログラム、および疲労評価方法
PCT/JP2014/078824 WO2015107743A1 (ja) 2014-01-17 2014-10-29 情報処理システム、サーバシステム、情報処理装置、および情報処理方法
PCT/JP2014/078829 WO2015107748A1 (ja) 2014-01-17 2014-10-29 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
PCT/JP2014/078827 WO2015107746A1 (ja) 2014-01-17 2014-10-29 表示システム、および、表示装置
PCT/JP2014/078825 WO2015107744A1 (ja) 2014-01-17 2014-10-29 情報処理システム、サーバシステム、情報処理プログラム、および情報処理方法
PCT/JP2014/078826 WO2015107745A1 (ja) 2014-01-17 2014-10-29 情報処理システム、サーバシステム、および、情報処理プログラム
PCT/JP2014/078828 WO2015107747A1 (ja) 2014-01-17 2014-10-29 情報処理システムおよび情報処理装置

Family Applications Before (4)

Application Number Title Priority Date Filing Date
PCT/JP2014/050851 WO2015107681A1 (ja) 2014-01-17 2014-01-17 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
PCT/JP2014/070931 WO2015107710A1 (ja) 2014-01-17 2014-08-07 情報処理システム、情報処理サーバ、情報処理プログラム、および疲労評価方法
PCT/JP2014/078824 WO2015107743A1 (ja) 2014-01-17 2014-10-29 情報処理システム、サーバシステム、情報処理装置、および情報処理方法
PCT/JP2014/078829 WO2015107748A1 (ja) 2014-01-17 2014-10-29 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
PCT/JP2014/078825 WO2015107744A1 (ja) 2014-01-17 2014-10-29 情報処理システム、サーバシステム、情報処理プログラム、および情報処理方法
PCT/JP2014/078826 WO2015107745A1 (ja) 2014-01-17 2014-10-29 情報処理システム、サーバシステム、および、情報処理プログラム
PCT/JP2014/078828 WO2015107747A1 (ja) 2014-01-17 2014-10-29 情報処理システムおよび情報処理装置

Country Status (4)

Country Link
US (12) US10777305B2 (ja)
EP (6) EP3096235A4 (ja)
JP (14) JP6423802B2 (ja)
WO (8) WO2015107681A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018025453A (ja) * 2016-08-09 2018-02-15 トヨタホーム株式会社 時刻報知装置
JPWO2017168545A1 (ja) * 2016-03-29 2019-01-17 富士通株式会社 センサ表示装置、センサ表示方法及びプログラム
CN109936998A (zh) * 2016-09-16 2019-06-25 伯斯有限公司 用于睡眠系统的用户界面
KR20200028527A (ko) * 2018-09-06 2020-03-17 주식회사 아이앤나 프로젝터가 구비된 카메라 장치
JP2021016137A (ja) * 2019-07-16 2021-02-12 株式会社Lixil 支援システム、制御装置、及び制御プログラム

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015107681A1 (ja) 2014-01-17 2015-07-23 任天堂株式会社 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
US20150350146A1 (en) 2014-05-29 2015-12-03 Apple Inc. Coordination of message alert presentations across devices based on device modes
JP6349030B2 (ja) 2014-09-02 2018-06-27 アップル インコーポレイテッド アラートを管理するための小型インターフェース
JP6339690B2 (ja) * 2014-09-29 2018-06-06 シャープ株式会社 情報処理装置、情報処理装置の制御方法、および制御プログラム
US10334158B2 (en) * 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
EP3264258A4 (en) * 2015-02-27 2018-08-15 Sony Corporation Information processing device, information processing method, and program
KR20180033135A (ko) 2015-07-31 2018-04-02 소니 주식회사 제어 장치, 제어 방법, 컴퓨터 프로그램 및 전자 기기
WO2017029848A1 (ja) * 2015-08-18 2017-02-23 ソニー株式会社 情報処理システム、および情報処理方法
KR20170027589A (ko) * 2015-09-02 2017-03-10 삼성전자주식회사 기능 제어 방법 및 그 방법을 처리하는 전자 장치
JP6579890B2 (ja) * 2015-09-29 2019-09-25 シチズン時計株式会社 疲労度計
JP6513005B2 (ja) * 2015-09-29 2019-05-15 シチズン時計株式会社 疲労度計
US9992148B2 (en) * 2015-10-19 2018-06-05 International Business Machines Corporation Notifying a user about a previous conversation
US10885807B1 (en) 2015-12-02 2021-01-05 Natan LAVI Indirect bio-feedback health and fitness management system
US10347152B2 (en) * 2015-12-02 2019-07-09 Natan LAVI Indirect bio-feedback health and fitness management system
US11222730B1 (en) 2015-12-02 2022-01-11 Natan LAVI Indirect bio-feedback health and fitness management system
JPWO2017094177A1 (ja) * 2015-12-04 2018-09-20 株式会社FiNC 情報処理サーバ、情報処理サーバの制御方法及び情報処理プログラム
JP2017117168A (ja) * 2015-12-24 2017-06-29 株式会社日立システムズ 見守りシステム
CA3010346A1 (en) * 2016-01-07 2017-07-13 Global Kinetics Corporation Pty Ltd System and method for assessing sleep state
JP6654904B2 (ja) * 2016-01-13 2020-02-26 エコナビスタ株式会社 情報処理装置、プログラムおよび情報処理方法
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体
US11164596B2 (en) * 2016-02-25 2021-11-02 Samsung Electronics Co., Ltd. Sensor assisted evaluation of health and rehabilitation
JP6790386B2 (ja) * 2016-03-10 2020-11-25 ヤマハ株式会社 制御装置および音響装置
US20170309196A1 (en) * 2016-04-21 2017-10-26 Microsoft Technology Licensing, Llc User energy-level anomaly detection
JP6662698B2 (ja) * 2016-04-26 2020-03-11 株式会社Nttドコモ ユーザ状態推定装置
JP6754626B2 (ja) * 2016-06-16 2020-09-16 株式会社 ミックウェア 情報通知システム、車輌異常通知システム、情報通知装置、情報通知制御方法、及びコンピュータプログラム
CN106175672B (zh) * 2016-07-04 2019-02-19 中国科学院生物物理研究所 基于“大范围首先”知觉组织的行为评测系统及其应用
JP6692239B2 (ja) * 2016-07-20 2020-05-13 ヤフー株式会社 情報処理装置、情報処理システム、端末装置、情報処理方法及び情報処理プログラム
US11707216B2 (en) * 2016-07-21 2023-07-25 Comcast Cable Communications, Llc Recommendations based on biometric feedback from wearable device
CN106617906A (zh) 2016-09-14 2017-05-10 北京小米移动软件有限公司 智能床垫的控制方法及装置
EP3523740A1 (en) 2016-10-05 2019-08-14 Koninklijke Philips N.V. Patient monitoring systems and methods
WO2018066205A1 (ja) * 2016-10-06 2018-04-12 ソニー株式会社 情報処理装置、及び情報処理方法
US11793448B2 (en) 2016-10-21 2023-10-24 Citizen Watch Co., Ltd. Detection device
CN106407730A (zh) * 2016-11-30 2017-02-15 广州市万表科技股份有限公司 手表测评方法及装置
WO2018123057A1 (ja) * 2016-12-28 2018-07-05 本田技研工業株式会社 情報提供システム
KR101896161B1 (ko) * 2016-12-28 2018-09-07 상명대학교산학협력단 라이프로깅 데이터의 익명성을 보장하기 위한 아이디 발급 시스템 및 그 방법
CN110139596B (zh) * 2016-12-29 2023-07-14 皇家飞利浦有限公司 用于确定个性化防打鼾解决方案的系统和方法
JP6855825B2 (ja) * 2017-02-13 2021-04-07 沖電気工業株式会社 情報処理装置、情報処理方法およびプログラム
US11413519B2 (en) 2017-02-20 2022-08-16 Sony Corporation Information processing system and information processing method
JP6859741B2 (ja) * 2017-02-22 2021-04-14 ダイキン工業株式会社 生体情報取得ユニット、据置ユニット、及び生体情報取得装置
WO2018163558A1 (ja) * 2017-03-08 2018-09-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR102037573B1 (ko) * 2017-03-09 2019-10-29 주식회사 파트너스앤코 문진 데이터 및 카메라 데이터에 기반한 진단용 데이터 처리 장치 및 그 시스템
JP6866715B2 (ja) * 2017-03-22 2021-04-28 カシオ計算機株式会社 情報処理装置、感情認識方法、及び、プログラム
KR102329597B1 (ko) * 2017-03-31 2021-11-23 프로제너티, 인크. 섭취가능한 디바이스용 측위 시스템 및 방법
JP6348634B1 (ja) * 2017-04-25 2018-06-27 株式会社リードライフ 情報管理システム、及びプログラム
WO2018204934A1 (en) * 2017-05-05 2018-11-08 Canary Speech, LLC Selecting speech features for building models for detecting medical conditions
US10653361B2 (en) * 2017-05-18 2020-05-19 Motorola Mobility Llc Breath sensory on a mobile communication device
KR102350493B1 (ko) * 2017-05-19 2022-01-14 삼성전자주식회사 수면과 관련된 정보를 결정하기 위한 전자 장치 및 방법
JP7248385B2 (ja) * 2017-06-30 2023-03-29 ポーラ化成工業株式会社 肌状態、体状態又は心状態のケアに関する情報出力システム、情報出力プログラム及び情報出力方法
WO2019031010A1 (ja) * 2017-08-10 2019-02-14 コニカミノルタ株式会社 睡眠状態検出装置および該方法ならびに被監視者監視支援システム
JP6767322B2 (ja) * 2017-08-18 2020-10-14 ヤフー株式会社 出力制御装置、出力制御方法及び出力制御プログラム
CN107563798A (zh) * 2017-08-22 2018-01-09 北京潘达互娱科技有限公司 中奖数据处理方法及装置
JP6675054B2 (ja) * 2017-08-28 2020-04-01 株式会社コナミデジタルエンタテインメント ゲームシステム、及びそれに用いられるコンピュータプログラム
JP6500188B2 (ja) * 2017-08-30 2019-04-17 メドケア株式会社 指導支援システム、指導支援方法及び指導支援プログラム
US10410655B2 (en) * 2017-09-18 2019-09-10 Fujitsu Limited Estimating experienced emotions
JP2019061511A (ja) * 2017-09-27 2019-04-18 富士ゼロックス株式会社 情報処理装置及びプログラム
DE112018004570T5 (de) 2017-10-26 2020-06-04 Omron Corporation Zielverwaltungssystem und Zielverwaltungsprogramm
JP6976812B2 (ja) * 2017-10-26 2021-12-08 オムロンヘルスケア株式会社 目標管理システム、目標管理サーバ、および、目標管理プログラム
JP2019079389A (ja) * 2017-10-26 2019-05-23 オムロンヘルスケア株式会社 目標管理システム、目標管理サーバ、および、目標管理プログラム
CN107874750B (zh) * 2017-11-28 2020-01-10 华南理工大学 脉率变异性和睡眠质量融合的心理压力监测方法及装置
JP6851958B2 (ja) * 2017-11-29 2021-03-31 ヤフー株式会社 推定装置、推定方法、及び推定プログラム
JP6869167B2 (ja) * 2017-11-30 2021-05-12 パラマウントベッド株式会社 異常報知装置、プログラム及び異常報知方法
JP6923426B2 (ja) * 2017-11-30 2021-08-18 パラマウントベッド株式会社 異常判定装置及びそれに用いるプログラム
KR102050641B1 (ko) * 2017-12-01 2019-11-29 상명대학교산학협력단 Gps 기반의 행태 분석을 통한 감성 인식 장치 및 그 방법
KR102533993B1 (ko) * 2018-02-02 2023-05-19 삼성전자주식회사 복수의 생체 신호에 기반하여 건강 정보를 생성하는 전자 장치 및 이의 동작 방법
US10922996B2 (en) * 2018-02-12 2021-02-16 Hypnocore Ltd. Systems and methods for generating a presentation of an energy level based on sleep and daily activity
KR102532412B1 (ko) * 2018-02-13 2023-05-16 삼성전자주식회사 생체 정보에 기반한 건강 정보를 제공하기 위한 전자 장치 및 그 제어 방법
US11457875B2 (en) 2018-03-08 2022-10-04 Panasonic Intellectual Property Corporation Of America Event prediction system, sensor signal processing system, event prediction method, and non-transitory storage medium
JP7316038B2 (ja) * 2018-03-08 2023-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 事象予測システム、センサ信号処理システム及びプログラム
DK179980B1 (en) 2018-03-12 2019-11-27 Apple Inc. USER INTERFACES FOR HEALTH MONITORING
CN111837151A (zh) * 2018-03-13 2020-10-27 株式会社钟化 判定系统以及判定方法
DK179992B1 (en) 2018-05-07 2020-01-14 Apple Inc. DISPLAY OF USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
US11317833B2 (en) 2018-05-07 2022-05-03 Apple Inc. Displaying user interfaces associated with physical activities
JP2019209119A (ja) * 2018-05-30 2019-12-12 パナソニックIpマネジメント株式会社 寝相判定装置、寝相判定方法、記録媒体、およびプログラム
WO2019236866A1 (en) 2018-06-07 2019-12-12 Powdermet, Inc. Non-linear surfactant
CN109009019A (zh) * 2018-07-18 2018-12-18 广东威康龙生物科技有限公司 多参数生理检测仪
JP2020010894A (ja) * 2018-07-19 2020-01-23 花王株式会社 活動分類方法及び活動分類装置
JP7030639B2 (ja) * 2018-07-25 2022-03-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及び情報処理プログラム
JP2020052462A (ja) 2018-09-21 2020-04-02 トヨタ自動車株式会社 情報処理装置、情報処理方法およびプログラム
JP2020044222A (ja) * 2018-09-21 2020-03-26 株式会社ポケモン ゲームサーバ、プログラム、方法、ゲームシステムおよび情報処理端末
JP7070286B2 (ja) * 2018-09-21 2022-05-18 トヨタ自動車株式会社 情報処理装置、情報処理方法およびプログラム
JP6679069B2 (ja) * 2018-09-21 2020-04-15 株式会社ポケモン ゲームサーバ、プログラム、方法、ゲームシステムおよび情報処理端末
WO2020071410A1 (ja) * 2018-10-02 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報提供方法
EP3644135A1 (fr) * 2018-10-26 2020-04-29 Tissot S.A. Procédé de diffusion par une montre d'un message informatif relatif à une évaluation de la qualité de vie d'un porteur de ladite montre
US11204955B2 (en) * 2018-11-30 2021-12-21 International Business Machines Corporation Digital content delivery based on predicted effect
CN109730658B (zh) * 2018-12-29 2021-08-06 北京工业大学 一种人工智能床垫系统
JP7143784B2 (ja) * 2019-02-27 2022-09-29 日本電信電話株式会社 介護支援装置、介護支援方法、および介護支援システム
JP6611972B1 (ja) * 2019-03-05 2019-11-27 正通 亀井 アドバイス提示システム
US20220148696A1 (en) * 2019-03-12 2022-05-12 Nec Solution Innovators, Ltd. Lifestyle habit recommendation apparatus, lifestyle habit recommendation method, program, and recording medium
JP7233267B2 (ja) * 2019-03-18 2023-03-06 サントリーホールディングス株式会社 将来における生活に対する満足度を予測するシステム、方法、およびプログラム
JP7213457B2 (ja) * 2019-03-20 2023-01-27 パナソニックIpマネジメント株式会社 情報処理システム、及び、情報処理方法
CN113574906A (zh) * 2019-03-26 2021-10-29 索尼集团公司 信息处理设备、信息处理方法和信息处理程序
JP6721228B2 (ja) * 2019-04-02 2020-07-08 株式会社北電子 睡眠情報表示制御プログラム、睡眠情報表示装置
WO2020210841A1 (en) * 2019-04-12 2020-10-15 Daniel Seidel Projection system with interactive exclusion zones and topological adjustment
JP7340797B2 (ja) * 2019-04-24 2023-09-08 東京瓦斯株式会社 健康管理システムおよびプログラム
DK201970532A1 (en) 2019-05-06 2021-05-03 Apple Inc Activity trends and workouts
US11152100B2 (en) 2019-06-01 2021-10-19 Apple Inc. Health application user interfaces
US11234077B2 (en) 2019-06-01 2022-01-25 Apple Inc. User interfaces for managing audio exposure
US11228835B2 (en) 2019-06-01 2022-01-18 Apple Inc. User interfaces for managing audio exposure
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
US11209957B2 (en) 2019-06-01 2021-12-28 Apple Inc. User interfaces for cycle tracking
KR20190099169A (ko) * 2019-08-06 2019-08-26 엘지전자 주식회사 인공지능 기반의 기상 및 취침 시간 정보 제공 장치 및 방법
CN114706505A (zh) 2019-09-09 2022-07-05 苹果公司 调查研究用户界面
KR20210030106A (ko) * 2019-09-09 2021-03-17 엘지전자 주식회사 서버
WO2021049164A1 (ja) * 2019-09-13 2021-03-18 ソニー株式会社 情報処理装置と情報処理方法およびプログラム
CN114760922A (zh) * 2019-12-02 2022-07-15 株式会社岛津制作所 排尿量测量装置、排尿量管理系统、排尿量测量方法以及程序
CN114641834A (zh) * 2019-12-24 2022-06-17 e-解决方案株式会社 健康管理系统和健康管理方法
CN111159555A (zh) * 2019-12-30 2020-05-15 北京每日优鲜电子商务有限公司 商品推荐方法、装置、服务器和存储介质
US20210275023A1 (en) * 2020-03-03 2021-09-09 Haik Kalantarian Health monitoring system for wellness, safety, and remote care using digital sensing technology
EP4114265A1 (en) * 2020-03-05 2023-01-11 ResMed Sensor Technologies Limited Systems and methods for increasing a sleepiness of individuals
WO2021204036A1 (zh) * 2020-04-10 2021-10-14 华为技术有限公司 睡眠风险监测方法、电子设备及存储介质
WO2021241431A1 (ja) * 2020-05-29 2021-12-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
DK181037B1 (en) 2020-06-02 2022-10-10 Apple Inc User interfaces for health applications
JP7454465B2 (ja) 2020-07-28 2024-03-22 マクセル株式会社 肌カウンセリングシステム
JP7461243B2 (ja) 2020-07-28 2024-04-03 マクセル株式会社 肌カウンセリングシステム
CN111953951A (zh) * 2020-08-14 2020-11-17 安徽信息工程学院 一种基于蓝牙5.0和无线通信的智能遥控床
US11698710B2 (en) 2020-08-31 2023-07-11 Apple Inc. User interfaces for logging user activities
JPWO2022054664A1 (ja) * 2020-09-08 2022-03-17
TW202218413A (zh) * 2020-10-20 2022-05-01 中強光電股份有限公司 投影系統以及投影方法
US20220121098A1 (en) * 2020-10-20 2022-04-21 Coretronic Corporation Projection system and projection method
JP7302883B2 (ja) * 2020-11-04 2023-07-04 からだポータル株式会社 からだポータルサイトシステム
JP6913810B1 (ja) * 2020-11-18 2021-08-04 株式会社オプティム プログラム、方法、情報処理装置、及びシステム
US11478186B2 (en) * 2021-01-29 2022-10-25 Fitbit, Inc. Cluster-based sleep analysis
TW202322140A (zh) * 2021-08-13 2023-06-01 日商大塚製藥股份有限公司 預測生活者之健康狀態並支援健康維護和改善之資訊提供方法
WO2023127596A1 (ja) * 2021-12-27 2023-07-06 アルプスアルパイン株式会社 配信システム、配信方法、及びプログラム
JP2023121986A (ja) * 2022-02-22 2023-09-01 株式会社ヘルスケアシステムズ 情報処理装置、情報処理方法、およびプログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0934424A (ja) * 1995-07-21 1997-02-07 Mitsubishi Electric Corp 表示システム
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
JP2002034955A (ja) * 2000-07-26 2002-02-05 Matsushita Electric Works Ltd 睡眠状態および中途覚醒の判定システム、睡眠状態および中途覚醒の判定方法、睡眠状態および中途覚醒の判定用プログラムを記録した記録媒体
JP2002072359A (ja) * 2000-08-29 2002-03-12 Olympus Optical Co Ltd 画像投影表示装置
JP2005237569A (ja) * 2004-02-25 2005-09-08 Daikin Ind Ltd 携帯型測定機器、健康管理システム及び健康管理方法
JP2007117365A (ja) * 2005-10-27 2007-05-17 Advanced Telecommunication Research Institute International 情報提示装置
JP2007512086A (ja) 2003-11-21 2007-05-17 ファースト プリンシプルズ インコーポレイテッド 睡眠誘導システムおよび関連する方法
JP2007248052A (ja) * 2006-03-13 2007-09-27 Toyota Motor Corp 寝室用光覚醒システム
JP2010201113A (ja) 2009-03-06 2010-09-16 Hiro Kagaku Kenkyusho:Kk 疲労度の判定処理システム
JP2012503804A (ja) * 2008-09-24 2012-02-09 ビアンカメッド リミテッド 評価及び介入のためのqolパラメータの非接触及び微接触測定
WO2013080109A2 (en) * 2011-11-28 2013-06-06 Koninklijke Philips Electronics N.V. Health monitoring system for calculating a total risk score

Family Cites Families (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3094121B2 (ja) 1996-07-30 2000-10-03 株式会社タイト 電子式ゲーム機能付き目覚まし時計
JPH1170097A (ja) 1997-08-29 1999-03-16 Omron Corp 健康増進ゲーム機
JP2000024324A (ja) 1998-05-01 2000-01-25 Sega Enterp Ltd 携帯型デ―タ記憶装置及び画像表示機能付ゲ―ム装置及びデ―タ通信システム
CA2345043C (en) 1998-10-08 2009-08-11 Minimed, Inc. Telemetered characteristic monitor system
JP2000268093A (ja) * 1999-03-17 2000-09-29 Seiko Epson Corp 情報提供者への謝礼用クーポン発行方法及び情報提供者への謝礼用クーポン発行システム並びに情報提供者への謝礼用クーポン発行処理プログラムを記録した記録媒体
JP2003264812A (ja) * 1999-08-03 2003-09-19 Adc Technology Kk ポイント集計システムおよび受信端末装置
JP2001273376A (ja) * 2000-03-25 2001-10-05 Nippon Telegr & Teleph Corp <Ntt> 環境情報提供方法およびシステム
US7155507B2 (en) 2000-03-25 2006-12-26 Nippon Telegraph And Telephone Corporation Method and system for providing environmental information on network
US6434419B1 (en) 2000-06-26 2002-08-13 Sam Technology, Inc. Neurocognitive ability EEG measurement method and system
JP2002041930A (ja) * 2000-07-26 2002-02-08 Dennow.Com Kk 移動端末を用いたポイント情報管理方法、移動端末、およびポイント情報管理装置
JP2002149830A (ja) * 2000-11-13 2002-05-24 Matsushita Electric Ind Co Ltd 健康管理方法、アドバイス装置および健康管理システム
US20020063855A1 (en) 2000-11-29 2002-05-30 Williams John W. Digital projection system for phones and personal digital assistants
JP2002222264A (ja) * 2001-01-25 2002-08-09 Seiko Epson Corp サービス提供方法、サービス提供システムおよびサーバ装置
JP2002245178A (ja) * 2001-02-16 2002-08-30 Matsushita Electric Ind Co Ltd 健康管理システム
US20020143961A1 (en) 2001-03-14 2002-10-03 Siegel Eric Victor Access control protocol for user profile management
JP3722009B2 (ja) 2001-04-24 2005-11-30 松下電工株式会社 体動計測装置
WO2002102484A1 (en) * 2001-06-15 2002-12-27 Walker Digital, Llc Method and apparatus for planning and customizing a gaming experience
JP3994692B2 (ja) * 2001-07-04 2007-10-24 ヤマハ株式会社 音楽情報提供システム及び方法
US6997944B2 (en) 2001-08-13 2006-02-14 Advanced Cardiovascular Systems, Inc. Apparatus and method for decreasing stent gap size
JP3789890B2 (ja) 2002-02-26 2006-06-28 花王株式会社 美容支援システム
JP2003296360A (ja) * 2002-03-29 2003-10-17 Csk Corp 情報提供装置、携帯機器、情報提供装置と携帯機器の制御方法及びプログラム
JP2003299624A (ja) * 2002-04-09 2003-10-21 Tama Tlo Kk 遠隔診断支援システム
US7020508B2 (en) * 2002-08-22 2006-03-28 Bodymedia, Inc. Apparatus for detecting human physiological and contextual information
JP2004157596A (ja) 2002-11-01 2004-06-03 Junichi Ninomiya 健康管理システム及び健康管理方法
US6993380B1 (en) * 2003-06-04 2006-01-31 Cleveland Medical Devices, Inc. Quantitative sleep analysis method and system
WO2005003902A2 (en) 2003-06-24 2005-01-13 Johnson & Johnson Consumer Companies, Inc. Method and system for using a database containing rehabilitation plans indexed across multiple dimensions
JP2005050253A (ja) * 2003-07-31 2005-02-24 Integrated Business:Kk 携帯端末による情報収集システム
US7469697B2 (en) * 2003-09-18 2008-12-30 Cardiac Pacemakers, Inc. Feedback system and method for sleep disordered breathing therapy
JP2005074107A (ja) 2003-09-02 2005-03-24 Fuji Photo Film Co Ltd 生活管理システム
JP2005237719A (ja) 2004-02-27 2005-09-08 Daikin Ind Ltd 監視ユニットおよび監視システム
US8725244B2 (en) * 2004-03-16 2014-05-13 Medtronic, Inc. Determination of sleep quality for neurological disorders
US7515054B2 (en) * 2004-04-01 2009-04-07 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US7355508B2 (en) 2004-05-21 2008-04-08 International Electronic Machines Corp. System and method for monitoring an area
JP4627152B2 (ja) 2004-06-01 2011-02-09 三星電子株式会社 危機監視システム
JP4192127B2 (ja) * 2004-08-25 2008-12-03 株式会社東芝 睡眠状態管理装置及び睡眠状態管理方法
US7652569B2 (en) 2004-10-01 2010-01-26 Honeywell International Inc. Mobile telephonic device and base station
AU2005290662B8 (en) * 2004-10-04 2009-05-21 Daikin Industries, Ltd. Sleeping state improvement system and sleeping state improvement method
US8075484B2 (en) 2005-03-02 2011-12-13 Martin Moore-Ede Systems and methods for assessing equipment operator fatigue and using fatigue-risk-informed safety-performance-based systems and methods to replace or supplement prescriptive work-rest regulations
JP4199745B2 (ja) 2005-03-22 2008-12-17 日本電信電話株式会社 運動指導システム
JP2007004000A (ja) 2005-06-27 2007-01-11 Tokyo Electric Power Co Inc:The コールセンターにおけるオペレータ業務支援システム
US20070016443A1 (en) 2005-07-13 2007-01-18 Vitality, Inc. Medication compliance systems, methods and devices with configurable and adaptable escalation engine
JP4631666B2 (ja) * 2005-07-26 2011-02-16 パナソニック電工株式会社 睡眠評価システム
WO2007023818A1 (ja) * 2005-08-22 2007-03-01 National University Corporation Okayama University リアルタイム情報収集・利用者支援システムおよびそれに用いられるサーバ制御プログラム
JP2007080219A (ja) * 2005-09-16 2007-03-29 Navitime Japan Co Ltd 携帯端末装置および携帯端末装置における省電力制御方法
US8270933B2 (en) * 2005-09-26 2012-09-18 Zoomsafer, Inc. Safety features for portable electronic device
JP2007109029A (ja) * 2005-10-14 2007-04-26 Hitachi Ltd アンケート/ヒアリング結果要因分析質問項目選定装置
WO2007053439A2 (en) 2005-10-28 2007-05-10 Ace Ideas, Llc Behavior monitoring and reinforcement system and method
US8532737B2 (en) 2005-12-29 2013-09-10 Miguel Angel Cervantes Real-time video based automated mobile sleep monitoring using state inference
JP4905918B2 (ja) * 2006-02-22 2012-03-28 株式会社タニタ 健康管理装置
US8684922B2 (en) 2006-05-12 2014-04-01 Bao Tran Health monitoring system
JP4825586B2 (ja) 2006-05-30 2011-11-30 東芝コンシューマエレクトロニクス・ホールディングス株式会社 睡眠モニタ装置
US8412274B2 (en) 2006-06-08 2013-04-02 Hitachi Kokusai Electric Inc. Wireless base station device
JP2008071211A (ja) * 2006-09-15 2008-03-27 Hitachi Ltd 音声による危険感知通報装置
US7953613B2 (en) 2007-01-03 2011-05-31 Gizewski Theodore M Health maintenance system
JP2008176741A (ja) * 2007-01-22 2008-07-31 Matsushita Electric Ind Co Ltd クライアント端末、サービス提供サーバ、サービス提供システム、制御方法、およびサービス提供方法
US8358214B2 (en) * 2007-02-02 2013-01-22 Hartford Fire Insurance Company Systems and methods for sensor-enhanced health evaluation
WO2008096307A1 (en) 2007-02-07 2008-08-14 Philips Intellectual Property & Standards Gmbh Sleep management
US20080320029A1 (en) 2007-02-16 2008-12-25 Stivoric John M Lifeotype interfaces
JP5207641B2 (ja) * 2007-03-05 2013-06-12 いすゞ自動車株式会社 ストレス検出装置
JP2008276353A (ja) * 2007-04-26 2008-11-13 Nec Corp 通信システム、管理装置、端末、方法、プログラム、及びデータ構造
US20080311968A1 (en) 2007-06-13 2008-12-18 Hunter Thomas C Method for improving self-management of a disease
US8170609B2 (en) * 2007-06-20 2012-05-01 Qualcomm Incorporated Personal virtual assistant providing advice to a user regarding physiological information received about the user
JP2009048623A (ja) * 2007-07-20 2009-03-05 Order-Made Souyaku Co Ltd 保健指導システム及び保健指導処理方法
JP4556974B2 (ja) * 2007-09-03 2010-10-06 ヤマハ株式会社 特典付与システム
JP2009078070A (ja) 2007-09-27 2009-04-16 Nippon Shikizai Inc 肌測定機能付き端末装置
US7728735B2 (en) * 2007-12-04 2010-06-01 At&T Intellectual Property I, L.P. Methods, apparatus, and computer program products for estimating a mood of a user, using a mood of a user for network/service control, and presenting suggestions for interacting with a user based on the user's mood
US7869903B2 (en) * 2008-01-03 2011-01-11 L & P Property Management Company Interactive adjustable media bed providing sleep diagnostics
JP5060978B2 (ja) 2008-01-25 2012-10-31 オリンパス株式会社 情報提示システム、プログラム、情報記憶媒体及び情報提示システムの制御方法
US20090247834A1 (en) 2008-03-28 2009-10-01 Schechter Alan M Quality of life management program
JP2009251452A (ja) * 2008-04-09 2009-10-29 Toshiba Corp 携帯端末
US20110191158A1 (en) * 2008-08-20 2011-08-04 Kateraas Espen D Physical activity tracking and rewards allocation system
JP5305802B2 (ja) * 2008-09-17 2013-10-02 オリンパス株式会社 情報提示システム、プログラム及び情報記憶媒体
US20140372133A1 (en) 2008-10-01 2014-12-18 RedBrick Health Corporation System and method for incentive-based health improvement programs and services
JP2010099173A (ja) 2008-10-22 2010-05-06 Aisin Seiki Co Ltd 多人数用の睡眠管理システムおよび多人数用の睡眠管理方法
US9014640B2 (en) * 2008-10-31 2015-04-21 Qualcomm Incorporated Wake-up trigger for implementation of target actions
JP2010170534A (ja) * 2008-12-25 2010-08-05 Kao Corp 健康サポートシステム及び健康サポート方法
US20100268551A1 (en) * 2009-04-20 2010-10-21 Apdm, Inc System for data management, analysis, and collaboration of movement disorder data
GB2471902A (en) 2009-07-17 2011-01-19 Sharp Kk Sleep management system which correlates sleep and performance data
US20110092780A1 (en) 2009-10-16 2011-04-21 Tao Zhang Biosensor module with automatic power on capability
US20110119080A1 (en) 2009-11-19 2011-05-19 Abbott Diabetes Care Inc. Method and system for analyte data transmission and report generation
US8346624B2 (en) 2009-12-09 2013-01-01 Allconnect, Inc. Systems and methods for recommending third party products and services
JP5363968B2 (ja) * 2009-12-22 2013-12-11 アルプス電気株式会社 電界通信機能付き生体情報測定装置および生体情報測定ユニット
WO2011085040A1 (en) * 2010-01-05 2011-07-14 Abbott Diabetes Care Inc. System and method for managing medical data and facilitating reimbursement for health care
JP2011160327A (ja) * 2010-02-03 2011-08-18 Olympus Corp 携帯電子機器
US8823544B2 (en) 2010-03-30 2014-09-02 Indian Institute Of Science Methods and systems for real-time monitoring of environments
CN102884544B (zh) 2010-04-30 2017-02-08 亿码技术股份有限公司 以人为传感器的风险评价系统
WO2011140113A1 (en) * 2010-05-03 2011-11-10 Lark Technologies, Inc. System and method for providing sleep quality feedback
JP5545028B2 (ja) * 2010-05-19 2014-07-09 ソニー株式会社 クーポン選択支援装置、クーポン選択支援システム、クーポン選択支援方法、及びプログラム
EP2575599A4 (en) * 2010-05-28 2017-08-02 Mayo Foundation For Medical Education And Research Sleep apnea detection system
KR20130122535A (ko) * 2010-06-07 2013-11-07 어펙티바,아이엔씨. 웹서비스들을 이용한 심리 상태 분석
US20130218053A1 (en) * 2010-07-09 2013-08-22 The Regents Of The University Of California System comprised of sensors, communications, processing and inference on servers and other devices
JP2012089106A (ja) * 2010-09-21 2012-05-10 Self:Kk 独居者等の監視警備連絡装置
US9167991B2 (en) 2010-09-30 2015-10-27 Fitbit, Inc. Portable monitoring devices and methods of operating same
JP5693942B2 (ja) 2010-12-21 2015-04-01 任天堂株式会社 情報処理システム及び情報処理方法
JP5020373B2 (ja) 2010-12-28 2012-09-05 任天堂株式会社 通信システム、情報処理プログラム、情報処理方法、情報処理装置、情報処理システム
JP5455071B2 (ja) 2011-01-18 2014-03-26 株式会社疲労科学研究所 自律神経機能年齢の判定システム及び判定方法
US20120215328A1 (en) * 2011-02-23 2012-08-23 Richard Schmelzer Physical activity monitoring and recording system and device
US8948861B2 (en) * 2011-03-31 2015-02-03 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for determining optimum wake time
US20120265546A1 (en) * 2011-04-14 2012-10-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Cost-effective resource apportionment technologies suitable for facilitating therapies
CA2778067A1 (en) * 2011-05-27 2012-11-27 Alexandre Vigneux Digital health care environment for implementing and monitoring patient health care for chronic diseases through configurable and interactive tasks
US20130141235A1 (en) * 2011-06-10 2013-06-06 Aliphcom General health and wellness management method and apparatus for a wellness application using data associated with data-capable band
US20120330555A1 (en) * 2011-06-21 2012-12-27 Gadlight, Inc. Analyte Testing System with Docking Station for Data Management
US9380978B2 (en) 2011-06-29 2016-07-05 Bruce Reiner Method and apparatus for real-time measurement and analysis of occupational stress and fatigue and performance outcome predictions
US20130012234A1 (en) 2011-07-06 2013-01-10 Tufty Steven Systems and Methods for Position Tracking and Reporting of Objects
EP2574953A1 (en) * 2011-09-30 2013-04-03 General Electric Company Method for providing remote health monitoring data and associated system
JP2013117941A (ja) 2011-10-31 2013-06-13 Sony Corp 体質判定装置、体質判定方法、健康支援装置、健康支援方法、プログラム、端末装置および健康支援システム
JP5788293B2 (ja) * 2011-10-31 2015-09-30 オムロンヘルスケア株式会社 睡眠評価装置および睡眠評価用プログラム
JP5870706B2 (ja) 2012-01-20 2016-03-01 オムロンヘルスケア株式会社 睡眠表示プログラム、睡眠表示方法及び睡眠表示装置
US20150182843A1 (en) * 2014-01-02 2015-07-02 Sensoria Inc. Methods and systems for data collection, analysis, formulation and reporting of user-specific feedback
JP2013168026A (ja) 2012-02-15 2013-08-29 Omron Healthcare Co Ltd 睡眠分析結果表示プログラム、睡眠改善支援画面表示プログラム及び睡眠改善行動結果表示プログラム
JP2013182422A (ja) * 2012-03-01 2013-09-12 Nikon Corp 電子機器
CN104137096A (zh) 2012-03-01 2014-11-05 株式会社尼康 电子设备
JP5949008B2 (ja) 2012-03-16 2016-07-06 富士通株式会社 睡眠深度判定装置及び制御方法
US20130280985A1 (en) 2012-04-24 2013-10-24 Peter Klein Bedtime toy
US20140121540A1 (en) 2012-05-09 2014-05-01 Aliphcom System and method for monitoring the health of a user
JP2013257837A (ja) * 2012-06-14 2013-12-26 Sharp Corp 広告配信システム、サーバーおよび方法
JP5953563B2 (ja) * 2012-09-06 2016-07-20 株式会社北電子 音楽情報処理システム、音楽情報処理サーバ装置及び音楽情報処理プログラム
JP6060442B2 (ja) 2012-09-06 2017-01-18 株式会社北電子 睡眠特典付与システム、睡眠特典付与サーバ装置、端末装置及び睡眠特典付与プログラム
US20150128353A1 (en) * 2012-09-10 2015-05-14 Boyd Thomas Kildey Sleep monitoring system and method
WO2014050118A1 (ja) * 2012-09-28 2014-04-03 パナソニック株式会社 健康管理方法
KR101978743B1 (ko) * 2012-10-19 2019-08-29 삼성전자주식회사 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법
US8887151B2 (en) 2012-12-14 2014-11-11 Google Inc. Systems and methods for managing updates to applications installed on electronic devices
US8879782B2 (en) * 2013-01-17 2014-11-04 Disney Enterprises, Inc. Projector light bulb
US9345404B2 (en) * 2013-03-04 2016-05-24 Hello Inc. Mobile device that monitors an individuals activities, behaviors, habits or health parameters
US9478100B2 (en) * 2013-03-12 2016-10-25 Igt Localized remote gaming
KR102017700B1 (ko) * 2013-03-15 2019-09-03 엘지전자 주식회사 단말기 및 그 제어 방법
US9872968B2 (en) 2013-04-17 2018-01-23 Sri International Biofeedback virtual reality sleep assistant
US9395792B1 (en) 2013-06-14 2016-07-19 Dp Technologies, Inc. System including a sleep detection mechanism
US20140379373A1 (en) * 2013-06-19 2014-12-25 Javier Vinals Management of Medical Information
EP3019073B1 (en) 2013-07-08 2022-08-31 ResMed Sensor Technologies Limited System for sleep management
US9848786B2 (en) 2013-09-12 2017-12-26 Mattel, Inc. Infant monitoring system and methods
NZ630770A (en) 2013-10-09 2016-03-31 Resmed Sensor Technologies Ltd Fatigue monitoring and management system
WO2015107681A1 (ja) 2014-01-17 2015-07-23 任天堂株式会社 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
US20150258301A1 (en) 2014-03-14 2015-09-17 Aliphcom Sleep state management by selecting and presenting audio content
US10610153B2 (en) 2014-07-21 2020-04-07 Withings System and method to monitor and assist individual's sleep

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0934424A (ja) * 1995-07-21 1997-02-07 Mitsubishi Electric Corp 表示システム
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
JP2002034955A (ja) * 2000-07-26 2002-02-05 Matsushita Electric Works Ltd 睡眠状態および中途覚醒の判定システム、睡眠状態および中途覚醒の判定方法、睡眠状態および中途覚醒の判定用プログラムを記録した記録媒体
JP2002072359A (ja) * 2000-08-29 2002-03-12 Olympus Optical Co Ltd 画像投影表示装置
JP2007512086A (ja) 2003-11-21 2007-05-17 ファースト プリンシプルズ インコーポレイテッド 睡眠誘導システムおよび関連する方法
JP2005237569A (ja) * 2004-02-25 2005-09-08 Daikin Ind Ltd 携帯型測定機器、健康管理システム及び健康管理方法
JP2007117365A (ja) * 2005-10-27 2007-05-17 Advanced Telecommunication Research Institute International 情報提示装置
JP2007248052A (ja) * 2006-03-13 2007-09-27 Toyota Motor Corp 寝室用光覚醒システム
JP2012503804A (ja) * 2008-09-24 2012-02-09 ビアンカメッド リミテッド 評価及び介入のためのqolパラメータの非接触及び微接触測定
JP2010201113A (ja) 2009-03-06 2010-09-16 Hiro Kagaku Kenkyusho:Kk 疲労度の判定処理システム
WO2013080109A2 (en) * 2011-11-28 2013-06-06 Koninklijke Philips Electronics N.V. Health monitoring system for calculating a total risk score

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3096238A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017168545A1 (ja) * 2016-03-29 2019-01-17 富士通株式会社 センサ表示装置、センサ表示方法及びプログラム
JP2018025453A (ja) * 2016-08-09 2018-02-15 トヨタホーム株式会社 時刻報知装置
CN109936998A (zh) * 2016-09-16 2019-06-25 伯斯有限公司 用于睡眠系统的用户界面
JP2019534728A (ja) * 2016-09-16 2019-12-05 ボーズ・コーポレーションBosecorporation 睡眠システム用ユーザインターフェース
CN113633258A (zh) * 2016-09-16 2021-11-12 伯斯有限公司 用于睡眠系统的用户界面
CN113633259A (zh) * 2016-09-16 2021-11-12 伯斯有限公司 用于睡眠系统的用户界面
CN109936998B (zh) * 2016-09-16 2022-03-22 伯斯有限公司 用于睡眠系统的用户界面
KR20200028527A (ko) * 2018-09-06 2020-03-17 주식회사 아이앤나 프로젝터가 구비된 카메라 장치
KR102645453B1 (ko) 2018-09-06 2024-03-12 주식회사 아이앤나 프로젝터가 구비된 카메라 장치
JP2021016137A (ja) * 2019-07-16 2021-02-12 株式会社Lixil 支援システム、制御装置、及び制御プログラム

Also Published As

Publication number Publication date
EP3096237A4 (en) 2018-01-31
JP6654677B2 (ja) 2020-02-26
JP6717913B2 (ja) 2020-07-08
EP3096238A4 (en) 2018-01-10
EP3096239B1 (en) 2019-11-20
JP6423802B2 (ja) 2018-11-14
JP2019012542A (ja) 2019-01-24
WO2015107747A1 (ja) 2015-07-23
JP6706293B2 (ja) 2020-06-03
EP3096235A1 (en) 2016-11-23
JP6595918B2 (ja) 2019-10-23
US20160328524A1 (en) 2016-11-10
JP6444894B2 (ja) 2018-12-26
EP3096236B1 (en) 2021-01-20
US20160335401A1 (en) 2016-11-17
WO2015107710A1 (ja) 2015-07-23
US20160328534A1 (en) 2016-11-10
WO2015107748A1 (ja) 2015-07-23
JPWO2015107748A1 (ja) 2017-03-23
US20200005913A1 (en) 2020-01-02
JP2020155136A (ja) 2020-09-24
JPWO2015107745A1 (ja) 2017-03-23
JP6935540B2 (ja) 2021-09-15
JP2019049992A (ja) 2019-03-28
JP6420773B2 (ja) 2018-11-07
JPWO2016021361A1 (ja) 2017-06-01
JPWO2015107746A1 (ja) 2017-03-23
US10777305B2 (en) 2020-09-15
EP3096236A4 (en) 2017-10-11
US20200005915A1 (en) 2020-01-02
JP6719535B2 (ja) 2020-07-08
EP3627518A1 (en) 2020-03-25
WO2015107743A1 (ja) 2015-07-23
EP3096236A1 (en) 2016-11-23
US20170135495A1 (en) 2017-05-18
US20160317099A1 (en) 2016-11-03
EP3096237A1 (en) 2016-11-23
US10987042B2 (en) 2021-04-27
EP3096239A4 (en) 2017-10-11
US10847255B2 (en) 2020-11-24
JP6471101B2 (ja) 2019-02-13
US20170136348A1 (en) 2017-05-18
JP2019057292A (ja) 2019-04-11
JPWO2015107747A1 (ja) 2017-03-23
US10504617B2 (en) 2019-12-10
JPWO2015107743A1 (ja) 2017-03-23
US20160335402A1 (en) 2016-11-17
JP2019067431A (ja) 2019-04-25
JP6444893B2 (ja) 2018-12-26
EP3096235A4 (en) 2017-09-06
EP3096239A1 (en) 2016-11-23
JP6392875B2 (ja) 2018-09-19
US20160328533A1 (en) 2016-11-10
WO2015107744A1 (ja) 2015-07-23
US11026612B2 (en) 2021-06-08
JPWO2015107710A1 (ja) 2017-03-23
US20210282685A1 (en) 2021-09-16
EP3096238A1 (en) 2016-11-23
WO2015107745A1 (ja) 2015-07-23
US11571153B2 (en) 2023-02-07
US20160317074A1 (en) 2016-11-03
JP6654715B2 (ja) 2020-02-26
US10504616B2 (en) 2019-12-10
JP2019087276A (ja) 2019-06-06
WO2015107681A1 (ja) 2015-07-23
JPWO2015107744A1 (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
JP6654715B2 (ja) 情報処理システムおよび情報処理装置
JP6592440B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法
WO2016021361A1 (ja) 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
JP2023010983A (ja) 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
JP2023130391A (ja) 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14878971

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015557714

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014878971

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014878971

Country of ref document: EP