KR20200019673A - 정보 처리 시스템 - Google Patents

정보 처리 시스템 Download PDF

Info

Publication number
KR20200019673A
KR20200019673A KR1020207000382A KR20207000382A KR20200019673A KR 20200019673 A KR20200019673 A KR 20200019673A KR 1020207000382 A KR1020207000382 A KR 1020207000382A KR 20207000382 A KR20207000382 A KR 20207000382A KR 20200019673 A KR20200019673 A KR 20200019673A
Authority
KR
South Korea
Prior art keywords
user
data
state
avatar
heart rate
Prior art date
Application number
KR1020207000382A
Other languages
English (en)
Other versions
KR102618437B1 (ko
Inventor
이 한 리안
Original Assignee
스마트 비트 프로피츠 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스마트 비트 프로피츠 리미티드 filed Critical 스마트 비트 프로피츠 리미티드
Publication of KR20200019673A publication Critical patent/KR20200019673A/ko
Application granted granted Critical
Publication of KR102618437B1 publication Critical patent/KR102618437B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A61B5/1135—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4854—Diagnosis based on concepts of traditional oriental medicine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Educational Technology (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Neurology (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

유저의 상태를 보다 리얼하게 반영한 아바타를 구성하는 것이 가능한 정보 처리 시스템을 제공한다. 정보 처리 시스템은 유저의 심박 변동율을 포함하는 바이탈 데이터를 취득하고, 취득된 바이탈 데이터를, 통신 네트워크를 통해서 리얼타임으로 송신하는 단말 장치와, 단말 장치로부터 송신된 바이탈 데이터를 처리하는 정보 처리 서버를 구비한다. 정보 처리 서버는 바이탈 데이터를 기억하고, 심박 변동율에 기초하여, 유저의 상태를 추정하고, 추정된 결과가 반영된 아바타를 표시하기 위한 표시용 데이터를 작성하고, 통신 네트워크를 통해서 표시용 데이터의 송신 요구를 수신했을 경우에, 표시용 데이터를 해당 요구원으로 송신한다.

Description

정보 처리 시스템
본 출원은 2017년 6월 7일에 출원된 일본 출원 번호(특원) 2017-112845호에 기초하는 것으로, 여기에 그 기재 내용을 원용한다.
본 발명은 생체에 관한 정보를 수집하여 가시화하는 정보 처리 시스템에 관한 것이다.
근래, 다양한 센서를 이용하여 생체인 유저에 관한 정보를 수집하고, 아바타에 반영하여 표시함으로써, 상기 정보를 가시화하는 기술이 알려져 있다. 여기서, 아바타란, 「인터넷 상에서 유저 대신에 등장하는 캐릭터」(일본 「현대 용어의 기초지식 2017」, 자유 국민사, 제1231페이지)를 말한다.
예를 들면 특허문헌 1에는, 웹 대응 애플리케이션에 대한 감정 데이터를 측정하는 기술이 개시되어 있다. 상세하게는, 전기 피부 활성(EDA), 가속도계의 판독, 피부 온도 등의 생리적 데이터, 또는 웹 카메라로 관찰된 얼굴 표정이나 두부 제스처에 기초하여, 유저가 웹 사이트나 영상 등의 렌더링과 대화할 때의 정신 상태를 추론하고, 이 정신 상태 정보를 렌더링과 관련짓는 것으로 하고 있다. 또한, 특허문헌 1에 있어서는, 이 정신 상태 정보를, 아바타와 같은 시각적 표현을 이용하여 표시하는 것으로 하고 있다.
특허문헌 2에는, 유저의 두부의 복수 지점의 전위, 또는 두부의 가속도 혹은 각속도를 검출하고, 이들 검출 결과에 기초하여 두부의 움직임 및/또는 얼굴의 표정을 추정하고, 추정된 표정을 두부의 움직임과 병행해서 아바타에 부여하여 디스플레이에 표시하는 기술이 개시되어 있다.
일본 특표 2014-504460호 공보 일본 특개 2016-126500호 공보
특허문헌 1, 2 중 어느 것에 있어서도, 유저의 정신 상태나 표정을 아바타에 표시함으로써, 아바타를 커뮤니케이션의 수단으로서 이용하고 있다. 그렇지만, 근래의 리모트 커뮤니케이션의 확산이나, 다종 다양한 애플리케이션의 등장에 의해, 아바타의 이용 방법도 더 다양하고 또한 고도하게 되는 것이 예상된다. 그러기 위해서는, 기쁨, 슬픔과 같은 단순한 정신 상태나 표정만이 아니라, 유저의 상태를 보다 리얼하게 반영한 아바타를 구성하는 것이 요망된다.
그래서, 본 발명은 이러한 사정을 감안하여 이루어진 것으로, 유저의 상태를 보다 리얼하게 반영한 아바타를 구성하는 것이 가능한 정보 처리 시스템을 제공하는 것을 목적의 하나로 한다.
상기 과제를 해결하기 위해, 본 발명의 일 양태에 따른 정보 처리 시스템은, 적어도 유저의 심박수를 포함하는 바이탈(vital) 데이터를 취득하는 바이탈 데이터 취득 수단과, 상기 바이탈 데이터 취득 수단에 의해 취득된 바이탈 데이터를, 통신 네트워크를 통해서 리얼타임으로 송신하는 단말 장치와, 상기 단말 장치로부터 송신된 바이탈 데이터를 처리하는 정보 처리 서버를 구비하고, 상기 정보 처리 서버는, 상기 바이탈 데이터를 기억하는 기억부와, 적어도 상기 심박수와, 해당 심박수에 기초하여 산출되는 심박 변동율에 기초하여, 상기 유저의 상태를 리얼타임으로 추정하는 유저 상태 추정부와, 적어도 상기 유저 상태 추정부에 의한 추정 결과가 반영된 아바타를 표시하기 위한 표시용 데이터를 작성하는 아바타 데이터 작성부와, 상기 통신 네트워크를 통해서 상기 표시용 데이터의 송신 요구를 수신했을 경우에, 상기 표시용 데이터를 해당 요구원으로 송신하는 통신 인터페이스를 가지는 것이다.
상기 정보 처리 시스템에 있어서, 상기 유저 상태 추정부는, 상기 유저의 정신 상태를 추정하고, 상기 아바타 데이터 작성부는, 상기 유저의 정신 상태가 반영된 상기 아바타의 표시용 데이터를 작성해도 된다.
상기 정보 처리 시스템에 있어서, 상기 아바타 데이터 작성부는, 상기 유저의 정신 상태에 따라서 상기 아바타의 표정 또는 자세를 변화시킨 표시용 데이터를 작성해도 된다.
상기 정보 처리 시스템에 있어서, 상기 아바타 데이터 작성부는, 상기 유저의 정신 상태에 따라서 상기 아바타의 아우라의 색 또는 표시 범위를 변화시킨 표시용 데이터를 작성해도 된다.
상기 정보 처리 시스템에 있어서, 상기 유저 상태 추정부는, 상기 유저의 건강 상태를 추정하고, 상기 아바타 데이터 작성부는, 상기 유저의 건강 상태가 반영된 상기 아바타의 표시용 데이터를 작성해도 된다.
상기 정보 처리 시스템에 있어서, 상기 아바타 데이터 작성부는, 상기 유저의 건강 상태에 따라서 상기 아바타의 색을 부분적으로 변화시킨 표시용 데이터를 작성해도 된다.
상기 정보 처리 시스템에 있어서, 상기 아바타 데이터 작성부는, 상기 유저의 건강 상태에 따라서 상기 아바타의 아우라의 색 또는 표시 범위를 변화시킨 표시용 데이터를 작성해도 된다.
상기 정보 처리 시스템에 있어서, 상기 유저 상태 추정부는, 상기 유저의 활동 상태를 추정하고, 상기 아바타 데이터 작성부는, 상기 유저의 활동 상태가 반영된 상기 아바타의 표시용 데이터를 작성해도 된다.
상기 정보 처리 시스템에 있어서, 상기 아바타 데이터 작성부는, 상기 유저의 활동 상태에 따라서 상기 아바타의 형상을 변화시킨 표시용 데이터를 작성해도 된다.
상기 정보 처리 시스템에 있어서, 상기 표시용 데이터는, 상기 아바타의 내부에 관한 정보를 포함하는 3차원 데이터로서, 상기 요구원으로부터의 상기 표시용 데이터의 송신 요구에 따라서, 상기 아바타의 내부를 표시하기 위한 표시용 데이터를 작성하여 상기 요구원으로 송신해도 된다.
상기 정보 처리 시스템에 있어서, 상기 바이탈 데이터 취득부는, 상기 심박수와는 다른 종류의 바이탈 데이터를 추가로 취득하고, 상기 정보 처리 서버는, 서로 다른 복수 종류의 바이탈 데이터 간에 있어서의 상관(相關)을 분석하는 상관 분석부를 더 가지며, 상기 유저 상태 추정부는, 추가로 상기 상관 분석부에 의한 분석 결과에 기초하여, 상기 유저의 상태를 추정해도 된다.
본 개시에 의하면, 적어도 유저의 심박수를 포함하는 바이탈 데이터를 취득하여, 이 바이탈 데이터에 기초하여 유저의 상태를 리얼타임으로 추정하고, 이 추정 결과가 반영된 아바타의 표시용 데이터를 작성하므로, 유저의 상태를 보다 리얼하게 반영한 아바타를 구성하는 것이 가능하게 된다.
도 1은 본 발명의 실시 형태에 따른 정보 처리 시스템의 일례를 개략적으로 나타내는 시스템 블록도이다.
도 2는 도 1에 나타내는 유저 단말의 구성의 일례를 개략적으로 나타내는 시스템 블록도이다.
도 3은 도 1에 나타내는 정보 처리 서버의 구성의 일례를 개략적으로 나타내는 시스템 블록도이다.
도 4는 도 3에 나타내는 기억부에 기억되는 유저 관리 데이터베이스에 격납되는 정보를 예시하는 모식도이다.
도 5는 도 3에 나타내는 기억부에 기억되는 유저 정보 데이터베이스에 격납되는 정보를 예시하는 모식도이다.
도 6은 도 3에 나타내는 기억부에 기억되는 상관 정보 데이터베이스에 격납되는 정보를 예시하는 모식도이다.
도 7은 도 3에 나타내는 상관 분석부가 실행하는 상관 정보 데이터베이스의 구축 처리를 나타내는 플로차트이다.
도 8은 도 1에 나타내는 정보 처리 시스템에 있어서 실행되는 정보 수집 처리의 시퀀스도이다.
도 9는 도 1에 나타내는 정보 처리 시스템에 있어서 실행되는 아바타의 표시 처리의 시퀀스도이다.
도 10은 아바타의 표시예를 나타내는 모식도이다.
도 11은 아바타의 다른 표시예를 나타내는 모식도이다.
도 12는 도 1에 나타내는 정보 처리 시스템의 SNS에 있어서의 활용예를 설명하기 위한 도면이다.
도 13은 도 1에 나타내는 정보 처리 시스템의 SNS에 있어서의 활용예를 설명하기 위한 도면이다.
이하, 본 발명의 실시 형태에 대해서 상세하게 설명한다. 또한, 이하의 실시 형태는, 본 발명을 설명하기 위한 예시이며, 본 발명을 그 실시 형태만으로 한정하는 취지는 아니다. 또한, 본 발명은 그 요지를 벗어나지 않는 한, 다양한 변형이 가능하다. 또한, 당업자라면, 이하에 기술하는 각 요소를 균등한 것으로 치환한 실시 형태를 채용하는 것이 가능하며, 이러한 실시 형태도 본 발명의 범위에 포함된다.
(1) 실시 형태의 구성
도 1은 본 발명의 실시 형태에 따른 정보 처리 시스템의 일례를 개략적으로 나타내는 시스템 블록도이다. 도 1에 나타내는 바와 같이, 정보 처리 시스템(1)은 유저의 생체 정보인 바이탈 데이터를 수집하는 바이탈 데이터 수집 수단(10)과, 유저 단말(20)과, 정보 처리 서버(30)를 포함한다. 이 중, 유저 단말(20)과 정보 처리 서버(30)는, 통신 네트워크(N)를 통해서 접속되어 있다(단, 이것으로 한정되지 않음).
네트워크(N)는 인터넷, LAN, 전용선, 전화 회선, 기업내 네트워크, 이동체 통신망, 블루투스(Bluetooth: 등록상표), WiFi(Wireless Fidelity), 그 외의 통신회선, 그것들의 조합 등에 의해서 구성되는 통신망이며, 유선인지 무선인지를 가리지 않는다.
바이탈 데이터 수집 수단(10)은 유저의 신체에 장착되거나, 또는 유저의 신체의 주변에 설치되고, 유저의 신체를 모니터하여 바이탈 데이터를 수집하는 복수의 기기를 포함한다. 구체적으로는, 바이탈 데이터 수집 수단(10)은 유저의 심박수를 계측하는 심박계(11) 외에, 맥박계(12), 혈압계(13), 체온계(14), 유저의 얼굴이나 신체의 움직임을 촬영하는 웹 카메라(15), 유저의 근육의 움직임을 측정하는 표면 근전위 센서(16) 등을 포함한다. 각 기기는, 1대씩 마련해도 되고, 복수대씩 마련해도 된다. 예를 들면, 복수의 맥박계(12)를 유저의 신체의 복수 지점에 각각 장착함으로써, 측정 정밀도를 향상시킬 수 있다. 이 외에, 유저의 음성을 수집하는 마이크나, 보수(步數)계 등을 바이탈 데이터 수집 수단(10)으로서 마련해도 된다.
도 2는 본 발명의 실시 형태에 따른 정보 처리 시스템에 있어서의 유저 단말(20)의 구성의 일례를 개략적으로 나타내는 시스템 블록도이다. 유저 단말(20)은 태블릿 단말, 퍼스널 컴퓨터(PC), 노트 PC, 스마트폰, 휴대 전화기, 휴대 정보 단말(PDA) 등, 통신 네트워크를 통해서 다른 통신 기기와 데이터의 수수가 가능한 모든 단말 장치를 이용할 수 있다. 본 실시 형태에 있어서는, 태블릿 단말에 전용의 애플리케이션을 인스톨하고, 이 애플리케이션을 실행시킴으로써, 해당 태블릿 단말을 유저 단말(20)로 사용한다.
유저 단말(20)은 통신 인터페이스(21)와, 입력부(22)와, 표시부(23)와, 촬상부(24)와, 신호 입출력부(25)와, 기억부(26)와, 프로세서(27)를 구비한다.
통신 인터페이스(21)는 유저 단말(20)을 통신 네트워크(N)에 접속시켜, 통신 네트워크(N) 상의 다른 단말과 통신을 하기 위한 하드웨어 모듈이다. 통신 인터페이스(21)는, 예를 들면, ISDN 모뎀, ADSL 모뎀, 케이블 모뎀, 광 모뎀, 소프트 모뎀 등의 변조 복조 장치이다.
입력부(22)는 각종 조작 버튼이나 터치패널 등의 입력 디바이스이다. 표시부(23)는 예를 들면 액정 디스플레이 또는 유기 EL 디스플레이이다. 촬상부(24)는 태블릿 단말에 내장된 카메라이다.
신호 입출력부(25)는 유선(케이블) 또는 블루투스(Bluetooth: 등록상표) 등의 규격에 기초하는 무선 통신에 의해 외부 기기를 유저 단말(20)에 접속시켜, 해당 외부 기기와의 사이에서 신호의 송수신을 행하는 인터페이스이다. 본 실시 형태에 있어서는, 바이탈 데이터 수집 수단(10)에 포함되는 각 기기가, 신호 입출력부(25)를 통해서 유저 단말(20)에 접속된다.
기억부(26)는 물리 디바이스의 기억 영역이 제공하는 논리 디바이스로서, 유저 단말(20)의 처리에 이용되는 오퍼레이팅 시스템 프로그램, 드라이버 프로그램, 각종 데이터 등을 격납한다. 여기서, 물리 디바이스는, 예를 들면, 반도체 메모리 등의 컴퓨터 판독 가능한 기록 매체이다. 드라이버 프로그램으로서는, 예를 들면, 통신 인터페이스(21)를 제어하기 위한 통신 인터페이스 드라이버 프로그램, 입력부(22)를 제어하기 위한 입력 디바이스 드라이버 프로그램, 표시부(23)를 제어하기 위한 표시 디바이스 드라이버 프로그램, 촬상부(24)를 제어하기 위한 촬상 디바이스 드라이버 프로그램, 신호 입출력부(25)에 접속되는 외부 기기를 제어하기 위한 각종 드라이버 프로그램 등을 들 수 있다.
또한, 기억부(26)는 이들 각종 프로그램이나 각종 데이터 외에, 프로세서(27)가 실행함으로써, 정보 처리 서버(30)와 제휴하여 소정의 동작을 실행하는 전용의 애플리케이션 프로그램(261)을 기억하고 있다. 애플리케이션 프로그램(261)으로서는, 예를 들면, 바이탈 데이터 수집 수단(10)에 의해 수집된 바이탈 데이터를 처리하기 위한 애플리케이션 프로그램(바이탈 정보 처리 앱), SNS(소셜 네트워킹 서비스)용의 애플리케이션 프로그램(SNS 앱), 유저의 건강을 관리하기 위한 애플리케이션 프로그램(건강 관리 앱) 등을 들 수 있다.
프로세서(27)는 산술 연산, 논리 연산, 비트 연산 등을 처리하는 산술 논리 연산 유닛(CPU 등) 및 각종 레지스터로 구성되고, 기억부(26)에 격납되어 있는 각종 프로그램을 실행함으로써 유저 단말(20)의 각부를 중추적으로 제어한다. 각종 레지스터는, 예를 들면, 프로그램 카운터, 데이터 레지스터, 명령 레지스터, 범용 레지스터 등이다. 또한, 프로세서(27)는 애플리케이션 프로그램(261)을 읽어내어, 바이탈 정보 처리, SNS, 건강 관리 등의 애플리케이션 실행부(271)로서 기능한다.
이와 같은 유저 단말(20)은 바이탈 데이터 수집 수단(10)으로부터 출력된 각종 바이탈 데이터를 수신하고, 통신 네트워크(N)를 통해서 정보 처리 서버(30)에 상시적이고 리얼타임으로 송신하는 것이 바람직하다.
또한, 본 실시 형태에 있어서는, 바이탈 데이터 수집 수단(10)을 유저 단말(20)에 접속시켜, 유저 단말(20)을 통해서 바이탈 데이터를 정보 처리 서버(30)에 송신하는 것으로 했다. 그렇지만, 바이탈 데이터 수집 수단(10)의 각각에 통신 기능을 마련하는 것과 함께, 각 바이탈 데이터 수집 수단(10)의 식별 코드(ID)를 미리 정보 처리 서버(30)에 등록해 두고, 각 바이탈 데이터 수집 수단(10)으로부터 정보 처리 서버(30)에 바이탈 데이터를 직접 송신하는 것으로 해도 된다.
또한, 도 1에 있어서는, 바이탈 데이터 수집 수단(10) 및 유저 단말(20)을 하나씩 도시하고 있지만, 이것으로 한정되지 않는다. 즉, 각각에 바이탈 데이터 수집 수단(10)이 접속된 2개 이상의 유저 단말(20)을 통신 네트워크(N)에 접속시켜, 각 유저 단말(20)로부터 동시에 정보 처리 서버(30)에 액세스하는 것도 가능하다.
도 3은 본 발명의 실시 형태에 따른 정보 처리 시스템에 있어서의 정보 처리 서버의 구성의 일례를 개략적으로 나타내는 시스템 블록도이다. 정보 처리 서버(30)는 유저 단말(20)(또는 바이탈 데이터 수집 수단(10))로부터 송신된 바이탈 데이터를 축적하는 것과 함께, 축적된 바이탈 데이터에 기초하여 유저의 상태를 리얼타임으로 추정하고, 유저 단말(20)로부터의 요구에 따라서 유저의 상태를 가시화하여 유저 단말(20)에 제공하는 서버 장치이다. 정보 처리 서버(30)는, 예를 들면, 연산 처리 능력이 높은 호스트 컴퓨터에 의해서 구성되고, 그 호스트 컴퓨터에 있어서 소정의 서버용 프로그램이 동작함으로써, 서버 기능을 발현한다. 또한, 정보 처리 서버(30)를 구성하는 컴퓨터는, 반드시 1대일 필요는 없고, 통신 네트워크(N) 상에 분산되는 복수의 컴퓨터로 구성되어도 된다.
정보 처리 서버(30)는 통신 인터페이스(31)와, 기억부(32)와, 프로세서(33)를 구비한다.
통신 인터페이스(31)는 통신 네트워크(N)에 접속되어, 통신 네트워크(N) 상의 다른 단말과 통신을 하기 위한 하드웨어 모듈이다. 구체적으로는, 통신 인터페이스(31)는, 예를 들면, ISDN 모뎀, ADSL 모뎀, 케이블 모뎀, 광 모뎀, 소프트 모뎀 등의 변조 복조 장치이다.
기억부(32)는, 예를 들면, 디스크 드라이브 또는 반도체 메모리(ROM, RAM 등) 등의 컴퓨터 판독 가능한 기록 매체로 이루어진 물리 디바이스의 기억 영역이 제공하는 논리 디바이스이다. 기억부(32)는 복수의 물리 디바이스를 하나의 논리 디바이스에 매핑하여 구축해도 되고, 하나의 물리 디바이스를 복수의 논리 디바이스에 매핑하여 구축해도 된다. 기억부(32)는 오퍼레이팅 시스템 프로그램이나 드라이버 프로그램을 포함하는 각종 프로그램 및 이들 프로그램의 실행중에 사용되는 각종 데이터를 격납한다. 구체적으로는, 기억부(32)는 프로세서(33)로 실행시키는 정보 처리 프로그램(321)과, 유저 관리 데이터베이스(322)와, 유저 정보 데이터베이스(323)와, 상관 정보 데이터베이스(324)를 기억하고 있다.
정보 처리 프로그램(321)은 유저의 바이탈 데이터를 축적하고, 축적한 바이탈 데이터에 기초하여 유저의 상태(정신 상태, 건강 상태, 활동 상태 등)를 가시화하여 제공하는 기능을 실현하기 위해서 프로세서(33)로 실행시키는 프로그램이다.
도 4는 유저 관리 데이터베이스(322)에 격납되는 정보를 예시하는 모식도이다. 유저 관리 데이터베이스(322)는 유저 ID, 유저 이름, 및 패스 코드 등을 포함하는 유저의 어카운트 정보와, 액세스 제한을 관리하기 위한 정보를 격납한다. 액세스 제한은, 해당 유저에 관한 정보의 열람을 다른 유저가 요구해 왔을 경우에, 다른 유저에게 개시하는 정보의 범위를 제한하기 위한 것이다. 액세스 제한은, 해당 유저와 다른 유저의 관계에 따라서, 「전부 개시함(액세스 제한 없음)」부터 「본인 이외에는 개시하지 않음」까지의 범위에서, 해당 유저가 단계적으로 설정할 수 있다.
도 5는 유저 정보 데이터베이스(323)에 격납되는 정보를 예시하는 모식도이다. 유저 정보 데이터베이스(323)는 유저의 생년월일, 신장, 체중, 및 혈액형 등의 유저 기본 정보(D1)와, 바이탈 데이터(D2)와, 바이탈 데이터(D2)에 기초하여 추정된 유저의 상태를 나타내는 유저 상태 정보(D3)를, 유저 ID별로 격납하고 있다.
이 중, 바이탈 데이터(D2)는 바이탈 데이터 수집 수단(10)에 의해 직접 취득된 1차 데이터와, 1차 데이터로부터 취득된 2차 데이터를 포함한다. 1차 데이터에는, 심박수, 맥박수, 혈압, 체온, 얼굴이나 두피나 신체 근육의 움직임, 안구나 동공의 움직임, 음성 등이 포함된다. 또한, 2차 데이터에는, 심박수로부터 산출되는 심박 변동율, 얼굴이나 두피나 신체 근육의 움직임으로부터 산출되는 얼굴의 표정이나 신체의 포즈, 복부나 등의 근육의 움직임으로부터 산출되는 횡격막의 움직임이나 등뼈의 펴짐, 안구 움직임으로부터 산출되는 안구 움직임의 변동율, 목소리의 상태(크기, 높이, 속도 등)의 변화 등이 포함된다. 이들 2차 데이터는, 유저 단말(20)측에서 산출하여 정보 처리 서버(30)에 송신해도 되고, 정보 처리 서버(30)측에서 산출해도 된다.
또한, 바이탈 데이터(D2)는 유저 단말(20)로부터 리얼타임으로 송신되어, 정보 처리 서버(30)에 축적되기 때문에, 정보 처리 서버(30)는, 수신하고 나서 소정 기간(예를 들면 수년)이 경과한 바이탈 데이터(D2)를 순차적으로 삭제하는 것으로 해도 된다. 이 경우에도, 삭제 대상의 바이탈 데이터로부터 취득된 유저 상태 정보에 대해서는, 보존해 두어도 된다.
유저 상태 정보(D3)는 감정(희로애락)이나 스트레스 레벨 등의 정신 상태, 건강 레벨이나 상태 나쁨 부위 등의 건강 상태, 「자고 있음」 「깨어 있음」 「식사중」 「운동중」 등의 활동 상태를 나타내는 정보를 포함한다. 이들 정보는, 레벨을 수치화하여 나타내도 되고, 문자(또는 기호) 정보로 나타내도 되며, 수치와 문자(또는 기호) 정보를 조합하여 나타내도 된다.
도 6은 상관 정보 데이터베이스(324)에 격납되는 정보를 예시하는 모식도이다. 상관 정보 데이터베이스(324)는 바이탈 데이터와 유저의 상태(정신 상태, 건강 상태, 활동 상태)를 관련지은 정보(상관 정보)를 격납한다. 상관 정보의 일례로서, 서로 다른 복수 종류의 바이탈 데이터(도 6에 있어서는, 데이터 A 및 B의 2종류)와 그 때의 유저의 상태의 관계를 나타내는 테이블을 들 수 있다. 도 6에 있어서는, 어느 바이탈 데이터(데이터 A)의 레벨이 「5」, 다른 바이탈 데이터(데이터 B)의 레벨이 「4」일 때, 유저의 상태는 「X1」인 것을 나타내고 있다.
여기서, 바이탈 데이터의 하나인 심박수는, 몸의 상태(예를 들면 평열시 또는 발열시)이나, 정신 상태(예를 들면 침착할 때 또는 긴장 혹은 흥분해 있을 때)나, 활동 상태(예를 들면 안정시 또는 운동시) 등에 따라서 변동한다. 한편, 심박 간격은 어느 정도 요동하고 있는 상태가 정상적이며, 심신에 스트레스를 받거나, 자율 신경 기능이 저하되거나 하면, 심박 간격의 변동이 작아지는 것이 알려져 있다. 또한, 중의학에 있어서는, 심박수 및 심박 변동율에 기초하여, 정신 상태(감정이나 스트레스 레벨)나 건강 상태(장기 등의 기능 레벨)를 판단하는 것도 행해지고 있다.
그래서, 심박수와, 심박 간격의 변동율(심박 변동율)을 측정함으로써, 유저의 정신 상태, 건강 상태, 및 활동 상태를 어느 정도 추정하는 것이 가능하게 된다. 또한, 유저의 다른 바이탈 데이터(혈압, 체온, 카메라로 파악된 유저의 눈의 움직임, 얼굴 근육의 움직임(표정), 목소리의 상태의 변화, 신체 근육의 움직임(운동), 횡격막의 움직임, 등뼈의 펴짐 등)을 병용함으로써, 유저의 상태에 대해서 추정 가능한 항목을 늘릴 수 있는 것과 함께, 추정 정밀도를 향상시킬 수 있다. 예를 들면, 정신 정보 및 건강 정보 외에도, 자고 있음, 깨어 있음과 같은 활동 상태를 추정할 수도 있다.
여기서, 유저의 상태를 추정할 때에 이용되는 정보는, 바이탈 데이터만일 필요는 없고, 바이탈 데이터에 기초하여 추정된 유저의 상태(추정 결과)를 이용해도 된다. 즉, 바이탈 데이터에 기초하는 추정 결과와 바이탈 데이터에 기초하여, 추가로 다른 종류의 유저의 상태를 추정해도 된다. 예를 들면, 심박수 및/또는 심박 변동율에 기초하여 추정된 유저의 스트레스 레벨과, 얼굴 근육의 움직임에 기초하여, 유저의 정신 상태를 보다 상세하게 추정할 수 있다.
상관 정보 데이터베이스(324)는, 이와 같이 유저의 상태를 추정할 때에 이용되는 상관 정보를 하나 이상 격납하고 있다. 또한, 상관 정보는 반드시 테이블의 형태일 필요는 없고, 복수 종류의 바이탈 데이터를 변수로 하는 함수나, 바이탈 데이터에 기초하는 추정 결과와 바이탈 데이터를 변수로 하는 함수를, 상관 정보로서 격납해도 된다.
상관 정보 데이터베이스(324)에 격납되는 상관 정보는, 미리 외부 정보에 기초하여 작성된 것이어도 되고, 정보 처리 서버(30)에 축적된 바이탈 데이터에 기초하여 작성된 것이어도 된다. 추가로는, 미리 외부 정보에 기초하여 작성된 상관 정보를, 정보 처리 서버(30)에 축적된 바이탈 데이터에 기초하여 갱신하는 것으로 해도 된다.
프로세서(33)는 산술 연산, 논리 연산, 비트 연산 등을 처리하는 산술 논리 연산 유닛(CPU 등) 및 각종 레지스터로 구성되고, 기억부(32)에 격납되어 있는 각종 프로그램을 실행함으로써 정보 처리 서버(30)의 각부를 중추적으로 제어한다. 각종 레지스터는, 예를 들면, 프로그램 카운터, 데이터 레지스터, 명령 레지스터, 범용 레지스터 등이다. 또한, 프로세서(33)는, 정보 처리 프로그램(321)을 실행함으로써, 유저 단말(20)과 제휴하여 소정의 정보 처리 기능을 실현한다.
프로세서(33)가 정보 처리 프로그램(321)을 실행함으로써 실현되는 기능부에는, 인증 관리부(331)와, 유저 정보 관리부(332)와, 유저 상태 추정부(333)와, 아바타 데이터 작성부(334)와, 상관 분석부(335)가 포함된다.
인증 관리부(331)는 유저 단말(20)이 정보 처리 서버(30)에 액세스해 왔을 때의 인증을 행한다. 상세하게는, 인증 관리부(331)는, 유저 단말(20)이 액세스를 요구해 왔을 때에, 해당 유저 단말(20)에 유저 ID 및 패스 코드의 입력을 요구하고, 유저 관리 데이터베이스(322)를 참조하여, 해당 유저 단말(20)의 액세스를 허가할지 여부의 인증을 행한다.
유저 정보 관리부(332)는, 유저 단말(20)로부터 송신되는 정보에 기초하여, 유저 정보 데이터베이스(323)를 관리한다.
유저 상태 추정부(333)는, 바이탈 데이터(D2)에 축적된 바이탈 데이터와, 상관 정보 데이터베이스(324)에 기초하여, 유저의 상태를 추정한다.
아바타 데이터 작성부(334)는 유저의 분신으로서 인터넷 공간 상에 표시시키는 캐릭터인 아바타를 작성하는 것과 함께, 유저의 바이탈 데이터 및 유저 상태 추정부(333)에 의한 추정 결과(유저의 상태)를 아바타에 반영하여 표시시키기 위한 표시용 데이터(이하, 아바타 데이터라고 함)를 작성한다. 아바타에 반영시키는 바이탈 데이터 및 유저의 상태의 종류나 아바타의 표시 방법은 특별히 한정되지 않는다. 아바타의 표시예에 대해서는 후술한다.
여기서, 바이탈 데이터는 유저 단말(20)로부터 리얼타임으로 송신되고, 추정되는 유저의 상태도 시시각각으로 변화하기 때문에, 아바타를 애니메이션 표시하는 것이 바람직하다. 또한, 아바타 데이터 작성부(334)는, 아바타 데이터로서, 아바타의 내부를 나타내는 정보를 포함하는 3차원 데이터를 작성하고, 유저 단말(20)로부터의 요구에 따라서, 아바타를 내부(예를 들면 소화관 내)에서 본 상태의 표시용 데이터나, 단면의 표시용 데이터를 그때마다 구성하도록 해도 된다.
상관 분석부(335)는 유저 단말(20)로부터 송신된 바이탈 데이터(인풋 데이터)끼리의 상관이나, 바이탈 데이터(인풋 데이터)와 유저 상태 추정부(333)에 의한 추정 결과(아웃풋 데이터)의 상관을 분석함으로써, 바이탈 데이터와 유저의 상태를 관련지은 상관 정보의 데이터베이스를 구축한다.
도 7은 상관 분석부(335)가 실행하는 상관 정보 데이터베이스의 구축 처리를 나타내는 플로차트이다.
우선, 스텝 S10에 있어서, 상관 분석부(335)는 유저의 상태에 미리 관련지어진 제1 정보와, 1종류 이상의 제2 정보를 취득한다. 여기서, 상술한 바와 같이, 심박 변동율은 유저의 스트레스 레벨과 상관이 있는 것이 알려져 있기 때문에, 심박 변동율과 스트레스 레벨을 미리 관련지어 둠으로써, 심박 변동율을 스텝 S10에 있어서의 제1 정보로서 이용할 수 있다. 또한, 제2 정보로서는, 예를 들면 안구 등 특정 부위의 움직임이나, 목소리의 상태의 변화, 횡격막의 부푼 정도, 등뼈의 펴짐 등, 심박 변동율 이외의 데이터를 취득한다. 제2 정보는 서로 다른 2종류 이상의 정보여도 된다.
이어지는 스텝 S11에 있어서, 상관 분석부(335)는, 제1 정보와 제2 정보의 상관을 분석한다. 상술한 예에 있어서는, 심박 변동율과 안구 움직임의 상관이나, 심박 변동율과 목소리의 상태의 변화의 상관, 심박 변동율과 횡격막의 움직임의 상관이 분석된다.
이어지는 스텝 S12에 있어서, 상관 분석부(335)는, 제1 정보와 제2 정보의 상관이 강한지 여부를 판정한다. 예를 들면, 양자 간의 상관계수가 소정값 이상인 경우에는 상관이 강하다고 판정되고, 상관계수가 소정값 미만인 경우에는 상관이 약하다고 판정된다.
제1 정보와 제2 정보 간의 상관이 약한 경우(스텝 S12: Yes), 상관 분석부(335)는 처리를 종료한다.
한편, 제1 정보와 제2 정보 간의 상관이 강한 경우(스텝 S12: Yes), 상관 분석부(335)는, 상관의 분석 결과에 기초하여, 제1 정보와 미리 관련지어져 있는 유저의 상태에 제2 정보를 관련짓는다(스텝 S13). 상세하게는, 유저의 상태에 제2 정보를 관련지은 테이블을 작성한다. 혹은, 제2 정보를 입력 변수로 하고, 유저의 상태를 출력값으로 하는 함수를 작성해도 된다. 이것에 의해, 제2 정보에 기초하여 유저의 상태를 직접 추정하는 것이 가능하게 된다. 상술한 예에 있어서는, 유저의 안구 움직임의 데이터로부터, 심박 변동율을 거치는 일 없이, 유저의 스트레스 레벨을 추정할 수 있게 된다. 혹은, 목소리의 상태의 변화로부터, 유저의 희로애락을 추정할 수 있게 된다. 또한, 횡격막의 부푼 정도나 등뼈의 펴짐으로부터, 유저의 긴장의 정도를 추정할 수 있게 된다. 상관 분석부(335)는, 이와 같이 하여 취득된 제2 정보와 유저의 상태의 상관 정보를, 상관 정보 데이터베이스(324)(도 3 참조)에 축적한다. 그 후, 상관 분석부(335)는 처리를 종료한다.
제1 정보로서는, 유저의 상태와 관련지어져 있는 정보이면 심박 변동율 이외에도 이용할 수 있다. 예를 들면, 상기 스텝 S13에 있어서 안구 움직임과 스트레스 레벨이 일단 관련지어지면, 그 다음에는, 안구 움직임을 스텝 S10에 있어서의 새로운 제1 정보로서 이용하는 것도 가능하게 된다. 이 경우, 추가로 다른 바이탈 데이터를 스텝 S11에 있어서의 제2 정보로 하여, 새로운 제1 정보와의 상관을 분석함으로써, 안구 움직임을 통해서 스트레스 레벨과 해당 다른 바이탈 데이터를 관련지을 수 있다.
또한, 상관을 분석하는 대상으로서는, 바이탈 데이터끼리의 상관으로 한정되지 않고, 유저에 의해 임의로 입력된 데이터와 바이탈 데이터의 상관이나, 바이탈 데이터로부터 추정된 데이터와 바이탈 데이터의 상관 등을 분석해도 된다. 구체적으로는, 유저의 생년월일, 태어난 시간이나 장소, 혈액형, DNA형, 점(예를 들면 사주추명)의 결과, 바이탈 데이터에 대한 자기 자신의 평가 등의 데이터를 유저에게 입력하게 하여, 이들 인풋 데이터와 바이탈 데이터(심박 변동율 등)의 상관을 취하는 것을 들 수 있다.
이와 같이, 바이탈 데이터끼리의 상관이나, 바이탈 데이터와 바이탈 데이터 이외의 데이터의 상관의 분석을 거듭함으로써, 유저의 상태(정신 상태, 건강 상태, 활동 상태)에 대해서 보다 다양한 항목을 추정할 수 있고, 추정 정밀도의 향상을 도모할 수도 있다. 그리고, 이와 같이 하여 추정된 유저의 상태를 아바타에 반영시킴으로써, 보다 유저의 현상에 가까운 아바타를 표시하는 것이 가능하게 된다. 추가로는, 이와 같은 상관의 분석 결과를 축적함으로써, 유저가 자각하고 있지 않은 질병 등을 추정할 수 있을 가능성도 있다.
또한, 다수(예를 들면 수백~수만명)의 유저의 분석 결과를 일정기간(예를 들면 1년간~몇 년간) 축적함으로써, 유저의 상태에 관한 일반적 경향을 파악하는 것도 가능하게 된다. 예를 들면, A지역 출신의 B월생의 유저는 X병에 걸리기 쉽다고 하는 경향을 추출하는 것도 가능하다.
상관 분석부(335)에 의한 분석 결과는, 상관 정보 데이터베이스(324)에 축적된다. 상관 분석부(335)의 분석에 의해 축적된 상관 정보는, 해당 분석에 이용된 유저의 상태를 추정하기 위한 것으로만 사용하는 것으로 해도 된다. 혹은, 일반화하는 것이 가능한 상관 정보는, 다른 유저의 상태를 추정하기 위해서 사용해도 된다.
(2) 실시 형태의 동작
도 8은 본 발명의 실시 형태에 따른 정보 처리 시스템(1)에 있어서 실행되는 정보 수집 처리의 시퀀스도이다.
유저 단말(20)이 정보 처리 서버(30)에 액세스를 요구하면(스텝 S101), 정보 처리 서버(30)는 유저 단말(20)에 대해, 유저 ID 및 패스 코드, 또는 신규 유저 등록을 요구한다(스텝 S201).
유저 단말(20)이 신규 유저 등록하기 위한 유저 등록 정보를 송신하면(스텝 S102), 정보 처리 서버(30)는, 유저 ID 및 패스 코드를 발행하는 것과 함께, 유저 정보를 신규로 작성한다(스텝 S202).
유저 단말(20)로부터 유저 ID 및 패스 코드를 송신하고(스텝 S103), 정보 처리 서버(30)에 있어서 인증에 성공하면(스텝 S203), 해당 유저 단말(20)은 로그인 상태로 되어, 유저 단말(20)로부터 정보 처리 서버(30)에 바이탈 데이터를 축적 가능한 상태가 된다.
바이탈 데이터 수집 수단(10)(도 1 참조)에 의해 수집된 바이탈 데이터를 유저 단말(20)로부터 송신하면(스텝 S104), 정보 처리 서버(30)는 바이탈 데이터를 수신하여 유저 정보 데이터베이스(323)에 격납한다(스텝 S204). 이어서, 정보 처리 서버(30)는 축적된 바이탈 데이터에 기초하여 해당 유저의 상태(정신 상태, 건강 상태, 활동 상태)를 추정하고(스텝 S205), 유저의 상태가 반영된 아바타를 표시하기 위한 아바타 데이터를 작성한다(스텝 S206).
도 9는 본 발명의 실시 형태에 따른 정보 처리 시스템(1)에 있어서 실행되는 아바타의 표시 처리의 시퀀스도이다.
유저 단말(20)이, 정보 처리 서버(30)에 액세스를 요구하면(스텝 S111), 정보 처리 서버(30)는 유저 단말(20)에 대해, 유저 ID 및 패스 코드를 요구한다(스텝 S211).
유저 단말(20)로부터 유저 ID 및 패스 코드를 송신하고(스텝 S112), 정보 처리 서버(30)에 있어서 인증에 성공하면(스텝 S212), 해당 유저 단말(20)은 로그인 상태가 된다. 또한, 유저 단말(20)의 로그인 상태가 유지되고 있는 경우에는, 스텝 S112, S211, S212는 생략된다.
유저 단말(20)이 정보 처리 서버(30)에, 특정 유저의 아바타 데이터를 요구하면(스텝 S113), 정보 처리 서버(30)는, 유저 관리 데이터베이스(322)를 참조하여, 아바타 데이터를 요구한 유저의 액세스 제한을 확인한다(스텝 S213). 그리고, 액세스 제한의 범위에서, 요구된 아바타 데이터를 유저 단말(20)에 송신한다(스텝 S214). 예를 들면, 액세스 제한이 「본인 이외에는 개시하지 않음」으로 설정되어 있는 경우, 정보 처리 서버(30)는 해당 아바타 데이터의 유저 이외에는 아바타 데이터를 송신하지 않는다.
유저 단말(20)은, 수신한 아바타 데이터에 기초하여, 아바타를 화면에 표시한다(스텝 S114).
도 10은 아바타의 표시예를 나타내는 모식도로서, 인간의 전신을 모방한 아바타(A1)를 나타내고 있다. 이 아바타(A1)에 대해, 예를 들면, 심장의 모형(a11)을 중첩 표시하고, 유저의 심박에 맞추어 심장의 모형(a11)을 박동시키는 것으로 해도 된다. 또한, 유저의 체온에 따라서, 아바타(A1)의 전체의 색을 변화시켜도 된다. 혹은, 추정된 유저의 정신 상태(예를 들면 희로애락이나 스트레스 레벨)를 아바타(A1)의 얼굴(a12)의 표정이나 색(안색)으로 반영시켜도 된다. 추가로는, 추정된 유저의 건강 상태(예를 들면 건강함~상태 나쁨의 레벨이나 스트레스 레벨)를, 아바타(A1)의 아우라(후광)(a13)에 반영시켜도 된다. 일례로서 건강할수록 아우라(a13)의 표시 범위를 넓게 하거나, 스트레스 레벨에 따라서 아우라(a13)의 색을 변화시키거나 한다. 또한, 유저의 신체에 있어서의 상태 나쁨의 지점에 대응하는 아바타(A1)의 부분의 색을, 상태 나쁨의 정도에 따라서 변화시켜도 된다. 일례로서, 유저의 어깨 결림이 심한 경우에, 아바타(A1)의 어깨 부분(a14)의 명도를 떨어뜨려, 혈액 순환 불량인 것을 표시한다. 또한, 유저의 활동 상태에 맞추어, 아바타(A1)의 형상을 변화시켜도 된다. 일례로서, 표면 근전위 센서(16)(도 1 참조)에 의해 취득된 유저의 근육의 움직임에 따라서, 아바타(A1)의 포즈를 변화시킨다.
아바타 데이터 작성부(334)는 유저 단말(20)로부터 송신되는 요구에 따라서, 아바타(A1)의 형태를 변화시켜도 된다. 예를 들면, 유저 단말(20)의 표시부(23)에, 입력부(22)에 대한 조작에 의해 이동 가능한 슬라이더(a15)를 표시시키고, 슬라이더(a15)가 이동하면, 슬라이더(a15)의 위치를 나타내는 정보가 정보 처리 서버(30)에 송신되도록 한다. 아바타 데이터 작성부(334)는, 슬라이더(a15)의 위치에 따라서, 과거의 바이탈 데이터가 반영된 아바타 데이터를 작성하고, 유저 단말(20)에 송신한다. 그것에 의해, 유저 단말(20)에, 유저가 원하는 시기의 바이탈 데이터가 반영된 아바타(A1)가 표시된다. 이와 같이, 과거의 아바타(A1)의 표시도 가능하게 함으로써, 유저는 건강 상태 등의 시계열적인 변화를 확인할 수 있다.
혹은, 유저 단말(20)의 표시부(23)에 표시된 아바타(A1)에 대해서 소정의 조작(예를 들면 탭 조작)을 행함으로써, 조작된 영역이 선택된 취지를 나타내는 정보가 정보 처리 서버(30)에 송신되도록 한다. 아바타 데이터 작성부(334)는 선택된 영역의 내부(예를 들면 장기)를 나타내는 아바타 데이터를 작성하고, 유저 단말(20)에 송신한다. 그것에 의해, 유저 단말(20)에, 유저가 원하는 내부 영역이 노출된 아바타(A1)가 표시된다. 내부 영역의 표시 방법은, 아바타(A1)의 단면을 보게 하는 방식이어도 되고, 마치 아바타(A1)의 내부에 소형의 카메라를 삽입하고, 이 카메라에 의해 촬영된 영상을 보게 하는 방식이어도 된다.
도 11은 아바타의 다른 표시예를 나타내는 모식도로서, 유저의 두부를 모방한 아바타(A2)를 나타내고 있다. 이 아바타(A2) 내에, 유저의 감정을 나타내는 영역(감정 영역(a21)), 우뇌의 활동 상태를 나타내는 영역(우뇌 영역(a22)), 및 좌뇌의 활동 상태를 나타내는 영역(좌뇌 영역(a23))을 마련하고, 바이탈 데이터나 추정된 유저의 상태에 따라서, 각 영역의 크기나 색 등을 변화시킨다.
이상 설명한 바와 같이, 본 실시 형태에 의하면, 적어도 유저의 심박수를 포함하는 바이탈 데이터를 리얼타임으로 취득하고, 바이탈 데이터에 기초하여 리얼타임으로 추정된 유저의 상태를 기초로 아바타 데이터를 작성하므로, 유저의 상태를 리얼하게 반영한 아바타를 구성하는 것이 가능하게 된다.
또한, 본 실시 형태에 의하면, 복수의 바이탈 데이터끼리의 상관이나, 유저의 상태의 추정 결과와 바이탈 데이터의 상관을 분석하고, 이것들의 상관에 기초하여 유저의 상태를 추가로 추정하므로, 유저의 상태에 대해서 추정 가능한 항목을 늘릴 수 있는 것과 함께, 추정 정밀도를 향상시키는 것이 가능하게 된다.
이와 같이 유저의 바이탈 데이터에 기초하여 아바타를 표시하는 정보 처리 시스템(1)은, 다양한 애플리케이션에 있어서 이용할 수 있다. 일례로서, 정보 처리 시스템(1)을 「facebook(등록상표)」나 「LinkedIn(등록상표)」과 같은 SNS(소셜 네트워킹 시스템)와 조합시킴으로써, 유저 프로파일로서 아바타를 이용할 수 있다.
도 12 및 도 13은, 정보 처리 시스템(1)의 SNS에 있어서의 활용예를 설명하기 위한 도면이다. 예를 들면, 도 12에 나타내는 바와 같이, 어느 SNS에 있어서, 유저 A는, 유저 B, C, D와 「친구」로서 연결되어 있는 것으로 한다. 또한, 유저 B는, 유저 A 외에, 유저 E, F와 「친구」로서 연결되어 있는 것으로 한다. 이들 유저의 정신 상태나 건강 상태나 활동 상태, 혹은 각 아바타의 아우라를 수치화하고, 유저의 교우 관계에 기초하여 통계값을 산출한다. 예를 들면, 유저 A~F의 아바타의 아우라를 수치화한 아우라값이, 각각, 2, 3, 8, 5, 6, 4인 것으로 한다. 이 경우, 도 13에 나타내는 바와 같이, 유저 A의 친구(유저 B, C, D)의 아우라값의 합계는, 3＋8＋5=16이며, 평균값은 약 5.3이다. 한편, 유저 B의 친구(유저 A, E, F)의 아우라값의 합계는 2＋6＋4=12이며, 평균값은 약 4이다. 따라서, 유저 A 쪽이, 유저 B보다도 아우라값이 높은 친구가 많다고 하는 것을 알 수 있다.
이 외에도, 분석에 이용하는 수치를 바꿈으로써, 예를 들면, 유저 A는 성격적으로 침착성이 없는 친구가 많고, 건강하지 못한 친구가 많다는 것과 같은 분석을 행할 수 있다. 혹은, 유저 A의 업무상의 네트워크와 프라이빗 네트워크 사이에서의 비교를 행할 수도 있다. 분석에 이용하는 수치로서는, 아우라, 정신 상태, 건강 상태, 활동 상태 등을 수치화한 것 외에, 바이탈 데이터 그 자체(심박수 등)를 이용해도 된다. 또한, 상기 설명에 있어서는, 통계값으로서 평균값을 이용했지만, 중앙값이나 최빈값 등을 이용해도 된다.
추가로, 도 12에 예시한 바와 같은 네트워크로 연결된 교우 관계 외에, 투고(投稿)한 기사에 대해서 팔로우하는 팔로워나 평가를 하는 사람에 대해서, 상술한 아우라값이나 바이탈 데이터 등을 취득하고, 포인트나 랭킹과 같은 형태로 표시하거나 해도 된다. 그것에 의해, 예를 들면, 유저 A의 팔로워는 스트레스 레벨이 높고, 유저 B의 팔로워는 건강 레벨은 높지만 활동 레벨이 낮다고 하는 것과 같이, 팔로워 등의 경향을 분석할 수 있다.
또한, 다른 예로서, 인재 채용 사이트나 맞선 사이트에 있어서 정보 처리 시스템(1)을 이용하는 것도 가능하다. 이 경우, 회원(취직 희망자나 맞선 희망자) 프로파일로서, 아바타를 기업이나 맞선 상대에게 제시하는 것으로 해도 된다.
또한, 다른 예로서, 게임 사이트에 있어서 정보 처리 시스템(1)을 이용하는 것도 가능하다. 예를 들면, 대전 게임에 있어서 아바타끼리를 싸우게 하는 것으로 해도 된다.
추가 다른 예로서, 건강 관리 애플리케이션에 있어서 정보 처리 시스템(1)을 이용하는 것도 가능하다. 이 경우, 유저가 원격지에 있는 경우라도, 유저 단말(20)에 표시된 아바타로부터, 맥박이나 체온 등 유저의 건강 상태를 나타내는 지표를 취득할 수 있다. 또한, 아바타의 복부를 연 상태로 장기를 표시하거나, 아바타의 소화기관을 내측으로부터 표시하거나 하는 것도 가능하다. 또한, 아바타의 전신의 자세를 보고, 유저가 자신의 자세를 교정하는 것과 같은 사용 방법도 들 수 있다.
상기 실시 형태 및 변형예에 있어서는 인간을 정보 처리 시스템(1)의 유저로 했지만, 애완동물이나 가축 등의 동물을 유저로 해도 된다. 즉, 개나 고양이 등에 바이탈 데이터 수집 수단을 장착하고, 수집된 바이탈 데이터에 기초하여 동물의 아바타를 작성한다. 이 경우, 수의사가 아바타를 보고 진찰에 이용하는 것도 가능하다.
이상 설명한 실시 형태는, 본 발명을 설명하기 위한 일례이며, 본 발명을 그 실시 형태로 한정하는 취지는 아니다. 또한, 본 발명은 그 요지를 벗어나지 않는 한, 다양한 변형이 가능하다. 예를 들면, 당업자라면, 실시 형태에서 기술한 리소스(하드웨어 자원 또는 소프트웨어 자원)를 균등물로 치환하는 것이 가능하며, 그와 같은 치환도 본 발명의 범위에 포함된다.
1 정보 처리 시스템
10 바이탈 데이터 수집 수단
11 심박계
12 혈압계
13 체온계
14 웹 카메라
15 표면 근전위 센서
20 유저 단말
21 통신 인터페이스
22 입력부
23 표시부
24 촬상부
25 신호 입출력부
26 기억부
27 프로세서
30 정보 처리 서버
31 통신 인터페이스
32 기억부
33 프로세서
261 애플리케이션 프로그램
271 애플리케이션 실행부
321 정보 처리 프로그램
322 유저 관리 데이터베이스
323 유저 정보 데이터베이스
324 상관 정보 데이터베이스
331 인증 관리부
332 유저 정보 관리부
333 유저 상태 추정부
334 아바타 데이터 작성부
335 상관 분석부

Claims (9)

  1. 유저의 바이탈 데이터를 취득하는 바이탈 데이터 취득 수단과,
    상기 바이탈 데이터 취득 수단에 의해 취득된 바이탈 데이터를, 통신 네트워크를 통해서 송신하는 단말 장치와,
    상기 단말 장치로부터 송신된 바이탈 데이터를 처리하는 정보 처리 서버를 구비하고,
    상기 정보 처리 서버는,
    상기 바이탈 데이터를 기억하는 기억부와,
    상기 바이탈 데이터 중, 심박수와 심박 간격의 변동율인 심박 변동율을 포함하는 제1 바이탈 데이터와, 상기 제1 바이탈 데이터와는 다른 종류의 제2 바이탈 데이터의 사이에 있어서의 상관을 분석하고, 해당 분석 결과에 기초하여, 상기 유저의 상태를 추정하는 유저 상태 추정부와,
    상기 유저 상태 추정부에 의해 추정된 상기 유저의 상태가 반영된 아바타를 표시하기 위한 표시용 데이터를 작성하는 아바타 데이터 작성부와,
    통신 네트워크를 통해서 상기 표시용 데이터의 송신 요구를 수신했을 경우에, 상기 표시용 데이터를 해당 요구원으로 송신하는 통신 인터페이스를 가지고,
    상기 요구원에 있어서 상기 유저의 상태가 반영된 아바타를 표시시킬 수 있는 정보 처리 시스템.
  2. 통신 네트워크를 통해서 단말 장치로부터 수신한, 유저의 심박수와 심박 간격의 변동율인 심박 변동율을 포함하는 제1 바이탈 데이터를 기억하는 기억부와,
    상기 심박수와 상기 심박 변동율을 포함하는 상기 제1 바이탈 데이터와, 상기 제1 바이탈 데이터와는 다른 종류의 제2 바이탈 데이터의 사이에 있어서의 상관을 분석하고, 해당 분석 결과에 기초하여, 상기 유저의 상태를 추정하는 유저 상태 추정부와,
    상기 유저 상태 추정부에 의해 추정된 상기 유저의 상태가 반영된 아바타를 표시하기 위한 표시용 데이터를 작성하는 아바타 데이터 작성부와,
    통신 네트워크를 통해서 상기 표시용 데이터의 송신 요구를 수신했을 경우에, 상기 표시용 데이터를 해당 요구원으로 송신하는 통신 인터페이스를 가지고,
    상기 요구원에 있어서 상기 유저의 상태가 반영된 아바타를 표시시킬 수 있는 정보 처리 서버.
  3. 청구항 2에 있어서,
    상기 아바타 데이터 작성부는 상기 요구원에 있어서 입력된 정보에 따른 과거의 바이탈 데이터가 반영된 상기 아바타의 표시용 데이터를 작성하고,
    상기 통신 인터페이스가, 상기 과거의 바이탈 데이터가 반영된 상기 아바타의 표시용 데이터를 상기 요구원으로 송신함으로써, 상기 요구원에 있어서 상기 유저의 상태의 시계열적인 변화를 확인할 수 있는 정보 처리 서버.
  4. 청구항 2 또는 청구항 3에 있어서,
    상기 유저 상태 추정부는 상기 유저의 정신 상태를 추정하고,
    상기 아바타 데이터 작성부는 상기 유저의 정신 상태가 반영된 상기 아바타의 표시용 데이터를 작성하는 정보 처리 서버.
  5. 청구항 2 또는 청구항 3에 있어서,
    상기 유저 상태 추정부는 상기 유저의 건강 상태를 추정하고,
    상기 아바타 데이터 작성부는 상기 유저의 건강 상태가 반영된 상기 아바타의 표시용 데이터를 작성하는 정보 처리 서버.
  6. 청구항 2 또는 청구항 3에 있어서,
    상기 유저 상태 추정부는 상기 유저의 활동 상태를 추정하고,
    상기 아바타 데이터 작성부는 상기 유저의 활동 상태가 반영된 상기 아바타의 표시용 데이터를 작성하는 정보 처리 서버.
  7. 청구항 2 내지 청구항 6 중 어느 한 항에 있어서,
    상기 표시용 데이터는 상기 아바타의 내부에 관한 정보를 포함하는 3차원 데이터이며,
    상기 요구원으로부터의 상기 표시용 데이터의 송신 요구에 따라서, 상기 아바타의 내부를 표시하기 위한 표시용 데이터를 작성하여 상기 요구원으로 송신하는 정보 처리 서버.
  8. 프로세서와 기억부를 구비하는 정보 처리 서버에 있어서의 정보 처리의 방법으로서,
    상기 프로세서가,
    통신 네트워크를 통해서, 단말 장치로부터 유저의 심박수와 심박 간격의 변동율인 심박 변동율을 포함하는 제1 바이탈 데이터를 수신하는 것,
    상기 수신한 심박수와 심박 변동율을 상기 기억부에 기억하는 것,
    상기 심박수와 상기 심박 변동율을 포함하는 제1 바이탈 데이터와, 상기 제1 바이탈 데이터와는 다른 종류의 제2 바이탈 데이터의 사이에 있어서의 상관을 분석하고, 해당 분석 결과에 기초하여, 상기 유저의 상태를 추정하는 것,
    상기 추정된 상기 유저의 상태가 반영된 아바타를 표시하기 위한 표시용 데이터를 작성하는 것, 및
    통신 네트워크를 통해서 상기 표시용 데이터의 송신 요구를 수신했을 경우에, 상기 표시용 데이터를 해당 요구원으로 송신하는 것을 구비하고,
    상기 요구원에 있어서 상기 유저의 상태가 반영된 아바타를 표시시킬 수 있는 정보 처리 방법.
  9. 컴퓨터에,
    통신 네트워크를 통해서, 단말 장치로부터 유저의 심박수와 심박 간격의 변동율인 심박 변동율을 포함하는 제1 바이탈 데이터를 수신하는 것,
    상기 수신한 심박수와 심박 변동율을 상기 기억부에 기억하는 것,
    상기 심박수와 상기 심박 변동율을 포함하는 제1 바이탈 데이터와, 상기 제1 바이탈 데이터와는 다른 종류의 제2 바이탈 데이터의 사이에 있어서의 상관을 분석하고, 해당 분석 결과에 기초하여, 상기 유저의 상태를 추정하는 것,
    상기 추정된 상기 유저의 상태가 반영된 아바타를 표시하기 위한 표시용 데이터를 작성하는 것, 및
    통신 네트워크를 통해서 상기 표시용 데이터의 송신 요구를 수신했을 경우에, 상기 표시용 데이터를 해당 요구원으로 송신하는 것으로서, 이것에 의해 상기 요구원에 있어서 상기 유저의 상태가 반영된 아바타를 표시시키는 것
    을 실행시키기 위한 프로그램.
KR1020207000382A 2017-06-07 2018-06-07 정보 처리 시스템 KR102618437B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-112845 2017-06-07
JP2017112845A JP6325154B1 (ja) 2017-06-07 2017-06-07 情報処理システム
PCT/JP2018/021936 WO2018225838A1 (ja) 2017-06-07 2018-06-07 情報処理システム

Publications (2)

Publication Number Publication Date
KR20200019673A true KR20200019673A (ko) 2020-02-24
KR102618437B1 KR102618437B1 (ko) 2023-12-28

Family

ID=62143929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207000382A KR102618437B1 (ko) 2017-06-07 2018-06-07 정보 처리 시스템

Country Status (7)

Country Link
US (1) US11816264B2 (ko)
EP (1) EP3636156A4 (ko)
JP (1) JP6325154B1 (ko)
KR (1) KR102618437B1 (ko)
CN (3) CN116548937A (ko)
CA (1) CA3066704A1 (ko)
WO (1) WO2018225838A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481946B2 (en) * 2017-10-27 2022-10-25 Sony Corporation Information processing apparatus, information processing method, program, and information processing system for reinforcing target behavior
EP3856012B1 (en) * 2018-09-27 2023-06-07 the anti-inflammaging company AG Visualized virtual agent
EP4331484A1 (en) * 2022-08-31 2024-03-06 ASICS Corporation Mental/physical state evaluation system and mental/physical state evaluation method
WO2024084580A1 (ja) * 2022-10-18 2024-04-25 日本電信電話株式会社 体性感覚制御装置、方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070050715A1 (en) * 2005-07-26 2007-03-01 Vivometrics, Inc. Computer interfaces including physiologically guided avatars
US20130115582A1 (en) * 2010-06-07 2013-05-09 Affectiva, Inc. Affect based concept testing
JP2013258555A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法
JP2014504460A (ja) 2010-09-30 2014-02-20 アフェクティヴァ，インコーポレイテッド ウェブ対応アプリケーションに対する感情データの測定
JP2016126500A (ja) 2014-12-26 2016-07-11 Kddi株式会社 ウェアラブル端末装置およびプログラム
US20160379511A1 (en) * 2015-06-23 2016-12-29 Rescon Ltd Differentially weighted modifiable prescribed history reporting apparatus, systems, and methods for decision support and health

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000285377A (ja) 1999-03-31 2000-10-13 Matsushita Electric Ind Co Ltd 緊急事態情報表示方法及び装置
US6354679B1 (en) 2000-04-20 2002-03-12 Caterpillar Inc. Off-set symmetrical link and an associated subassembly for a track chain assembly
JP2006120137A (ja) 2001-02-19 2006-05-11 Hitachi Kokusai Electric Inc 画像情報通報システム
JP2004062364A (ja) 2002-07-26 2004-02-26 Hitachi Ltd 事故情報処理システム
JP4277173B2 (ja) * 2003-02-13 2009-06-10 ソニー株式会社 再生方法、再生装置およびコンテンツ配信システム
JP2005057343A (ja) 2003-08-05 2005-03-03 Tokio Marine & Nichido Fire Insurance Co Ltd 画像データ登録装置及び方法
US8002553B2 (en) * 2003-08-18 2011-08-23 Cardiac Pacemakers, Inc. Sleep quality data collection and evaluation
KR100646868B1 (ko) * 2004-12-29 2006-11-23 삼성전자주식회사 피부전도도와 심박 정보를 이용한 홈 제어시스템 및 그 방법
US20090105560A1 (en) * 2006-06-28 2009-04-23 David Solomon Lifestyle and eating advisor based on physiological and biological rhythm monitoring
JP4506795B2 (ja) * 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
US8666672B2 (en) * 2009-11-21 2014-03-04 Radial Comm Research L.L.C. System and method for interpreting a user's psychological state from sensed biometric information and communicating that state to a social networking site
JP5804405B2 (ja) * 2010-01-27 2015-11-04 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
JP5480690B2 (ja) 2010-03-26 2014-04-23 Ｍｓ＆Ａｄ基礎研究所株式会社 保険会社システム
US20150206000A1 (en) * 2010-06-07 2015-07-23 Affectiva, Inc. Background analysis of mental state expressions
US9167991B2 (en) 2010-09-30 2015-10-27 Fitbit, Inc. Portable monitoring devices and methods of operating same
JP6453751B2 (ja) * 2012-05-23 2019-01-16 アイフィノタイプ エルエルシー 表現型を統合したソーシャル検索データベース及び方法
US9652992B2 (en) * 2012-10-09 2017-05-16 Kc Holdings I Personalized avatar responsive to user physical state and context
US9199122B2 (en) * 2012-10-09 2015-12-01 Kc Holdings I Personalized avatar responsive to user physical state and context
WO2014145204A1 (en) * 2013-03-15 2014-09-18 Affectiva, Inc. Mental state analysis using heart rate collection based video imagery
DE112014001607B4 (de) * 2013-04-25 2021-09-02 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Situationswahrnehmungssystem und -verfahren
WO2015108702A1 (en) * 2014-01-14 2015-07-23 Zsolutionz, LLC Cloud-based initiation of customized exercise routine
FR3017529B1 (fr) * 2014-02-17 2021-04-23 Vasile Zoicas Procede et systeme de surveillance du systeme nerveux autonome d'un sujet
WO2015128740A2 (en) * 2014-02-28 2015-09-03 Eco-Fusion Systems for predicting hypoglycemia and methods of use thereof
KR20160080958A (ko) * 2014-12-30 2016-07-08 삼성전자주식회사 사용자 단말장치, 사용자 단말장치의 구동 방법 및 컴퓨터 판독가능 기록매체
KR101656808B1 (ko) 2015-03-20 2016-09-22 현대자동차주식회사 사고 정보 관리 장치, 이를 포함하는 차량 및 사고 정보 관리 방법
US9930102B1 (en) * 2015-03-27 2018-03-27 Intuit Inc. Method and system for using emotional state data to tailor the user experience of an interactive software system
US10136856B2 (en) * 2016-06-27 2018-11-27 Facense Ltd. Wearable respiration measurements system
ES2870584T3 (es) * 2015-07-16 2021-10-27 Preventicus Gmbh Procesamiento de datos biológicos
CN108471977A (zh) * 2015-10-14 2018-08-31 神经理疗协同有限私人贸易公司 通过生物反馈和环境监测的方式促进心理-身体-情绪状态的自我调节和功能技能发展的系统和方法
US11051760B2 (en) * 2016-05-09 2021-07-06 Belun Technology Company Limited Wearable device for healthcare and method thereof
CN106126895A (zh) * 2016-06-20 2016-11-16 上海朗朗信息科技有限公司 基于移动终端的健康生活行为管理系统及方法
EP3609390A4 (en) * 2017-04-14 2020-09-16 Emfit Ltd. WEARABLE SENSOR AND SYSTEM FOR IT
EP3403574A1 (en) * 2017-05-18 2018-11-21 Preventicus GmbH Device for reliable acquisition of photoplethysmographic data
EP3809954A4 (en) * 2018-05-22 2022-03-09 LifeLens Technologies, Inc. MONITORING OF PHYSIOLOGICAL PARAMETERS FOR SYNCHRONIZATION FEEDBACK TO IMPROVE A SUBJECT'S PERFORMANCE DURING AN ACTIVITY
WO2022072280A1 (en) * 2020-09-30 2022-04-07 Cardiac Pacemakers, Inc. Breath classification systems and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070050715A1 (en) * 2005-07-26 2007-03-01 Vivometrics, Inc. Computer interfaces including physiologically guided avatars
US20130115582A1 (en) * 2010-06-07 2013-05-09 Affectiva, Inc. Affect based concept testing
JP2014504460A (ja) 2010-09-30 2014-02-20 アフェクティヴァ，インコーポレイテッド ウェブ対応アプリケーションに対する感情データの測定
JP2013258555A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法
JP2016126500A (ja) 2014-12-26 2016-07-11 Kddi株式会社 ウェアラブル端末装置およびプログラム
US20160379511A1 (en) * 2015-06-23 2016-12-29 Rescon Ltd Differentially weighted modifiable prescribed history reporting apparatus, systems, and methods for decision support and health

Also Published As

Publication number Publication date
CN116509348A (zh) 2023-08-01
CA3066704A1 (en) 2018-12-13
JP6325154B1 (ja) 2018-05-16
CN110868930B (zh) 2023-05-30
EP3636156A1 (en) 2020-04-15
US11816264B2 (en) 2023-11-14
CN116548937A (zh) 2023-08-08
EP3636156A4 (en) 2021-03-17
JP2018202012A (ja) 2018-12-27
WO2018225838A1 (ja) 2018-12-13
CN110868930A (zh) 2020-03-06
KR102618437B1 (ko) 2023-12-28
US20200133394A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
JP6881687B2 (ja) ユーザの精神／感情状態をモデリングする方法およびシステム
KR102618437B1 (ko) 정보 처리 시스템
US9165216B2 (en) Identifying and generating biometric cohorts based on biometric sensor input
KR102586167B1 (ko) 데이터베이스의 구축 방법
US20110118554A1 (en) Device-assisted social networking for health management
US20130172693A1 (en) Diagnosing system for consciousness level measurement and method thereof
KR20150112423A (ko) 가상 병원 시스템, 가상 병원 생성 방법 및 장치, 이를 이용하는 의료 서비스 제공 방법
Pustozerov et al. Mobile-based decision support system for gestational diabetes mellitus
JP2019058227A (ja) ＩｏＴ計測器、健康ＳＮＳプラットフォーム、および、健康サービスシステム
KR101228586B1 (ko) 유무선 통신망을 이용한 질병 관리 시스템 및 방법
JP7311118B2 (ja) 感情推定方法および感情推定システム
KR102445248B1 (ko) 탈모 예측 및 개인 맞춤형 두피 케어를 위한 방법 및 장치
Elango et al. Super Artificial Intelligence Medical Healthcare Services and Smart Wearable System based on IoT for Remote Health Monitoring
JP7119755B2 (ja) 健康管理装置、健康管理方法、及びプログラム
JP2021117774A (ja) 生体情報データ共有システム
O’Hara et al. Introduction to special issue on body tracking and healthcare
WO2023171162A1 (ja) 心理状態推定装置および心理状態推定方法
Jonas et al. Designing a wearable IoT-based bladder level monitoring system for neurogenic bladder patients
JP7435965B2 (ja) 情報処理装置、情報処理方法、学習モデルの生成方法、及びプログラム
WO2023234317A1 (ja) 情報処理システム、情報処理方法、プログラム、記録媒体
EP4250311A1 (en) Ultrasound system with customization unit
JP2017174167A (ja) 健康管理プラットフォームサーバ及び健康管理プラットフォームシステム
KR20230163822A (ko) 비대면 질환 진단 방법 및 장치
JP2023156157A (ja) 情報処理装置、情報処理システム、及び情報処理システムの処理方法
Blumenthal A Mobile Application for Dual-Task Gait Assessment of Cognitive Status

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)