TW201812537A - 座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置 - Google Patents

座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置 Download PDF

Info

Publication number
TW201812537A
TW201812537A TW106119667A TW106119667A TW201812537A TW 201812537 A TW201812537 A TW 201812537A TW 106119667 A TW106119667 A TW 106119667A TW 106119667 A TW106119667 A TW 106119667A TW 201812537 A TW201812537 A TW 201812537A
Authority
TW
Taiwan
Prior art keywords
information
aforementioned
state
pen
emotional state
Prior art date
Application number
TW106119667A
Other languages
English (en)
Other versions
TWI764906B (zh
Inventor
Akiyuki Kake
Heidi Wang
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Publication of TW201812537A publication Critical patent/TW201812537A/zh
Application granted granted Critical
Publication of TWI764906B publication Critical patent/TWI764906B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30Writer recognition; Reading and verifying signatures
    • G06V40/37Writer recognition; Reading and verifying signatures based only on signature signals such as velocity or pressure, e.g. dynamic signature recognition
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychology (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Electromagnetism (AREA)
  • Neurosurgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)

Abstract

本發明之課題在於可以推定根據電子筆的輸入作業者之該作業時間點的實時(real-time)的情感狀態,進行因應於推定的情感狀態之處理。 本發明的解決手段,具備:位置檢測裝置部,其係具備檢測出藉由電子筆指示的位置之感測器,及取得關於使用者把持著的電子筆的狀態之筆狀態資訊之手段;送訊部,其係把包含以位置檢測裝置部所取得的筆狀態資訊之情感狀態推定要求,送訊到情感推定裝置,該情感推定裝置具備使把持著電子筆的人的情感狀態,與該情感狀態時,關於人所把持著的電子筆的狀態之筆狀態資訊可取值之範圍資訊賦予對應而收容著之資料庫;以及處理部,其係接收對應於包含在送訊的情感狀態推定要求之筆狀態資訊而由情感推定裝置送來的因應於情感狀態的資訊,執行使用了因應於接收的情感狀態之資訊的處理。

Description

座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置
本發明係關於座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置。
從前,進行了測定人的腦波等生體資訊以推定該人的情感狀態的種種嘗試。例如,於專利文獻1(參照日本特開2010-131328號公報),揭示了使用簡易腦波計測定腦波,由腦波資訊判斷對象人物的嗜好或生理狀態的方法或裝置。
此外,於專利文獻2(參照日本特開2015-109964號公報),提供了測定對象人物的腦波以外的生體資訊,例如脈搏或血流等,根據該測定之生體資訊與腦波等之相關關係,由測定的生體資訊推定對象人物的腦波,由推定的腦波的特徵圖案,推定對象人物的情感的方法。
〔先前技術文獻〕 〔專利文獻〕
[專利文獻1]日本特開2011-186803號公報
[專利文獻2]日本特開2002-244806號公報
近年來,作為電子機器的輸入裝置,有電子筆逐漸受到愛用。如果此電子筆的使用者再根據該電子筆進行輸入作業中的情感能夠被判別(推定)的話,可以對使用者提供因應於該判別(推定)的情感之應對,會是便利的。
例如,根據電子筆進行輸入業務中的作業員的情感狀態,被判斷(推定)是處於注意力渙散的狀態的話,可以給予喚起注意力的應對,被判斷(推定)是處於焦躁不安的情感狀態的話,可以提供使心情放鬆的音樂等應對。
要實現以上目標的場合,有必要判別(推定)利用電子筆進行輸入作業的使用者在當下的實時(real-time)的情感狀態,可考慮使用前述之專利文獻1或專利文獻2之技術。但是,要使用電子筆進行輸入的使用者穿戴簡易腦波計或生體資訊的感測器同時進行作業並不實際,此外,必須要對各個作業員提供簡易腦波計或生體資訊的感測器,在成本方面也不實際。
本發明係有鑑於以上的問題而完成之發明,目的在於即使利用電子筆的輸入作業員不穿戴簡易腦波計或生體資訊的感測器等,也可以判別(推定)根據該電子筆 進行輸入作業者在該輸入作業的時間點之實時的情感狀態。
為了解決前述課題,請求項第1項之發明,提供一種座標輸入處理裝置,特徵為具備:位置檢測裝置部,其係具備檢測出藉由電子筆指示的位置之感測器,及取得關於使用者把持著的前述電子筆的狀態之筆狀態資訊之手段;送訊部,其係把包含以前述位置檢測裝置部所取得的前述筆狀態資訊之情感狀態推定要求,送訊到情感推定裝置,該情感推定裝置具備使把持著電子筆的人的情感狀態,與前述情感狀態時,關於前述人所把持著的電子筆的狀態之筆狀態資訊可取值之範圍資訊賦予對應而收容著之情感推定用資訊收容部;以及處理部,其係接收對應於包含在藉由前述送訊手段所送訊的前述情感狀態推定要求之前述筆狀態資訊而由前述情感推定裝置送來的因應於前述情感狀態的資訊,執行使用了因應於前述接收的前述情感狀態之資訊的處理。
此外,請求項第8項之發明,提供一種情感推定裝置,特徵為具備:把持著電子筆的人的情感狀態,與前述情感狀態時,關於前述人所把持的電子筆的狀態之筆狀態資訊可取值的範圍資訊被賦予對應而收容的情感推定用資訊收容部,以及接收到包含關於電子筆的狀態之筆狀態資訊的情感狀態推定要求時,藉著藉由前述接收的前述 筆狀態資訊而參照前述情感推定用資訊收容部,推定送訊前述要求資訊的電子筆的使用者之情感狀態的推定手段。
進而,請求項第14項之發明,提供一種情感推定用資訊收容部之構築裝置,特徵為具備:資訊取得手段,其係取得藉由電子筆進行指示輸入的人的生體資訊,資訊取得手段,其係取得關於被賦予對應於以前述生體資訊取得手段取得的前述生體資訊之進行前述指示輸入的人所把持的電子筆的狀態之前述筆狀態資訊,判斷手段,其係從以前述資訊取得手段取得的前述生體資訊來判斷把持著前述電子筆的人的情感狀態,從以前述資訊取得手段取得的前述筆狀態資訊,求出前述判斷的情感狀態時,前述筆狀態資訊可取值的範圍資訊之手段,以及收容手段,其係收容把前述判斷的情感狀態,與前述筆狀態資訊可取值的範圍資訊賦予對應而收容於情感推定用資訊收容部。
一般而言,把持著電子筆的作業員的手或指尖,因應於該作業員在該時間點之情感狀態而移動。亦即,藉由作業員保持著的電子筆,處在因應於該作業員當時的情感狀態之手或指尖的移動的高度位置,或具有對感測器輸入面之傾斜,或者在特定的筆壓狀態。總之,把持著電子筆的作業員的情感狀態,與針對該作業員所把持的電子筆之關於高度位置或其變動、傾斜狀態或其變動、筆壓或其變動等電子筆的狀態之筆狀態資訊是相關的。
在此,於本發明,於事前構築把持著電子筆的人的情感狀態,與前述情感狀態時,關於把持著電子筆 之人所把持的電子筆的狀態之筆狀態資訊可取值的範圍資訊被賦予對應而收容的情感推定用資訊收容部。情感推定用資訊收容部,為情感推定裝置所具備,係由藉由電子筆進行指示輸入之人的生體資訊,以及關於進行被賦予對應於前述生體資訊的前述指示輸入之人所把持的電子筆的狀態之筆狀態資訊所構成。
在此,作為情感狀態,例如有放鬆狀態、精神集中狀態、焦躁不安狀態、注意渙散狀態等情感的狀態。此外,作為筆狀態資訊,例如使用被施加於電子筆的芯體之筆壓及其變動、電子筆之感測器上的高度位置與其高度方向的變動、電子筆對感應面之傾斜及其變動、電子筆在未接觸於感測器上的狀態之感測器的X軸方向及Y軸方向的移動等。接著,被記憶於情感推定用資訊收容部的,是各情感狀態,以及該情感狀態時關於人所把持的電子筆的狀態之筆狀態資訊可取值的範圍資訊被賦予對應的資訊。
此情感推定用資訊收容部,可以藉由請求項第14項之情感推定用資訊收容部構築裝置來構築。亦即,首先要取得藉由電子筆進行指示輸入之人的生體資訊,以及關於被賦予對應於此生體資訊之進行指示輸入之人所把持的電子筆的狀態之筆狀態資訊。接著,由取得的生體資訊,判斷把持著電子筆的人的情感狀態。接著,由取得的筆狀態資訊求出該判斷的情感狀態時之筆狀態資訊可取值的範圍資訊。接著,使判斷的情感狀態與筆狀態資訊可取 值的範圍資訊賦予對應而收容於情感推定用資訊收容部。
前述構成之請求項第1項之座標輸入處理裝置,具備位置檢測裝置部、送訊部、處理部。位置檢測裝置部,取得關於檢測出藉由電子筆指示的位置之感測器,與使用者把持的電子筆的狀態之筆狀態資訊。在此,作為取得的筆狀態資訊,例如使用被施加於前述之電子筆的芯體之筆壓與其變動、電子筆之感測器上的高度位置與其高度方向的變動、電子筆對感應面之傾斜及其變動、電子筆在未接觸於感測器上的狀態之感測器的X軸方向及Y軸方向的移動等。
接著,請求項第1項之座標輸入處理裝置的送訊部,把包含取得的筆狀態資訊之情感狀態推定要求,送至情感推定裝置。請求項第8項之發明,係此情感推定裝置之發明。
亦即,於請求項第8項之情感推定裝置,在接收到包含關於電子筆的狀態之筆狀態資訊的情感狀態推定要求時,藉著藉由前述接收的前述筆狀態資訊而參照前述資料庫,推定送訊前述要求資訊的電子筆的使用者之情感狀態。接著,把因應於該推定結果的情感狀態之資訊,返送至進行情感狀態推定要求的座標輸入處理裝置。
請求項第1項之發明之座標輸入處理裝置,接收因應於由情感推定裝置所推定的情感狀態之資訊時,進行因應於資訊之處理,該資訊係因應於該接收的情感狀態之資訊。
如以上所述地進行,根據此發明之座標輸入處理裝置,可以對情感推定裝置,僅送出包含取得的筆狀態資訊之情感狀態推定要求,就知道該時間點之電子筆的使用者之被推定的情感狀態,可以進行根據因應於該情感狀態的資訊之處理。
根據本發明,可以達成即使把持著電子筆的輸入作業員不穿戴簡易腦波計或生體資訊的感測器等,也可以推定藉由該電子筆進行輸入作業的輸入作業者在該作業的時間點之實時的情感狀態,作出因應於該情感狀態的處理之效果。
1、1A、1B‧‧‧電子筆
2、2A、2B、2D‧‧‧平板電腦終端
4‧‧‧賦予對應處理部
5‧‧‧腦波計
5A‧‧‧簡易腦波計
5B‧‧‧生體資訊檢測裝置
7、7D‧‧‧通訊網路
8、8D‧‧‧情感伺服裝置
87‧‧‧情感推定用資料庫
88‧‧‧情感狀態推定要求收訊部
89‧‧‧情感狀態推定部
90‧‧‧提供資訊產生部
234‧‧‧情感狀態推定要求產生部
圖1係供說明根據本發明的情感推定用資訊收容部的構築裝置的實施型態之圖。
圖2係顯示構成圖1的實施型態的電子筆與平板電腦終端之電路構成例之圖。
圖3係顯示構成圖1之實施型態之情感伺服裝置的構成例之方塊圖。
圖4係供說明圖1之實施型態之情感推定用資訊收容部的構築裝置之例之圖。
圖5係供說明圖1之實施型態之情感推定用資訊收容部 的構築裝置之例之圖。
圖6係供說明以圖1之實施型態之情感推定用資訊收容部的構築裝置構築的情感推定用資訊收容部之例之圖。
圖7係供說明圖1之實施型態之情感推定用資訊收容部的構築裝置的動作處理流程之例之流程圖。
圖8係供說明情感推定用資訊收容部的構築裝置的其他實施型態的概要之圖。
圖9係供說明情感推定用資訊收容部的構築裝置的其他實施型態之圖。
圖10係顯示構成圖8的實施型態的電子筆與平板電腦終端之電路構成例之圖。
圖11係供說明情感推定用資訊收容部的構築裝置的其他實施型態的概要之圖。
圖12係顯示構成圖11的實施型態的電子筆與平板電腦終端之電路構成例之圖。
圖13係供說明包含根據本發明的情感推定裝置的實施型態之系統的構成例的概要之圖。
圖14係顯示構成圖13的實施型態的電子筆與平板電腦終端之電路構成例之圖。
圖15係顯示構成圖13之實施型態之情感伺服裝置的構成例之方塊圖。
圖16係顯示構成圖13的實施型態的平板電腦終端的處理動作的流程之例之流程圖。
圖17係顯示構成圖13的實施型態的情感伺服裝置的處 理動作的流程之例之流程圖。
圖18係供說明圖13之實施型態之圖。
圖19係供說明根據本發明的情感推定用資訊收容部的構築裝置的實施型態及情感推定裝置的實施型態以及情感推定系統的實施型態所使用的訊號格式之例之圖。
圖20係供說明根據本發明的情感推定系統之其他實施型態的重要部分之圖。
以下,參照圖式同時說明本發明之實施型態。首先,說明情感推定用資訊收容部的構築裝置的實施型態。
〔情感推定用資訊收容部的構築系統之第1例〕
圖1係顯示包含情感推定用資訊收容部的構築裝置的實施型態之情感推定用資訊收容部之構築系統的第1構成例之概要之圖。此例,係為了判斷人的情感狀態而使用腦波計的場合。又,於以下的說明,情感推定用資訊收容部,稱為情感推定用資料庫。
如圖1所示,在此第1構成例,電子筆的使用者3,把持電子筆1,對於具備檢測出根據該電子筆1的指示輸入之位置檢測裝置部的平板電腦終端2進行指示輸入。在此例,電子筆1及平板電腦終端2的位置檢測裝置部,使用電磁感應耦合方式者。
接著,在此例,電子筆1,具備檢測出被施加於該芯體的先端的筆壓的機能,同時記憶著供識別自身之用的識別資訊(以下簡稱為「筆ID」),與位置檢測訊號一起,把該檢測出的筆壓的資訊與筆ID等送訊至平板電腦終端2的位置檢測裝置部。電子筆1,是使用者3所擁有的電子筆,筆ID擔負作為使用者3的識別資訊的責任。又,被施加於電子筆1的筆壓,可以使用公知的手法進行檢測,所以在此省略其檢測手法的說明。
平板電腦終端2的位置檢測裝置部,根據由電子筆1送出的位置檢測用訊號,藉由電磁感應耦合方式檢測出根據電子筆1之指示的位置。又,在此例,電子筆1,具備線圈與電容器所構成的共振電路,以共振電路接收由平板電腦終端2的位置檢測裝置部送來的交流訊號,藉著使該接收的交流訊號返回,作為來自電子筆1的位置檢測用訊號送訊至平板電腦終端2的位置檢測裝置部。
接著,電子筆1,藉著改變來自共振電路返回到平板電腦終端2的位置檢測裝置部的交流訊號的頻率(共振頻率),把筆壓資訊傳送到平板電腦終端2的位置檢測裝置部,或是把來自共振電路而返回到平板電腦終端2的位置檢測裝置部的交流訊號,予以ASK(振幅偏移,Amplitude Shift Keying)調變,或是OOK(開/關鍵控,On-Off Keying)調變等,做為數位訊號傳送到平板電腦終端2的位置檢測裝置部。平板電腦終端2的位置檢測裝置部,如前所述進行,也取得從電子筆1傳送來的筆壓資訊或筆 ID。
此外,在此例,平板電腦終端2的位置檢測裝置部,具備檢測出電子筆1的傾斜,與電子筆1的高度位置之機能。在此,所謂電子筆1的傾斜,是電子筆1對位置檢測裝置部的感應面(位置指示輸入面)之傾斜。此外,所謂電子筆1的高度位置,是由位置檢測裝置部的感應面(位置指示輸入面)起算之高度位置。電子筆1的傾斜或高度位置,可以使用公知的手法進行檢測,所以在此省略其檢測手法的說明。
平板電腦終端2,把以上說明之檢測的電子筆1的指示位置的資訊、電子筆1的筆壓資訊、電子筆1的傾斜的資訊、電子筆1的高度位置的資訊,作為筆狀態資訊,供給至賦予對應處理部4。又,於此例,於關於電子筆的狀態之筆狀態資訊,係包含根據電子筆之指示位置的資訊、筆壓資訊、傾斜的資訊、電子筆的高度位置的資訊等。
接著,在此例,於電子筆的使用者3的頭部,安裝著為了判斷其情感狀態,而被連接於腦波計5的複數電極6。腦波計5,把從電極6得到的腦波資料,附加內藏的時鐘部的時間資訊(年月日時分秒之時刻資訊),供給至賦予對應處理部4。
賦予對應處理部4,例如以個人電腦構成。賦予對應處理部4,由平板電腦終端2取得根據電子筆的指示位置的資訊與筆ID與筆狀態資訊,同時由腦波計5取得同 一時間點的腦波資料,將二者賦予對應同時對該賦予對應的資訊,附加時間戳記(該時間點之年月日時分秒之時刻資訊)。接著,賦予對應處理部4,把對該賦予對應的資訊附加時間戳記者,通過通訊網路7送訊到情感伺服裝置8。
通訊網路7,可以藉著包含含有網際網路或行動電話網的公眾網路者來構成。此外,通訊網路7,亦可為使用WiFi(登錄商標)(無線傳真,Wireless Fidelity)的無線LAN(區域網路,Local Area Network)。此外,通訊網路7,亦可為以有線方式連接情感伺服裝置8與賦予對應處理部4之間的LAN的構成。
情感伺服裝置8,接收來自賦予對應處理部4的資訊,由該接收的資訊分別取得電子筆的筆ID、腦波資料、電子筆1的筆狀態資訊。接著,由來自這些之中的腦波計5的腦波資料,判斷(確認)電子筆1的使用者之該時間點之情感狀態。於此例,作為情感狀態,被判斷(確認)「放鬆狀態」、「精神集中狀態」、「焦躁不安狀態」、「注意渙散狀態」、「生氣狀態」等。由腦波資料判斷這些情感狀態的手法,已有因應於腦波中的α波、β波、θ波等各頻率成分比率(分布)而判斷的手法等廣為人知。
情感伺服裝置8,如稍後所述,從來自收訊的平板電腦終端2的資訊,於針對電子筆1的使用者所判斷的各情感狀態,算出筆狀態資訊可取值的範圍資訊。
接著,在情感伺服裝置8,於內藏的情感推定用資料庫,把判斷的情感狀態、該情感狀態時之筆狀態資 訊可取值的範圍資訊、與電子筆的筆ID賦予對應而收容。
〔電子筆1與平板電腦終端2之位置檢測裝置部的電子電路構成例〕
圖2係顯示第1例之電子筆1的等價電路,以及此電子筆1與藉由電磁感應接收方式進行位置檢測與筆壓檢測的平板電腦終端2的位置檢測裝置部20的電路構成例之圖。
此圖2之例的平板電腦終端2的位置檢測裝置部20,具備感應部21與座標資料形成部22與控制器23。於感應部21,被層積形成X軸方向環形線圈群211與Y軸方向環形線圈群212,同時設有依序選擇2個環形線圈群211,212之中的一個環形線圈的選擇電路213。
電子筆1,是以具備以IC 100構成的訊號控制電路,同時從平板電腦終端2的位置檢測裝置部20的感應部21具備的激磁線圈214所送訊的激磁訊號來取得供驅動此IC 100之用的驅動電壓的方式被構成的。又,在圖2,作為一例,說明了感應部21的環形線圈群211,212僅用於來自電子筆1的電磁結合訊號的受訊,但也不排除藉著與電子筆1之間進行電磁耦合,而替代激磁線圈214驅動電子筆1所具備的訊號控制電路。此外,也不排除對於電子筆1所具備的訊號控制電路送出特定的控制資料等的訊號。
於此圖2之例之平板電腦終端2的位置檢測裝置部20之感應部21,以包圍X軸方向環形線圈群211,與Y軸方向環形線圈群212的方式配設激磁線圈214。於圖2, 激磁線圈214,為包圍2圈,實際上為更多圈數,例如8~10圈。如圖2所示,激磁線圈214,被連接於驅動電路222,驅動電路222,被連接於以頻率fo振盪的振盪電路221。
驅動電路222,藉由以微電腦構成的處理控制部220來控制。處理控制部220,控制驅動電路222,控制來自振盪電路221的頻率fo的振盪訊號之往激磁線圈214的供給,控制由激磁線圈214往電子筆1之訊號送訊。
選擇電路213,藉由處理控制部220選擇控制而選擇一個環形線圈。藉由此選擇電路213選擇的環形線圈所產生的感應電壓,以受訊放大器223放大,被供給至帶通濾波器224,僅被抽出頻率fo的成分。帶通濾波器224,把該抽出的成分供給至檢波電路225。
檢波電路225,檢出頻率fo的成分,把因應於該檢出的頻率fo的成分之直流訊號供給至取樣保持電路226。取樣保持電路226,保持檢波電路225之輸出訊號的特定計時,具體而言保持著受訊期間中的特定計時之電壓值,往AD變換電路227送出。AD變換電路227,把取樣保持電路226的類比輸出變換為數位訊號,輸出至處理控制部220。處理控制部220,把前述特定的計時的訊號供給至取樣保持電路226。
接著,處理控制部220,判定來自AD變換電路227的數位訊號是否為超過特定的閾值之值,判定以選擇電路213選擇的環形線圈是否為以電子筆1指示位置的位置 之環形線圈,根據該判定檢測出根據電子筆1之指示位置。
處理控制部220,另外如稍後所述,除了根據電子筆1之指示位置的檢測以外,把來自電子筆1的訊號的斷續,檢測為數位元的數位訊號,檢測出筆壓的同時,還檢測出筆ID。接著,處理控制部220,把根據檢出的電子筆的指示位置之資訊,與檢出的筆壓的資訊、檢出的筆ID,賦予對應而供給至控制器23。
控制器23,把接收的根據電子筆之指示位置的資訊、筆壓的資訊、與筆ID,記憶於省略圖示的緩衝器。又,控制器23,具備附日曆機能的時鐘部231,於緩衝器,對指示位置之資訊、筆壓之資訊、與筆ID賦予對應,也記憶這些的受訊時間點的年月日時分秒之時間資訊。
接著,控制器23,使記憶於緩衝器的指示位置之資訊、筆壓之資訊、筆ID、與時間資訊通過無線通訊部232送訊至賦予對應處理部4。
電子筆1的電路構成,如圖2以虛線包圍所顯示者。亦即,並聯於作為電感元件之線圈101被連接著電容器102,構成共振電路103。接著,並聯於此共振電路103,被連接著開關電路104。此開關電路104,係以藉由IC 100而被開/關控制的方式構成的。此開關電路104關閉(OFF)時,進行對來自根據共振電路103的感應部21的訊號之共振動作。但是,此開關電路104打開(ON)時,被並聯 連接於線圈101的電容器102被短路,對來自根據共振電路103的感應部21的訊號之共振動作成為關閉(OFF)。
接著,IC 100,係把以共振電路103由平板電腦終端2的位置檢測裝置部20的感應部21藉由電磁感應接收的交流訊號,藉由以二極體105及電容器106所構成的整流電路(電源供給電路)107整流而得的電源電壓Vcc而進行動作的方式被構成。IC 100,與共振電路103係透過電容器108連接,監視共振電路103的動作狀況。IC 100,藉著監視共振電路103的動作狀況,檢測出與感應部21的激磁線圈214之電池耦合狀況,或者是,雖在此例中省略說明,但檢測出使用2個環形線圈群211,212而由位置檢測裝置部20的感應部21所送訊的控制資料等訊號,而可以進行所要的動作控制。
此實施型態之電子筆1,具備筆壓檢測手段,其係由把施加於芯體的筆壓,例如以可變電容器Cv的靜電電容來檢測出之感壓元件所構成的。於IC 100,如圖2所示,被連接此可變電容器Cv,IC 100被構成為可以檢測出因應於筆壓之可變電容器Cv的靜電電容的方式構成的。IC100,由可變電容器Cv的靜電電容之值檢測出電子筆1之筆壓。接著,IC 100,把檢測出的筆壓,變換為複數位元的數位訊號,藉由對應於該筆壓的數位訊號,控制開關電路104,藉以把筆壓資訊,作為位置檢測用訊號之附加資訊送訊至平板電腦終端2的位置檢測裝置部20。
此外,於IC 100,被連接著電子筆1的識別資 訊之記憶筆ID的ID記憶體110。IC 100,藉由被記憶於此ID記憶體110的數位訊號,控制開關電路104,藉以也把此筆ID,作為位置檢測用訊號之附加資訊,與筆壓資訊一起送訊至平板電腦終端2的位置檢測裝置部20。
接著說明如以上所述而構成的電子筆1及平板電腦終端2的位置檢測裝置部20的位置檢測動作以及筆壓資訊或筆ID的檢測動作。
處理控制部220,首先驅動驅動電路222由激磁線圈214把特定時間、訊號送訊至電子筆1。其次,處理控制部220,驅動驅動電路222由激磁線圈214送出猝發狀信號,其後,使選擇電路213對X軸方向環形線圈群211之全部的環形線圈依序進行選擇X軸方向環形線圈群211之中的一個環形線圈的處理。電子筆1,以共振電路103接收猝發狀訊號,使返回平板電腦終端2的位置檢測裝置部20的感應部21。處理控制部220,藉著把該返回的猝發狀訊號檢出作為位置檢測用訊號,求出藉由電子筆1指示的位置的X座標值。
其次,處理控制部220,驅動驅動電路222由激磁線圈214把特定時間、訊號送訊至電子筆1。接著,處理控制部220,驅動驅動電路222由激磁線圈214送出猝發狀信號,其後,使選擇電路213對Y軸方向環形線圈群212之全部的環形線圈依序進行選擇Y軸方向環形線圈群212之中的一個環形線圈的處理。電子筆1,以共振電路103接收猝發狀訊號,使返回平板電腦終端2的位置檢測裝置部20 的感應部21。處理控制部220,藉著把該返回的猝發狀訊號檢出作為位置檢測用訊號,求出藉由電子筆1指示的位置的Y座標值。
如以上所述,檢測出電子筆1的指示位置之後,處理控制部220,檢測出來自電子筆1的作為附加資訊的筆壓資訊及筆ID,由激磁線圈214繼續進行送訊達特定時間以上之後,在與座標檢出時同樣的計時把送受訊繼續進行因應於附加資訊的數位訊號的位元數之次數。此時,在選擇電路213,依照檢測出的座標值,由電子筆1選擇最接近的環形線圈(X軸方向環形線圈、Y軸方向環形線圈之任一方均可)而接收訊號。
另一方面,電子筆1的IC 100,藉由對應於構成筆壓檢測手段的可變電容器Cv的靜電電容而得的筆壓資訊與筆ID所構成的附加資訊之數位訊號,同步於來自平板電腦終端2的位置檢測裝置部20的訊號的送受訊而開/關控制開關電路104。在開關電路104為關閉時,共振電路103,可以把由位置檢測裝置部20送訊來的訊號返送至位置檢測裝置部20,所以位置檢測裝置部20的環形線圈接收此訊號。對此,在開關電路104為打開時,共振電路103為被禁止共振動作的狀態,因此,訊號不會由共振電路103返送到位置檢測裝置部20,位置檢測裝置部20的環形線圈不會接收訊號。
位置檢測裝置部20的座標資料形成部22的處理控制部220,藉由進行附加資訊的數位訊號的位元數次 的有無接收訊號的判別,接收因應於筆壓資訊與筆ID的複數位元之數位訊號,可以檢測出來自電子筆1的筆壓資訊及筆ID。亦即,電子筆1,把筆壓資訊與筆ID,作為ASK(Amplitude Shift Keying)調變的訊號,送訊至平板電腦終端2的位置檢測裝置部20。
位置檢測裝置部20的處理控制部220,檢測出根據電子筆1的指示位置的資訊,同時檢測出來自此電子筆1的筆壓資訊及筆ID。接著,把根據檢出的電子筆1的指示位置,與筆壓資訊及筆ID,供給至控制器23。控制器23,係把對根據從處理控制部220接收的電子筆1之指示位置、筆壓資訊及筆ID,附加了時間資訊者,由無線通訊部232,送訊至賦予對應處理部4。
賦予對應處理部4,把從平板電腦終端2接收的根據電子筆1之指示位置,筆壓資訊及筆ID、以及來自腦波計5的腦波資料,根據分別被附加的時間資訊而賦予對應。接著,賦予對應處理部4,把對賦予對應的資訊,附加對應的時間資訊者,通過通訊網路7送訊到情感伺服裝置8。
<情感伺服裝置8的構成例>
圖3係顯示此實施型態之情感伺服裝置8的硬體構成例之圖。亦即,情感伺服裝置8,對於由電腦構成的控制部81,通過系統匯流排80,被連接著無線通訊部82、資訊取得部83、情感狀態判斷部84、筆狀態資訊範圍算出部85、 賦予對應收容處理部86、情感推定用資料庫87而構成的。
控制部81,係控制情感伺服裝置8的全體者。無線通訊部82,係通過通訊網路7進行無線通訊者,在此例,通過此無線通訊部82接收來自賦予對應處理部4的資訊。資訊取得部83,由無線通訊部82的接收資訊,與時間戳記一起抽取取得來自平板電腦終端2之根據電子筆1的指示位置、筆壓資訊及筆ID、以及與來自腦波計5的腦波資料之對應資訊。
接著,資訊取得部83,把取得的資訊之中,來自腦波計5的腦波資料及筆ID,供給到情感狀態判斷部84,來自平板電腦終端2的根據電子筆1之指示位置、筆壓資訊及筆ID,供給至筆狀態資訊範圍算出部85。
情感狀態判斷部84,由跨特定時間的腦波資料,判斷當時的電子筆1之使用者的情感狀態,筆狀態資訊範圍算出部85,算出判斷的情感狀態時之電子筆的座標位置擺動的範圍、或筆壓的範圍、傾斜的範圍、高度位置的範圍。接著,情感狀態判斷部84,把判斷的情感狀態,與筆ID一起供給至賦予對應收容處理部86,此外,筆狀態資訊範圍算出部85,把判斷的情感狀態時之算出的電子筆1的座標位置擺動的範圍、或筆壓的範圍、傾斜的範圍、高度位置的範圍,與筆ID一起供給至賦予對應收容處理部86。
賦予對應收容處理部86,把接收的情感狀態,與筆狀態資訊之分別的範圍的資訊,與筆ID賦予對 應,收容於情感推定用資料庫87。
在此,如前所述,作為情感狀態,在此例,被判斷「放鬆狀態」、「精神集中狀態」、「焦躁不安狀態」、「注意渙散狀態」、「生氣狀態」等分別的情感狀態。情感狀態的判斷,以解析生體資訊,在此例為解析腦波資料而算出。因此,在此實施型態,於情感狀態的判斷對象之電子筆1的使用者3,「放鬆狀態」、「精神集中狀態」、「焦躁不安狀態」、「注意渙散狀態」、「生氣狀態」之分別的情感狀態,分別跨特定的時間以上的時間幅度而繼續的方式,加上使分別的情感狀態呈現的狀況刺激等,以腦波計5測定而確認成為了分別的情感狀態。
例如,要使電子筆1的使用者3為「放鬆狀態」,對使用者跨特定時間提供可以讓使用者3心情變好的音樂,要使其成為「精神集中狀態」,跨特定時間讓使用者3可以精神集中的喜好的書法或繪畫使其慎重地書寫,要使其成為「焦躁不安狀態」,特地讓使用者3根據電子筆1的輸入操作變得急促,以此方式施加各種狀況刺激。藉此,可以讓使用者處於「放鬆狀態」、「精神集中狀態」、「焦躁不安狀態」、「注意渙散狀態」、「生氣狀態」等分別的情感狀態,藉著由腦波計5測定當時的腦波資料,可以確認使用者成為前述各情感狀態。
在此場合,針對腦波資料,例如測定而記錄α波、β波、θ波,由這些的分布形狀等來判斷或者確認使用者成為前述各情感狀態。亦即,腦波的α波、β波、θ波的 分布形狀、與情感狀態之間,有著相關關係,雖省略圖示,但情感伺服裝置8的情感狀態判斷部84,具備該相關關係之資料庫。接著,情感伺服裝置8的情感狀態判斷部84,藉由測定的腦波的α波、β波、θ波之分布形狀,藉著參照前述相關關係之資料庫,推測而判斷或者確認使用者3的情感狀況。
又,以下之例,係人為地製作出「放鬆狀態」、「精神集中狀態」、「焦躁不安狀態」、「注意渙散狀態」、「生氣狀態」之分別的情感狀態,藉由腦波資料判斷而確認成為了該情感狀態,測定分別的情感狀態之筆狀態而作為資料予以蓄積的方法之一例。
在此例,從腦波計5,如圖4(A)所示,電子筆1的使用者,處於「放鬆狀態」、「精神集中狀態」、「焦躁不安狀態」、「注意渙散狀態」、「生氣狀態」之分別的情感狀態時的特定期間T1,T2,T3,T4,T5被產生,於分別的特定期間T1,T2,T3,T4,T5,產生對應於分別的情感狀態的腦波資料D1,D2,D3,D4,D5。特定期間T1,T2,T3,T4,T5,在情感伺服裝置8,為可以判斷(確認)「放鬆狀態」、「精神集中狀態」、「焦躁不安狀態」、「注意渙散狀態」、「生氣狀態」之分別的情感狀態的充分的時間長度。
接著,如圖4(B)及(C)所示,在特定期間T1,T2,T3,T4,T5,在平板電腦終端2,檢測出根據成為「放鬆狀態」、「精神集中狀態」、「焦躁不安狀態」、「注 意渙散狀態」、「生氣狀態」之分別的情感狀態的使用者之電子筆1的指示位置的資訊Crd1,Crd2,Crd3,Crd4,Crd5以及筆壓資訊Pr1,Pr2,Pr3,Pr4,Pr5。接著,平板電腦終端2,如圖3(D)所示,跨特定期間T1,T2,T3,T4,T5之全部取得相同的筆ID(=ID1)。接著,平板電腦終端2,於各特定期間T1,T2,T3,T4,T5之各個,除了電子筆1的指示位置的資訊以外,也檢測出電子筆的傾斜、高度位置等筆狀態資訊。接著,如前所述,來自平板電腦終端2之根據電子筆1的指示位置的資訊,與筆壓資訊、傾斜、高度位置等筆狀態資訊,如前所述,與筆ID賦予對應,透過賦予對應處理部4,被送訊到情感伺服裝置8。
亦即,在情感狀態判斷部83,由特定期間T1,T2,T3,T4,T5之分別之腦波資料,來確認使用者3成為「放鬆狀態」、「精神集中狀態」、「焦躁不安狀態」、「注意渙散狀態」、「生氣狀態」等分別的情感狀態。
接著,筆狀態資訊範圍算出部85,在各特定期間T1,T2,T3,T4,T5,算出對應於使用者成為分別的情感狀態之「放鬆狀態」、「精神集中狀態」、「焦躁不安狀態」、「注意渙散狀態」、「生氣狀態」之各個的複數種之筆狀態資訊的存在範圍。亦即,處於各情感狀態之使用者的電子筆1之筆狀態之各個,成為因應於分別的情感狀態的存在範圍,所以算出其存在範圍。例如,在「放鬆狀態」時之被施加於電子筆1的筆壓,成為比較低的平均值,同時成為距離該平均值的偏差比較小的值的存在範 圍。此外,在「焦躁不安狀態」時之被施加於電子筆1的筆壓,成為比較高的平均值,同時成為距離該平均值的偏差比較大的值的存在範圍。
接著,於此例,由電子筆1的指示位置(也包含高度位置)的資訊(參照圖4(B)),算出「傾斜的範圍」、「高度位置的範圍」、「懸停狀態之筆尖位置的擺動範圍」等。此外,由電子筆1的筆壓資訊(參照圖4(C)),算出「(書寫時的)筆壓的範圍」。又,筆狀態資訊的範圍資訊,係情感狀態的判斷所需要的特定時間幅度以上的時間之筆狀態資訊之分別的值的大部分,例如90百分比落在其中,亦即判定而算出其存在的範圍。在此,算出筆狀態資訊的範圍資訊時的筆狀態資訊進入其範圍中的百分比之值,關係到由筆狀態資訊推定情感狀態時的精確度,當然是百分比越高推定精度就越高。此筆狀態資訊的範圍資訊(存在範圍的資訊),可以是前述之平均值與偏差所構成的範圍資訊。
又,在此實施型態,對應於各情感狀態的筆狀態資訊之範圍資訊,係以實時檢出,但是先蓄積於前述之特定期間T1,T2,T3,T4,T5取得的筆狀態資訊,事後使用該蓄積的筆狀態資訊,算出分別的範圍資訊亦可。
接著,在此實施型態,筆狀態資訊範圍算出部85,也記憶電子筆1的使用者3的各情感狀態之「文字書寫時的特徵圖案」。因此,於此例,於取得腦波資料的對象者之使用者3,使其在各情感狀態時,書寫特定的矩形 區域內,特定的文字。
亦即,如圖5所示,對使用者3,於平板電腦終端2的顯示畫面,顯示文字輸入的四角框FL,催促把文字輸入該輸入四角框FL內。如圖5所示,使用者3,於各情感狀態,在該輸入四角框FL內,藉由電子筆1書寫輸入被要求輸入的文字,在此例為「(日文)」字。
如圖5所示,在放送狀態,或是精神集中狀態,使用者3以整潔地把要求的文字寫在該輸入四角框FL內的方式書寫輸入。亦即,文字的中心位置成為在輸入四角框FL的中心位置附近,文字的大小,為不會超過輸入四角框FL的大小。
但是,在焦躁不安狀態、注意渙散狀態、生氣狀態,因應於這些情感狀態,文字的中心位置,會成為偏離輸入四角框FL的中心位置的狀態,同時文字也超出了輸入四角框FL,或是成為比輸入四角框FL還要大的文字。在此,筆狀態資訊範圍算出部85,作為筆狀態資訊之例的文字書寫時的特徵圖案,因應於各情感狀態算出文字偏離中心位置的範圍、與文字大小的變動偏移範圍等。
又,作為「文字書寫時的特徵圖案」,不僅是針對一個文字之特徵圖案而已,亦可算出針對連續書寫複數文字時之該複數文字間的特徵圖案。在此場合,可以算出例如複數文字的中心位置的偏移變換,或大小變化等特徵圖案作為特徵圖案。
筆狀態資訊範圍算出部85,把如以上所述算 出的筆狀態資訊之範圍資訊,於分別的情感狀態之檢測期間之特定期間T1,T2,T3,T4,T5之各個,供給至賦予對應收容處理部86。
賦予對應收容處理部86,於特定期間T1,T2,T3,T4,T5之各個,把從情感狀態判斷部84判斷的情感狀態的資訊,與來自筆狀態資訊範圍算出部85的複數種筆狀態資訊之各個的範圍資訊賦予對應,同時賦予對應於筆ID,收容於情感推定用資料庫87。
於圖6,顯示此時之情感推定用資料庫87的記憶內容之例。如此圖6所示,被賦予對應於供識別電子筆的使用者之筆ID,被記憶著「放鬆狀態」、「精神集中狀態」、「焦躁不安狀態」、「注意渙散狀態」、「生氣狀態」之各個情感狀態,同時被賦予對應於各情感狀態之各個,記憶著分別的情感狀態之筆狀態資訊之分別的可取範圍之資訊。
在圖6之例,作為筆狀態資訊,被記憶著書寫輸入時之「座標指示擺動」、「筆壓」、「傾斜」、「高度位置」、「在懸停位置之位置擺動」等。作為座標指示擺動,記憶著使用前述圖5說明的文字的中心位置起算的偏移範圍或文字大小的變化移動範圍。又,在圖6,模式顯示偏移範圍或變動偏移範圍,四角框,對應於前述圖5之四角框FL。
又,「座標指示擺動」的場合,其擺動的速度或加速度,因應於情感狀態,或為溫和變化,或為激烈 變化,所以這些資訊也一起被收容於情感推定用資料庫87亦可。
「筆壓」,可預想使用者於分別的情感狀態藉由電子筆1在感測器上輸入的值會不同,所以其筆壓範圍(例如Pra1~Prb1等)會被記憶。例如,在精神集中狀態的筆壓會比放鬆狀態下的筆壓還要大,而且其筆壓範圍也較窄。此外,焦躁不安狀態下,筆壓會變得凌亂,筆壓範圍也變寬。在生氣狀態,筆壓會變大。又,不僅筆壓的範圍,連平均值也一併記憶亦可。此外,筆壓的時間變化也一併收容於情感推定用資料庫87亦可。例如,在「放鬆狀態」或「精神集中狀態」,筆壓的時間變化的程度很小,在「焦躁不安狀態」或「注意渙散狀態」,筆壓的時間變化的程度會變大。
「傾斜」,是因為因應於使用者的情感狀態電子筆1對感應面(輸入面)之夾角會改變,所以在情感推定用資料庫87,因應於各情感狀態,記憶著傾斜的範圍。又,在此場合,傾斜的時間變化也一併收容於情感推定用資料庫87亦可。例如,在「放鬆狀態」或「精神集中狀態」,傾斜的時間變化的程度很小,在「焦躁不安狀態」或「注意渙散狀態」,傾斜的時間變化的程度會變大。又,傾斜,亦可區分在筆壓為零,屬於懸停狀態時,以及在筆壓比0還大之接觸於感測器時,分開收容於情感推定用資料庫87。
「高度位置」,係使用者3手持電子筆1,於 進行指示輸入(書寫輸入)前的等待狀態電子筆1處與懸停狀態時之正交於感應面的方向的高度位置之各情感狀態的情況下之可取高度位置,且該高度位置的範圍資訊被收容於情感推定用資料庫87。
「在懸停位置之位置擺動」,是使用者3手持電子筆1,進行指示輸入(書寫輸入)之前的等待狀態時之顯示感應面上的座標位置的變化之範圍資訊。亦即,例如,使用者在「精神集中狀態」時,「在懸停位置之位置擺動」變小,在「焦躁不安狀態」或「注意渙散狀態」時,則會變大。又,在此場合,「在懸停位置之位置擺動」的時間變化也一併收容於情感推定用資料庫87亦可。
如以上所述,在此實施型態,於情感推定用資料庫87,對應於藉由筆ID識別的各使用者的各種情感狀態,被收容筆狀態資訊的各個範圍資訊。
接著,在此實施型態,為了不僅是被收容於情感推定用資料庫87的筆ID所識別的使用者,針對電子筆的所有使用者,都要可以推定情感狀態,對應於「放鬆狀態」、「精神集中狀態」、「焦躁不安狀態」、「注意渙散狀態」、「生氣狀態」之各個情感狀態,設想了泛用的使用者之泛用的筆狀態資訊之範圍資訊被收容於情感推定用資料庫87。筆狀態資訊範圍算出部85,將此泛用的筆狀態資訊之範圍資訊,對應於在情感推定用資料庫87對應於筆ID而收容的多數使用者的各個情感狀態之筆狀態資訊之分別的範圍資訊,進行平均化處理等而算出。
又,於以上之情感伺服裝置8的構成,資訊取得部83、情感狀態判斷部84、筆狀態資訊範圍算出部85、與賦予對應收容處理部86,以控制部81藉著執行記憶於內藏的記憶部的程式,作為進行這些處理的軟體機能處理部的方式來構成亦可。
〔情感伺服裝置8之情感推定用資料庫的構築處理〕
圖7係供說明此情感伺服裝置8之情感推定用資料庫的構築處理的流程之一例之流程圖。又,在此圖7之例,情感伺服裝置8的控制部81,係把資訊取得部83、情感狀態判斷部84、筆狀態資訊範圍算出部85、與賦予對應收容處理部86,以作為軟體機能處理部而實現的場合來進行說明。又,此圖7,顯示針對一人之使用者3的產生情感推定用資料庫的資訊的處理的流程。亦即,使用者改變的話,圖7的處理要再針對該使用者來進行。
接著,於此例,作為針對使用者的情感狀態的判斷期間,如圖4所示,依序執行特定期間T1,T2,T3,T4,T5之分別的期間。
控制部81,首先通過通訊網路7接收腦波資料與電子筆的狀態資訊(包含電子筆1的指示位置的資訊)之對應資訊(步驟S101)。接著,控制部81,由取得的腦波資料判斷對應於筆ID的使用者3的情感狀態(步驟S102)。在此步驟S102,在前述之特定期間T1,T2,T3,T4,T5之中的一個期間,進行該期間之情感狀態的判斷處理。
其次,控制部81,針對電子筆的狀態資訊之各個,檢測出對應於在步驟S102判斷的情感狀態之範圍值(步驟S103)。接著,判別針對電子筆的狀態資訊之各個的範圍值是否已檢測出(步驟104),在判別為未檢測出時,通過通訊網路7進而接收來自賦予對應處理部4的資訊(步驟S105)。其後,控制部81,使處理回到步驟S103,反覆此步驟S103以後的處理。
在步驟S104,判別為檢測出針對電子筆的狀態資訊之各個的範圍值時,賦予對應於取得的筆ID,使在步驟S102判斷的情感狀態,與在步驟S103算出的筆狀態資訊之範圍值對應,收容於情感推定用資料庫87(步驟S106)。
其次,控制部81,判別針對要推定的所有情感狀態之特定期間T1,T2,T3,T4,T5是否結束(步驟S107)。在此步驟S107,判別為未結束時,於次一特定期間,會送來使用者成為其他情感狀態時的腦波資料及筆狀態資訊,所以控制部81,使處理回到步驟S101,反覆進行此步驟S101以後的處理。
接著,在步驟S107,判別為針對要推定的所有情感狀態之特定期間T1,T2,T3,T4,T5結束時,控制部81,把對應於筆ID而被收容於情感推定用資料庫87的多數使用者的各個情感狀態所對應的筆狀態資訊之各個的範圍資訊進行平均化處理等,產生或者更新泛用的筆狀態資訊之範圍資訊,把該產生或更新的泛用的筆狀態資訊之範圍 資訊,對應於「放鬆狀態」、「精神集中狀態」、「焦躁不安狀態」、「注意渙散狀態」、「生氣狀態」之各個情感狀態,容納於情感推定用資料庫87。接著,控制部81,結束處理。
如以上所述進行,於情感伺服裝置8之情感推定用資料庫87,藉由筆ID而識別的各使用者的情感狀態與筆狀態資訊的範圍資訊之對應資訊被收容著,同時針對未藉由筆ID而識別的泛用的使用者,被收容著對應於該泛用的使用者的情感狀態之泛用的筆狀態資訊之範圍資訊。
因此,使用者藉由電子筆以平板電腦終端指示輸入時,把該使用者把持的電子筆的筆狀態資訊作為參照資訊,藉由檢索情感伺服裝置8的情感推定用資料庫87,可以推定對應於筆狀態資訊的情感狀態。
在此場合,使用者把持的電子筆,具有與登錄於情感推定用資料庫的筆ID一致的筆ID的話,可以對應於該筆ID而檢索被收容於情感推定用資料庫87的資訊,所以可以因應於以筆ID識別的使用者的癖好之電子筆操作的特性,確實地推定該使用者的情感狀態。此外,在此實施型態,於情感推定用資料庫87,被收容著對應於各情感狀態的泛用的筆狀態資訊之範圍資訊,所以具有針對未把對應於筆ID而把情感狀態與筆狀態資訊之對應資訊收容於情感推定用資料庫87的使用者,也可以由筆狀態資訊,來進行情感狀態的推定的效果。
〔資料庫的構築系統之第2例〕
在前述之資料庫的構築系統之第1例,使供判斷情感狀態之用的生體資訊之例之腦波資料與筆狀態資訊賦予對應的賦予對應處理部4是有必要的。以下說明之資料庫之構築系統的第2例,是可以省略賦予對應處理部4之例。
圖8係供說明此資料庫的構築系統之第2例的概要之圖。於此例,使用者3把例如揭示於專利文獻1的那樣的簡易腦波計5A裝戴在頭部。此簡易腦波計5A,把從使用者取得的腦波資料(稱為簡易腦波資料),以能夠無線送訊的方式,具備近距離無線通訊規格,例如藍芽(登錄商標)規格的無線通訊部5TA。
接著,在此例,電子筆1A,以可接收從簡易腦波計5A以無線方式送來的簡易腦波資料的方式,具備在圖8省略圖示的藍芽(登錄商標)規格的無線通訊手段。接著,電子筆1A,把從簡易腦波計5A接收的簡易腦波資料,作為位置檢測用訊號之附加資訊,送出至平板電腦終端2A的位置檢測裝置部。
亦即,電子筆1A,如圖9(A)所示,對於平板電腦終端2A的位置檢測裝置部,反覆送出位置檢測用訊號,與附加資訊。於此例之電子筆1A,附加資訊,如圖9(B)所示,由筆壓資訊、筆ID、與簡易腦波資料所構成。電子筆1A,與前述第1例同樣進行,把作為數位訊號之附加資訊送出至平板電腦終端2A的位置檢測裝置部。
平板電腦終端2A,具有與前述之第1例同樣的 構成。但是,在此第2例,平板電腦終端2A,作為附加資訊,除了筆壓資訊及筆ID以外,還取得簡易腦波資料,所以如稍後所述,具有把筆狀態資訊與簡易腦波資料,把賦予對應於筆ID者,通過通訊網路7,送訊至情感伺服裝置8的機能。
〔電子筆1A與平板電腦終端2A之位置檢測裝置部20A的電子電路構成例〕
圖10,係顯示此第2例之電子筆1A的等價電路,與平板電腦終端2A之位置檢測裝置部20A的電路構成例之圖。於此圖10,於與圖2所示的第1例之電子筆1及平板電腦終端2的位置檢測裝置部20相同的部分,賦予同一參照符號。
於此第2例,如圖10所示,電子筆1A,具備藍芽(登錄商標)規格之無線通訊部109。於此無線通訊部109,被供給來自整流電路107的電源電壓Vcc。接著,此無線通訊部109,把接收的簡易腦波資料,供給至IC100A。
此例之電子筆1A的IC 100A,除了藉由從可變電容器Cv的靜電電容所檢測出的筆壓資訊,與被記憶於ID記憶體110的筆ID以外,還藉由以無線通訊部109接收的簡易腦波資料來產生附加資訊(數位訊號)。接著,與第1例之電子筆1同樣,藉由附加資訊之數位訊號,開/關控制開關電路104,把附加資訊作為ASK調變訊號,送出至平板 電腦終端2A的位置檢測裝置部20A之感應部21。電子筆1A之其他的構成及動作,與第1例之電子筆1相同。
平板電腦終端2A之位置檢測裝置部20A,與第1例之平板電腦終端2A的位置檢測裝置部20完全相同地進行,根據來自電子筆1A的位置檢測用訊號,檢測出根據電子筆1A之指示位置,同時檢測出電子筆1A的高度位置、傾斜。接著,平板電腦終端2A的位置檢測裝置部20A,藉由來自電子筆1A的附加資訊,檢測出筆壓資訊、筆ID、與簡易腦波資料。
接著,平板電腦終端2A之位置檢測裝置部20A的處理控制部220A,產生根據電子筆1A之指示位置的資訊、筆壓資訊、傾斜資訊、以及高度位置所構成的筆狀態資訊,同時把這筆狀態資訊與簡易腦波資料賦予對應,同時賦予對應於筆ID,送訊至控制器23。控制器23,對從處理控制部220A接收的筆狀態資訊、簡易腦波資料、與筆ID賦予對應之資訊,進而把來自時鐘部231的時間資訊作為時間戳記資訊進而附加上去,通過無線通訊部232對情感伺服裝置8通過通訊網路7進行送訊。
又,根據在平板電腦終端2A之位置檢測裝置部20A之電子筆1A的指示位置的檢測動作,或附加資訊的檢測動作,進而連傾斜或高度位置等筆狀態資訊的檢測動作,與第1實施型態之平板電腦終端2的位置檢測裝置部20完全相同。
接著,於此第2例,情感伺服裝置8,藉由把 從平板電腦終端2A接收的資訊,與從第1例之賦予對應處理部4所接收的資訊同樣進行處理,而構築如前所述的情感推定用資料庫87。
如以上所述地進行,根據此第2例的話,不需要賦予對應處理部4,所以具有資料庫構築系統的構成變得簡單的效果。
又,不是由電子筆1A,而是以平板電腦終端2A接收來自簡易腦波計5A的以無線方式傳送的簡易腦波資料亦可。
〔資料庫的構築系統之第3例〕
以下說明之資料庫之構築系統的第3例,也與第2例同樣,是可以省略第1例之賦予對應處理部4之例。接著,於此例,電子筆的使用者的情感狀態,不使用腦波資料,而使用專利文獻2的技術,藉著測定使用者的腦波以外的生體資訊,例如脈搏或血流等而推定。
圖11係供說明此資料庫的構築系統之第3例的概要之圖。於此第3例,使用者3把持著與第1例同樣的電子筆1。接著,於此第3例,使用者3把例如揭示於專利文獻2的那樣的檢測出脈搏或血流的生體資訊檢測裝置5B裝戴於腕部3B。此生體資訊檢測裝置5B,把從使用者3檢測出的脈搏或血流等生體資訊的檢測資料,以能夠無線送訊的方式,具備著近距離無線通訊規格,例如藍芽(登錄商標)規格的無線通訊部5TB。
接著,在此第3例之平板電腦終端2B,以可接收從生體資訊檢測裝置5B以無線方式送來的生體資訊的檢測資料的方式,具備藍芽(登錄商標)規格的無線通訊部233。接著,平板電腦終端2B,把從生體資訊檢測裝置5B接收的生體資訊的檢測資料,與根據來自電子筆1的訊號,如前所述地進行而取得的筆狀態資訊,賦予對應於從電子筆1取得的筆ID,通過通訊網路7送訊至情感伺服裝置8。
〔電子筆1B與平板電腦終端2B之位置檢測裝置部20B的電子電路構成例〕
圖12,係顯示此第3例之電子筆1的等價電路,與平板電腦終端2B之位置檢測裝置部20B的電路構成例之圖。於此圖12,於與圖2所示的第1例之相同的部分,賦予同一參照符號。
如圖12所示,電子筆1,具有與圖2所示者相同的電路構成,進行同樣的動作。平板電腦終端2B,與電子筆1協同的部份的構成及動作為相同,控制器23B的構成,與圖2之例的控制器23不同。
亦即,平板電腦終端2B的位置檢測裝置部20B的控制器23B,具備與生體資訊檢測裝置5B具備的無線通訊部5TB進行通訊的無線通訊部233。接著,平板電腦終端2B,於控制器23,使來自處理控制部220B的賦予對應於筆ID的筆狀態資訊,與以無線通訊部233接收的生體資 訊的檢測資料賦予對應,同時附加來自時鐘部231的時間資訊,從無線通訊部232,通過通訊網路7送訊至情感伺服裝置8。
於此第3例,根據在平板電腦終端2B之位置檢測裝置部20B之電子筆1的指示位置的檢測動作,或附加資訊的檢測動作,進而連傾斜或高度位置等筆狀態資訊的檢測動作,與第1實施型態之平板電腦終端2的位置檢測裝置部20完全相同。
根據此第3例的話,不需要賦予對應處理部4,所以具有資料庫構築系統的構成變得簡單的效果以外,還因為與生體資訊檢測裝置5B之無線通訊部設於平板電腦終端2B,所以有電子筆1的構成變得簡單的效果。
又,在前述之例,作為供判斷人的情感狀態之生體資訊,使用了腦波資料、簡易腦波資料、脈搏、血流等,但是不限於此。例如,亦可用眨眼、視線的移動為震動、微振動等,可單獨或者與前述之生體資訊等其他生體資訊併用,而判斷人的情感狀態。
此外,於前述之第1例,把腦波資料直接由賦予對應處理部4往情感伺服裝置8傳送,於第2例,把簡易腦波資料通過平板電腦終端2A直接送至伺服裝置8,進而於第3例,把脈搏或血流之生體資訊通過平板電腦終端2A直接送至伺服裝置8,在情感伺服裝置8的情感狀態判斷部84進行使用者的情感狀態的解析。在此場合,傳送至情感伺服裝置8的資料量變大,會有送訊速度變慢的場合。
為了避免此一情況,把腦波資料之情感狀態的解析之情感狀態判斷部84的機能處理,改在賦予對應處理部4、或平板電腦終端2A、或者是平板電腦終端2B來進行亦可。進而,在簡易腦波計5A或者生體資訊檢測裝置5B的內部來進行亦可。在此場合,在賦予對應處理部4、平板電腦終端2A、平板電腦終端2B、簡易腦波計5A、或者生體資訊檢測裝置5B,可以對判斷的各情感狀態賦予情感狀態識別資訊。例如,對「放鬆狀態」賦予情感狀態識別資訊S1、對「精神集中狀態」賦予情感狀態識別資訊S2、對「焦躁不安狀態」賦予情感狀態識別資訊S3、對「注意渙散狀態」賦予情感狀態識別資訊S4、對「生氣狀態」賦予情感狀態識別資訊S5。接著,作為傳送到情感伺服裝置8時的資訊,可以採用把情感狀態識別資訊,與筆狀態資訊賦予對應者。
例如,如圖4所示,情感狀態為「放鬆狀態」的放鬆期間,作為筆狀態資訊之,指示位置的資訊Crd1、筆壓資訊Pr1、筆ID=ID1、傾斜資訊SL1(省略圖示)、高度資訊H1(省略圖示),與情感狀態「放鬆狀態」之情感狀態識別資訊S1,作為成串的資訊,被送訊到伺服裝置8。藉此,可以縮短送訊時間。在情感伺服裝置8,可以把分別的情感狀態的情感狀態識別資訊S1、S2、S3、S4或S5,賦予對應於筆狀態資訊而蓄積於情感推定用資料庫87。
〔情感推定系統的實施型態〕
圖13係供說明使用藉由以上說明的資料庫的構築系統所構築的情感推定用資料庫87,推定電子筆的使用者的情感狀態的系統的概要之圖。
於此例之情感推定系統,使用者31、...、3n(n為1以上的整數)之各個,持有自己用的電子筆11、...、1n,使用彼筆,於平板電腦終端2D1、...、2Dn之各個,進行文字輸入或其他的輸入。
在此例,電子筆11、...、1n之各個,使用具有與前述電子筆1同樣的構成者,具備把作為位置檢測用訊號的附加資訊,把筆ID與筆壓資訊分別送訊至平板電腦終端2D1、...、2Dn之各個的構成。於此例,藉由電子筆11、...、1n之各個,與平板電腦終端2D1、...、2Dn之各個的成對(pair),而構成座標輸入處理裝置之各個。
平板電腦終端2D1、...、2Dn之各個,具有與前述之平板電腦終端2同樣具備位置檢測裝置部的構成,但控制器的構成不同,同時具備例如由LCD(Liquid Crystal Display;液晶顯示器)所構成的顯示部241、...、24n這一點也不同。顯示部241、...、24n的顯示畫面,重疊配置於平板電腦終端2D1、...、2Dn之分別的位置檢測裝置部的感應部,使用者31、...、3n,可以在顯示畫面上根據電子筆11、...、1n進行指示輸入地被構成。亦即,在此例,平板電腦終端2D1、...、2Dn之各個,具備位置檢測裝置部,同時具備具有資訊處理裝置部的電子機器的構成。
又,平板電腦終端2D1、...、2Dn之各個,其 資料庫的構築系統之具備與平板電腦終端同樣構成的位置檢測裝置部的部分,與具備資訊處理裝置部的部分,成為分別構成或是不同的裝置,而以有線方式連接或無線方式連接亦可。
接著,平板電腦終端2D1、...、2Dn之各個的控制器,與個人電腦同樣,具備產生顯示於顯示部241、...、24n的顯示畫面之顯示影像的顯示控制部的機能。亦即,使用者31、...、3n之各個,藉由電子筆11、...、1n,進行指示輸入的話,平板電腦終端2D1、...、2Dn之各個的控制器,在顯示部241、...、24n的顯示畫面,顯示因應於該指示輸入的顯示影像。
接著,於此例,平板電腦終端2D1、...、2Dn之各個的控制器,接收根據電子筆11、...、1n的指示輸入時,產生包含由分別取得的筆ID與筆狀態資訊的情感狀態推定要求,通過通訊網路7D,送訊至情感伺服裝置8D。情感伺服裝置8D,構成情感推定裝置。
情感伺服裝置8D,具備如前所述進行而構築的情感推定用資料庫87,而且如後述之圖15所示,具備情感狀態推定部89及提供資訊產生部90。情感狀態推定部89,通過通訊網路7D,接收了情感狀態推定要求時,把包含於該情感狀態推定要求的筆ID與筆狀態資訊作為參照資訊,檢索情感推定用資料庫87,推定對應的情感狀態。接著,提供資訊產生部90,對用送訊來情感狀態推定要求的對方,因應需要而通知推定的情感狀態,同時產生而返送 出因應於推定的情感狀態之提供資訊。
通訊網路7D,與前述之通訊網路7同樣,可以藉著包含含有網際網路或行動電話網的公眾網路者來構成。此外,通訊網路7D,亦可為使用WiFi(登錄商標)(無線傳真,Wireless Fidelity)的無線LAN(區域網路,Local Area Network)。此外,通訊網路7D,亦可為以有線方式連接情感伺服裝置8與賦予對應處理部4之間的LAN的構成。
〔座標輸入處理裝置之構成例〕
圖14係顯示此實施型態之座標輸入處理裝置的電子電路例,是相當於電子筆11、...、1n之各個,與平板電腦終端2D1、...、2Dn之各個的成對(pair)之中的一對之部分。電子筆11、...、1n之各個具有同一構成,此外,平板電腦終端2D1、...、2Dn之各個也具有同一構成,所以於圖14,只以電子筆11與平板電腦終端2D1為代表。
電子筆11,如圖14所示,具備與前述之電子筆1同樣的構成。接著,平板電腦終端2D1的位置檢測裝置部20D1,除了顯示部241、與控制器23D1的部分以外,具備與前述之平板電腦終端2的位置檢測裝置部20同樣的構成。
控制器23D1,具備情感狀態推定要求產生部234、無線通訊部235、與顯示控制部236。情感狀態推定要求產生部234,在感知使用者31使用電子筆11對平板電 腦終端2D1進行了指示輸入時,產生包含由處理控制部220接收的筆ID與筆狀態資訊之情感狀態推定要求,通過無線通訊部235,對情感伺服裝置8D,通過通訊網路7D送訊。
顯示控制部236,根據來自處理控制部220的電子筆11的指示位置的資訊,進行針對顯示於顯示部241的顯示畫面之顯示影像的顯示控制處理,而且通過無線通訊部235從情感伺服裝置8D接收對應於情感狀態推定要求而返送來的提供資訊時,因應於該提供資訊,進行針對顯示於顯示部241的顯示畫面之顯示影像的顯示控制處理。
〔情感伺服裝置8D的構成例〕
圖15係顯示情感伺服裝置8D的硬體構成例之方塊圖。此圖15之例的情感伺服裝置8D,係把於前述之資料庫的構築系統把具備被構築的情感推定用資料庫87之情感伺服裝置8直接作為情感推定裝置使用的場合。亦即,對於控制部81D,通過系統匯流排80,被連接著無線通訊部82、資訊取得部83、情感狀態判斷部84、筆狀態資訊範圍算出部85、賦予對應收容處理部86、情感推定用資料庫87,而且被連接著情感狀態推定要求收訊部88、情感狀態推定部89、提供資訊產生部90而構成的。
亦即,對於控制部81D,通過系統匯流排80,被連接著無線通訊部82、資訊取得部83、情感狀態判斷部84、筆狀態資訊範圍算出部85、賦予對應收容處理部86、情感推定用資料庫87的部分,如前所述,是對應於資料庫 之構築系統的構成部分,對於控制部81D,通過系統匯流排80,被連接著無線通訊部82、情感推定用資料庫87、情感狀態推定要求收訊部88、情感狀態推定部89、提供資訊產生部90的部分,為對應於情感推定系統的情感推定裝置的構成部分。
又,針對對應於資料庫的構築系統的構成部分已如前述,所以在以下的說明,僅針對對應於情感推定系統的情感推定裝置的構成部分來進行說明。
在情感伺服裝置8D,無線通訊部82,把接收的情感狀態推定要求轉送到情感狀態推定要求收訊部88。情感狀態推定要求收訊部88,抽出包含於接收的情感狀態推定要求的筆ID以及筆狀態資訊,傳遞給情感狀態推定部89。情感狀態推定部89,藉由接收的筆ID及筆狀態資訊,檢索情感推定用資料庫87,推定對應的情感狀態,把該推定結果的情感狀態傳遞給提供資訊產生部90。
提供資訊產生部90,產生因應於接收的推定結果的情感狀態的提供資訊,通過無線通訊部82,送訊至提出情感狀態推定要求的對方。於提供資訊,包含通知推定的情感狀態的資訊,或者對應於推定的情感狀態的顯示資訊。
又,情感狀態推定要求收訊部88、情感狀態推定部89及提供資訊產生部90的處理,亦可把控制部81D,以依照記憶於內藏的記憶體的程式來進行處理的軟體機能來構成。
〔平板電腦終端2D 1、...、2D n之各個的情感狀態推定要求處理之流程〕
參照圖16之流程圖同時說明平板電腦終端2D1、...、2Dn之各個的情感狀態推定要求處理之流程之例。又,在此,說明平板電腦終端2D1的控制器23D1進行情感狀態推定要求的場合。
亦即,控制器23D1,監視來自處理控制部220的資訊,判別是否檢測出根據電子筆11之指示輸入(步驟S201)。在此步驟S201,判別為未檢測出根據電子筆11之指示輸入時,控制器23D1,進行其他的處理(步驟S202),該處理結束後,回到步驟S201進行處理。
在步驟S201,判別為檢測出根據電子筆11之指示輸入時,控制器23D1,由處理控制部220取得包含根據電子筆11之指示位置的資訊、筆壓、筆ID、傾斜、高度位置、懸停狀態的位置的筆狀態資訊(步驟S203)。
接著,控制器23D1,產生包含取得的筆狀態資訊,與筆ID的情感狀態推定要求,送到情感伺服裝置8D(步驟S204)。對於此情感狀態推定要求,是從情感伺服裝置8D把提供資訊傳送過來,控制器23D1等待此提供資訊的接收(步驟S205)。
接著,在步驟S205,確認了來自情感伺服裝置8D的提供資訊的接收時,控制器23D1,進行根據接收的提供資訊的處理,在此例為顯示處理(步驟S206)。
〔情感伺服裝置8D之情感狀態推定處理的流程〕
參照圖17之流程圖同時說明情感伺服裝置8D之情感狀態推定處理之流程之例。又,在此,係情感伺服裝置8D的控制部81D,以把情感狀態推定要求收訊部88、情感狀態推定部89及提供資訊產生部90之處理,用軟體機能來構成的場合進行說明。
首先,控制部81D,判別是否接收到情感狀態推定要求(步驟S301),判別為尚未接收到時,進行其他的處理(步驟S302),結束該其他處理之後,回到步驟S301之處理。
接著,在步驟S301,在判別為接收到情感狀態推定要求時,控制部81D,把包含於該情感狀態推定要求的筆ID與筆狀態資訊作為參照資訊,檢索情感推定用資料庫87(步驟S303)。
其次,控制部81D,判別在情感推定用資料庫87,是否收容著包含於情感狀態推定要求的對應於筆ID的資訊(步驟S304)。在此步驟S304,判別為在情感推定用資料庫87收容著包含於情感狀態推定要求的對應於筆ID的資訊時,控制部81D,針對與該筆ID對應的資訊探索筆狀態資訊一致的情感狀態,把一致的情感狀態,推定為進行了情感狀態推定要求的使用者的情感狀態(步驟S305)。接著,產生對應於推定的情感狀態的提供資訊,送訊至提出情感狀態推定要求的對方(步驟S307)。
此外,在步驟S304,判別為在情感推定用資料庫87未收容包含於情感狀態推定要求的對應於筆ID的資訊時,控制部81D,針對被收容於情感推定用資料庫87的泛用的對應資訊,探索筆狀態資訊一致的情感狀態,把一致的情感狀態,推定為進行了情感狀態推定要求的使用者的情感狀態(步驟S306)。接著,產生對應於推定的情感狀態的提供資訊,送訊至提出情感狀態推定要求的對方(步驟S307)。
如以上所述,結束了情感伺服裝置8D之情感推定處理。
〔平板電腦終端之對應於被推定的情感狀態之顯示處理〕
例如,設想使用者31、...、3n,為使用被顯示於平板電腦終端2D1、...、2Dn的各個顯示畫面的學習教材,進行藉由電子筆11、...、1n來學習之輸入的學生的場合。
在此場合,在情感伺服裝置8D推定的情感狀態,例如為「集中狀態」的場合,情感伺服裝置8D,作為提供資訊,如圖18(A)所示,提供「現在是良好的集中。繼續努力下去」等文字資訊。此外,在情感伺服裝置8D推定的情感狀態,例如為「注意力渙散狀態」或是「焦躁不安」的場合,情感伺服裝置8D,作為提供資訊,如圖18(B)所示,提供「精神集中!加油」等文字資訊。藉此,可進行對應於學生的情感狀態之斥責激勵,可期待提高學生的學習效果。
作為其他例,不僅對電子筆的使用者,實時(real-time)表示情感狀態,還可以記錄從電子筆得到的筆狀態資訊,之後再獲知使用電子筆時的使用者的情感狀態。例如,送出對親戚的手寫訊息時,也把筆狀態資訊一起附上的話,打開訊息的親戚,可以在手寫訊息之外同時接收到書寫訊息時之送訊者的情感(感謝等)。亦即,變成除了手寫文字以外也可以傳送情感。手寫訊息,包含感謝卡片,遺書等。
進而,可以由筆狀態資訊推定使用者的情感狀態,所以可使用例如在往契約書的署名欄記入時之記入者的筆狀態資訊所推定的情感狀態來判定契約書等的真偽。
又,在前述實施型態的說明,分別說明了資料庫的構築系統,與情感推定系統。但是,如前所述,情感伺服裝置8D,如圖15所示,具備可以對應於兩系統的構成。亦即,情感伺服裝置8D,可以做為包含前述之資料庫的構築系統與情感推定系統之一個系統用,情感伺服裝置8D,於該一個系統,可以切換執行資料庫的構築系統用的動作,與情感推定系統用的動作等雙方的動作。
具體而言,情感伺服裝置8D,於從賦予對應處理部4、平板電腦終端2A或平板電腦終端2B所送來的資料,判斷為包含腦波資料、簡易腦波資料、脈搏或血流等生體資訊或者情感狀態識別資訊S1~S5的場合,作為資料庫構築系統進行動作。
另一方面,於從賦予對應處理部4、平板電腦終端2A或平板電腦終端2B所送到情感伺服裝置8D的訊號,判斷為不包含腦波資料、簡易腦波資料、脈搏或血流等生體資訊或者情感狀態識別資訊S1~S5的場合,情感伺服裝置8D,作為情感推定系統進行動作,根據筆狀態資訊進行情感推定,對使用者進行提供情感狀態的情報等的處理。
又,在從賦予對應處理部4、平板電腦終端2A或平板電腦終端2B送到情感伺服裝置8D的訊號,包含區別是資料庫構築系統用,還是情感推定系統用之旗標資訊等亦可。在該場合,情感伺服裝置8D,沒有必要檢測是否在從平板電腦終端2A或平板電腦終端2B送到情感伺服裝置8D的訊號,包含腦波資料、簡易腦波資料、脈搏或血流等生體資訊或者情感狀態識別資訊S1~S5,只要進行旗標資訊的檢測判斷即可。
〔前述實施型態之變形例〕
又,筆狀態資訊不以前述例為限。例如,在握住電子筆的的部分設置感測器,檢測使用者握住筆的位置或握住筆的強度,使用該檢測結果之握筆位置或握筆強度亦可。此外,於握筆的部分設置檢測出汗的感測器(出汗計),因應於藉由此感測器檢測出的心理狀態之支出汗程度作為筆狀態資訊使用亦可。
又,於前述之例,由賦予對應處理部4或平板 電腦終端2A或2B,通過通訊網路7,對情感伺服裝置8送出腦波資料、簡易腦波資料或者脈搏或血流等生體資訊與筆狀態資訊,賦予關聯而構築資料庫,但是在賦予對應處理部4或者平板電腦終端2之中包含情感伺服器8亦可。亦即,於賦予對應處理部4或者平板電腦終端2A或2B被構築資料庫亦可。藉此,因不需通過通訊網路,可以輕快地進行情感推定。
又,在前述實施型態的說明,作為供識別記憶於情感推定用資料庫的使用者之識別資訊,使用了使用者作為自身用而使用的電子筆的筆ID,但只要是使用者作為自身用而專用平板電腦終端的話,作為供識別使用者之用的識別資訊,亦可替代筆ID,而使用供識別平板電腦終端的識別資訊(終端ID)。此平板電腦終端的終端ID,在平板電腦終端構成座標輸入處理裝置的場合,亦為供識別座標輸入處理裝置之用的識別資訊之裝置ID。
如此進行的場合,平板電腦終端或座標輸入處理裝置,先於記憶部記憶自身的終端ID或裝置ID。接著,於資料庫構築系統,把該記憶著的終端ID或裝置ID,與供判斷情感狀態之用的生體資訊或筆狀態資訊賦予對應,送到情感伺服裝置,於情感推定用資料庫,與判斷結果之情感狀態或筆狀態資訊之範圍資訊對應而收容。
此外,在情感推定系統的場合,座標輸入處理裝置,把記憶於平板電腦終端的記憶部的終端ID或者自身的裝置ID包含於情感狀態推定要求送到情感伺服裝置。
又,座標輸入處理裝置,也可以由具備位置檢測裝置部的平板電腦終端,與具備顯示部的電腦等構成的資訊處理裝置來構成。在該場合,裝置ID,可以為資訊處理裝置的識別資訊。
又,在前述實施型態,電子筆與平板電腦終端,使用電磁感應耦合方式者,但並不以此為限,靜電電容耦合方式者當然亦可適用。筆壓,係以藉由可變電容器的靜電電容來檢測出的方式構成,亦可為藉由電感的變化而檢測出的構成。
〔其他實施型態或變形例〕 <針對由賦予對應處理部4、平板電腦終端2A或平板電腦終端2B送至情感伺服裝置8或情感伺服裝置8D的訊號的訊號格式>
針對由賦予對應處理部4、平板電腦終端2A或平板電腦終端2B送至情感伺服裝置8或情感伺服裝置8D的訊號的訊號格式,參照圖19說明如下。又,於圖19之說明,為平板電腦終端TE具備賦予對應處理部的機能的場合。
在圖19之例,平板電腦終端TE,由來自電子筆的位置檢測用訊號或附加資訊,作為關於電子筆的資訊,檢測出指示位置的座標資料(X,Y)、筆壓資料P、傾斜資料S、高度位置資料H所構成的筆狀態資訊,與筆ID。接著,由腦波計等,作為腦波資料等供判斷人的情感狀態之用的生體資訊E,被輸入平板電腦終端TE。又,筆ID, 在此例,係於各電子筆的使用者把筆狀態資訊予以資料庫化,為了求出與電子筆的各使用者的情感狀態之關係的場合而附加的。不是電子筆的各使用者的筆狀態資訊與情感狀態的關係,而是泛用的求出所有的使用者的筆狀態資訊與情感狀態的關係之例的場合,此筆ID不包含於訊號格式亦可。
在圖19(A)之例,平板電腦終端TE,關於電子筆的資訊,與供判斷情感狀態之生體資訊E,是作為分別的訊號,通過通訊網路7送訊到情感伺服裝置8。但是,在情感伺服裝置8,時間上同時被送來的關於電子筆的資訊,與供判斷情感狀態之用的生體資訊E,作為相關資訊,相互賦予關連而保持於記憶體。在此場合,關於電子筆的資訊,如圖19(A)所示,例如以指示位置的座標資料(X,Y)、筆壓資料P、傾斜資料S、高度位置資料H、時間(被輸入座標的時刻)T、筆ID的順序排列之訊號格式的狀態下,反覆地被送訊到情感伺服裝置8。
其次,在圖19(B)之例,平板電腦終端TE,把關於電子筆的資訊,與供判斷情感狀態之生體資訊E,包含於一個訊號格式,反覆地,送訊到情感伺服裝置8。此場合之訊號格式,如圖19(B)所示,例如以指示位置的座標資料(X,Y)、筆壓資料P、傾斜資料S、高度位置資料H、時間T、筆ID、生體資訊E的順序排列者,反覆地被送訊到情感伺服裝置8。
其次,在圖19(C)之例,係顯示於前述情感推 定系統的實施型態的場合,由平板電腦終端TE把筆狀態資訊往情感伺服裝置8D送,從該情感伺服裝置8D,返送顯示對應於來自平板電腦終端TE的筆狀態資訊而被推定的情感狀態的資訊(顯示放鬆、精神集中、焦躁不安、注意渙散、生氣等之資訊)ED的場合之訊號格式之例。
在此場合,從平板電腦終端TE,作為訊號格式,如圖19(C)所示,關於電子筆的資訊,例如在以指示位置的座標資料(X,Y)、筆壓資料P、傾斜資料S、高度位置資料H、時間T、筆ID的順序排列之後,設置顯示情感狀態的資訊ED之空格(空區域或者空欄位)。接著,在此圖19(C)之例,此訊號格式之訊號,反覆地透過通訊網路7被送訊到情感伺服裝置8D。
又,替代設置供顯示情感狀態的資訊ED之用的空格,而於該空格包含全零等作為顯示情感狀態的資訊ED含有無意義的資料亦可,或者是於供顯示情感狀態的資訊ED之用的空格,包含意味著情感狀態的推定要求之資訊亦可。又,情感伺服裝置8D,即使不在空格包含著明示的情感狀態的推定要求,在接收到供顯示情感狀態的資訊ED之用的空格之訊號格式的訊號時,或者,接收到於該空格,為全零等作為顯示情感狀態的資訊ED含有無意義的資料的訊號格式的訊號時,把這些判定為伴隨著情感狀態的推定要求的訊號亦可。
接著,在來自情感伺服裝置8D之往平板電腦終端TE返送的返訊資訊,如圖19(C)所示,顯示由筆狀態 資訊推定的情感狀態的資訊ED,被插入訊號格式之空格處。藉此,此返訊資訊,成為筆狀態資訊,與顯示從該筆狀態資訊推定的情感狀態的資訊ED被包含於一個訊號格式之資訊。總之,可知包含於該訊號格式的筆狀態資訊,係以顯示情感狀態的資訊ED所顯示的情感狀態下被書寫的。亦即,藉由採用如圖19(C)所示的訊號格式,筆狀態資訊,能夠與顯示在什麼情感狀態下被書寫的資訊ED一起被傳送,或者被保持,具有可以使用於多種多樣的用途之效果。
<情感推定系統的其他實施型態;用於人工智慧之例>
近年來,被稱為人工智慧(AI(Artificial Inteligence))的使用神經網路的大量資料的處理(機械學習)逐漸普及,開始採用導出大量的資料的規則性的手法。
神經網路的構成之一為機械學習。機械學習,分為有教師學習與無教師學習,有教師學習,相當於「問題→回答」的形式,以「學習輸入與輸出的關係」、「由輸入預測輸出」為特徵。
機械學習之有教師學習,有大量的輸入資料以及對應的輸出資料,係在從輸入資料直到輸出被導出為止的路徑上具有複數之階層(Layer,特徵抽出層、隱藏層),於各層(Layer)因應於特徵而分割及統合輸入資料,進而賦予權重,進行反饋同時稍微改變權重,以逐漸逼計輸出資料的方法。稍微改變權重進行再計算,藉由近年來 計算處理的高速化而變成可能實現,從而使機械學習開始發展。
於此實施型態之情感推定系統之情感伺服裝置,針對蓄積於情感推定用資料庫的資訊,藉著進行前述的機械學習,從使用電子筆進行書寫者的筆狀態資訊,產生把該人的情感狀態用於推定的已學習資料。接著,情感伺服裝置,使用該已學習資料,從使用電子筆進行書寫者的筆狀態資訊,可以推定當時的情感狀態。
亦即,於此實施型態之情感伺服裝置,首先,在取得關於藉由電子筆進行書寫者的筆跡之資訊之筆狀態資訊(以下稱為筆跡資料)之各種特徵量(座標、壓力、傾斜、高度等)時,藉由供推定情感狀態之生體資訊,例如藉由來自腦波資料檢測裝置的腦波資料的波形來推定情感,大量蓄積筆跡資料的各種特徵量(座標、壓力、傾斜、高度等)與被推定的情感之關係資訊,進行資料庫化。在此場合,各情感之各筆跡資料的各種特徵量(座標、壓力、傾斜、高度等),顯示出特定的分布。亦即,從資料庫,可得特定的情感之筆跡資料的各種特徵量(座標、壓力、傾斜、高度等)的分布。在此,藉由電子筆書寫時之筆跡資料的各種特徵量,被判別是被包含於在哪個情感時之筆跡資料的對應的特徵量之分布之中,可以推定藉由電子筆進行了書寫者的書寫時的情感。
在此實施型態,藉由新手法的機械學習分析大量的資料,如圖20所示,把輸入資料(筆跡資料之各種 特徵量)與輸出資料(情感)之間的關係進行行列化(張量、已學習資料;參照圖20之行列),可以從輸入資料(筆跡資料之各種特徵量)瞬間導出輸出資料(情感),以對於處理的高速化有巨大貢獻的方式構成。接著,在此實施型態,藉著確立已學習資料,可以藉由小規模的演算,由筆跡資料導出情感。
又,於筆跡資料,有著種種特徵量。具體而言,如前所述,有藉由電子筆指示的位置的座標(X,Y)、筆壓、高度、傾斜、速度、這些的變化量(微分值)等,為了使其有效率地機械學習,輸入怎樣的特徵量可以導出最合適的情感是重要的。
從連結特定情感的筆跡資料導出複數的特徵量。因此,雖可以從特定一個特徵量導出的已學習資料來導出情感,但根據複數特徵量的各個而學習的已學習資料的相互對照,可以進行精度高的推定。
供得到已學習資料之演算子,以神經網路構成,具有作為輸入部的輸入層與作為輸出部的輸出層,其間由複數階層(特徵抽出層)所構成,為了把被分割為複數的輸入資料適合於各階層(特徵抽出層)的要素,對各階層的各要素賦予權重,構成了把各個階層、各個要素之權重進行行列化之賦予權重行列(張量、已學習模型)。賦予權重行列為可更新。
以下,說明機械學習的方法。
<前階段> (資料庫的構築)
由平板電腦終端,作為筆跡資料的特徵量,例如接收指示位置座標(X,Y)、壓力、高度、傾斜、時間之資料,由腦波計等,接收根據腦波資料等而分類的情感狀態的資料,把這些書寫資料與情感狀態之資料賦予關連而蓄積於資料庫。在此場合之情感狀態的資料,除了來自腦波計等的量測資料以外,亦可為從量測資料導出的被分類的情感種類(例如“生氣”、“喜悅”等)。
<第一階段> (學習用資料集的製作)
根據蓄積於資料庫的筆跡資料,做成各筆跡資料之學習用資料集。做為學習用資料集,有筆狀態資訊之指示位置座標(X,Y)、壓力、高度、傾斜、及從這些值算出的變化量(微分值)、時間T與指示位置座標(X,Y)所算出的書寫速度、及其變化量等。
<第二階段> (已學習模型的製作1)
從製作的學習用資料集之中,選擇特定的筆跡資料,進而選擇特定的特徵量,進行特定的分割,設定於演算子之輸入層。於演算子之輸出層設定根據前述特定的筆跡資料之情感狀態的種類。
例如,特定的筆跡資料((日文)“”)之中,把特定的特徵量(“座標X,Y”)定為輸入資料,依照前述方式,進行特定的分割設定於輸入層。把設定在與牽連於前述特定的筆跡資料之情感狀態相同的輸出層的情感狀態,設定為“真”、“正確”。
<第三階段> (已學習模型的製作2)
演算子,為了使被賦予關聯的輸出資料之情感狀態接近於輸入資料之筆跡資料,使各個要素的權重改變。把權重作為權重行列(張量),於每次使權重改變時更新。
<第四階段> (已學習模型的製作3)
輸入大量的筆跡資料與情感狀態之生體資訊資料,做出所有的資料都滿足的最適切的權重賦予行列(張量)。藉此,完成情感狀態之各個的筆跡資料的各特徵量之已學習資料。
<第五階段> (已學習模型的活用)
新產生的筆跡資料的特徵量,與情感推定要求一起,從平板電腦終端,被送到情感伺服裝置時,在情感伺服裝置,根據如以上所述而產生的筆跡資料的各特徵量的已學 習資料,推定對應於該新發生的筆跡資料的特徵量存在的分布為重疊之筆跡資料的特徵量之情感狀態。
亦即,例如圖19(C)所示的訊號格式之關於電子筆的筆跡資料被供給至情感伺服裝置時,在情感伺服裝置,藉著使用如以上所述產生的筆跡資料的各特徵量之已學習資料,從該來到的筆跡資料的特徵量,可以推定對應的情感狀態,產生顯示圖19(C)的返訊訊號的情感狀態之訊號ED,而返送到平板電腦終端。
在此場合,在情感伺服裝置,沒有必要探查從平板電腦終端TE來到的相關於情感推定要求的筆跡資料的分布,於筆跡資料之各個特徵量,使用已學習資料,可以得到作為輸出資料之情感狀態,可以藉由小規模的演算,從筆跡資料導出情感狀態。
以此實施型態之情感伺服裝置產生的筆跡資料之各特徵量的已學習資料一旦產生,藉由把該產生的已學習資料,記憶於例如平板電腦終端,或處理來自平板電腦終端的筆跡資料之個人電腦,於這些平板電腦終端或個人電腦,也可以使用被記憶的已學習資料,由筆跡資料來推定情感狀態。
又,於前述之AI之例,也藉由使筆狀態資訊對應於筆ID,可以產生電子筆的各使用者之已學習資料,當然也可以產生不是各使用者的可以泛用地使用的已學習資料。

Claims (26)

  1. 一種座標輸入處理裝置,其特徵為具備:位置檢測裝置部,其係具備檢測出藉由電子筆指示的位置之感測器,及取得關於使用者把持著的前述電子筆的狀態之筆狀態資訊之手段;送訊部,其係把包含以前述位置檢測裝置部所取得的前述筆狀態資訊之情感狀態推定要求,送訊到情感推定裝置,該情感推定裝置具備使把持著電子筆的人的情感狀態,與前述情感狀態時,關於前述人所把持著的電子筆的狀態之筆狀態資訊可取值之範圍資訊賦予對應而收容著之情感推定用資訊收容部;以及處理部,其係接收對應於包含在藉由前述送訊手段所送訊的前述情感狀態推定要求之前述筆狀態資訊而由前述情感推定裝置送來的因應於前述情感狀態的資訊,執行使用了因應於前述接收的前述情感狀態之資訊的處理。
  2. 如申請專利範圍第1項之座標輸入處理裝置,其中前述位置檢測裝置部,由前述電子筆,取得前述電子筆的識別資訊;前述送訊部,把包含以前述位置檢測裝置部取得的前述筆狀態資訊與前述電子筆之識別資訊之情感狀態推定要求,送訊至前述情感推定裝置;於前述情感推定裝置,對應於前述電子筆的識別資 訊,把前述情感狀態,與前述筆狀態可取值之範圍資訊賦予對應而收容著。
  3. 如申請專利範圍第1項之座標輸入處理裝置,其中具備記憶自裝置之識別資訊的記憶部;前述送訊部,把包含以前述位置檢測裝置部取得的前述筆狀態資訊,與從前述記憶部讀出的前述自裝置之識別資訊之情感狀態推定要求,送訊至前述情感推定裝置;於前述情感推定裝置,對應於前述自裝置的識別資訊,把前述情感狀態,與前述筆狀態可取值之範圍資訊賦予對應而收容著。
  4. 如申請專利範圍第1項之座標輸入處理裝置,其中具備具有顯示畫面的顯示手段;使用了前述接收的因應於前述情感狀態的資訊之處理,係把從前述情感推定裝置接收的因應於前述情感狀態的資訊反映往顯示畫面的影像之處理。
  5. 如申請專利範圍第1項之座標輸入處理裝置,其中前述筆狀態資訊,至少包含被施加於電子筆的筆壓、電子筆對指示輸入面之傾斜、電子筆之由指示輸入面起算的高度、在指示輸入面上被檢測出的電子筆的移動、根據電子筆之指示輸入時的移動速度等之中的某一或複數資訊。
  6. 如申請專利範圍第1項之座標輸入處理裝置,其中於前述人的情感狀態,至少包含放鬆狀態、精神集中狀態、焦躁不安狀態、注意渙散狀態、生氣狀態之中的某一或複數個狀態。
  7. 如申請專利範圍第1項之座標輸入處理裝置,其中前述位置檢測裝置部,與具備前述送訊部及前述處理部之資訊處理部,是不同個體,藉由有線或無線方式連接。
  8. 一種情感推定裝置,其特徵為具備:把持著電子筆的人的情感狀態,與前述情感狀態時,關於前述人所把持的電子筆的狀態之筆狀態資訊可取值的範圍資訊被賦予對應而收容的情感推定用資訊收容部,以及接收到包含關於電子筆的狀態之筆狀態資訊的情感狀態推定要求時,藉著藉由前述接收的前述筆狀態資訊而參照前述情感推定用資訊收容部,推定送訊前述要求資訊的電子筆的使用者之情感狀態的推定手段。
  9. 如申請專利範圍第8項之情感推定裝置,其中具備把前述推定手段推定的前述情感狀態,通知進行前述情感狀態推定要求的對方之手段。
  10. 如申請專利範圍第8項之情感推定裝置,其中於前述情感推定用資訊收容部,於供識別顯示前述情感狀態的人的識別資訊中,有著前述情感狀態,與該情感狀態時關於進行指示輸入的人把持的電子筆的狀態之筆狀態資訊可取值的範圍資訊被賦予對應而收容;前述推定手段,在接收到包含關於電子筆的狀態之筆狀態資訊與前述識別資訊之前述情感狀態推定要求時,於前述情感推定用資訊收容部,參照被賦予對應於前述識別資訊而收容著的資訊。
  11. 如申請專利範圍第10項之情感推定裝置,其中前述識別資訊,是前述人把持著的電子筆的識別資訊。
  12. 如申請專利範圍第10項之情感推定裝置,其中前述識別資訊,是電子機器的識別資訊,該電子機器具備檢測出根據前述人所把持著的電子筆之指示輸入的位置檢測裝置。
  13. 如申請專利範圍第9項之情感推定裝置,其中於包含前述筆狀態資訊的前述情感狀態推定要求的訊號格式,設有供插入顯示被推定的情感狀態的資訊之空格,顯示前述被推定的情感狀態的資訊,被插入前述空 格,返送至前述情感狀態推定要求之要求側。
  14. 一種情感推定系統,其特徵係由座標輸入處理裝置,以及通過通訊網路與前述座標輸入處理裝置連接之情感推定裝置所構成,前述座標輸入處理裝置具備位置檢測裝置部,該位置檢測裝置部係具備:電子筆、檢測藉由前述電子筆指示的位置之感測器、與取得關於使用者把持的前述電子筆的狀態之筆狀態資訊之手段;前述座標輸入處理裝置,具備:送訊手段,其係把包含以前述位置檢測裝置取得的前述筆狀態資訊之情感狀態推定要求送訊至前述情感推定裝置,以及處理手段,其係接收對應於被包含於藉由前述送訊手段所送訊的前述情感狀態推定要求之前述筆狀態資訊而由前述情感推定裝置送來的因應於情感狀態的資訊,執行使用因應於前述接收的情感狀態的資訊之處理;前述情感推定裝置,具備:情感推定用資訊收容部,其係把持著電子筆之人的情感狀態,與前述情感狀態時,關於前述人所把持的電子筆的狀態之筆狀態資訊可取值之範圍資訊被賦予對應而收容著,及推定手段,其係接收到包含關於電子筆的狀態之筆狀態資訊之情感狀態推定要求時,藉著藉由前述接收之前述筆狀態資訊而參照前述情感推定用資訊收容部,推定送訊 出前述情感狀態推定要求之電子筆的使用者之情感狀態,以及返訊手段,其係產生因應於以前述推定手段推定的前述情感狀態之資訊,返送到提出前述情感狀態推定要求之前述座標輸入裝置。
  15. 如申請專利範圍第14項之情感推定系統,其中於包含前述筆狀態資訊的前述情感狀態推定要求的訊號格式,設有供插入顯示被推定的情感狀態的資訊之空格,顯示前述被推定的情感狀態的資訊,被插入前述空格,返送至前述情感狀態推定要求之要求側。
  16. 一種情感推定用資訊收容部之構築裝置,其特徵為具備:生體資訊取得手段,其係取得藉由電子筆進行指示輸入的人的生體資訊,資訊取得手段,其係取得關於被賦予對應於以前述生體資訊取得手段取得的前述生體資訊之進行前述指示輸入的人所把持的電子筆的狀態之筆狀態資訊,判斷手段,其係從以前述生體資訊取得手段取得的前述生體資訊來判斷把持著前述電子筆的人的情感狀態,從以前述資訊取得手段取得的前述筆狀態資訊,求出前述判斷的情感狀態時,前述筆狀態資訊可取值的範圍資訊之手段,以及 收容手段,其係收容把前述判斷的情感狀態,與前述筆狀態資訊可取值的範圍資訊賦予對應而收容於情感推定用資訊收容部。
  17. 如申請專利範圍第16項之情感推定用資訊收容部之構築裝置,其中前述資訊取得手段,把供識別顯示前述情感狀態的人之識別資訊,賦予對應於前述筆狀態資訊而取得;前述收容手段,把前述判斷的情感狀態、對應於該情感狀態的前述筆狀態資訊之存在範圍資訊、與前述電子筆之識別資訊賦予對應,收容於前述情感推定用資訊收容部。
  18. 如申請專利範圍第17項之情感推定用資訊收容部之構築裝置,其中前述識別資訊,是前述人所把持的電子筆的識別資訊。
  19. 如申請專利範圍第17項之情感推定用資訊收容部之構築裝置,其中前述識別資訊,是電子機器的識別資訊,該電子機器具備檢測出根據前述人所把持的電子筆之指示輸入的位置檢測裝置。
  20. 如申請專利範圍第16項之情感推定用資訊收容部之構 築裝置,其中前述電子筆,具備藉由無線通訊而接收前述生體資訊的通訊手段,把以前述通訊手段接收的前述生體資訊,包含於位置檢測用訊號之附加資訊供給至位置檢測裝置;前述資訊取得手段,由位置檢測裝置,取得前述生體資訊與前述筆狀態資訊。
  21. 如申請專利範圍第16項之情感推定用資訊收容部之構築裝置,其中前述位置檢測裝置,具備藉由無線通訊而接收前述生體資訊的通訊手段;前述資訊取得手段,由位置檢測裝置,取得前述生體資訊與前述筆狀態資訊。
  22. 一種情感推定系統,其特徵係由座標輸入處理裝置,以及具有情感推定用資訊收容部之情感推定裝置所構成,前述座標輸入處理裝置具備:電子筆、檢測藉由前述電子筆指示的位置之感測器、與取得關於使用者把持的前述電子筆的狀態之筆狀態資訊之手段;前述情感推定用資訊收容部,係把取得藉由電子筆進行指示輸入的人的生體資訊之生體資訊取得裝置、通過通訊網路與前述座標輸入處理裝置連接,使把持著電子筆的人的情感狀態,與前述情感狀態時,關於前述人所把持的電子筆的狀態之筆狀態資訊可取值之範圍資訊被賦予對應 而收容著;前述座標輸入處理裝置,具備接收以前述生體資訊取得裝置取得的生體資訊或者供識別由生體資訊判斷的情感狀態之用的資訊,同時把以前述座標輸入處理裝置取得的包含前述筆狀態資訊的情感狀態推定要求,或者是由前述筆狀態資訊與前述生體資訊或者供識別由生體資訊判斷的情感狀態之用的資訊的資料構築要求,送訊至前述情感推定裝置之送訊手段;前述情感推定裝置,在由前述座標輸入處理裝置接收到前述資料構築要求的場合,使把持著電子筆的人的情感狀態,與前述情感狀態時,關於前述人所把持著電子筆的狀態之筆狀態資訊可取值的範圍資訊賦予對應而收容於前述情感推定用資訊收容部,由前述座標輸入處理裝置接收到前述情感推定要求的場合,藉由前述接收的前述筆狀態資訊參照前述情感推定用資訊收容部,以推定送訊出前述情感狀態推定要求的電子筆的使用者的情感狀態,產生因應於推定的前述情感狀態之資訊,返送至進行前述情感狀態推定要求之前述座標輸入裝置。
  23. 如申請專利範圍第22項之情感推定系統,其中於包含前述筆狀態資訊的前述情感狀態推定要求的訊 號格式,設有供插入顯示被推定的情感狀態的資訊之空格,顯示前述被推定的情感狀態的資訊,被插入前述空格,返送至前述情感狀態推定要求之要求側。
  24. 一種情感推定裝置,其特徵為具備:使把持著電子筆的人的情感狀態,與前述情感狀態時,關於前述人所把持的電子筆的狀態之筆狀態資訊被賦予對應而收容的情感推定用資訊收容部;及輸入被收容於前述情感推定用資訊收容部的前述筆狀態資訊,同時作為輸出前述情感狀態進行機械學習,產生已學習資料的已學習資料產生部;以及在接收到包含關於電子筆的狀態之筆狀態資訊之情感狀態推定要求時,使用前述已學習資料,由前述接收的前述筆狀態資訊,推定送訊出前述要求資訊的電子筆的使用者的情感狀態之推定手段。
  25. 如申請專利範圍第24項之情感推定裝置,其中前述筆狀態資訊,由複數個特徵量所構成,前述已學習資料,係針對前述筆狀態資訊之前述複數個特徵量之各個分別產生的。
  26. 如申請專利範圍第24項之情感推定裝置,其中於包含前述筆狀態資訊的前述情感狀態推定要求的訊號格式,設有供插入顯示被推定的情感狀態的資訊之空 格,顯示前述被推定的情感狀態的資訊,被插入前述空格,返送至前述情感狀態推定要求之要求側。
TW106119667A 2016-09-01 2017-06-13 座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置 TWI764906B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016-170574 2016-09-01
JP2016170574 2016-09-01
JP2016249336 2016-12-22
JP2016-249336 2016-12-22

Publications (2)

Publication Number Publication Date
TW201812537A true TW201812537A (zh) 2018-04-01
TWI764906B TWI764906B (zh) 2022-05-21

Family

ID=61300612

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106119667A TWI764906B (zh) 2016-09-01 2017-06-13 座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置

Country Status (6)

Country Link
US (2) US11237647B2 (zh)
EP (1) EP3508948B1 (zh)
JP (4) JP6499811B2 (zh)
CN (1) CN109643160B (zh)
TW (1) TWI764906B (zh)
WO (1) WO2018043061A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI764906B (zh) * 2016-09-01 2022-05-21 日商和冠股份有限公司 座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置
JP2019162207A (ja) * 2018-03-19 2019-09-26 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP7308188B2 (ja) * 2018-05-14 2023-07-13 株式会社ワコム 学習支援システム
WO2020183527A1 (ja) * 2019-03-08 2020-09-17 株式会社ファーストアセント コンテンツ提供システム
WO2020196636A1 (ja) * 2019-03-26 2020-10-01 株式会社ワコム 家の記憶装置
JP7168768B2 (ja) * 2019-04-08 2022-11-09 株式会社ワコム デジタルインクを管理するホームuiシステム
JP7014757B2 (ja) 2019-09-03 2022-02-01 株式会社ワコム ペンの位置を導出し、導出したペンの位置を示すレポートをホストコンピュータに対して送信するデバイスにより実行される方法及びタッチコントローラ。
JPWO2022149443A1 (zh) * 2021-01-05 2022-07-14
CN116963667A (zh) * 2021-03-15 2023-10-27 三菱电机株式会社 情绪推测装置以及情绪推测方法
CN113610186A (zh) * 2021-08-20 2021-11-05 湖州师范学院 一种数字化书写识别情绪状态的方法
WO2023238641A1 (ja) * 2022-06-10 2023-12-14 株式会社ワコム 位置検出装置、電磁誘導ペン、及び、位置検出システム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001350904A (ja) 2000-06-07 2001-12-21 Canon Inc 電子機器及び営業用電子機器システム
US6855112B2 (en) * 2000-07-14 2005-02-15 The University Of Hong Kong Method of and system for health treatment
JP3914421B2 (ja) 2000-12-13 2007-05-16 株式会社ワコム ペン型座標指示器
JP2002230485A (ja) * 2001-02-01 2002-08-16 Canon Inc 文字認識装置、携帯端末装置、および関連する方法、記録媒体、並びにプログラム
JP2003216294A (ja) 2002-01-25 2003-07-31 Victor Co Of Japan Ltd ユーザインタフェース装置
JP2005065252A (ja) * 2003-07-29 2005-03-10 Fuji Photo Film Co Ltd 携帯電話機
JP3953024B2 (ja) * 2003-11-20 2007-08-01 ソニー株式会社 感情算出装置及び感情算出方法、並びに携帯型通信装置
GB2413425B (en) * 2004-04-23 2008-04-09 Hewlett Packard Development Co Biometric analysis system, methods, apparatus and software using biometric analysis
CN101415567B (zh) * 2006-04-04 2011-06-15 皇家飞利浦电子股份有限公司 书写工具及其书写方法、计算机装置
JP4876718B2 (ja) * 2006-05-31 2012-02-15 カシオ計算機株式会社 電子ペーパー記録装置
WO2009001558A1 (ja) * 2007-06-27 2008-12-31 Panasonic Corporation ヒト状態推定装置およびその方法
JP2010131328A (ja) 2008-12-08 2010-06-17 Tokyo Univ Of Agriculture & Technology 嗜好判別装置、嗜好判別方法、嗜好判別プログラム、及び脳波解析方法
JP5534419B2 (ja) 2010-03-09 2014-07-02 株式会社ワコム 位置指示器、可変容量コンデンサ及び入力装置
JP5486977B2 (ja) * 2010-03-24 2014-05-07 株式会社日立ソリューションズ 座標入力装置及びプログラム
TWI470564B (zh) * 2012-02-21 2015-01-21 Wistron Corp 使用者情緒偵測方法與應用其之手寫輸入電子裝置
KR102011495B1 (ko) 2012-11-09 2019-08-16 삼성전자 주식회사 사용자의 심리 상태 판단 장치 및 방법
CN103926997A (zh) * 2013-01-11 2014-07-16 北京三星通信技术研究有限公司 一种基于用户的输入确定情绪信息的方法和终端
JP2014139759A (ja) * 2013-01-21 2014-07-31 Toshiba Corp 情報機器及び情報処理方法
WO2014116262A1 (en) * 2013-01-28 2014-07-31 Empire Technology Development Llc Communication using handwritten input
JP2014158600A (ja) * 2013-02-20 2014-09-04 Nippon Telegr & Teleph Corp <Ntt> 集中状態推定システム、推定装置、筆記具、推定方法及びプログラム
JP2015109964A (ja) 2013-11-11 2015-06-18 株式会社電通サイエンスジャム 感情推定装置、感情推定処理システム、感情推定方法および感情推定プログラム
JP6255935B2 (ja) * 2013-11-21 2018-01-10 大日本印刷株式会社 筆跡再生装置及びプログラム
KR102346206B1 (ko) * 2014-01-22 2022-01-03 가부시키가이샤 와코무 위치 지시기, 위치 검출 장치, 위치 검출 회로 및 위치 검출 방법
US10324547B2 (en) * 2015-12-31 2019-06-18 Lg Display Co., Ltd. Active stylus pen, touch sensing system and driving method thereof
TWI764906B (zh) * 2016-09-01 2022-05-21 日商和冠股份有限公司 座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置

Also Published As

Publication number Publication date
US11625110B2 (en) 2023-04-11
TWI764906B (zh) 2022-05-21
US11237647B2 (en) 2022-02-01
JP2019136513A (ja) 2019-08-22
JP6908648B2 (ja) 2021-07-28
WO2018043061A1 (ja) 2018-03-08
JP2021166751A (ja) 2021-10-21
JP6499811B2 (ja) 2019-04-10
JP7189382B2 (ja) 2022-12-13
EP3508948A1 (en) 2019-07-10
JP2022048219A (ja) 2022-03-25
US20190187823A1 (en) 2019-06-20
EP3508948B1 (en) 2022-11-16
EP3508948A4 (en) 2019-08-21
CN109643160A (zh) 2019-04-16
JP7108752B2 (ja) 2022-07-28
US20220113816A1 (en) 2022-04-14
CN109643160B (zh) 2023-03-17
JPWO2018043061A1 (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
TW201812537A (zh) 座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置
CN104216762B (zh) 跟踪用户以支持在复杂系统组件上执行的任务
Cernea et al. A survey of technologies on the rise for emotion-enhanced interaction
KR101680995B1 (ko) 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템
US20170031449A1 (en) Wearable device
EP2793167A2 (en) Expression estimation device, control method, control program, and recording medium
US20130280682A1 (en) System and Method For Gathering And Analyzing Biometric User Feedback For Use In Social Media And Advertising Applications
CN103561634B (zh) 具有高低分析物趋势通知的分析物测试方法和系统
CN110083303A (zh) 信息处理设备、信息处理方法与计算机可读介质
KR102399533B1 (ko) 사용자의 활동에 대응하는 스트레스 지수를 제공하는 방법 및 전자 장치
CN104823147A (zh) 作为与应用的交互的多模式用户表达和用户力度
CN108027663A (zh) 将移动设备与人员跟踪组合以用于大型显示器交互
JP6920731B2 (ja) 睡眠改善システム、端末装置及び睡眠改善方法
US20180098729A1 (en) Body composition measuring device and mobile terminal wirelessly connected to the same
KR20190086140A (ko) 프로필 상태 정보와 일기 콘텐츠를 이용한 도서 추천 방법
Cernea User-Centered Collaborative Visualization
Flanagan Making Tangible the Intangible Gestures of Craft
Kim et al. Mediating individual affective experience through the emotional photo frame
US20240062677A1 (en) System and method for providing education using modeling
Majethia et al. Stepping Into the Next Decade of Ubiquitous and Pervasive Computing: UbiComp and ISWC 2021
JP2022178474A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
Kar Design and development of a performance evaluation framework for remote eye gaze estimation systems
Peeters Physicalization of dynamic, physiological data
Brantley et al. Wearable Computing
Adams Moments Of Measurement For Affect, Stress, And Chronic Pain With Mobile Devices