JP7108752B2 - 感情状態推定要求と返信情報とのやり取り方法 - Google Patents
感情状態推定要求と返信情報とのやり取り方法 Download PDFInfo
- Publication number
- JP7108752B2 JP7108752B2 JP2021109792A JP2021109792A JP7108752B2 JP 7108752 B2 JP7108752 B2 JP 7108752B2 JP 2021109792 A JP2021109792 A JP 2021109792A JP 2021109792 A JP2021109792 A JP 2021109792A JP 7108752 B2 JP7108752 B2 JP 7108752B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- pen
- emotional state
- state
- electronic pen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
- G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/36—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/30—Writer recognition; Reading and verifying signatures
- G06V40/37—Writer recognition; Reading and verifying signatures based only on signature signals such as velocity or pressure, e.g. dynamic signature recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Evolutionary Computation (AREA)
- Physiology (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Neurology (AREA)
- Electromagnetism (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
Description
使用者が把持している電子ペンの状態に関するペン状態情報を含む感情状態推定要求を送出する要求側装置と、前記感情状態推定要求に含まれる前記ペン状態情報に基づいて推定した前記電子ペンの前記使用者の感情状態を含む返信情報を前記要求側装置に返信する感情推定装置との間でやり取りされる前記感情状態推定要求と前記返信情報とのやり取り方法であって、
前記感情状態推定要求と前記返信情報とは、ペン状態情報を挿入するための第1の部分と、推定された感情状態を示す情報を挿入するための第2の部分とを有する信号フォーマットによりやり取りされ、
前記要求側装置は、前記感情状態推定要求を、前記信号フォーマットの前記第1の部分に前記ペン状態情報を含めて送出し、
前記感情状態推定要求を受信した前記感情推定装置は、前記返信情報を、前記信号フォーマットの前記第1の部分に含められている前記ペン状態情報に基づいて推定した感情状態を示す情報を前記第2の部分に挿入して返信する
感情状態推定要求と返信情報とのやり取り方法を提供する。
図1は、感情推定用情報格納部の構築装置の実施形態を含む感情推定用情報格納部の構築システムの第1の構成例の概要を示す図である。この例は、人の感情状態を判断するために、脳波計を用いる場合である。なお、以下の説明においては、感情推定用情報格納部は、感情推定用データベースと称することとする。
図2は、第1の例の電子ペン1の等価回路と、この電子ペン1と電磁誘導授受方式により位置検出及び筆圧検出を行うタブレット端末2の位置検出装置部20の回路構成例を示す図である。
図3は、この実施形態の感情サーバ装置8のハードウエア構成例を示す図である。すなわち、感情サーバ装置8は、コンピュータからなる制御部81に対して、システムバス80を通じて、無線通信部82と、情報取得部83と、感情状態判断部84と、ペン状態情報範囲算出部85と、対応付け格納処理部86と、感情推定用データベース87とが接続されて構成されている。
図7は、この感情サーバ装置8における感情推定用データベースの構築処理の流れの一例を説明するためのフローチャートである。なお、この図7の例は、感情サーバ装置8の制御部81が、情報取得部83と、感情状態判断部84と、ペン状態情報範囲算出部85と、対応付け格納処理部86とを、ソフトウェア機能処理部として実現した場合として説明する。なお、この図7は、一人の使用者3についての感情推定用データベースの情報を生成する処理の流れを示している。したがって、使用者が変われば、図7の処理が、その使用者についてなされるものである。
上述したデータベースの構築システムの第1の例では、感情状態を判断するための生体情報の例としての脳波データとペン状態情報とを対応付ける対応付け処理部4が必要であった。以下に説明するデータベースの構築システムの第2の例は、対応付け処理部4を省略することができるようにした例である。
図10は、この第2の例における電子ペン1Aの等価回路と、タブレット端末2Aの位置検出装置部20Aの回路構成例を示す図である。この図10において、図2に示した第1の例の電子ペン1及びタブレット端末2の位置検出装置部20と同一部分には、同一参照符号を付してある。
以下に説明するデータベースの構築システムの第3の例も、第2の例と同様に、第1の例の対応付け処理部4を省略することができるようにした例である。そして、この例においては、電子ペンの使用者の感情状態は、脳波データではなく、特許文献2の技術を用いて、使用者の脳波以外の生体情報、例えば脈拍や血流などを測定することで推定するようにしている。
図12は、この第3の例における電子ペン1の等価回路と、タブレット端末2Bの位置検出装置部20Bの回路構成例を示す図である。この図12において、図2に示した第1の例と同一部分には、同一参照符号を付してある。
図13は、以上説明したデータベースの構築システムにより構築された感情推定用データベース87を用いて、電子ペンの使用者の感情状態を推定するシステムの概要を説明するための図である。
図14は、この実施形態の座標入力処理装置の電子回路例を示すものであり、電子ペン11、・・・、1nのそれぞれと、タブレット端末2D1、・・・、2Dnのそれぞれとのペアの内の一つのペアに相当する部分である。電子ペン11、・・・、1nのそれぞれは同一の構成を有し、また、タブレット端末2D1、・・・、2Dnのそれぞれは、同一の構成を有するので、図14においては、電子ペン11と、タブレット端末2D1とを代表して示した。
図15は、感情サーバ装置8Dのハードウエア構成例を示すブロック図である。この図15の例の感情サーバ装置8Dは、上述したデータベースの構築システムにおいて構築された感情推定用データベース87を備える感情サーバ装置8を、そのまま感情推定装置としても使用した場合である。すなわち、制御部81Dに対して、システムバス80を通じて、無線通信部82と、情報取得部83と、感情状態判断部84と、ペン状態情報範囲算出部85と、対応付け格納処理部86と、感情推定用データベース87とが接続されると共に、感情状態推定要求受信部88と、感情状態推定部89と、提供情報生成部90とが接続されて構成されている。
図16のフローチャートを参照しながら、タブレット端末2D1、・・・、2Dnのそれぞれの感情状態推定要求処理の流れの例を説明する。なお、ここでは、タブレット端末2D1のコントローラ23D1が感情状態推定要求を行う場合として、説明する。
図17のフローチャートを参照しながら、感情サーバ装置8Dにおける感情状態推定処理の流れの例を説明する。なお、ここでは、感情サーバ装置8Dの制御部81Dが、感情状態推定要求受信部88と、感情状態推定部89及び提供情報生成部90の処理を、ソフトウェア処理機能として構成した場合として、説明する。
例えば、使用者31、・・・、3nが、タブレット端末2D1、・・・、2Dnのそれぞれの表示画面に表示されている学習教材を用いて、電子ペン11、・・・、1nにより学習のための入力をしている生徒である場合を想定する。
なお、ペン状態情報は、上記の例に限られるものではない。例えば、電子ペンを握る部分にセンサを設けて、使用者がペンを握る位置やペンを握る強さを検出して、その検出結果のペンを握る位置やペンを握る強さを用いても良い。また、ペンを握る部分に発汗を検出するセンサ(発汗計)を設け、そのセンサにより検出される心理状態に応じた発汗度合いをペン状態情報として用いてもよい。
<対応付け処理部4、タブレット端末2Aまたはタブレット端末2Bから感情サーバ装置8または感情サーバ装置8Dに送られる信号の信号フォーマットについて>
対応付け処理部4、タブレット端末2Aまたはタブレット端末2Bから感情サーバ装置8または感情サーバ装置8Dに送られる信号の信号フォーマットの幾つかの例について、図19を参照しながら以下に説明する。なお、図19の説明においては、対応付け処理部の機能をタブレット端末TEが備えている場合としている。
近年、人工知能(AI(Artificial Intelligence))と言われるニューラルネットワークを用いた大量のデータの処理(機械学習)が普及しはじめ、大量のデータの規則性を導き出す手法が取られるようになってきた。
(データベースの構築)
タブレット端末からは、筆跡データの特徴量として、例えば、指示位置座標(X,Y)、圧力、高さ、傾き、時間のデータを受信し、脳波計などからは、脳波データ等に基づいて分類された感情状態のデータを受信し、それらの筆記データと感情状態のデータを関連付けてデータベースに蓄積する。この場合の感情状態のデータは、脳波計などからの計測データの他、計測データから導き出される、分類分けされた感情の種類(例えば“怒り”、“喜び”等)でもあっても良い。
(学習用データセットの作成)
データベースに蓄積した筆跡データに基づいて、筆跡データ毎の学習用データセットを作成する。学習用データセットとしては、ペン状態情報の指示位置座標(X,Y)、圧力、高さ、傾き、及びこれらの値から算出された変化量(微分値)、時間Tと指示位置座標(X,Y)とから算出された筆記速度、及びその変化量等がある。
(学習済みモデルの作成1)
作成された学習用データセットの中から、所定の筆跡データを選択し、更に所定の特徴量を選択して、所定の分割をして、演算子の入力層にセットする。演算子の出力層には上記所定の筆跡データに基づいた感情状態の種類をセットする。
(学習済モデルの作成2)
演算子は、入力データである筆跡データに、関連付けられた出力データである感情状態に近づける為、各要素毎の重み付けを変化させてゆく。重み付けを重み付け行列(テンソル)として、重み付けを変化させる毎に更新させてゆく。
(学習済みモデルの作成3)
大量の筆跡データと感情状態の生体情報データを入力して、全てのデータが満たす最も適切な重み付け行列(テンソル)を作りだす。これにより、感情状態のそれぞれ毎の、筆跡データの特徴量毎の学習済みデータが完成する。
(学習済みモデルの活用)
タブレット端末から、新たに発生した筆跡データの特徴量が、感情推定要求と共に、感情サーバ装置に送られてきたときには、感情サーバ装置では、以上のようにして生成された筆跡データの特徴量毎の学習済みデータに基づき、当該新たに発生した筆跡データの特徴量が存在する分布が重なる筆跡データの特徴量に対応する感情状態を推定する。
Claims (10)
- 使用者が把持している電子ペンの状態に関するペン状態情報を含む感情状態推定要求を送出する要求側装置と、前記感情状態推定要求に含まれる前記ペン状態情報に基づいて推定した前記電子ペンの前記使用者の感情状態を含む返信情報を前記要求側装置に返信する感情推定装置との間でやり取りされる前記感情状態推定要求と前記返信情報とのやり取り方法であって、
前記感情状態推定要求と前記返信情報とは、ペン状態情報を挿入するための第1の部分と、推定された感情状態を示す情報を挿入するための第2の部分とを有する信号フォーマットによりやり取りされ、
前記要求側装置は、前記感情状態推定要求を、前記信号フォーマットの前記第1の部分に前記ペン状態情報を含めて送出し、
前記感情状態推定要求を受信した前記感情推定装置は、前記返信情報を、前記信号フォーマットの前記第1の部分に含められている前記ペン状態情報に基づいて推定した感情状態を示す情報を前記第2の部分に挿入して返信する
感情状態推定要求と返信情報とのやり取り方法。 - 前記要求側装置は、前記感情状態推定要求を、前記信号フォーマットの前記第1の部分に前記ペン状態情報を含めると共に、前記第2の部分は推定された感情状態を示す情報を挿入するための空きスペースとして送信する
ことを特徴とする請求項1に記載の感情状態推定要求と返信情報とのやり取り方法。 - 前記要求側装置は、前記感情状態推定要求を、前記信号フォーマットの前記第1の部分に前記ペン状態情報を含めると共に、前記第2の部分には、無意味なデータを含めて送信する
ことを特徴とする請求項1に記載の感情状態推定要求と返信情報とのやり取り方法。 - 前記感情状態推定要求における前記信号フォーマットの前記第2の部分には、前記感情状態の推定要求を意味する情報が含まれている
ことを特徴とする請求項1に記載の感情状態推定要求と返信情報とのやり取り方法。 - 前記ペン状態情報には、前記電子ペンによる指示位置の情報と、前記電子ペンの筆圧情報、前記電子ペンの傾きの情報、前記電子ペンの高さ位置の情報、前記指示位置の情報の時間情報の内の少なくともいずれか一つを含む
ことを特徴とする請求項1に記載の感情状態推定要求と返信情報とのやり取り方法。 - 前記信号フォーマットは、電子ペンの識別情報を挿入するための部分を含む
ことを特徴とする請求項1に記載の感情状態推定要求と返信情報とのやり取り方法。 - 前記信号フォーマットは、前記要求側装置の識別情報を挿入するための部分を含む
ことを特徴とする請求項1に記載の感情状態推定要求と返信情報とのやり取り方法。 - 前記信号フォーマットは、前記電子ペンの使用者の前記感情状態を推定するために用いる前記電子ペンの使用者の生体情報を挿入するための部分を含む
ことを特徴とする請求項1に記載の感情状態推定要求と返信情報とのやり取り方法。 - 前記要求側装置は、前記電子ペンによる指示位置を検出する位置検出装置を備える電子機器である
ことを特徴とする請求項1に記載の感情状態推定要求と返信情報とのやり取り方法。 - 前記感情状態を示す情報は、予め分類分けされた感情の状態のいずれであるかを示す情報である
ことを特徴とする請求項1に記載の感情状態推定要求と返信情報とのやり取り方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022006809A JP7189382B2 (ja) | 2016-09-01 | 2022-01-20 | 感情推定装置、感情推定システム及び感情推定用情報格納部の構築装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016170574 | 2016-09-01 | ||
JP2016170574 | 2016-09-01 | ||
JP2016249336 | 2016-12-22 | ||
JP2016249336 | 2016-12-22 | ||
JP2019046885A JP6908648B2 (ja) | 2016-09-01 | 2019-03-14 | 座標入力処理装置、感情推定装置、感情推定システム及び感情推定用データベースの構築装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019046885A Division JP6908648B2 (ja) | 2016-09-01 | 2019-03-14 | 座標入力処理装置、感情推定装置、感情推定システム及び感情推定用データベースの構築装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022006809A Division JP7189382B2 (ja) | 2016-09-01 | 2022-01-20 | 感情推定装置、感情推定システム及び感情推定用情報格納部の構築装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021166751A JP2021166751A (ja) | 2021-10-21 |
JP7108752B2 true JP7108752B2 (ja) | 2022-07-28 |
Family
ID=61300612
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018537081A Active JP6499811B2 (ja) | 2016-09-01 | 2017-08-08 | 感情推定装置、感情推定システム及び感情推定用情報格納部の構築装置 |
JP2019046885A Active JP6908648B2 (ja) | 2016-09-01 | 2019-03-14 | 座標入力処理装置、感情推定装置、感情推定システム及び感情推定用データベースの構築装置 |
JP2021109792A Active JP7108752B2 (ja) | 2016-09-01 | 2021-07-01 | 感情状態推定要求と返信情報とのやり取り方法 |
JP2022006809A Active JP7189382B2 (ja) | 2016-09-01 | 2022-01-20 | 感情推定装置、感情推定システム及び感情推定用情報格納部の構築装置 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018537081A Active JP6499811B2 (ja) | 2016-09-01 | 2017-08-08 | 感情推定装置、感情推定システム及び感情推定用情報格納部の構築装置 |
JP2019046885A Active JP6908648B2 (ja) | 2016-09-01 | 2019-03-14 | 座標入力処理装置、感情推定装置、感情推定システム及び感情推定用データベースの構築装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022006809A Active JP7189382B2 (ja) | 2016-09-01 | 2022-01-20 | 感情推定装置、感情推定システム及び感情推定用情報格納部の構築装置 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11237647B2 (ja) |
EP (1) | EP3508948B1 (ja) |
JP (4) | JP6499811B2 (ja) |
CN (1) | CN109643160B (ja) |
TW (1) | TWI764906B (ja) |
WO (1) | WO2018043061A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI764906B (zh) * | 2016-09-01 | 2022-05-21 | 日商和冠股份有限公司 | 座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置 |
JP2019162207A (ja) * | 2018-03-19 | 2019-09-26 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
CN111989641A (zh) * | 2018-05-14 | 2020-11-24 | 株式会社和冠 | 学习支援系统 |
JP6627059B1 (ja) * | 2019-03-08 | 2020-01-08 | 株式会社ファーストアセント | コンテンツ提供システム |
WO2020196636A1 (ja) * | 2019-03-26 | 2020-10-01 | 株式会社ワコム | 家の記憶装置 |
WO2020208937A1 (ja) * | 2019-04-08 | 2020-10-15 | 株式会社ワコム | デジタルインクを管理するホームuiシステム |
JP7014757B2 (ja) | 2019-09-03 | 2022-02-01 | 株式会社ワコム | ペンの位置を導出し、導出したペンの位置を示すレポートをホストコンピュータに対して送信するデバイスにより実行される方法及びタッチコントローラ。 |
JPWO2022149443A1 (ja) * | 2021-01-05 | 2022-07-14 | ||
CN116963667A (zh) * | 2021-03-15 | 2023-10-27 | 三菱电机株式会社 | 情绪推测装置以及情绪推测方法 |
CN113610186A (zh) * | 2021-08-20 | 2021-11-05 | 湖州师范学院 | 一种数字化书写识别情绪状态的方法 |
WO2023238641A1 (ja) * | 2022-06-10 | 2023-12-14 | 株式会社ワコム | 位置検出装置、電磁誘導ペン、及び、位置検出システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005065252A (ja) | 2003-07-29 | 2005-03-10 | Fuji Photo Film Co Ltd | 携帯電話機 |
JP4937341B2 (ja) | 2006-04-04 | 2012-05-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 表現ペン |
JP2014094291A (ja) | 2012-11-09 | 2014-05-22 | Samsung Electronics Co Ltd | ユーザの心理状態判断装置及び方法 |
JP2014139759A (ja) | 2013-01-21 | 2014-07-31 | Toshiba Corp | 情報機器及び情報処理方法 |
JP2014158600A (ja) | 2013-02-20 | 2014-09-04 | Nippon Telegr & Teleph Corp <Ntt> | 集中状態推定システム、推定装置、筆記具、推定方法及びプログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001350904A (ja) | 2000-06-07 | 2001-12-21 | Canon Inc | 電子機器及び営業用電子機器システム |
US6855112B2 (en) * | 2000-07-14 | 2005-02-15 | The University Of Hong Kong | Method of and system for health treatment |
JP3914421B2 (ja) | 2000-12-13 | 2007-05-16 | 株式会社ワコム | ペン型座標指示器 |
JP2002230485A (ja) * | 2001-02-01 | 2002-08-16 | Canon Inc | 文字認識装置、携帯端末装置、および関連する方法、記録媒体、並びにプログラム |
JP2003216294A (ja) | 2002-01-25 | 2003-07-31 | Victor Co Of Japan Ltd | ユーザインタフェース装置 |
JP3953024B2 (ja) * | 2003-11-20 | 2007-08-01 | ソニー株式会社 | 感情算出装置及び感情算出方法、並びに携帯型通信装置 |
GB2413425B (en) * | 2004-04-23 | 2008-04-09 | Hewlett Packard Development Co | Biometric analysis system, methods, apparatus and software using biometric analysis |
JP4876718B2 (ja) * | 2006-05-31 | 2012-02-15 | カシオ計算機株式会社 | 電子ペーパー記録装置 |
JP5302193B2 (ja) * | 2007-06-27 | 2013-10-02 | パナソニック株式会社 | ヒト状態推定装置およびその方法 |
JP2010131328A (ja) | 2008-12-08 | 2010-06-17 | Tokyo Univ Of Agriculture & Technology | 嗜好判別装置、嗜好判別方法、嗜好判別プログラム、及び脳波解析方法 |
JP5534419B2 (ja) | 2010-03-09 | 2014-07-02 | 株式会社ワコム | 位置指示器、可変容量コンデンサ及び入力装置 |
JP5486977B2 (ja) * | 2010-03-24 | 2014-05-07 | 株式会社日立ソリューションズ | 座標入力装置及びプログラム |
TWI470564B (zh) * | 2012-02-21 | 2015-01-21 | Wistron Corp | 使用者情緒偵測方法與應用其之手寫輸入電子裝置 |
CN103926997A (zh) * | 2013-01-11 | 2014-07-16 | 北京三星通信技术研究有限公司 | 一种基于用户的输入确定情绪信息的方法和终端 |
US9141588B2 (en) * | 2013-01-28 | 2015-09-22 | Empire Technology Development Llc | Communication using handwritten input |
JP2015109964A (ja) | 2013-11-11 | 2015-06-18 | 株式会社電通サイエンスジャム | 感情推定装置、感情推定処理システム、感情推定方法および感情推定プログラム |
JP6255935B2 (ja) * | 2013-11-21 | 2018-01-10 | 大日本印刷株式会社 | 筆跡再生装置及びプログラム |
CN105934734B (zh) * | 2014-01-22 | 2020-11-20 | 株式会社和冠 | 位置指示器、位置检测装置、位置检测电路以及位置检测方法 |
US10324547B2 (en) * | 2015-12-31 | 2019-06-18 | Lg Display Co., Ltd. | Active stylus pen, touch sensing system and driving method thereof |
TWI764906B (zh) * | 2016-09-01 | 2022-05-21 | 日商和冠股份有限公司 | 座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置 |
-
2017
- 2017-06-13 TW TW106119667A patent/TWI764906B/zh active
- 2017-08-08 CN CN201780050733.8A patent/CN109643160B/zh active Active
- 2017-08-08 JP JP2018537081A patent/JP6499811B2/ja active Active
- 2017-08-08 EP EP17846070.5A patent/EP3508948B1/en active Active
- 2017-08-08 WO PCT/JP2017/028676 patent/WO2018043061A1/ja unknown
-
2019
- 2019-02-25 US US16/284,867 patent/US11237647B2/en active Active
- 2019-03-14 JP JP2019046885A patent/JP6908648B2/ja active Active
-
2021
- 2021-07-01 JP JP2021109792A patent/JP7108752B2/ja active Active
- 2021-12-20 US US17/556,898 patent/US11625110B2/en active Active
-
2022
- 2022-01-20 JP JP2022006809A patent/JP7189382B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005065252A (ja) | 2003-07-29 | 2005-03-10 | Fuji Photo Film Co Ltd | 携帯電話機 |
JP4937341B2 (ja) | 2006-04-04 | 2012-05-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 表現ペン |
JP2014094291A (ja) | 2012-11-09 | 2014-05-22 | Samsung Electronics Co Ltd | ユーザの心理状態判断装置及び方法 |
JP2014139759A (ja) | 2013-01-21 | 2014-07-31 | Toshiba Corp | 情報機器及び情報処理方法 |
JP2014158600A (ja) | 2013-02-20 | 2014-09-04 | Nippon Telegr & Teleph Corp <Ntt> | 集中状態推定システム、推定装置、筆記具、推定方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20190187823A1 (en) | 2019-06-20 |
CN109643160A (zh) | 2019-04-16 |
US11237647B2 (en) | 2022-02-01 |
JP2021166751A (ja) | 2021-10-21 |
JP7189382B2 (ja) | 2022-12-13 |
CN109643160B (zh) | 2023-03-17 |
JP6908648B2 (ja) | 2021-07-28 |
US11625110B2 (en) | 2023-04-11 |
JP2019136513A (ja) | 2019-08-22 |
EP3508948B1 (en) | 2022-11-16 |
EP3508948A4 (en) | 2019-08-21 |
TWI764906B (zh) | 2022-05-21 |
JP6499811B2 (ja) | 2019-04-10 |
JPWO2018043061A1 (ja) | 2019-06-24 |
EP3508948A1 (en) | 2019-07-10 |
JP2022048219A (ja) | 2022-03-25 |
TW201812537A (zh) | 2018-04-01 |
US20220113816A1 (en) | 2022-04-14 |
WO2018043061A1 (ja) | 2018-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7108752B2 (ja) | 感情状態推定要求と返信情報とのやり取り方法 | |
US11550400B2 (en) | Methods and systems for monitoring and influencing gesture-based behaviors | |
US20170031449A1 (en) | Wearable device | |
JP2022078168A (ja) | バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム | |
Cernea et al. | A survey of technologies on the rise for emotion-enhanced interaction | |
JP2016146173A (ja) | 刺激提示システム、刺激提示方法、コンピュータ、および制御方法 | |
CN109890289A (zh) | 情绪估计设备、方法和程序 | |
CN104027103A (zh) | 生物体信息检测装置以及脉搏计 | |
CN107548500A (zh) | 基于用户例程模型的事件异常 | |
JP2016097228A (ja) | 行動分類システム、行動分類装置及び行動分類方法 | |
US11687849B2 (en) | Information processing apparatus, information processing method, and program | |
JP2019030557A (ja) | 提示装置、提示方法、感情推定サーバ、感情推定方法及び感情推定システム | |
CN110366388A (zh) | 信息处理方法、信息处理装置以及程序 | |
JP6621133B2 (ja) | 情報処理方法、情報処理装置及びプログラム | |
EP3602343B1 (en) | Media content tracking | |
WO2020246198A1 (ja) | 操作者状態判断システム | |
KR101616956B1 (ko) | 피로도 및 스트레스 측정 시스템 | |
WO2023228931A1 (ja) | 情報処理システム、情報処理装置、情報処理方法及びプログラム | |
US20210133653A1 (en) | Information processing apparatus and non-transitory computer readable medium | |
JP2019128736A (ja) | 情報処理装置及びプログラム | |
CN115645886A (zh) | 健身运动检测方法、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220715 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7108752 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |