JP7386438B2 - 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム - Google Patents
生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム Download PDFInfo
- Publication number
- JP7386438B2 JP7386438B2 JP2019182724A JP2019182724A JP7386438B2 JP 7386438 B2 JP7386438 B2 JP 7386438B2 JP 2019182724 A JP2019182724 A JP 2019182724A JP 2019182724 A JP2019182724 A JP 2019182724A JP 7386438 B2 JP7386438 B2 JP 7386438B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- subject
- image sensor
- user
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 60
- 238000012545 processing Methods 0.000 claims description 168
- 230000008859 change Effects 0.000 claims description 72
- 230000000638 stimulation Effects 0.000 claims description 60
- 230000002123 temporal effect Effects 0.000 claims description 45
- 210000001747 pupil Anatomy 0.000 claims description 25
- 238000009826 distribution Methods 0.000 claims description 24
- 210000003128 head Anatomy 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 22
- 238000009825 accumulation Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000007423 decrease Effects 0.000 claims description 12
- 206010041349 Somnolence Diseases 0.000 claims description 11
- 230000008921 facial expression Effects 0.000 claims description 10
- 208000032140 Sleepiness Diseases 0.000 claims description 9
- 230000001678 irradiating effect Effects 0.000 claims description 9
- 230000037321 sleepiness Effects 0.000 claims description 9
- 239000000306 component Substances 0.000 description 196
- 238000009792 diffusion process Methods 0.000 description 68
- 238000007667 floating Methods 0.000 description 66
- 230000003727 cerebral blood flow Effects 0.000 description 65
- 238000010586 diagram Methods 0.000 description 38
- 230000008569 process Effects 0.000 description 37
- 230000003287 optical effect Effects 0.000 description 35
- 102000001554 Hemoglobins Human genes 0.000 description 24
- 108010054147 Hemoglobins Proteins 0.000 description 24
- 230000007177 brain activity Effects 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 16
- 238000005259 measurement Methods 0.000 description 16
- 239000008280 blood Substances 0.000 description 14
- 210000004369 blood Anatomy 0.000 description 14
- 230000002829 reductive effect Effects 0.000 description 14
- 230000001815 facial effect Effects 0.000 description 12
- 210000004027 cell Anatomy 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 210000004556 brain Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 238000004497 NIR spectroscopy Methods 0.000 description 6
- 238000002835 absorbance Methods 0.000 description 6
- 230000017531 blood circulation Effects 0.000 description 6
- 230000002490 cerebral effect Effects 0.000 description 6
- 230000000630 rising effect Effects 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000001061 forehead Anatomy 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 230000004397 blinking Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 210000001652 frontal lobe Anatomy 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000036651 mood Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 210000003491 skin Anatomy 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000006757 chemical reactions by type Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 210000002615 epidermis Anatomy 0.000 description 2
- 210000005153 frontal cortex Anatomy 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 210000002442 prefrontal cortex Anatomy 0.000 description 2
- 230000009257 reactivity Effects 0.000 description 2
- 238000001028 reflection method Methods 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010012110 Defaecation urgency Diseases 0.000 description 1
- 101000694017 Homo sapiens Sodium channel protein type 5 subunit alpha Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 239000012503 blood component Substances 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000006998 cognitive state Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 235000019441 ethanol Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001339 gustatory effect Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000035987 intoxication Effects 0.000 description 1
- 231100000566 intoxication Toxicity 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002450 orbitofrontal effect Effects 0.000 description 1
- 230000036407 pain Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 238000000985 reflectance spectrum Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000002485 urinary effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
- A61B5/14553—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Description
第1の項目に係る生体計測装置は、対象者の頭部を含む対象部に照射される光パルスを出射する光源と、
前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受け、前記画像データ顔の外観を示す第1の画像データ、および前記反射光パルスの一部の成分の光量分布に応じた第2の画像データを出力するイメージセンサと、
前記光源および前記イメージセンサを制御する制御回路と、
信号処理回路と、
を備える。
前記光源に、前記光パルスを繰り返し出射させ、
前記イメージセンサに、前記第1の画像データを出力させ、
前記イメージセンサに、前記第2の画像データを出力させ、
前記信号処理回路は、前記第1の画像データの経時変化および前記第2の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力する。
第1の項目に係る生体計測装置において、前記制御回路は、前記イメージセンサに、前記反射光パルスの強度が減少を開始してから減少が終了するまでの期間である立ち下がり期間の開始後であって、前記立ち下がり期間の少なくとも一部を含む期間における前記反射光パルスの成分を検出させることによって前記第2の画像データを生成させてもよい。
第2の項目に係る生体計測装置において、前記制御回路は、前記イメージセンサに、前記反射光パルスの前記立ち下がり期間の開始前の少なくとも一部の期間を含む期間における前記反射光パルスの成分を検出させることによって前記第1の画像データを生成させてもよい。
第1から第3の項目のいずれかに係る生体計測装置において、前記第1の画像データの解像度と前記第2の画像データの解像度とが異なっていてもよい。
第1から第4の項目のいずれかに係る生体計測装置において、前記第1の画像データの解像度は、前記第2の画像データの解像度よりも高くてもよい。
第1から第3の項目のいずれかに係る生体計測装置において、
前記信号処理回路は、前記第1の画像データが示す画像の少なくとも一部の解像度、および前記第2の画像データが示す画像の少なくとも一部の解像度からなる群から選択される少なくとも1つを変化させる処理をさらに行い、
前記信号処理回路は、前記処理を行った後の前記第1の画像データの前記経時変化および前記第2の画像データの前記経時変化に基づき、前記対象者の状態を示す前記データを生成してもよい。
第1から第6の項目のいずれかに係る生体計測装置において、
前記イメージセンサは前記第1の画像データを第1のフレームレートで出力し、
前記イメージセンサは前記第2の画像データを第2のフレームレートで出力し、
前記第1のフレームレートと前記第2のフレームレートとが異なっていてもよい。
第1から第7の項目のいずれかに係る生体計測装置において、
前記イメージセンサは前記第1の画像データを第1のフレームレートで出力し、
前記イメージセンサは前記第2の画像データを第2のフレームレートで出力し、
前記第1のフレームレートは、前記第2のフレームレートよりも高くてもよい。
第1から第8の項目のいずれかに係る生体計測装置において、
前記イメージセンサは、2次元に配列された複数の光検出セルを含み、
前記複数の光検出セルの各々は、光電変換素子と、第1の電荷蓄積部と、第2の電荷蓄積部とを含み、
前記制御回路は、
前記第1の電荷蓄積部に、前記第1の画像データの元となる第1の電荷を蓄積させ、
前記第2の電荷蓄積部に、前記第2の画像データの元となる第2の電荷を蓄積させてもよい。
第1から第9の項目のいずれかに係る生体計測装置において、
前記信号処理回路は、
前記第1の画像データの前記経時変化に基づき、前記対象者の視線、前記対象者の瞳孔の大きさ、前記対象者の瞬きの頻度、前記対象者の瞬きの時間間隔、および前記対象者の表情からなる群から選択される少なくとも1つを示す外観情報の経時変化を検出し、
前記外観情報の前記経時変化と、前記第2の画像データの前記経時変化とに基づいて、前記対象者の状態を示す前記データを生成してもよい。
第1から第10の項目のいずれかに係る生体計測装置において、
前記制御回路は、前記対象者に刺激が与えられている状態で、前記光源に前記光パルスを出射させ、前記イメージセンサに前記第1の画像データおよび前記第2の画像データを生成させ、
前記対象者の状態を示す前記データは、前記対象者の前記刺激に対する興味、前記対象者の快感、前記対象者の眠気、および前記対象者の集中からなる群から選択される少なくとも1つの状態を示していてもよい。
第1から第11の項目のいずれかに係る生体計測装置において、前記信号処理回路は、前記対象者の状態を示す前記データを、情報機器を介して前記対象者に提示してもよい。
第13の項目に係る生体計測方法は、
光源に、対象者の頭部を含む対象部に照射される光パルスを繰り返し出射させることと、
イメージセンサに、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受けさせることと、
前記イメージセンサに、前記対象者の顔の外観を示す第1の画像データを出力させることと、
前記イメージセンサに、前記反射光パルスの一部の成分の光量分布に応じた第2の画像データを出力させることと、
前記第1の画像データの経時変化および前記第2の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力することと、
を含む。
第14の項目に係るコンピュータ読み取り可能な記録媒体は、
対象者の状態を計測するためのプログラムを格納したコンピュータ読み取り可能な記録媒体であって、
前記プログラムが前記コンピュータに実行されるときに、
光源に、前記対象者の頭部を含む対象部に照射される光パルスを繰り返し出射させることと、
イメージセンサに、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受けさせることと、
前記イメージセンサに、前記対象者の顔の外観を示す第1の画像データを出力させることと、
前記イメージセンサに、前記反射光パルスの一部の成分の光量分布に応じた第2の画像データを出力させることと、
前記第1の画像データの経時変化および前記第2の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力することと、
が実行される。
第15の項目に係るプログラムは、
光源に、対象者の頭部を含む対象部に照射される光パルスを繰り返し出射させることと、
イメージセンサに、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受けさせることと、
前記イメージセンサに、前記対象者の顔の外観を示す第1の画像データを出力させることと、
前記イメージセンサに、前記反射光パルスの一部の成分の光量分布に応じた第2の画像データを出力させることと、
前記第1の画像データの経時変化および前記第2の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力することと、
をコンピュータに実行させる。
ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは1つまたは複数のROM、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置(processor)によって実行されたときに、そのソフトウェアで特定された機能が処理装置および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている1つまたは複数の非一時的記録媒体、処理装置、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
(1)光源20に、光パルスを繰り返し出射させる。
(2)イメージセンサ30に、対象者の顔の外観を示す第1の画像データを出力させる。
(3)イメージセンサ30に、反射光パルスの一部の成分の光量分布に応じた第2の画像データを出力させる。
(a)光パルスを出射させる。
(b)複数の光検出セルのうちの少なくとも一部の光検出セルにおける第1の電荷蓄積部に、反射光パルスの立ち下がり期間の開始前の少なくとも一部の期間を含む期間における反射光パルスの成分が光電変換素子に入射することによって生じた第1の電荷を蓄積させる。
(c)上記少なくとも一部の光検出セルにおける第2の電荷蓄積部に、反射光パルスの立ち下がり期間の開始後であって、立ち下がり期間の少なくとも一部を含む期間における反射光パルスの成分が光電変換素子に入射することによって生じた第2の電荷を蓄積させる。
(d)イメージセンサに、上記少なくとも一部の光検出セルにおける第1の電荷蓄積部に蓄積された第1の電荷に基づいて第1の画像データを生成させる。
(e)イメージセンサに、上記少なくとも一部の光検出セルにおける第2の電荷蓄積部に蓄積された第2の電荷に基づいて第2の画像データを生成させる。
[1.生体計測システム]
図1Bは、本開示の例示的な実施形態に係る生体計測システムを示す模式図である。生体計測システムは、生体計測装置100と、サーバ200とを備える。生体計測装置100は、刺激装置10と、光源20と、イメージセンサ30と、制御回路60と、信号処理回路70と、通信回路80と、記録媒体90とを備える。サーバ200は、生体計測装置100とは異なる場所に配置されたコンピュータである。サーバ200は、例えば、ローカルエリアネットワーク(LAN)またはインターネットなどのネットワークを介して、生体計測装置100に接続され得る。
刺激装置10は、ユーザに刺激を付与する。刺激装置10は、複数のユーザに刺激を付与するように構成されていてもよい。刺激装置10から付与される刺激は、ユーザの生体反応を引き起こす。刺激装置10は、ユーザの生体反応に基づいて決定されたコンテンツなどの情報をユーザまたはユーザ以外の人に提示してもよい。図1Bの例では、生体計測装置100が刺激装置10を備えるが、刺激装置10の一部または全体が、生体計測装置100の外部に設けられていてもよい。
光源20は、ユーザの頭部、例えば額を含む対象部に光を照射する。光源20から出射されてユーザに到達した光は、ユーザの表面で反射される表面反射成分I1と、ユーザの内部で散乱される内部散乱成分I2とに分かれる。内部散乱成分I2は、生体内部で1回反射もしくは散乱、または多重散乱する成分である。ユーザの頭部に向けて光を出射する場合、内部散乱成分I2は、ユーザの頭部の表面から奥に8mmから16mmほどの部位、例えば脳に到達し、再び生体計測装置100に戻る成分を指す。表面反射成分I1は、直接反射成分、拡散反射成分、および散乱反射成分の3つの成分を含む。直接反射成分は、入射角と反射角とが等しい反射成分である。拡散反射成分は、表面の凹凸形状によって拡散して反射する成分である。散乱反射成分は、表面近傍の内部組織によって散乱して反射する成分である。ユーザの頭部に向けて光を出射する場合、散乱反射成分は、表皮内部で散乱して反射する成分である。ユーザの表面で反射する表面反射成分I1は、これら3つの成分を含み得る。表面反射成分I1および内部散乱成分I2は、反射または散乱によって進行方向が変化し、その一部がイメージセンサ30に到達する。
イメージセンサ30は、ユーザの頭部から戻った反射光パルスの少なくとも一部を画素ごとに検出する。イメージセンサ30は、検出した光の強度に応じた複数の信号を画素ごとに出力する。複数の信号は、反射光パルスのうち、立ち上り期間の少なくとも一部に含まれる強度に応じた信号と、立ち下がり期間の少なくとも一部に含まれる強度に応じた信号とを含む。
制御回路60は、光源20の光パルスの出射タイミングと、イメージセンサ30のシャッタタイミングとの時間差を調整する。本明細書では、当該時間差を「位相差」と称することがある。光源20の「出射タイミング」とは、光源20から出射される光パルスが立ち上がりを開始するタイミングである。「シャッタタイミング」とは、露光を開始するタイミングである。制御回路60は、出射タイミングを変化させて位相差を調整してもよいし、シャッタタイミングを変化させて位相差を調整してもよい。
本実施形態における生体計測装置100は、外部のサーバ200と連携して使用され得る。サーバ200は、映像もしくは音声などのコンテンツ、ゲーム、テスト、または課題のデータを蓄積する記憶装置を備える。サーバ200は、生体計測装置100の通信回路80と通信する通信回路も備える。サーバ200は、ユーザに提供され得る動画またはアプリケーションなどのデータに加えて、信号処理回路70によって生成された動画像データおよび脳活動の診断データも蓄積する。サーバ200の一部または全ての機能が生体計測装置100に内蔵されていてもよい。逆に、生体計測装置100における信号処理回路70の一部の機能をサーバ200が行ってもよい。
生体計測装置100は、ユーザの2次元像をイメージセンサ30の受光面上に形成する結像光学系を備えてもよい。結像光学系の光軸は、イメージセンサ30の受光面に対して略直交する。結像光学系は、ズームレンズを含んでいてもよい。ズームレンズの位置が変化するとユーザの2次元像の拡大率が変更し、イメージセンサ30上の2次元像の解像度が変化する。したがって、ユーザまでの距離が遠くても測定したい領域を拡大して詳細に観察することが可能となる。
本実施形態における生体計測装置100は、前述のように、対象部に照射された光の表面反射成分I1と内部散乱成分I2とを区別して検出することができる。このような撮像を、本明細書では「時間分解撮像」と称する。
次に、ユーザの脳血流量の変化を検出する方法の例を説明する。
次に、上記の生体計測装置100を用いてユーザの状態を推定する方法の例を説明する。生体計測装置100は、例えば映像または音声のコンテンツを、インターネットなどのネットワークを介して提供するシステムにおいて用いられ得る。そのようなシステムは、例えば、事業者が運営するサーバと、ユーザが保有するパーソナルコンピュータ(PC)、スマートフォン、またはタブレットなどの各種のコンピュータとを含み得る。図1Bに示すサーバ200は、そのようなシステムにおけるサーバであってもよい。
一例として、ユーザの興味を判定する方法の例を説明する。この例では、ユーザは、ディスプレイに表示された映像のコンテンツを視聴しており、その間に、前述の方法により、ユーザの顔の外観を示す画像データと、ユーザの脳血流の状態を示す画像データとが繰り返し生成される。この例では、図4Aから図5を参照して説明したように、2波長の光を用いて、各波長の光による表面反射成分I1および内部散乱成分I2に基づく合計4種類の画像データが、フレームごとに生成される。以下、表面反射成分I1に基づく2種類の画像データを「第1の画像データ」と呼び、内部散乱成分I2に基づく2種類の画像データを「第2の画像データ」と呼ぶ。信号処理回路70は、第1の画像データの経時変化に基づき、ユーザの視線の変化を検出し、第2の画像データに基づき、ユーザの脳活動の変化を検出する。信号処理回路70は、それらの検出結果に基づき、ユーザの興味度が高いタイミングと、そのときにユーザが注視している箇所を特定する。これにより、ユーザが視聴しているコンテンツの中で、どの部分にユーザが強い興味を抱いているかを推定することができる。
次に、ユーザの興味の判定後の処理の例を説明する。
次に、ユーザの興味対象に応じて、ユーザに提示するコンテンツを変更する処理の例を説明する。
上記の実施形態は一例に過ぎず、各種の変更を行ってもよい。以下、前述した構成および動作の例とは異なる点を中心に説明し、共通する部分の説明は省略する。
例えば、イメージセンサ30から出力された信号に基づき、ユーザの瞳孔径を検出しても良い。脳が必死に稼働しようとすると自律神経系の働きで瞳孔径が拡張され、そうでないときは縮小する。ユーザの瞳孔径の情報は、瞳認識技術を搭載した信号処理回路70によって取得され得る。信号処理回路70は、検出した瞳孔径と、図12Aに示すステップS204で生成した脳血流の変化を示す情報とを基に、学習中のユーザの理解度を判定することもできる。例えば、生体計測装置100は、外国語のレッスン中のユーザの瞳孔径と脳血流変化を検出することで、会話についていっているのかを判定することができる。瞳孔径が小さくなり脳血流変化が検出されない場合は、ユーザが頷いていても内容を理解していない可能性がある。その場合には、その旨を講師に知らせるシステムを構築することができる。あるいは、生体計測装置100が搭載された情報発信端末またはAIロボットが、イメージセンサ30によって取得された画像データから検出されたユーザの瞳孔径と脳血流変化の情報に基づきユーザの理解度を読み取ってもよい。読み取った理解度に応じて、ユーザに提示する情報または会話の内容を臨機応変に変更するヒューマンマシーンインターフェースに本開示の技術を応用することができる。ユーザの瞳孔径が大きくなった場合には、ユーザが理解に窮している可能性がある。その場合には、情報の提供または会話を繰り返したり遅くしたりしてもよい。
生体計測装置100をヘッドマウントディスプレイまたはスマートフォンなどのデバイスに組み込んでもよい。
・ユーザが興味を抱いているディスプレイ上の位置を強調表示する。
・当該位置の付近の解像度を上げる。
・当該位置にポインタまたはカーソルを表示する。
・興味のあるオブジェクトを特定し、そのオブジェクトの詳細情報を表示する。なお、オブジェクトは、実物でも仮想的なのもでもよい。
・興味のあるオブジェクトの情報を情報発信元にフィードバックする。例えば、サーバにフィードバックした内容を示すデータを記録する。
・ユーザ情報と結びつけてサーバに興味情報を記録する。
・ユーザが長時間余所見をしている場合にスマートフォンの電源をOFFまたはスリープ状態にする。
・休憩を促すメッセージを表示する。
・リラックス効果のある画像を表示する。
・使用者の疲労度、作業負荷、作業の難易度、または作業の習熟度をモニタする。
・ディスプレイの照度を下げる。
・アプリケーションまたはゲームに対する使用者の習熟度をモニタする。
・スマートフォンの電源をOFFまたはONする。
・ヘッドマウント装置の電源をOFFまたはONにする。
・リフレッシュを促すメッセージを表示する。
・覚醒効果のある画像を表示する。
・表示するコンテンツを選択する。
・対象外の使用者の場合、装置を起動しない。
・使用時間の上限を設け疲労蓄積を抑制する。
生体計測装置100を車両に搭載して利用することもできる。図20は、車両に搭載された生体計測装置100をユーザが利用している状況を模式的に示す図である。
・車両を停止させる。
・ハザードランプまたはバスの青ランプを点滅させる。
・バスの電光掲示板を「緊急事態発生」と切り替える。
・自動運転に切り換えて車を安全に停止させる。
・休憩または注意を促す音声メッセージを発する。
・最高速度にリミットをかける。
・エンジンを動作させない。
さらに、介護または入院時のベッド上に生体計測装置100を設置して利用してもよい。図21は、対象者すなわち患者が生体計測装置100をベッド上で利用する例を示している。
20 光源
30 イメージセンサ
60 制御回路
70 信号処理回路
80 通信回路
90 記録媒体
100 生体計測装置
200 サーバ
Claims (14)
- 対象者の頭部を含む対象部に照射される光パルスを繰り返し出射する光源と、
前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受け、前記対象者の顔の外観を示す第1の画像データ、および前記反射光パルスの一部の成分の光量分布に応じた第2の画像データを出力するイメージセンサと、
信号処理回路と、
を備え、
前記信号処理回路は、
前記第1の画像データの経時変化に基づき、前記対象者の視線、前記対象者の瞳孔の大きさ、前記対象者の瞬きの頻度、前記対象者の瞬きの時間間隔、および前記対象者の表情からなる群から選択される少なくとも1つを示す外観情報の経時変化を検出し、
前記外観情報の前記経時変化および前記第2の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力する、
生体計測装置。 - 前記イメージセンサは、前記反射光パルスの強度が減少を開始してから減少が終了するまでの期間である立ち下がり期間の開始後であって、前記立ち下がり期間の少なくとも一部を含む期間における前記反射光パルスの成分を検出することによって前記第2の画像データを生成する、
請求項1に記載の生体計測装置。 - 前記イメージセンサは、前記反射光パルスの前記立ち下がり期間の開始前の少なくとも一部の期間を含む期間における前記反射光パルスの成分を検出することによって前記第1の画像データを生成する、
請求項2に記載の生体計測装置。 - 前記第1の画像データの解像度と前記第2の画像データの解像度とが異なる、
請求項1から3のいずれかに記載の生体計測装置。 - 前記第1の画像データの解像度は、前記第2の画像データの解像度よりも高い、
請求項1から4のいずれかに記載の生体計測装置。 - 前記信号処理回路は、前記第1の画像データが示す画像の少なくとも一部の解像度、および前記第2の画像データが示す画像の少なくとも一部の解像度からなる群から選択される少なくとも1つを変化させる処理をさらに行い、
前記信号処理回路は、前記処理を行った後の前記第1の画像データの前記経時変化および前記第2の画像データの前記経時変化に基づき、前記対象者の状態を示す前記データを生成する、
請求項1から3のいずれかに記載の生体計測装置。 - 前記イメージセンサは前記第1の画像データを第1のフレームレートで出力し、
前記イメージセンサは前記第2の画像データを第2のフレームレートで出力し、
前記第1のフレームレートと前記第2のフレームレートとが異なる、
請求項1から6のいずれかに記載の生体計測装置。 - 前記イメージセンサは前記第1の画像データを第1のフレームレートで出力し、
前記イメージセンサは前記第2の画像データを第2のフレームレートで出力し、
前記第1のフレームレートは、前記第2のフレームレートよりも高い、
請求項1から7のいずれかに記載の生体計測装置。 - 前記イメージセンサは、2次元に配列された複数の光検出セルを含み、
前記複数の光検出セルの各々は、光電変換素子と、第1の電荷蓄積部と、第2の電荷蓄積部とを含み、
前記第1の電荷蓄積部は、前記第1の画像データの元となる第1の電荷を蓄積し、
前記第2の電荷蓄積部は、前記第2の画像データの元となる第2の電荷を蓄積する、
請求項1から8のいずれかに記載の生体計測装置。 - 前記対象者に刺激が与えられている状態で、前記光源は前記光パルスを出射し、前記イメージセンサは前記第1の画像データおよび前記第2の画像データを生成し、
前記対象者の状態を示す前記データは、前記対象者の前記刺激に対する興味、前記対象者の快感、前記対象者の眠気、および前記対象者の集中からなる群から選択される少なくとも1つの状態を示す、
請求項1から9のいずれかに記載の生体計測装置。 - 前記信号処理回路は、前記対象者の状態を示す前記データを、情報機器を介して前記対象者に提示する、
請求項1から10のいずれかに記載の生体計測装置。 - 光源に、対象者の頭部を含む対象部に照射される光パルスを繰り返し出射させることと、
イメージセンサに、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受けさせることと、
前記イメージセンサに、前記対象者の顔の外観を示す第1の画像データを出力させることと、
前記イメージセンサに、前記反射光パルスの一部の成分の光量分布に応じた第2の画像データを出力させることと、
前記第1の画像データの経時変化に基づき、前記対象者の視線、前記対象者の瞳孔の大きさ、前記対象者の瞬きの頻度、前記対象者の瞬きの時間間隔、および前記対象者の表情からなる群から選択される少なくとも1つを示す外観情報の経時変化を検出することと、
前記外観情報の前記経時変化および前記第2の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力することと、
を含む、
生体計測方法。 - 対象者の状態を計測するためのプログラムを格納したコンピュータ読み取り可能な記録媒体であって、
前記プログラムが前記コンピュータに実行されるときに、
光源に、前記対象者の頭部を含む対象部に照射される光パルスを繰り返し出射させることと、
イメージセンサに、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受けさせることと、
前記イメージセンサに、前記対象者の顔の外観を示す第1の画像データを出力させることと、
前記イメージセンサに、前記反射光パルスの一部の成分の光量分布に応じた第2の画像データを出力させることと、
前記第1の画像データの経時変化に基づき、前記対象者の視線、前記対象者の瞳孔の大きさ、前記対象者の瞬きの頻度、前記対象者の瞬きの時間間隔、および前記対象者の表情からなる群から選択される少なくとも1つを示す外観情報の経時変化を検出することと、
前記外観情報の前記経時変化および前記第2の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力することと、
が実行される、
コンピュータ読み取り可能な記録媒体。 - 光源に、対象者の頭部を含む対象部に照射される光パルスを繰り返し出射させることと、
イメージセンサに、前記対象部に前記光パルスが照射されることによって生じた反射光パルスを受けさせることと、
前記イメージセンサに、前記対象者の顔の外観を示す第1の画像データを出力させることと、
前記イメージセンサに、前記反射光パルスの一部の成分の光量分布に応じた第2の画像データを出力させることと、
前記第1の画像データの経時変化に基づき、前記対象者の視線、前記対象者の瞳孔の大きさ、前記対象者の瞬きの頻度、前記対象者の瞬きの時間間隔、および前記対象者の表情からなる群から選択される少なくとも1つを示す外観情報の経時変化を検出することと、
前記外観情報の前記経時変化および前記第2の画像データの経時変化に基づき、前記対象者の状態を示すデータを生成して出力することと、
をコンピュータに実行させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/042905 WO2020129426A1 (ja) | 2018-12-20 | 2019-10-31 | 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム |
CN201980034433.XA CN112188867A (zh) | 2018-12-20 | 2019-10-31 | 生物体计测装置、生物体计测方法、计算机可读取的记录介质及程序 |
US17/316,760 US20210259565A1 (en) | 2018-12-20 | 2021-05-11 | Biometric apparatus, biometric method, and non-transitory computer-readable storage medium |
JP2023187734A JP2024016142A (ja) | 2018-12-20 | 2023-11-01 | コンピュータにおける情報処理方法および生体計測システム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018238349 | 2018-12-20 | ||
JP2018238349 | 2018-12-20 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023187734A Division JP2024016142A (ja) | 2018-12-20 | 2023-11-01 | コンピュータにおける情報処理方法および生体計測システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020099670A JP2020099670A (ja) | 2020-07-02 |
JP7386438B2 true JP7386438B2 (ja) | 2023-11-27 |
Family
ID=71140381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019182724A Active JP7386438B2 (ja) | 2018-12-20 | 2019-10-03 | 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210259565A1 (ja) |
JP (1) | JP7386438B2 (ja) |
CN (1) | CN112188867A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2019230306A1 (ja) * | 2018-05-30 | 2021-07-15 | パナソニックIpマネジメント株式会社 | 識別装置および識別方法 |
JP7382261B2 (ja) * | 2020-03-19 | 2023-11-16 | 株式会社日立製作所 | 情報処理装置及び方法 |
CN116600706A (zh) * | 2020-12-25 | 2023-08-15 | 松下知识产权经营株式会社 | 生物体计测装置、生物体计测方法及计算机程序 |
WO2022200936A1 (ja) * | 2021-03-25 | 2022-09-29 | 株式会社半導体エネルギー研究所 | 電子機器および表示システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012150657A1 (ja) | 2011-05-02 | 2012-11-08 | パナソニック株式会社 | 集中有無推定装置及びコンテンツ評価装置 |
JP2012234405A (ja) | 2011-05-02 | 2012-11-29 | Panasonic Corp | コンテンツ評価装置、方法、及びそのプログラム |
JP2013258555A (ja) | 2012-06-12 | 2013-12-26 | Sony Computer Entertainment Inc | ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法 |
WO2014054293A1 (ja) | 2012-10-05 | 2014-04-10 | パナソニック株式会社 | 眠気推定装置、眠気推定方法、コンピュータ読み取り可能な非一時的な記録媒体 |
JP2018096988A (ja) | 2016-12-15 | 2018-06-21 | パナソニックIpマネジメント株式会社 | 撮像装置 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2921936B2 (ja) * | 1990-07-13 | 1999-07-19 | 株式会社東芝 | 画像監視装置 |
US5198977A (en) * | 1990-11-27 | 1993-03-30 | Jesse Salb | System and method for localization of functional activity in the human brain |
JP5149015B2 (ja) * | 2004-12-28 | 2013-02-20 | ハイパーメツド・イメージング・インコーポレイテツド | 全身生理機能およびショックの決定、評価および監視におけるハイパースペクトル/マルチスペクトルイメージング |
GB2422660C (en) * | 2005-01-27 | 2018-04-25 | H Icheck Ltd | Improved device for monitoring body functions |
JP5023663B2 (ja) * | 2006-11-07 | 2012-09-12 | ソニー株式会社 | 撮像装置、撮像方法 |
JP2008284165A (ja) * | 2007-05-17 | 2008-11-27 | Auto Network Gijutsu Kenkyusho:Kk | 生体情報取得装置 |
JP2009101057A (ja) * | 2007-10-25 | 2009-05-14 | Sony Corp | 生体情報処理装置、生体情報処理方法及びプログラム |
JP5505761B2 (ja) * | 2008-06-18 | 2014-05-28 | 株式会社リコー | 撮像装置 |
ITGE20090070A1 (it) * | 2009-08-31 | 2011-03-01 | Esaote Spa | Metodo e dispositivo per il rilevamento e la visualizzazione di informazioni emodinamiche in particolare del flusso ematico nelle vene, mediante ultrasoni |
US10517521B2 (en) * | 2010-06-07 | 2019-12-31 | Affectiva, Inc. | Mental state mood analysis using heart rate collection based on video imagery |
DE102010055772B4 (de) * | 2010-12-23 | 2014-06-05 | Carl Zeiss Meditec Ag | Anordnung und Verfahren zur quantitativen Bestimmung des Blutflusses innerhalb von Blutgefäßen |
WO2014140978A1 (en) * | 2013-03-14 | 2014-09-18 | Koninklijke Philips N.V. | Device and method for obtaining vital sign information of a subject |
US20140375785A1 (en) * | 2013-06-19 | 2014-12-25 | Raytheon Company | Imaging-based monitoring of stress and fatigue |
CN112346638A (zh) * | 2014-01-17 | 2021-02-09 | 曼托第一收购有限责任公司 | 透视计算机显示系统 |
US9968285B2 (en) * | 2014-07-25 | 2018-05-15 | Christie Digital Systems Usa, Inc. | Multispectral medical imaging devices and methods thereof |
WO2016136256A1 (ja) * | 2015-02-27 | 2016-09-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 信号生成方法、信号生成装置およびプログラム |
US20170020431A1 (en) * | 2015-07-24 | 2017-01-26 | Johnson & Johnson Vision Care, Inc. | Biomedical devices for biometric based information communication related to fatigue sensing |
JP6703893B2 (ja) * | 2015-12-01 | 2020-06-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 体調推定装置、及び、体調推定システム |
JP6771129B2 (ja) * | 2015-12-14 | 2020-10-21 | 東海光学株式会社 | 脳活動検出用の頭部装着装置及び脳活動計測システム |
JP6928906B2 (ja) * | 2016-01-07 | 2021-09-01 | パナソニックIpマネジメント株式会社 | 生体情報計測装置 |
CN107088071B (zh) * | 2016-02-17 | 2021-10-15 | 松下知识产权经营株式会社 | 生物体信息检测装置 |
CN108712879B (zh) * | 2016-02-29 | 2021-11-23 | 大金工业株式会社 | 疲劳状态判定装置及疲劳状态判定方法 |
JP2017187471A (ja) * | 2016-03-31 | 2017-10-12 | パナソニックIpマネジメント株式会社 | 撮像装置 |
CN107468209B (zh) * | 2016-06-07 | 2021-10-08 | 松下知识产权经营株式会社 | 摄像装置 |
JP7097012B2 (ja) * | 2017-05-11 | 2022-07-07 | 学校法人 芝浦工業大学 | 感性推定装置、感性推定システム、感性推定方法およびプログラム |
-
2019
- 2019-10-03 JP JP2019182724A patent/JP7386438B2/ja active Active
- 2019-10-31 CN CN201980034433.XA patent/CN112188867A/zh active Pending
-
2021
- 2021-05-11 US US17/316,760 patent/US20210259565A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012150657A1 (ja) | 2011-05-02 | 2012-11-08 | パナソニック株式会社 | 集中有無推定装置及びコンテンツ評価装置 |
JP2012234405A (ja) | 2011-05-02 | 2012-11-29 | Panasonic Corp | コンテンツ評価装置、方法、及びそのプログラム |
JP2013258555A (ja) | 2012-06-12 | 2013-12-26 | Sony Computer Entertainment Inc | ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法 |
WO2014054293A1 (ja) | 2012-10-05 | 2014-04-10 | パナソニック株式会社 | 眠気推定装置、眠気推定方法、コンピュータ読み取り可能な非一時的な記録媒体 |
JP2018096988A (ja) | 2016-12-15 | 2018-06-21 | パナソニックIpマネジメント株式会社 | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US20210259565A1 (en) | 2021-08-26 |
CN112188867A (zh) | 2021-01-05 |
JP2020099670A (ja) | 2020-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7386440B2 (ja) | 生体計測装置、生体計測装置の作動方法、及び判定装置 | |
JP7386438B2 (ja) | 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム | |
CN107088071B (zh) | 生物体信息检测装置 | |
JP2024016142A (ja) | コンピュータにおける情報処理方法および生体計測システム | |
US11963772B2 (en) | System, computer-readable non-transitory recording medium, and method for estimating psychological state of user | |
Reid et al. | Neural correlates of dyadic interaction during infancy | |
JP2020072809A (ja) | 光脳機能計測装置 | |
CN106943117A (zh) | 生物体信息计测装置 | |
JP2020103879A (ja) | 生体計測方法、地図データ生成方法、プログラム、コンピュータ読み取り可能な記録媒体、および生体計測装置 | |
Al-Omar et al. | Using pupil size variation during visual emotional stimulation in measuring affective states of non communicative individuals | |
JP7312977B2 (ja) | 情報処理方法、情報処理装置、および情報処理システム | |
CN110545735A (zh) | 信息处理方法、信息处理装置以及信息处理系统 | |
Velten et al. | Visual attention and sexual arousal in women with and without sexual dysfunction | |
US20230282080A1 (en) | Sound-based attentive state assessment | |
WO2020137352A1 (ja) | 生体計測方法、地図データ生成方法、プログラム、コンピュータ読み取り可能な記録媒体、および生体計測装置 | |
WO2020137276A1 (ja) | 撮像装置 | |
Shvimmer et al. | Classification of emotional states via transdermal cardiovascular spatiotemporal facial patterns using multispectral face videos | |
WO2022202057A1 (ja) | ユーザの感情状態を推定する方法および装置 | |
JPWO2020121704A1 (ja) | 光計測装置 | |
Landowska | Measuring prefrontal cortex response to virtual reality exposure therapy in freely moving participants | |
WO2022138063A1 (ja) | 生体計測装置、生体計測方法、及び、コンピュータプログラム | |
US20220276509A1 (en) | Optical Measurement System Integrated into a Wearable Glasses Assembly | |
Penedo et al. | Gaze behavior data in the vitrine of human movement science: considerations on eye-tracking technique | |
Sutradhar | Social anxiety and threat perception: An event-related potential study | |
EP4314998A1 (en) | Stress detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231101 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7386438 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |