JP6886140B2 - 不快判定装置 - Google Patents
不快判定装置 Download PDFInfo
- Publication number
- JP6886140B2 JP6886140B2 JP2016240740A JP2016240740A JP6886140B2 JP 6886140 B2 JP6886140 B2 JP 6886140B2 JP 2016240740 A JP2016240740 A JP 2016240740A JP 2016240740 A JP2016240740 A JP 2016240740A JP 6886140 B2 JP6886140 B2 JP 6886140B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- data
- determination
- discomfort
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001815 facial effect Effects 0.000 claims description 223
- 230000008859 change Effects 0.000 claims description 140
- 230000017531 blood circulation Effects 0.000 claims description 115
- 238000007689 inspection Methods 0.000 claims description 83
- 238000000354 decomposition reaction Methods 0.000 claims description 71
- 238000001514 detection method Methods 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 25
- 239000000284 extract Substances 0.000 claims description 18
- 238000012880 independent component analysis Methods 0.000 claims description 12
- 238000000513 principal component analysis Methods 0.000 claims description 11
- 238000003780 insertion Methods 0.000 claims description 9
- 230000037431 insertion Effects 0.000 claims description 9
- 230000007177 brain activity Effects 0.000 description 180
- 238000004458 analytical method Methods 0.000 description 94
- 210000004556 brain Anatomy 0.000 description 89
- 230000004913 activation Effects 0.000 description 79
- 238000006243 chemical reaction Methods 0.000 description 70
- 230000003925 brain function Effects 0.000 description 63
- 238000010586 diagram Methods 0.000 description 60
- 238000012800 visualization Methods 0.000 description 56
- 238000000034 method Methods 0.000 description 38
- 230000000875 corresponding effect Effects 0.000 description 37
- 238000012545 processing Methods 0.000 description 36
- 238000012360 testing method Methods 0.000 description 34
- 210000001061 forehead Anatomy 0.000 description 24
- 210000003695 paranasal sinus Anatomy 0.000 description 22
- 230000036407 pain Effects 0.000 description 19
- 230000000694 effects Effects 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 15
- 238000002474 experimental method Methods 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 15
- 238000001931 thermography Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 13
- 238000005259 measurement Methods 0.000 description 12
- 230000035790 physiological processes and functions Effects 0.000 description 12
- 206010015150 Erythema Diseases 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 238000005316 response function Methods 0.000 description 11
- 238000001839 endoscopy Methods 0.000 description 9
- 231100000321 erythema Toxicity 0.000 description 9
- 230000002496 gastric effect Effects 0.000 description 9
- 238000000537 electroencephalography Methods 0.000 description 8
- 238000001816 cooling Methods 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 7
- 238000004497 NIR spectroscopy Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003340 mental effect Effects 0.000 description 6
- 210000001331 nose Anatomy 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000035939 shock Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 239000004382 Amylase Substances 0.000 description 3
- 102000013142 Amylases Human genes 0.000 description 3
- 108010065511 Amylases Proteins 0.000 description 3
- 208000037062 Polyps Diseases 0.000 description 3
- 235000019418 amylase Nutrition 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 3
- 230000002490 cerebral effect Effects 0.000 description 3
- 238000010835 comparative analysis Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 3
- 230000009429 distress Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 230000006996 mental state Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 210000004761 scalp Anatomy 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 210000000467 autonomic pathway Anatomy 0.000 description 2
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 2
- 208000026106 cerebrovascular disease Diseases 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000002183 duodenal effect Effects 0.000 description 2
- 210000001198 duodenum Anatomy 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000000302 ischemic effect Effects 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013188 needle biopsy Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 210000003296 saliva Anatomy 0.000 description 2
- 230000035882 stress Effects 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 206010002091 Anaesthesia Diseases 0.000 description 1
- 206010011985 Decubitus ulcer Diseases 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010024264 Lethargy Diseases 0.000 description 1
- 206010033372 Pain and discomfort Diseases 0.000 description 1
- 206010036772 Proctalgia Diseases 0.000 description 1
- 208000001871 Tachycardia Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000037005 anaesthesia Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 210000000013 bile duct Anatomy 0.000 description 1
- 210000003445 biliary tract Anatomy 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004958 brain cell Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 210000001731 descending colon Anatomy 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 208000001780 epistaxis Diseases 0.000 description 1
- 238000009207 exercise therapy Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 208000014617 hemorrhoid Diseases 0.000 description 1
- 230000002440 hepatic effect Effects 0.000 description 1
- 238000002639 hyperbaric oxygen therapy Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007794 irritation Effects 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000009593 lumbar puncture Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 210000000277 pancreatic duct Anatomy 0.000 description 1
- 210000005037 parasympathetic nerve Anatomy 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000002966 serum Anatomy 0.000 description 1
- 210000001599 sigmoid colon Anatomy 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000006794 tachycardia Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000001757 thermogravimetry curve Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000003384 transverse colon Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Description
人間の脳活動には、人間の知的活動(認知活動等)及び情動活動(快/不快等の活動)が反映されていることが知られている。そして、従来より、人間の脳活動を推定する試みがされているが、この場合、脳波計測法、磁気共鳴画像法及び近赤外線分光法のいずれかの方法によって検出されたデータが利用されることが多い。
(2−1)顔面皮膚温度データの取得方法、及び顔面皮膚温度データの解析方法
次に、本発明者らが上記の知見を得るに際して用いた顔面皮膚温度データの取得方法、及び顔面皮膚温度データの解析方法について説明する。
図1(a)は、撮影装置にて撮影した被験者の顔面の副鼻腔周辺の撮影画像データの一例を示す図である。図1(b)は、血行量分布図(画像マップ)の一例を示す図である。
(3−1)顔面皮膚温度データの解析結果
図2は、温度換算データに応じた顔面皮膚温度データを解析した結果の一部を示す図である。図2(a)は、被験者1の成分2の成分波形図を示している。図2(b)は、被験者1の成分2の温度分布図を示している。図3(a)は、被験者1の成分3の成分波形図を示している。図3(b)は、被験者1の成分3の温度分布図を示している。図4及び図5は、成分波形の振幅と、脳波との関係を示す図である。図4は、被験者1の成分2の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図である。図5は、被験者1の成分3の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図である。図6は、対照実験で得られた顔面皮膚温度データを解析した結果の一部を示す図である。図6(a)は、成分3の成分波形図を示している。図6(b)は、成分3の温度分布図を示している。
図7〜図18は、顔面の撮影画像データ(血行量データ)又は顔面皮膚温度データに基づく成分波形図と、測定された脳波のうちのβ波の波形図を比較解析した結果の一部を示す図である。図7は、被験者1の撮影画像データに基づく成分2の成分波形の振幅と、測定された被験者1の脳波のうちのβ波の振幅とを示す図である。図8は、被験者1の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者1の脳波のうちのβ波の振幅とを示す図である。図9は、被験者2の撮影画像データに基づく成分2の成分波形の振幅と、測定された被験者2の脳波のうちのβ波の振幅とを示す図である。図10は、被験者2の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者2の脳波のうちのβ波の振幅とを示す図である。図11は、被験者3の撮影画像データに基づく成分4の成分波形の振幅と、測定された被験者3の脳波のうちのβ波の振幅とを示す図である。図12は、被験者3の顔面皮膚温度データに基づく成分3の成分波形の振幅と、測定された被験者3の脳波のうちのβ波の振幅とを示す図である。図13は、被験者4の撮影画像データに基づく成分3の成分波形の振幅と、測定された被験者4の脳波のうちのβ波の振幅とを示す図である。図14は、被験者4の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者4の脳波のうちのβ波の振幅とを示す図である。図15は、被験者5の撮影画像データに基づく成分2の成分波形の振幅と、測定された被験者5の脳波のうちのβ波の振幅とを示す図である。図16は、被験者5の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者5の脳波のうちのβ波の振幅とを示す図である。図17は、被験者6の撮影画像データに基づく成分4の成分波形の振幅と、測定された被験者6の脳波のうちのβ波の振幅とを示す図である。図18は、被験者6の顔面皮膚温度データに基づく成分3の成分波形の振幅と、測定された被験者6の脳波のうちのβ波の振幅とを示す図である。
次に、上記に説明した知見に基づいて、本発明者らが完成するに至った本発明の一実施形態に係る脳活動可視化装置10,110について説明する。なお、本発明に係る脳活動可視化装置は、以下の実施形態に限定されるものではなく、要旨を逸脱しない範囲で適宜変更可能である。
図19は、本発明の一実施形態に係る脳活動可視化装置10の概略図である。図20は、脳活動可視化装置10において脳機能を反映した皮膚温度の変化を示す成分を同定する際の処理の流れを示すフローチャートである。
上記脳活動推定手段30は換算部31を有しており、換算部31によって相対温度換算データに応じた顔面皮膚温度データが作成されている。そして、解析部32が、顔面皮膚温度取得手段20により取得された温度換算データに応じた顔面皮膚温度データだけでなく、相対的な温度データに換算された温度データに基づく相対温度データに応じた顔面皮膚温度データについても、特異値分解により複数の成分に分解し、各成分についての解析を行っている。
また、上記顔面皮膚温度取得手段20は、対象物と非接触の状態で温度データを取得することができる赤外線サーモグラフィ装置である。
図21は、本発明の実施形態に係る脳活動可視化装置110の概略図である。図22は、脳活動可視化装置110において脳機能を反映した顔面のRGB変化を示す成分を同定する際の処理の流れの一例を示すフローチャートである。
上述したように、カメラ121としては、例えば、スマートフォンやタブレット(例えば、iPad:登録商標)等の撮影装置内蔵型ポータブル端末等を利用することができる。すなわち、上述の撮影画像データは、可視光領域の画像を撮像するものを採用することができる。
上記血行量算出部133は、換算部132によって換算された相対的なRGBデータに基づき相対換算血行量データを算出するが、これに代えて或いはこれに加えて、相対的なRGBデータに換算される前のRGBデータに基づき血行量データが算出されてもよい。ここで、相対的なRGBデータに換算される前のRGBデータに基づき算出された血行量データには、脳活動と相関する成分が出やすい(検定力が高い)ため、例えば、相対的なRGBデータに換算される前のRGBデータに基づき算出された血行量データを、相対的なRGBデータに基づき算出された相対換算血行量データよりも先行して解析してもよい。また、例えば、まず、血行量データを解析して有意な相関のある成分を抽出し、相対換算血行量データに関しては、前記抽出した成分に対応する成分のみを解析することで、演算処理量を減らすことができる。
上記カメラ121は可視光領域の通常のカメラを前提としていたが、赤外線カメラを用いることもできる。この場合、赤外光を照射し、その反射波を赤外線カメラで撮像する。これにより、対象者の顔面変化等の撮影画像データを得ることができる。本発明者らにより、赤外線の反射により得られた撮影画像データから算出された血行量データと、可視光領域で撮影されたRGBデータに含まれる各画素のうちの主にR成分を用いて算出された血行量データとには相関があることが確認された。したがって、このような赤外線の反射から得られた撮影画像データを用いても、人間の脳活動を推定することができる。
なお、上記説明においては、脳活動可視化装置110が、画像データ取得手段120と、脳活動推定手段130とを備える形態としていたが、本実施形態に係る脳活動可視化装置は、このような形態に限定されるものではない。すなわち、本実施形態に係る脳活動可視化装置は、血行量算出部133、解析部134及び推定部135を含むものであれば、その他の構成については任意の形態を採り得るものである。具体的には、本実施形態に係る脳活動可視化装置は、当該装置自体が画像データを撮影する形態だけではなく、外部の装置から撮影画像データを受け取り、それを解析する形態を含むものである。
状態可視化手段200は、脳活動推定手段30及び/又は脳活動推定手段130により推定された対象者の脳活動に基づき、対象者の生理状態を表示することにより可視化する。例えば、状態可視化手段200が、対象者の脳活動量の変化を解析することで、対象者の生理状態を解析する解析部201を有していてもよい。具体的には、解析部201が、対象者に対して与えられた刺激(視覚刺激、聴覚刺激、触覚刺激、臭覚刺激或いは味覚刺激等)に対する脳活動量の変化を解析することで、対象者の生理状態を判定する。なお、生理状態の種類やレベルについては、脳活動量の上昇度合い及び/又は持続時間に基づき、脳活動可視化装置10,110の用途に応じて適宜設置可能になっていてもよい。そして、解析部201により解析された対象者の生理状態を状態可視化手段200の表示部202から管理者へと出力されることで、管理者は対象者の生理状態を知ることができる。表示部202としては、画像やメッセージを表示する表示デバイス等、解析した対象者の生理状態に関する情報を管理者に対して可視化できるものであればどのようなものであっても採用することができる。
(5−1)
本実施形態では、顔面皮膚温度取得手段20及び/又は画像データ取得手段120によって取得された時系列の顔面皮膚温度データ及び/又は顔面血行量データに基づき人間の脳活動が推定される。このため、脳波電極等の装着前に処理が必要なセンサを装着しなくても、人間の脳活動を推定することができる。したがって、簡便に人間の脳活動を推定し、推定した脳活動に基づき対象者の生理状態を可視化することができている。
ここで、時系列の顔面の皮膚温度データ及び/又は画像データが取得される際に、人間に対して実際に脳機能賦活課題が与えられたり与えられなかったりすることにより、人間の脳が賦活化したり賦活化しなかったりする状況が作られている場合、各成分の成分波形と脳の賦活時及び非賦活時との間に相関関係のある成分は、脳活動を反映した皮膚温度及び/又は血行量の変化を示す成分である可能性が高い成分であるといえる。
ここで、脳には、選択的脳冷却機構という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を前額部及び副鼻腔周辺を用いて排熱していることが知られている。そうすると、脳活動に伴う顔面皮膚温度や顔面皮膚温度に相関する顔面の血行量の変化は、前額部及び/又は副鼻腔周辺に出現することになる。
次に、本発明に係る脳活動可視化装置の用途例について説明する。
上記実施形態又は上記変形例の脳活動可視化装置10,110を、例えば病院を訪れた患者に対して用いる場合の一例を説明する。例えば、うつ状態を客観的に定量するために脳活動可視化装置10,110を用いる場合には、患者に対して繰り上がり又は繰り下がりのある暗算等の脳機能賦活課題を与え、脳活動賦活課題が与えられる前後の脳活動量の変化が解析され可視化されることで、患者の精神状態を判定することができる。具体的には、脳機能賦活課題が与えられる間の脳活動量が上昇しない場合には、患者が無気力状態であると判定することができ、脳機能賦活課題が与えられている間に脳活動量が上昇しても、その脳活動量の上昇時間が短い場合には、患者の気力が低下している状態であると判定することができる。そして、このような解析を1日の間に複数回行い、平均的に脳活動量の低下が認められる場合には、管理者は、患者がうつ状態であると判断することができる。
上記実施形態又は上記変形例の脳活動可視化装置10,110を、例えば消防隊員等の爆発衝撃波を受ける特殊環境下にある人に対して用いる場合の一例を説明する。脳活動可視化装置10,110を、衝撃波等を浴びたことによる生体防護判定(例えば、衝撃波により受けた生体ダメージの状態の判定)に用いる場合には、対象者に対して脳機能賦活課題を与え、この時の脳活動量の変化が解析され可視化されることで、管理者は対象者の脳血管の血流状態を推測することができる。例えば、対象者に対して脳機能賦活課題が与えられた時の脳活動量が上昇していない場合には脳血管の虚血状態であると判断することができ、脳活動量の上昇継続時間が短い場合には脳血管血流量が低下している状態であると判断することができる。
上記実施形態又は上記変形例の脳活動可視化装置10,110を、対象者の快適性の判断に用いる場合の一例を説明する。例えば、住まいの快適性の判断に脳活動可視化装置10,110を用いる場合には、所定の居住空間にいる対象者が不快と感じている時(対象者からの申告時)の脳活動量の変化(脳活動量の上昇度合いとその継続時間)とから不快度が定量化される。このような解析を1日の間に複数回行い、この解析結果が可視化されることで、管理者は、平均的に脳活動量が昂進しているか否かを評価することにより、対象者の快適度、すなわち、快不快の感情を判断することができる。
上記実施形態又は上記変形例の脳活動可視化装置10,110を、学習時や手術時の集中度合いの判定に用いる場合の一例を説明する。例えば、学校、学習塾、会社、eラーニング或いは病院等における学習者の学習内容への集中度を定量化するために脳活動可視化装置10,110を用いる場合には、学習者が学習(課題)に取り組んでいる前後の一定期間(例えば、学習時限)における脳活動量の変化(この期間における上昇度合い)を解析することで、取り組んでいる学習内容に対する学習者の集中度を定量化することができる。これにより、管理者は、可視化される解析結果に基づき、学習内容に対する学習者の集中度を評価することができる。
本発明に係る脳活動可視化装置を応用した、不快判定装置について説明する。一般的に、内視鏡等の検査機器を対象者の体内に挿入して身体検査を行なうことがある。この際、検査機器の挿入等に応じて対象者の不快状態を把握できないと、検査機器の操作が許容し得る範囲を逸脱し、検査機器が対象者の体内を損傷することがある。
図23は本実施形態に係る不快判定装置の一例を示す模式図である。なお、以下の説明において、「不快」とは、対象者が身体的および精神的に違和感を生じる任意の状態を意味しており、疼痛や苦痛、その他のストレスを感じる状態を含む意味で用いられる。
図27は、不快判定装置800の動作を示すフローチャートである。なお、以下の説明においては、検査機器350として内視鏡を用いたときに、当該内視鏡が挿入される対象者300の不快状態を判定するものを例として説明する。
(7−3−1)
以上説明したように、本実施形態に係る不快判定装置800は、特定操作情報検知部841と、顔面変化情報取得部842と、顔面変化情報分解部843と、判定用成分抽出部844と、不快判定部845と、を備える。特定操作情報検知部841は、検査機器350の特定操作に対応する「特定操作情報」を検知する。顔面変化情報取得部842は、対象者300の顔面データの時系列変化を示す「顔面変化情報」を取得する。顔面変化情報分解部843は、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分1,2,3,・・・に分解する。判定用成分抽出部844は、複数の成分1,2,3,・・・から、特定操作情報と関連する成分を「判定用成分」として抽出する。不快判定部845は、判定用成分に基づいて、対象者300の不快状態を判定する。
また、本実施形態に係る不快判定装置800は、顔面変化情報取得部842が、顔面データとして、対象者300の、副鼻腔周辺及び/又は前額部のデータを取得するので、脳活動と関連する判定用成分を高精度に抽出できる。ここで、脳には、選択的脳冷却機構(Selective Brain Cooling System)という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構は、脳活動によって生じた熱を、副鼻腔及び前額部周辺を用いて排熱する。よって、これらの部位のデータを解析することで脳活動と関連する成分を高精度に抽出できる。結果として、本実施形態に係る不快判定装置800は、不快状態の判定を高精度に実行できる。
また、本実施形態に係る不快判定装置800は、顔面変化情報取得部842が、顔面データとして、対象者300の顔面の皮膚温度を示す顔面皮膚温度データを取得する。換言すると、不快判定装置800は、赤外線カメラ等を利用して、不快状態を判定できる。
また、本実施形態に係る不快判定装置800は、顔面変化情報取得部842が、顔面データとして、対象者300の顔面のRGBデータに基づく顔面血行量データを取得する。すなわち、不快判定装置800は、固体撮像素子(CCD,CMOS)を利用して不快状態を判定できる。これにより、不快状態の判定を簡易な構成で実行できる。
また、本実施形態に係る不快判定装置800は、判定用成分抽出部844が、危険率の値に基づいて、判定用成分を抽出する。不快判定装置800では、危険率の値に基づいて、特定操作情報(脳機能賦活情報)と関連する判定用成分を抽出するので、不快状態の判定の信頼性を高めることができる。
また、本実施形態に係る不快判定装置800は、検査機器350として内視鏡を用いることができる。したがって、不快判定装置800は、内視鏡の操作に応じて惹起される対象者300の不快状態を容易に判定できる。
また、本実施形態に係る不快判定装置800は、特定操作情報が、検査機器350の操作者301による音声、検査機器350の操作者301による信号入力、検査機器350に取り付けられた加速度センサの検出値、検査機器350の対象者300への挿入長、対象者300のレントゲン透視画像、及び、検査機器350から取得される撮像画像、のいずれか一つ又は任意の組み合わせから生成されるものを採用できる。したがって、不快判定装置800では、検査機器350の使用状況に応じた最適な手法で、対象者300が不快に感じるような検査機器350の特定操作を認識できる。
また、本実施形態に係る不快判定装置800は、検査機器350で特定操作を行なったときに算出される判定用成分の相関値r2の、対象者300が通常状態のときに算出された基準判定用成分の基準相関値r1からの所定範囲の変化量Δrを、不快状態レベルに関連付けて「判定情報」として記憶する判定情報データベース832を備える。そして、不快判定部845が、検査機器350で特定操作を行なったときの判定用成分の相関値r2を算出し、算出した相関値r2及び判定情報に基づいて、対象者300の不快状態レベルを判定する。
本実施形態に係る不快状態の判定方法は、必ずしも不快判定装置800を必要とするものではない。すなわち、本実施形態に係る不快状態の判定方法は、不快判定装置800の有無に関わらず、対象者300を不快にする検査機器350の特定操作に対応する特定操作情報を検知する特定操作情報検知ステップと、対象者300の顔面データの時系列変化を示す「顔面変化情報」を取得する顔面変化情報取得ステップと、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析することにより複数の成分に分解する顔面変化情報分解ステップと、複数の成分から、特定操作情報と関連する成分を判定用成分として抽出する判定用成分抽出ステップと、判定用成分に基づいて、対象者300の不快状態を判定する、不快判定ステップと、を備えるものであればよい。
なお、不快判定装置800は、上述したように判定用成分に対する相関値の、基準値からの所定範囲の変化量を用いて不快状態を判定するもののみならず、判定用成分に対して重回帰分析により得られる値、判定用波形が生成する面積、判定用波形の平均値、判定用波形の重心値のいずれか一つ又は任意の組み合わせに基づいて、不快状態を判定するものでもよい。補足すると、「重回帰分析」を用いると、複数刺激による反応の相関値を容易に数量化できる。「相関値」用いると、単一刺激による反応の相関値を容易に数量化できる。「面積」を用いると、反応の絶対値を容易に数量化できる。「平均値」を用いると、反応の絶対値を容易に数量化できる。また、面積と比較して、ノイズを低減できる。「重心値」を用いると、反応の絶対値を容易に数量化できる。また、面積と比較して、どのタイミングで反応が生じたかを容易に判定できる。
なお、本実施形態に係る不快判定装置800は、判定用成分抽出部844が、特定操作情報に対応する判定用波形と複数の成分との相関値に基づいて、判定用成分を抽出する。このような構成により、対象者300の脳機能に対応する判定用成分を特定することができる。
(7−4−1)
本実施形態に係る不快判定装置800は、図28に示すように、ネットワーク上に設けられた判定情報提供装置900等を利用するものでもよい。
なお、本実施形態に係る不快判定装置では、特定操作情報を取得することで特定操作を検出していたが、特定操作情報を取得することに加えて他の検出方法を組み合わせてもよい。これにより、特定操作の検出精度を高めることができる。例えば、図24に示すように、検査機器350が上部消化管内視鏡のときに、送気による膨満感を、血圧上昇、頻拍、SpO2の低下等により検出してもよい。また、検査機器350が上部消化管内視鏡のときに、十二指腸でのストレッチ操作を、唾液アミラーゼ値により検出してもよい。また、検査機器350が上部消化管内視鏡のときに、経鼻の場合の鼻の痛みを、鼻出血の有無により検出してもよい。また、検査機器350が胆道系内視鏡のときに、ファーター乳頭へのカニュレーションによる刺激を、検査後血清アミラーゼ値により検出してもよい。また、検査機器350が胆道系内視鏡のときに、十二指腸でのストレッチ操作を、唾液アミラーゼ値により検出してもよい。
本実施形態に係る不快判定装置の検証試験を次の条件で行なった。
なお、本発明は、上記実施形態そのままに限定されるものではない。本発明は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、本発明は、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。
20 顔面皮膚温度取得手段
30 脳活動推定手段
110 脳活動可視化装置
120 画像データ取得手段
130 脳活動推定手段
200 状態可視化手段
201 解析部
300 対象者
301 操作者
350 検査機器
800 不快判定装置
810 入力部
815 撮像部
820 出力部
830 記憶部
831 脳機能賦活情報データベース
832 判定情報データベース(判定情報記憶部)
840 処理部
841 特定操作情報検知部
842 顔面変化情報取得部
843 顔面変化情報分解部
844 判定用成分抽出部
845 不快判定部
900 判定情報提供装置
930 記憶部
932 判定情報データベース(判定情報記憶部)
940 処理部
Claims (6)
- 検査機器(350)の特定操作に対応する特定操作情報を検知する特定操作情報検知部(841)と、
前記検査機器により検査される対象者の顔面データの時系列変化を示す顔面変化情報を取得する顔面変化情報取得部(842)と、
前記顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する顔面変化情報分解部(843)と、
前記特定操作情報に対応する判定用波形と前記複数の成分との相関値に基づいて、前記複数の成分から、前記特定操作情報と関連する成分を判定用成分として抽出する判定用成分抽出部(844)と、
前記判定用成分と、前記判定用波形との相関値に基づいて、前記対象者の不快状態を判定する、不快判定部(845)と、
を備え、
前記対象者の顔面データは、顔面皮膚温度データまたは顔面血行量データである、
不快判定装置(800)。 - 前記検査機器は、意識清明の状態の対象者に対する任意の検査で用いられるものである、
請求項1に記載の不快判定装置。 - 前記検査機器は、内視鏡である、
請求項1または2に記載の不快判定装置。 - 前記特定操作情報は、
前記検査機器の操作者による音声、
前記検査機器の操作者による信号入力、
前記検査機器に取り付けられた加速度センサの検出値、
前記検査機器の前記対象者への挿入長、
前記対象者のレントゲン透視画像、及び、
前記検査機器から取得される撮像画像、
のいずれか一つ又は任意の組み合わせから生成されるものである、
請求項1から3のいずれか1項に記載の不快判定装置。 - 特定操作情報が検知されるときに算出される判定用成分と特定操作情報に対応する判定用波形との相関値の、前記対象者が通常状態のときに算出された基準判定用成分の基準相関値からの所定範囲の変化量を、不快状態のレベルに関連付けて判定情報として記憶する判定情報記憶部(832)をさらに備え、
前記不快判定部が、前記特定操作情報に対する前記判定用成分と前記判定用波形との相関値を算出し、算出した相関値及び前記判定情報に基づいて、前記対象者の不快状態のレベルを判定する、
請求項1から4のいずれか1項に記載の不快判定装置。 - ネットワーク上の判定情報提供装置(900)が、特定操作情報が検知されるときに算出される判定用成分と特定操作情報に対応する判定用波形との相関値の、前記対象者が通常状態のときに算出された基準判定用成分の基準相関値からの所定範囲の変化量を、不快状態のレベルに関連付けて判定情報として記憶する判定情報記憶部(932)を備え、
前記不快判定部が、前記特定操作情報に対する判定用成分と特定操作情報に対応する判定用波形との相関値を算出し、算出した相関値及び前記判定情報に基づいて、前記対象者の不快状態のレベルを判定する、
請求項1から5のいずれ1項に記載の不快判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016240740A JP6886140B2 (ja) | 2016-12-12 | 2016-12-12 | 不快判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016240740A JP6886140B2 (ja) | 2016-12-12 | 2016-12-12 | 不快判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018094032A JP2018094032A (ja) | 2018-06-21 |
JP6886140B2 true JP6886140B2 (ja) | 2021-06-16 |
Family
ID=62631584
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016240740A Active JP6886140B2 (ja) | 2016-12-12 | 2016-12-12 | 不快判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6886140B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7219953B2 (ja) * | 2018-10-17 | 2023-02-09 | 学校法人日本大学 | 学習装置、推定装置、学習方法、推定方法、およびプログラム |
WO2021100169A1 (ja) * | 2019-11-21 | 2021-05-27 | 株式会社Fuji | 診断システム |
CN111192201B (zh) * | 2020-04-08 | 2020-08-28 | 腾讯科技(深圳)有限公司 | 一种生成人脸图像及其模型训练的方法、装置及电子设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002177274A (ja) * | 2000-12-15 | 2002-06-25 | Aloka Co Ltd | 要望伝達装置及び医療機器 |
US20130096397A1 (en) * | 2010-06-17 | 2013-04-18 | Nec Corporation | Sensitivity evaluation system, sensitivity evaluation method, and program |
JP5981506B2 (ja) * | 2014-09-01 | 2016-08-31 | ダイキン工業株式会社 | 脳活動推定装置 |
-
2016
- 2016-12-12 JP JP2016240740A patent/JP6886140B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018094032A (ja) | 2018-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6371366B2 (ja) | 精神疾患判定装置 | |
Walter et al. | The biovid heat pain database data for the advancement and systematic validation of an automated pain recognition system | |
Balters et al. | Capturing emotion reactivity through physiology measurement as a foundation for affective engineering in engineering design science and engineering practices | |
JP6503327B2 (ja) | 生理状態判定装置及び生理状態判定方法 | |
JP2005218507A (ja) | バイタルサイン計測方法と装置 | |
JP6886140B2 (ja) | 不快判定装置 | |
WO2017065313A1 (ja) | 有用情報提示装置 | |
CN105188537A (zh) | 使用心理生理测量用于量化瘙痒度的客观非侵入性方法 | |
JP7111450B2 (ja) | 脳活動推定装置 | |
Shan et al. | Remote detection and Classification of human stress using a depth sensing technique | |
JP6463392B2 (ja) | 疲労状態判定装置及び疲労状態判定方法 | |
JP6829363B2 (ja) | 評価装置、マーケット調査装置、及び学習評価装置 | |
JP6842657B2 (ja) | 心因性疾患判定装置 | |
Johnson et al. | A new method for the quantification of breathing | |
JP6093422B1 (ja) | 脳年齢提示装置 | |
JP6158887B2 (ja) | 有用情報提示装置 | |
Merla | Revealing psychophysiology and emotions through thermal infrared imaging | |
JP6886139B2 (ja) | 疼痛判定装置及び薬剤効果判定装置 | |
JP6096857B1 (ja) | 感情判定装置 | |
Cipresso et al. | Contactless bio-behavioral technologies for virtual reality | |
Kleckner et al. | Framework for benchmarking mobile sensors in psychophysiological research | |
Bevilacqua et al. | Proposal for non-contact analysis of multimodal inputs to measure stress level in serious games | |
Hessler et al. | A survey on extracting physiological measurements from thermal images | |
KR101264119B1 (ko) | 한방용 환자 진단 장치 | |
Barreto | Non-intrusive physiological monitoring for affective sensing of computer users |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210430 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6886140 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |