JP5476137B2 - 生体および脳機能計測に基づくヒューマンインターフェイス - Google Patents
生体および脳機能計測に基づくヒューマンインターフェイス Download PDFInfo
- Publication number
- JP5476137B2 JP5476137B2 JP2010009106A JP2010009106A JP5476137B2 JP 5476137 B2 JP5476137 B2 JP 5476137B2 JP 2010009106 A JP2010009106 A JP 2010009106A JP 2010009106 A JP2010009106 A JP 2010009106A JP 5476137 B2 JP5476137 B2 JP 5476137B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- information
- internal state
- measurement
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005259 measurement Methods 0.000 title claims description 80
- 230000003925 brain function Effects 0.000 title claims description 28
- 230000008827 biological function Effects 0.000 title 1
- 230000003287 optical effect Effects 0.000 claims description 44
- 238000007635 classification algorithm Methods 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 22
- 230000006399 behavior Effects 0.000 claims description 20
- 238000012876 topography Methods 0.000 claims description 19
- 210000004556 brain Anatomy 0.000 claims description 16
- 230000003936 working memory Effects 0.000 claims description 16
- 238000010801 machine learning Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000012706 support-vector machine Methods 0.000 claims description 11
- 210000001652 frontal lobe Anatomy 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 230000001953 sensory effect Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000000284 resting effect Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000002790 cross-validation Methods 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 5
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 5
- 230000036772 blood pressure Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000012880 independent component analysis Methods 0.000 claims description 2
- 238000000513 principal component analysis Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 description 39
- 230000007177 brain activity Effects 0.000 description 37
- 238000001514 detection method Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 5
- 206010027175 memory impairment Diseases 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000001149 cognitive effect Effects 0.000 description 4
- 206010015037 epilepsy Diseases 0.000 description 4
- 210000001152 parietal lobe Anatomy 0.000 description 4
- 230000002265 prevention Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 206010003062 Apraxia Diseases 0.000 description 3
- 206010010904 Convulsion Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000037007 arousal Effects 0.000 description 2
- 210000004227 basal ganglia Anatomy 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000000337 motor cortex Anatomy 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 230000016571 aggressive behavior Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013477 bayesian statistics method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 210000002442 prefrontal cortex Anatomy 0.000 description 1
- 238000013102 re-test Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 230000008326 skin blood flow Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、生体および脳機能計測に基づくヒューマンインターフェイス及びそれを用いたヒューマンエラーの検出・防止方法に係り、特に、生体および脳機能計測に基づきヒューマンエラーの起こりやすい状態を予測・検出し、操作者にフィードバックするヒューマンインターフェイス及びそれを用いたヒューマンエラーの検出・防止方法に関する。
機器の信頼性が向上し機械側が原因で生じる事故件数が減少している一方、総事故件数に占める人が原因で起こる事故（ヒューマンエラー）の割合は増加している。ヒューマンエラー防止を目的とするヒューマンファクター工学分野では、外部環境を整えることで人側の間違えを低減する、フールプルーフシステムの開発に重点が置かれている（非特許文献１）。見間違えを防ぐように書式を改善した道路案内や、少しの接触では作動しないような作動ボタン上のプラスチックカバーなどが例として挙げられる。
特許文献１では、脳波スペクトラル解析から得られた脳活動信号を用いて操作者の意識レベルを推定し、その推定された意識レベルに応じて適切と思われる情報を呈示する装置を提案している。また、特許文献２には、生体の脳内部の血液循環・血行動態及びヘモグロビン変化に基づく生体及び脳機能の信号を光検出器で光トポグラフィ信号（以下、光トポ）として検出する生体光計測装置の例が開示されている。
その他、非特許文献３には、変化検出課題の例が示されている。また、非特許文献４では、癲癇の患者において、癲癇の起こる数時間〜７時間の脳活動から発作の予兆を見いだせることが報告されている。
岡田有策，ヒューマンファクターズ概論:人間と機械の調和を目指して,2005 P17-18:慶應義塾大学出版会，東京
リンゼイ/ノーマン,「情報処理心理学入門II 注意と記憶」P31-33、P53-54,サイエンス社
Beck, Rees, Frith, Lavie (2001) Neural correlates of change detection and change blindness. Nature Neuroscience 4(6): 645-650.
Litt et al. (2001) Epileptic seizures may begin hours in advance of clinical onset: a report of five patients. Neuron 30: 51-64.
しかしながら、いくらフールプルーフシステムを整えても、操作者が外部環境に注意を払っていなかったり、覚醒度の低い状態で判断能力が低下していたりする場合には、見落とし・聞き間違え・考え違え・し忘れといったヒューマンエラー要因の事故は起こり得る。また、一度に視認できる視覚刺激の個数や、作業記憶に留めておける項数には上限があることが最近の認知神経科学分野では明らかにされてきている（非特許文献２）。したがって、外部環境の整備といったヒューマンファクター工学分野の手法では防ぎきれない人的要因が存在する。この人的要因に起因する過失を予防および検出するためには、操作者が過失を起こしやすい状態を予測および検出する人間科学からのアプローチが必要である。
また、特許文献１に開示された手法は、覚醒度などといった全体の大まかな状態を推定するのに適している一方、その低い空間的解像度のため活動している脳部位を特定することが出来ず、どのような脳機能が具体的にどのような状態にあるかを明らかにすることは出来なかった。また、脳波では意識レベルの一般的な５段階指標を用いるため、操作者個々人の特性に合わせた脳状態の推定を考慮していなかった。
本発明の解決すべき課題は、生体および脳機能計測信号から個々人の注意・記憶といった内部状態を推定もしくは予測し、ヒューマンエラーの起こりやすい状態を検出および警告することで、ヒューマンエラーを予防および防止することである。
本発明の代表的なものを示せば、次の通りである。本発明のヒューマンインターフェイスは、被験者の内部状態の情報と、該内部状態の情報と時間的関連性を有し生体由来の雑音を除去した前記被験者の生体計測情報とをセットとして取得し、個人用のデータベースを生成する個人データベース生成手段と、前記個人用のデータベースを訓練セットとして分類アルゴリズムを最適化する分類アルゴリズム最適化手段と、前記被験者の生体信号計測により得られた新たな生体計測情報に、前記最適化された分類アルゴリズムを適用して、前記被験者の内部状態を推定する行動推定手段と、前記推定結果に基く情報を呈示する情報呈示手段とを備ええ、前記被験者の内部状態が感覚的錯誤に関するものであり、前記個人データベース生成手段は、前記被験者に対する課題の呈示手段と、該課題の呈示状態と関連して前記被験者に対する光トポグラフィによる生体計測を行う生体計測手段とを有しており、前記感覚的錯誤を検出するために、前記新たな生体計測として、前記光トポグラフィを前記被験者の主に後頭頂葉と背側前頭葉の少なくとも１組の脳部位において同時に計測することを特徴とする。
本発明によれば、生体および脳機能計測から推定した操作者個々の内部状態を基に、操作者の内部状態を推定もしくは予測し、ヒューマンエラーの起こりやすい状態を検出および警告することで操作者に注意を喚起し、ヒューマンエラーを防ぐことが可能となる。
本発明は、生体および脳機能計測から機械学習のアルゴリズムを用いて人の内部状態を推定し、過失の起こしやすい状態を事前あるいは事後に検出し、その情報をデータベース化して利用することによって、ヒューマンエラーの防止を試みることに関するものである。
すなわち、本発明は、機械を用いた作業場において、操作者の生体計測信号からの内部状態（視覚的注意・作業記憶・スキル習熟度など）を機械学習のアルゴリズムを適用して推定し、ヒューマンエラーの起こりやすい状態を予測・検出し、過失の危険度が高い状態にあると推定される場合に、視覚・聴覚・触覚のいずれか若しくはそれらを組み合わせて操作者にフィードバックすることにより過失を事前に防ぐ装置、方法に関するものである。
以下、本発明の実施例を詳細に説明する。
以下、本発明の実施例を詳細に説明する。
本発明の第一の実施例になるヒューマンインターフェイスについて、説明する。この例では、脳活動信号からの錯誤状態のモニターおよび予測を行う機能を備えたヒューマンインターフェイスを主体にして説明する。第一の実施例を実現するために、まず、次のような脳機能計測装置が必要である。
「脳機能計測装置」
特定の脳機能を測定できる程度の空間分解能を持つ、かつ、錯誤のモニターと予測が区別できる程度の時間解像度を持つ。また実作業現場での応用を考慮して、比較的携帯可能なもの、また磁気シールドなどの設備を要しないものが望まれる。一例として光トポグラフィ法が挙げられるが、本発明はこれに特定するものではない。
特定の脳機能を測定できる程度の空間分解能を持つ、かつ、錯誤のモニターと予測が区別できる程度の時間解像度を持つ。また実作業現場での応用を考慮して、比較的携帯可能なもの、また磁気シールドなどの設備を要しないものが望まれる。一例として光トポグラフィ法が挙げられるが、本発明はこれに特定するものではない。
以下では脳機能計測法として光トポグラフィを想定して装置を説明する。
図１Ａは、本発明のヒューマンインターフェイスの第一の実施例の概念図である。図１Ａにおいて、本実施例のヒューマンインターフェイスは、生体計測装置１１０、信号解析装置１２０及び課題呈示装置１３０を含む装置本体１００と、生体計測信号や内部状態信号のデータ、脳活動のデータベース、及び参照データなどを保持する外部記憶装置１４０と、操作者すなわち被験者１６０が操作する外部機器１５０とを備えており、これらは、通信ネットワークを介して相互に接続されている。生体計測装置１１０、信号解析装置１２０及び課題呈示装置１３０を含む装置本体１００、外部記憶装置１４０及び外部機器１５０により、被験者の内部状態の情報と、該内部状態の情報と時間的関連性を有する前記被験者の生体計測情報とをセットとして取得し、個人用のデータベースを生成する個人データベース生成手段が構成されている。また、信号解析装置１２０を含む装置本体１００と外部記憶装置１４０により、前記個人用のデータベースを訓練セットとして分類アルゴリズムを最適化する分類アルゴリズム最適化手段と、前記被験者の生体信号計測により得られた新たな生体計測情報に、前記最適化された分類アルゴリズムを適用して、前記被験者の内部状態を推定する行動推定手段とが構成されている。さらに、外部機器１５０は、前記推定結果に基く情報を呈示する情報呈示手段として機能する。
図１Ａは、本発明のヒューマンインターフェイスの第一の実施例の概念図である。図１Ａにおいて、本実施例のヒューマンインターフェイスは、生体計測装置１１０、信号解析装置１２０及び課題呈示装置１３０を含む装置本体１００と、生体計測信号や内部状態信号のデータ、脳活動のデータベース、及び参照データなどを保持する外部記憶装置１４０と、操作者すなわち被験者１６０が操作する外部機器１５０とを備えており、これらは、通信ネットワークを介して相互に接続されている。生体計測装置１１０、信号解析装置１２０及び課題呈示装置１３０を含む装置本体１００、外部記憶装置１４０及び外部機器１５０により、被験者の内部状態の情報と、該内部状態の情報と時間的関連性を有する前記被験者の生体計測情報とをセットとして取得し、個人用のデータベースを生成する個人データベース生成手段が構成されている。また、信号解析装置１２０を含む装置本体１００と外部記憶装置１４０により、前記個人用のデータベースを訓練セットとして分類アルゴリズムを最適化する分類アルゴリズム最適化手段と、前記被験者の生体信号計測により得られた新たな生体計測情報に、前記最適化された分類アルゴリズムを適用して、前記被験者の内部状態を推定する行動推定手段とが構成されている。さらに、外部機器１５０は、前記推定結果に基く情報を呈示する情報呈示手段として機能する。
すなわち、生体計測装置１１０は、生体（被験者）内部の生体情報を検出する装置であり、例えば光トポであり、近赤外光を生体に照射し、その光が生体内を透過・散乱したものを計測することによって、生体内の光学特性を時間的に連続的に計測し、生体内の状態を観測する装置を用いる。ただし計測点数は特に限定するものではない。あるいは、光トポに代えて、脳の複数部位の脳波の電位を測定することで神経活動を生体情報として計測する装置でも良い。さらに、生体情報として、血圧、脈拍、呼吸・サーモグラフィ、皮膚血流量、心電図等の生理的計測を行う機能も必要に応じて適宜併用される。
また、課題呈示装置１３０は被験者に対するタスク（課題）や解析結果等を視聴覚的・触覚的に最適な情報を呈示する。外部機器１５０は、被験者からのタスク（課題）の選択、応答の受付などの機能を備えている。被験者１６０は、生体計測装置１１０による生体情報の計測と並行して、課題呈示装置１３０からのタスクによる刺激を受け、外部機器１５０の操作ボタンやマイクや等を介して応答を返す。操作者の応答結果は、個人データベースの一部を構成する操作者の内部状態の情報としてハードディスク等の記憶装置１４０に記録される。
信号解析装置１２０は、光検出器で検出された生体計測信号から生体由来の雑音を除去するための信号処理機能、及び処理された生体計測信号のデータ及びこれと時間的な関連を有する（対をなす）操作者の内部状態（視覚的注意・作業記憶・スキル習熟度など）に関する内部状態信号のデータを個人データベースとして記録する機能と、この個人データベースを訓練セットとして機械学習アルゴリズムを最適化する機能と、この最適化された機械学習アルゴリズムで実作業現場において生体信号計測から内部状態を推定する機能とを備えている。そして、ヒューマンエラーの起こりやすい状態を予測・検出し、過失の危険度が高い状態にあると推定される場合に、外部機器１５０の表示画面に提示する等、視覚・聴覚・触覚のいずれか若しくはそれらを組み合わせて操作者にフィードバックする。
なお、装置本体１００の処理機能は、ホストコンピュータやそれにネットワーク接続されたパーソナルコンピュータ内のメモリにロードされた各種のプログラムをＣＰＵにて実行することにより実現される。課題呈示装置１３０と外部機器１５０は、１つのパーソナルコンピュータを兼用して構成しても良い。個人用データベースの保存装置である記憶装置１４０として、ローカルハードディスクもしくはインターネットによるサーバを用いる。
図１Ｂに、予め取得されたある操作者Ａの応答結果及び生体内部情報に基く、操作者Ａ固有の個人用データベースの一例を示している。データベース１４０Ａは、正答確率の時系列パターン、データベース１４０Ｂは、ヒューマンエラーの起こりやすさの判定基準を与える判断境界のパターンのデータである。データベース１４０Ａは、操作者Ａの正答率の高い時間、換言すると状態判定区間が課題開始後、ｔ２からｔ３の間であることを示している。一方、データベース１４０Ｂは、操作者Ａの状態が良好な「状態Ａ」の領域と、良好ではない「状態Ｂ」の領域とが「判断境界」で区画されていることを示している。タスク（課題）の種類やその用途により、データベースの生成方法や構成は異なる。詳細については、後で説明する。
次に、第一の実施例の動作の概要を、図２で説明する。図２は、光トポの常時測定を前提とした、ヒューマンエラーの検出・予防フローチャートである。
本実施例のヒューマンインターフェイスでは、事前に操作者の頭部に生体計測装置１１０を装着し（Ｓ２０）、操作者が選択した課題に応じて所定のタスクを与えながら脳機能計測を行う（Ｓ２１）。このとき、取得した操作者の内部状態（注意・作業記憶・学習定着度など）の情報と生体信号計測（光トポグラフィ・脳波・脈拍・呼吸・血圧）の信号を取得する。例えば操作者が「注意課題」を選択した場合、見落とし・聞き間違え・勘違いといった感覚的錯誤を検出するために、生体計測として光トポを脳部位の全体、あるいは主に後頭頂葉と背側前頭葉、をそれぞれ複数点同時に計測する。そしてこれらの計測信号から生体由来の雑音を除去するための信号処理を行い、それらのデータを訓練セットすなわち個々人用に「脳活動・行動のデータベース」としてデータベース化し、外部記憶装置１４０に記録する（Ｓ２２）。光トポの代わりに脳波を用いて同様なデータベースを作成しても良い。あるいは、光トポもしくは脳波と、脈拍・呼吸・血圧の少なくとも１つとを同時に計測し、これらを組み合わせた生体計測信号と操作者の内部状態の信号とから、データベースを作成しても良い。なお、生体信号計測の前処理には、周波数バンドパスフィルタ、多項式ベースライン補正、主成分分析、独立成分分析等を用いる。
「脳活動・行動のデータベース」
ヒューマンエラーの可能性が高まっている状態を脳活動から推定するためには、機械学習分類アルゴリズムを最適化する必要があるため、操作者の行動を記録し、エラーが起きた場合と起きなかった場合の脳活動をデータベース化する必要がある。すなわち、操作者毎の行動とそれに対応する脳活動のデータベースを生成する。これは、一操作者専用としてローカルハードディスクに記憶してもよい。もしくは、同じ操作課題を行う複数操作者からのデータをインターネット上でデータベース化し、個人の特性と集団の特性を記憶する方法もある。
ヒューマンエラーの可能性が高まっている状態を脳活動から推定するためには、機械学習分類アルゴリズムを最適化する必要があるため、操作者の行動を記録し、エラーが起きた場合と起きなかった場合の脳活動をデータベース化する必要がある。すなわち、操作者毎の行動とそれに対応する脳活動のデータベースを生成する。これは、一操作者専用としてローカルハードディスクに記憶してもよい。もしくは、同じ操作課題を行う複数操作者からのデータをインターネット上でデータベース化し、個人の特性と集団の特性を記憶する方法もある。
図２において、さらに、その個人データベースを訓練セットとして機械学習アルゴリズムを最適化する（Ｓ２３）。
「分類アルゴリズムの最適化」
前記Ｓ２２で得られたデータベースをトレーニングデータとして、分類アルゴリズムを最適化する。
前記Ｓ２２で得られたデータベースをトレーニングデータとして、分類アルゴリズムを最適化する。
分類アルゴリズムには、マージン最大化原理に基づくサポートベクターマシンや、ベイズ学習に基づくレレバンスベクターマシンなどが利用できる。上記Ｓ２２，Ｓ２３で得られたデータから、分類アルゴリズムをトレーニングし、最適パラメタを決定する。サポートベクターマシンの場合、過学習を防ぐため、クロスバリデーション法を用いて汎化性能が最大になるように、パラメタを学習する。
さらに、前記操作者に対して、その最適化された機械学習アルゴリズムに基づき、タスクを課し又はタスクの代わりに現場でのパソコン操作などの実務の作業（タスク無し）を開始し（Ｓ２４）、この状態で生体信号の計測を行う（Ｓ２５）。そして、生体信号の計測結果と予め取得された個人データベースの情報とから、操作者の内部状態を推定する（Ｓ２６）。この内部状態を、予め設定された閾値と比較することで、ヒューマンエラーの起こりやすい状態を予測・検出する（Ｓ２７）。
「実作業場で得られた脳活動信号からの行動分類」
実作業現場で測定した脳活動に、Ｓ２３で最適化された分類アルゴリズムを適用し、過失が起きていないかどうかを分類し、過失の起こりうる確率（過失確率）を計算する。
実作業現場で測定した脳活動に、Ｓ２３で最適化された分類アルゴリズムを適用し、過失が起きていないかどうかを分類し、過失の起こりうる確率（過失確率）を計算する。
この閾値には、後で説明する図６Ｂの「判断境界」を採用する。例えば、図１Ｂに示したように、操作者Ａに対する課題開始後、時刻ｔ２からｔ３の状態判定区間における操作者Ａの生体計測信号の測定結果を処理した値が丸印で示したものであれば、「判断境界」よりも上側の「状態Ａ」にあるので、装置本体１００は、操作者Ａの現在の状態が心身共に良好な状態であると判定する。逆に、「判断境界」よりも下側の「状態Ｂ」にあれば、操作者Ａの現在の状態が良好ではないと判定する。なお、時刻ｔ２からｔ３の区間では、所定の時間間隔、たとえは１秒毎に測定結果が得られるので、この状態判定区間における複数の測定結果の平均値を算出し、この平均値が「判断境界」のいずれの側にあるかを判定する。
そして、この結果に応じて視聴覚的・触覚的に最適な情報を呈示する（Ｓ２８、Ｓ２９）。例えば、前記操作者が過失を起こしやすい状態にある場合には本人若しくは使用者の注意を喚起する表示等を行う。
「過失防止のための注意喚起呈示装置」
すなわち、前記Ｓ２６、Ｓ２７で得られた過失確率に応じて、操作者および監督者の注意を喚起する視覚的・聴覚的もしくは触覚的呈示装置を用意する。
すなわち、前記Ｓ２６、Ｓ２７で得られた過失確率に応じて、操作者および監督者の注意を喚起する視覚的・聴覚的もしくは触覚的呈示装置を用意する。
過失確率に応じた注意喚起画面のサイズ調節が例として挙げられる。注意喚起画面による作業への障害が最小限に留めつつ、見落としを防止することを目的とする。過失確率が高い場合(p>０.７)には、見逃しの起きる可能性が高いので、作業に障害が出ることを犠牲にしてでも注意喚起画面を大きく表示する。一方過失確率が小さい場合(p<=０.７)には、注意喚起画面を小さく表示する。
「データベースの更新」
また、Ｓ２４でタスク有りの状態で時得られた脳活動データと行動データについては、脳活動・行動のデータベースに追加し、正答確率の時系列パターンや判断境界のパターンのデータを更新することで、データベースの質向上をはかる（Ｓ３０）。
また、Ｓ２４でタスク有りの状態で時得られた脳活動データと行動データについては、脳活動・行動のデータベースに追加し、正答確率の時系列パターンや判断境界のパターンのデータを更新することで、データベースの質向上をはかる（Ｓ３０）。
次に、「脳活動・行動のデータベース作成」の処理（図２のＳ２０〜Ｓ２２）の詳細について、発明者の行った実験結果も踏まえながら、説明する。すなわち、本発明による生体及び脳機能信号を用いた操作者内部状態の推定が技術的に可能であることを示すため、発明者が複数の被験者に対して行った、光トポにサポートベクターマシンを適用して視覚的錯誤状態を推定した実験の例、及びその結果について、以下に記述する。
まず、図３は、変化検出課題を用いた、光トポ脳活動の測定の様子を示している。課題の提示期間中、被験者はノートPCの画面に呈示される視覚刺激に応じて、外部機器（またはノートPC）のキーボードを用いて反応する。これにより、被験者の内部状態のデータが得られた。同時に、その際の脳活動を、全頭８８チャンネルの光トポによる全頭計測を行った。これにより、内部状態のデータの取得と時間的な関連を有する被験者の生体計測信号が得られた。我々は、視覚的錯誤を実験的に検証するため、６人の被験者に対して、非特許文献３で用いられた変化検出課題を提示して測定を行った。
データベース作成にあたり、操作者は、図４の手順を踏まえるものとする。図４は、行動データおよび脳活動データの取得法、換言すると、「脳活動・行動データベース」の作成のフローチャートである。
操作者は、光トポ計測装置を装着する（Ｓ４０）。
操作者は、ＩＤ、氏名、個人情報を登録し、新規データベースを作成する（Ｓ４１）。
プルダウンメニューから、自身が検出したいと思うヒューマンエラー要因、たとえば「注意力」、「作業記憶」、「スキル学習」などの項目を選択する（Ｓ４２）。
次に、操作者は、上記（Ｓ４２）で選択された項目に応じた心理物理課題をこなす。すなわち、
注意課題を選択した場合(Ｓ４３)、変化検出課題を行う(Ｓ４４)。この場合行動データは各試行での正解（視覚刺激変化を正しく報告した）か、不正解（視覚刺激変化を見逃した）かである。図５Ａ，図５Ｂは、実験に用いた変化検出課題の模式図である。この模式図に関しては後で説明する。
注意課題を選択した場合(Ｓ４３)、変化検出課題を行う(Ｓ４４)。この場合行動データは各試行での正解（視覚刺激変化を正しく報告した）か、不正解（視覚刺激変化を見逃した）かである。図５Ａ，図５Ｂは、実験に用いた変化検出課題の模式図である。この模式図に関しては後で説明する。
作業記憶課題を選択した場合(Ｓ４５)、画面に呈示されたひらがなを数秒から数十秒間記憶した後、記憶したものと呈示されたものが同じかどうかを答える(Ｓ４６)。この場合行動データは各試行での正解（覚えてマッチした）か不正解（忘れてマッチし損ねた）かである。
スキル学習課題を選択した場合(Ｓ４７)、位置が速度と変換されるようなジョイスティックを用いて画面上のターゲットを追従する操作を学習する(Ｓ４８)。この場合行動データは、ターゲットからの位置誤差である。
それぞれの課題を１００回試行程度行い、脳活動および行動データを記録する(Ｓ４９)。
すなわち、上記心理物理課題の提示と並行して計測されたi番目試行の脳活動データ（被験者の生体計測信号）をxi、行動データ（被験者の内部状態のデータ）をyiとする。それらを対 (xi， yi)にする。これらのデータ対を全ての試行(xi， yi) (i=１，…，N)に亘ってハードディスク上に記録する。
必要があれば、上記（Ｓ４９）で記録した個人データをインターネット経由で登録し、被験者毎のデータベースを作成する（Ｓ５０）。この時個人が特定されないよう配慮する。
図５Ａの「変化検出課題」において、一試行は以下の（Ｓ５１）〜（Ｓ５５）からなり、被験者は以下に説明する「文字タスク」と「顔タスク」を呈示される。
（Ｓ５１） 被験者は顔の正面３０ｃｍに配置された液晶ディスプレイ上の固視点(＋)を凝視する。
（Ｓ５２）その間、固視点の上下に三文字、例えばＸＢＶ，ＧＶＺのアルファベットからなる二つの文字列と、左右に二つの顔からなる画面が５００ミリ秒呈示される。上下の文字列に特定のアルファベット（この場合”Ｘ”）が含まれるかどうかを、キーボードで即座に報告する（文字タスク）。
（Ｓ５３）灰色のブランク画面が５００ミリ秒呈示される。
（Ｓ５４）上記ステップ（Ｓ５２）と（Ｓ５３）を４回繰り返す。この際左右いずれかの顔刺激が入れ替わる場合がある(図５Ｂ参照)。
（Ｓ５５）画面上の顔刺激が入れ替わったかどうかをキーボードで報告する（顔タスク）。
一セッションは３０試行からなり、全体の１／３の試行では同じ顔が繰り返し表示されるのに対し、２／３の試行では左右どちらかの顔が他の顔に入れ替わる事とした。認知心理学の分野では、人が一度に処理できる情報には上限あることが示されている（非特許文献２）。ここでは、文字タスクと顔タスクを同時に課す二重タスクの設定により、被験者が顔変化に向けられる注意のリソース配分が減り、顔変化を見逃すことが予想される。
実際、被験者６名の平均正答率は５５.６％であった。顔変化があった試行のうち、変化があったと被験者が報告した試行を変化検出試行、変化がなかったと被験者が報告した試行を変化見落とし施行と呼ぶことにする。上記の変化検出課題で測定された脳活動から、変化に気付いた試行と見落とした試行を分類できるかどうかを検討する必要がある。
次に「分類アルゴリズムの最適化」の処理（図２のＳ２３）の詳細について、発明者の行った実験結果も踏まえながら、説明する。
以下では、光トポ信号から変化検出試行と変化見落とし試行を分類した手法について、４ステップに分けて順次説明する。
以下では、光トポ信号から変化検出試行と変化見落とし試行を分類した手法について、４ステップに分けて順次説明する。
（Ｓ１）「光トポ信号に含まれるノイズ除去の前処理」
光トポ信号には、心拍や呼吸といった全身性由来の信号や生体特有のノイズ、また測定器レーザーの揺らぎによるノイズなどが含まれている。これらを除去し、脳活動由来の信号を抽出するため、移動平均（３秒）による平滑化および多項式（三次）フィッティングによるベースライン除去を行った。
光トポ信号には、心拍や呼吸といった全身性由来の信号や生体特有のノイズ、また測定器レーザーの揺らぎによるノイズなどが含まれている。これらを除去し、脳活動由来の信号を抽出するため、移動平均（３秒）による平滑化および多項式（三次）フィッティングによるベースライン除去を行った。
（Ｓ２）「チャンネル除外」
光トポ振幅が０.５以上、または周波数スペクトラムが白色雑音と統計的に区別できないチャンネルは、ノイズの寄与が強いと判断し、以下の解析から除外した。
光トポ振幅が０.５以上、または周波数スペクトラムが白色雑音と統計的に区別できないチャンネルは、ノイズの寄与が強いと判断し、以下の解析から除外した。
（Ｓ３）「複数チャンネル信号を用いた分類アルゴリズムによる変化検出・変化見落とし試行の分類化」
分類アルゴリズムにおいて複数チャンネルを用いる際、いくつのチャンネルを用いればいいかを決定する必要がある。一般にチャンネル数を増やすとトレーニングデータに対する分類確率は向上するが、テストデータに対する汎化はむしろ悪化する。そのため、チャンネル数を１，２，３の場合を検討した。ステップ(２)で除外されなかった総チャンネル数をNとすると、それぞれ、N， N(N-１)／２!， N(N-１)(N-２)／３!の場合に付いて分類アルゴリズムを適用することになる。
分類アルゴリズムにおいて複数チャンネルを用いる際、いくつのチャンネルを用いればいいかを決定する必要がある。一般にチャンネル数を増やすとトレーニングデータに対する分類確率は向上するが、テストデータに対する汎化はむしろ悪化する。そのため、チャンネル数を１，２，３の場合を検討した。ステップ(２)で除外されなかった総チャンネル数をNとすると、それぞれ、N， N(N-１)／２!， N(N-１)(N-２)／３!の場合に付いて分類アルゴリズムを適用することになる。
分類アルゴリズムとして、サポートベクターマシンを用いた。変化検出・変化見落としでラベル付けした光トポ信号から分類正答確率を計算する際、汎化性能を評価するために、実験データをトレーニングデータとテストデータにランダムに分けて汎化性能を評価するN-foldクロスバリデーションを用いた。光トポ信号は１０Hzの時系列信号として与えられているため、各試行開始時刻を０として、上述した計算を−５〜１２秒まで０.１秒刻みで計算し、分類正答確率の時間変化を追った。
サポートベクターマシンとは、機械学習における分類アルゴリズムの一手法で、「判断境界」から分類データのマージンを最大化するという基準のもとに最適な判断境界を決定するものである。図６Ａ、図６Ｂにサポートベクターマシンの概念図を示す。トレーニングにおいて、図６Ａに示すように、状態Ａの二次元データ（白点）と状態Ｂの二次元データ（黒点）が与えられた際、マージンを最大にするように「判断境界は決定される。黒丸で囲まれたデータは判断境界を決める上で重要な役割を果たすサポートベクターと呼ばれる。マージン最大化により、テストデータが誤って分類される危険性が最小化される。
次に、図６Ｂに示すように、トレーニングデータから計算された判断境界を用いて、テストデータへの汎化性能が計算できる。すなわち、図６Ａで決定された判断境界を用いて、新たに得られたデータxに対して、（式１）であれば状態Ａ、（式２）であれば状態Ｂであると判断する。
クロスバリデーションとは、与えられた訓練データセットのみで統計解析のパフォーマンスを評価する手法である。まず、訓練データセットを人工的にトレーニングとテスト用に分ける。前者で統計解析を最適化し、後者を用いてその統計解析のパフォーマンスを評価する。N-fold クロスバリデーションでは、訓練データの分け方をランダムにしたものをN回繰り返すことで、より正確なパフォーマンスを評価する。
（Ｓ４）教師なしクラスタリングアルゴリズムを用いた分類正答確率の特徴抽出
上記（Ｓ３）で計算された全ての複数チャンネルの組合せから得られる分類正答確率がどのような時間変化パターンをもつかを調べるため、教師なしクラスタリングアルゴリズムを用いた。クラスターの数は自動的に決定することも出来るが、ここでは得られた時系列パターンを目視して適当と思われる個数を指定した。クラスタリングアルゴリズムとして、代表的なk-meansクラスタリング法を用いた。
上記（Ｓ３）で計算された全ての複数チャンネルの組合せから得られる分類正答確率がどのような時間変化パターンをもつかを調べるため、教師なしクラスタリングアルゴリズムを用いた。クラスターの数は自動的に決定することも出来るが、ここでは得られた時系列パターンを目視して適当と思われる個数を指定した。クラスタリングアルゴリズムとして、代表的なk-meansクラスタリング法を用いた。
上記実験の解析結果として、以下の４点が得られた。
（ａ）複数チャンネル仕様による分類確率の向上：
図７に、総チャンネル数Nを変化させた場合の分類確率を示す。ここでは、左から１チャンネル（Ａ）、２チャンネル（Ｂ）、３チャンネル（Ｃ）を選んでサポートベクトルマシンを適用した場合の、分類確率で振幅が大きいものの上位２０系列を示した。図７から明らかな通り、分類アルゴリズムに用いるチャンネル数は１個では不十分で、複数個用いる必要がある。また、２個と３個では分類確率にそれほど差がなく、計算時間を短縮する実用上２個で十分と思われる。
（ａ）複数チャンネル仕様による分類確率の向上：
図７に、総チャンネル数Nを変化させた場合の分類確率を示す。ここでは、左から１チャンネル（Ａ）、２チャンネル（Ｂ）、３チャンネル（Ｃ）を選んでサポートベクトルマシンを適用した場合の、分類確率で振幅が大きいものの上位２０系列を示した。図７から明らかな通り、分類アルゴリズムに用いるチャンネル数は１個では不十分で、複数個用いる必要がある。また、２個と３個では分類確率にそれほど差がなく、計算時間を短縮する実用上２個で十分と思われる。
例えば、内部状態として「注意」を選定した場合、見落とし・聞き間違え・勘違いといった感覚的錯誤を検出するために、生体計測として、被験者の後頭頂葉と背側前頭葉の各脳部位から各１チャンネル選んで１組のペアを構成し光トポを測定しても、十分な効果が得られる。また、内部状態として「作業記憶」を選定した場合、度忘れ・し忘れといった失念および失行を検出するために、生体計測として、被験者の背側前頭葉の各脳部位から各１チャンネル選んで１組のペアを構成し光トポを測定しても良い。さらに、内部状態として「スキル学習の固定化」を選定した場合、スキル不足により生じる過失を検出するために、生体計測として、脳部位として被験者の前頭葉と運動野の各脳部位から各１チャンネル選んで１組のペアを構成し光トポを測定しても良い。
（ｂ）分類確率の時系列パターン：
図８に、脳機能計測における変化検出課題において、被験者が変化に気づいたか、又は見落としたかを示す、分類確率の時系列パターンの典型的な例を示す。（Ａ）の例は、変化検出課題の「錯誤課題期間」の呈示後に分類確率が上昇しており、被験者が外界に向ける注意のメカニズムが良好ではないことを示している。一方、（Ｂ）の例は、課題終了前から分類確率が上昇しており、被験者が外界に向ける注意のメカニズムが良い状態にあることを示している。
図８に、脳機能計測における変化検出課題において、被験者が変化に気づいたか、又は見落としたかを示す、分類確率の時系列パターンの典型的な例を示す。（Ａ）の例は、変化検出課題の「錯誤課題期間」の呈示後に分類確率が上昇しており、被験者が外界に向ける注意のメカニズムが良好ではないことを示している。一方、（Ｂ）の例は、課題終了前から分類確率が上昇しており、被験者が外界に向ける注意のメカニズムが良い状態にあることを示している。
図９は、分類確率の時系列パターンに関する被験者４名の実験データを、測定チャンネルのペアと共に示したものである。（ここでは、全チャンネルについて測定したのを示している。）
このように、分類正答確率には大きく分けて二通りの時系列パターンがある。一つは、課題終了まではチャンスレベル程度の分類確率を示すが、課題終了直後に上昇を始め、課題終了５秒後あたりで最大値を取るものである（図８の（Ａ）および図９の（Ａ），（Ｂ））。もう一つは、課題実行前から既にチャンスレベル以上の分類確率を示し、課題開始前後で最大値を取り、その後緩やかにチャンスレベルに戻っていくものである（図８の（Ｂ）および図９（Ｃ））。また、被験者によっては、両方のパターンが含まれることもある（図９の（Ｄ））。
このように、分類正答確率には大きく分けて二通りの時系列パターンがある。一つは、課題終了まではチャンスレベル程度の分類確率を示すが、課題終了直後に上昇を始め、課題終了５秒後あたりで最大値を取るものである（図８の（Ａ）および図９の（Ａ），（Ｂ））。もう一つは、課題実行前から既にチャンスレベル以上の分類確率を示し、課題開始前後で最大値を取り、その後緩やかにチャンスレベルに戻っていくものである（図８の（Ｂ）および図９（Ｃ））。また、被験者によっては、両方のパターンが含まれることもある（図９の（Ｄ））。
（ｃ）変化検出のモニター（錯誤のモニター）：
図８の（Ａ）に示したように、課題終了後に分類確率が最大値をとるものは、被験者が変化に気付いたかどうかという内観を分類していると考えられる。すなわち、この光トポ複数チャンネル信号にここでの手順を適用することで、直前に起きた外界変化に気付いたかどうかをモニターすることが可能になる。この信号は主に左半球の頭頂葉由来のもので、被験者のトップダウン型注意を表しているものと考えられる。なお、図１１に、トップダウン注意とボトムアップ注意に関する脳部位を示す。
図８の（Ａ）に示したように、課題終了後に分類確率が最大値をとるものは、被験者が変化に気付いたかどうかという内観を分類していると考えられる。すなわち、この光トポ複数チャンネル信号にここでの手順を適用することで、直前に起きた外界変化に気付いたかどうかをモニターすることが可能になる。この信号は主に左半球の頭頂葉由来のもので、被験者のトップダウン型注意を表しているものと考えられる。なお、図１１に、トップダウン注意とボトムアップ注意に関する脳部位を示す。
（ｄ）変化検出の予測（錯誤の予測）：
図８の（Ｂ）に示したように、課題開始前に分類確率が最大値をとるものは、被験者が変化に気付きそうかどうかという直後のパフォーマンスを予測していると考えられる。すなわち、この光トポ複数チャンネル信号にここの手順を適用することで、直後に起きる外界の変化に気付きそうかどうかという予測をすることが可能になる。この信号は主に右半球の頭頂葉由来のもので、被験者のボトムアップ型注意を表しているものと考えられる。
図８の（Ｂ）に示したように、課題開始前に分類確率が最大値をとるものは、被験者が変化に気付きそうかどうかという直後のパフォーマンスを予測していると考えられる。すなわち、この光トポ複数チャンネル信号にここの手順を適用することで、直後に起きる外界の変化に気付きそうかどうかという予測をすることが可能になる。この信号は主に右半球の頭頂葉由来のもので、被験者のボトムアップ型注意を表しているものと考えられる。
再現性の確認：
我々は、被験者二名に変化検出課題を後日繰り返し、同じ解析を適用し、分類確率の時系列パターンが同様に得られることを確認した。その結果を図１０の（Ａ）、（Ｂ）に示す。すなわち、（１）分類確率の時系列パターンは被験者毎に異なり、かつ、（２）同じ被験者であれば、所定の繰り返し回数により得られた分類確率の時系列パターンは常に同じものになる、ということを確認した。
我々は、被験者二名に変化検出課題を後日繰り返し、同じ解析を適用し、分類確率の時系列パターンが同様に得られることを確認した。その結果を図１０の（Ａ）、（Ｂ）に示す。すなわち、（１）分類確率の時系列パターンは被験者毎に異なり、かつ、（２）同じ被験者であれば、所定の繰り返し回数により得られた分類確率の時系列パターンは常に同じものになる、ということを確認した。
上記の実験結果から、我々は、光トポ信号複数チャンネルを機械学習の分類アルゴリズムで分類し、操作者の内部状態を推定できる可能性を確認できた。このことから、被験者毎に正答率の高い時間を状態判定区間として操作者の内部状態を推定する、換言すると、図１Ｂに示したような判定用のデータベースを作成すればよいことが分かる。
見落とし・身間違いに代表される視覚的錯誤は、ヒューマンエラーの一要因として挙げられており、信号見落としやメール誤送信といった重大過失にもなり得るので、この予防策を提案することは社会的・経済的に重要性が高い。事前の脳機能計測における変化検出課題において、被験者が変化に気づいたか、又は見落としたかを、チャンスレベル５０％のところ、全頭光トポグラフィ信号から７０％−９０％程度の確率で再現することができた。すなわち、本発明によれば、高い確率でヒューマンエラーの起こりやすい状態を予測・検出し、過失の危険度が高い状態にあると推定される場合には、操作者等にフィードバックすることができる。
実施例１で示した脳活動信号からの錯誤状態のモニターおよび予測は、他のタイプのヒューマンエラーにも一般化可能と期待できる。
本発明の第二の実施例として、作業記憶状態の推定による失念・失行の防止機能を備えたヒューマンインターフェイスについて、説明する。
ここでは、失念（ど忘れ）や失行（し忘れ）といったヒューマンエラー要因を、脳機能計測から予測及びモニターする実施例を説明する。失念および失効には、ある特定の作業に使われるための短期記憶である作業記憶が正しく機能する必要がある。短期記憶には大きく分けて空間性と言語性があり、前頭葉外側部のそれぞれ４５野と４６野によって処理されていることが知られている。
図１２Ａは、最適タスク設定のデータベース作成のフローチャート、図１２Ｂは、最適タスク判定手法のフローチャートである。
図１２Ａにおいて、事前に操作者の頭部に生体計測装置１１０を装着し（Ｓ１２０）、安静状態（タスク無し）で、所定時間だけ操作者の脳機能計測を行う（Ｓ１２１）。次に、操作者は、例えば職場で毎朝、職場のパソコン操作などの実務の作業（タスク無し）を開始し（Ｓ１２２）、操作者の脳機能計測は行わずに作業を続ける（Ｓ１２３）。そして、操作者が、当日の作業内容・作業成績を基に主観的な評価を行い、その結果を毎日、外部機器などを介して装置本体１００に入力する（Ｓ１２４）。装置本体１００は、入力を受け付ける度に、安静状態での操作者の生体信号の計測結果と主観的な評価の情報とから、操作者の内部状態を推定するためのデータベースを生成、更新する（Ｓ１２５）。この処理は、十分な数のデータ数が得られるまで、日々繰り返される（Ｓ１２６、Ｓ１２７）。このような生体信号と主観的な評価に基づくデータを用いて、汎化分類確率を最大化するように機械学習の分類アルゴリズムを最適化する。すなわち、これらのデータに対して図６Ａに示したような状態Ａ，状態Ｂの分類を行い、図６Ｂに示したような「判断境界」が得られる。このようにして、図１Ｂで述べたものと同様な、ヒューマンエラーの起こりやすさの判定基準を与える判断境界のパターンを有する最適タスク設定のデータベース１４０Ｂ’が作成される。なお、装置本体１００の他の機能に関しては、実施例１の装置と同じものとする。
図１２Ａにおいて、事前に操作者の頭部に生体計測装置１１０を装着し（Ｓ１２０）、安静状態（タスク無し）で、所定時間だけ操作者の脳機能計測を行う（Ｓ１２１）。次に、操作者は、例えば職場で毎朝、職場のパソコン操作などの実務の作業（タスク無し）を開始し（Ｓ１２２）、操作者の脳機能計測は行わずに作業を続ける（Ｓ１２３）。そして、操作者が、当日の作業内容・作業成績を基に主観的な評価を行い、その結果を毎日、外部機器などを介して装置本体１００に入力する（Ｓ１２４）。装置本体１００は、入力を受け付ける度に、安静状態での操作者の生体信号の計測結果と主観的な評価の情報とから、操作者の内部状態を推定するためのデータベースを生成、更新する（Ｓ１２５）。この処理は、十分な数のデータ数が得られるまで、日々繰り返される（Ｓ１２６、Ｓ１２７）。このような生体信号と主観的な評価に基づくデータを用いて、汎化分類確率を最大化するように機械学習の分類アルゴリズムを最適化する。すなわち、これらのデータに対して図６Ａに示したような状態Ａ，状態Ｂの分類を行い、図６Ｂに示したような「判断境界」が得られる。このようにして、図１Ｂで述べたものと同様な、ヒューマンエラーの起こりやすさの判定基準を与える判断境界のパターンを有する最適タスク設定のデータベース１４０Ｂ’が作成される。なお、装置本体１００の他の機能に関しては、実施例１の装置と同じものとする。
次に、操作者が日々の業務における失念・失行を防止するために、上記の最適タスク設定のデータベースを利用する状態を図１２Ｂで説明する。この場合も、操作者の頭部に生体計測装置を装着し（Ｓ１３０）、安静状態（タスク無し）で、所定時間だけ脳機能計測を行う（Ｓ１３１）。装置本体１００は、当日測定された生体計測の情報と最適タスク設定のデータベース１４０Ｂ’に基づき、当日の操作者の内部状態を推定し、判定結果やアドバイスを生成、出力する（Ｓ１３２）。
次に、操作者が現場でのパソコン操作などの実務の作業（タスク無し）を開始し（Ｓ１３３）、操作者の脳機能計測は行わずに作業を続ける（Ｓ１３４）。そして、操作者が、当日の作業内容・作業成績を基に、主観的な評価を行い、その結果を装置本体に入力する（Ｓ１３５）。装置本体１００は、安静状態での操作者の生体信号の計測結果と主観的な評価の情報とから、操作者の内部状態を推定するためのデータベース１４０Ｂ’を更新する（Ｓ１３６）。
このようにして、最適化された分類アルゴリズムを用いて、操作者が現在の課題に対して作業記憶を適切に保っていられそうかどうか（作業記憶の予測）、また作業記憶を適切に保っているかどうか（作業記憶のモニター）を、測定された脳活動から推定することが可能であると期待される。作業記憶に関して過失を犯す確率が高くなった場合には、視覚的・聴覚的もしくは触覚的呈示装置を用いて操作者もしくは管理者に対して注意を喚起することにより、失念・失行によるヒューマンエラーを防ぐことが可能となる。
本実施例は第一の実施例と比較して、最適タスク設定のデータベースの作成に時間を要する欠点があるが、作業現場で手軽に利用できる利点がある。
本発明は、スキル定着度の評価による、スキル不足に起因する過失の防止にも適用できる。
ヒューマンエラーの一要因として、課題を遂行するのに十分なスキルを身につけていないというスキル不足が挙げられている。例としては、制御盤の手順を十分に習得していないまま実作業現場で操作したり、運転技能が未熟なまま道路に出たりといった際に、重大な事故に繋がる可能性がある。したがって、特定のスキルが十分習得されているかどうかを定量化することは、操作者が実作業現場に配置可能かどうかの一つの判断基準になる。
ヒューマンエラーの一要因として、課題を遂行するのに十分なスキルを身につけていないというスキル不足が挙げられている。例としては、制御盤の手順を十分に習得していないまま実作業現場で操作したり、運転技能が未熟なまま道路に出たりといった際に、重大な事故に繋がる可能性がある。したがって、特定のスキルが十分習得されているかどうかを定量化することは、操作者が実作業現場に配置可能かどうかの一つの判断基準になる。
最近の認知心理科学によると、(１)スキルの定着には一定以上の時間および練習回数が必要なこと、(２)パフォーマンスが飽和した状態で即練習を終了すると、スキルは定着化しないこと、(３)スキルの定着化には、パフォーマンスが飽和した状態で練習を続けなければならないこと、といった点が明らかになった（文献）。しかし、飽和した状態でどれくらい練習を積めば定着化するかは明らかになっておらず、後日の再テストによってのみ、スキル学習が定着化したかどうかが明らかになる。一方、実際のトレーニング、例えば原子力作業盤操作のトレーニングでは、トレーニングセンターに出向き訓練を受けたあと、それぞれの作業現場に配置されるため、再テストの機会を作ることが出来ない。このため、トレーニングセンターではあるスキルに関して一定のパフォーマンスを収めたが、そのスキルが定着化しないまま実務につくことになった場合、大事故に繋がる危険性がある。したがって、スキル定着化度を定量化することはヒューマンエラーの防止に不可欠である。
実施例１及び２では、脳機能計測装置を常時装着する必要があった。実施例３では、操作者のスキル定着度評価を目的に、常時装着を必須としない場合を説明する。
実施例３でも、上記実施例１，２と同様に、スキル学習時の脳活動に分類アルゴリズムを適用してスキル定着化度を計算する。例えば、図２のＳ２０〜Ｓ２２や図４のＳ４１〜Ｓ４２、Ｓ４７〜Ｓ５０と同様な処理により、スキル定着化度を計算し、行動および脳活動データをデータベース化する。
この実施例３は、上記実施例１，２と以下の二点で異なる。
まず、Ｓ２２の「脳活動・行動のデータベース作成」において、単一の被験者ではなく、様々なスキル定着段階にある複数の被験者からの行動および脳活動データをデータベース化し、それをトレーニングセットとして分類アルゴリズムを最適化する。実施例１，２の好ましい適用対象は、視覚的錯誤や失念といった比較的短時間(数秒〜数十秒)の認知的過失である。この場合、時間的揺らぎが大きく、個人差間の比較は難しいと思われる。一方、スキル定着化は長い時間スケール(数十分〜数時間)で起こる現象であるため、時間的平均が取り易く、個人差間の比較が可能であると期待される。これにより、被験者が同じ学習課題を繰り返し行う労力と時間を節約できる。
まず、Ｓ２２の「脳活動・行動のデータベース作成」において、単一の被験者ではなく、様々なスキル定着段階にある複数の被験者からの行動および脳活動データをデータベース化し、それをトレーニングセットとして分類アルゴリズムを最適化する。実施例１，２の好ましい適用対象は、視覚的錯誤や失念といった比較的短時間(数秒〜数十秒)の認知的過失である。この場合、時間的揺らぎが大きく、個人差間の比較は難しいと思われる。一方、スキル定着化は長い時間スケール(数十分〜数時間)で起こる現象であるため、時間的平均が取り易く、個人差間の比較が可能であると期待される。これにより、被験者が同じ学習課題を繰り返し行う労力と時間を節約できる。
実施例３では、脳機能計測はスキル定着化を評価する際のみに用い（図４のＳ４８〜Ｓ４９）、最初の光トポ計測の処理（Ｓ４０）は省略される。このような被験者からの行動および脳活動データを用いて、汎化分類確率を最大化するように機械学習の分類アルゴリズムを最適化する。すなわち、これらのデータに対して図６Ａに示したような状態Ａ，状態Ｂの分類を行い、図６Ｂに示したような「判断境界」が得られる。このようにして、図１Ｂ等で述べたものと同様な、ヒューマンエラーの起こりやすさの判定基準を与える判断境界のパターンを有する最適タスク設定のデータベース１４０Ｂ”が作成される。なお、装置本体１００の他の機能に関しては、実施例１の装置と同じものとする。
これにより脳機能計測による身体的拘束や付随する身体的負担・疲労を除くことが出来る。
近年の脳機能イメージング研究では、スキルが定着化する際に、行動面では変化が無くとも、脳活動の活動中心が転移することが示されている。例えば外力場のスキル学習では前頭前野から運動野へ、手順を覚える系列学習では大脳基底核の吻側部から尾側部に、スキル固定化に伴い活動が移る。したがって、スキル学習中に脳活動測定を行い活動の中心がどのように転移したかを定量化することで、スキル定着化度を定量化することができる。この方法を用いることで後日の再テストが不要となり、またスキル不足のまま実作業現場に配置されることが防止される。
本発明は、生体信号から推定される状態に応じて、個人の適性に合わせた課題の選択、にも適用できる。
上記実施例１，２，３は、「錯誤が起きた（起きる）かどうか」、「失念したか（するか）どうか」、あるいは「スキルが定着化したかどうか」といった二値判断課題の例について説明した。実施例４では、より一般の多値判断課題を提案し、一応用例としてその日の状態に応じた仕事内容の決定支援装置を説明する。
まず、非特許文献４によれば、癲癇の患者において、癲癇の起こる数時間〜７時間の脳活動から発作の予兆を見いだせることが報告されている。したがって、朝の脳活動データから、その日一日のパフォーマンスを予測できることが期待できる。
実施例４では、ある被験者が、朝に十分程度測った脳活動データと、同日の終わりに日中どのような仕事内容に従事し、個人的なパフォーマンスを評価した行動データを、対にしてデータベースとして記憶する。仕事内容としては大きくカテゴリー化したものを被験者が予め設定し、例えば、記憶課題・プレゼンテーション・詳細なチェック課題・文章構成・対外交渉などとする。一日のデータを一単位とし、数ヶ月測定したデータベースをトレーニングデータとし、分類アルゴリズムの最適パラメタを決定する。この実施例は、上記実施例１，２，３と異なり、複数の仕事内容からその日に最適な仕事内容を一つ選ぶことが目的であるため、多値判断問題である。このような問題には、ベイズ統計に基づくレレバンスベクターマシンが有用である。実施例４でも、図１Ｂ等で述べたデータベースに相当する、ヒューマンエラーの起こりやすさの判定基準を与える最適タスク設定のデータベースを生成する。このようにして、最適化されたレレバンスベクターマシンを用いて、被験者に対して、朝の脳活動からその日最高のパフォーマンスを見せる仕事内容を提案することができる。これにより、その日に不向きな仕事内容で時間を費やすことが減り、またヒューマンエラーの減少も期待することが出来る。
［変形例］
なお、上述の各実施例は脳機能計測法として光トポグラフィを用いたが、機能的ＭＲＩや脳波といった他手法でも同様に実施可能である。
脳機能計測法として機能的ＭＲＩを用いる場合には、その比較的低い時間的解像度のため、実施例１および２のような実時間でヒューマンエラーを検出する応用には直接的に応用は難しい。むしろ、実施例３もしくは４のように長い時間的スケールの脳活動状態を、機能的ＭＲＩの高い空間分解能で解析するのに適していると思われる。また、機能的ＭＲＩでは、光トポグラフィでは観察できない小脳・大脳基底核などといった脳深部位活動を計測できる。それらは系列学習や運動の自動化といった機能に関連が知られているため、機能的ＭＲＩによるそれらの機能定量化に応用することが可能である。
なお、上述の各実施例は脳機能計測法として光トポグラフィを用いたが、機能的ＭＲＩや脳波といった他手法でも同様に実施可能である。
脳機能計測法として機能的ＭＲＩを用いる場合には、その比較的低い時間的解像度のため、実施例１および２のような実時間でヒューマンエラーを検出する応用には直接的に応用は難しい。むしろ、実施例３もしくは４のように長い時間的スケールの脳活動状態を、機能的ＭＲＩの高い空間分解能で解析するのに適していると思われる。また、機能的ＭＲＩでは、光トポグラフィでは観察できない小脳・大脳基底核などといった脳深部位活動を計測できる。それらは系列学習や運動の自動化といった機能に関連が知られているため、機能的ＭＲＩによるそれらの機能定量化に応用することが可能である。
１００…装置本体、１１０…生体計測装置、１２０…信号解析装置、１３０…課題呈示装置、１４０…外部記憶装置、１５０…外部機器、１６０…操作者（被験者）。
Claims (15)
- 被験者の内部状態の情報と、該内部状態の情報と時間的関連性を有し生体由来の雑音を除去した前記被験者の生体計測情報とをセットとして取得し、個人用のデータベースを生成する個人データベース生成手段と、
前記個人用のデータベースを訓練セットとして分類アルゴリズムを最適化する分類アルゴリズム最適化手段と、
前記被験者の生体信号計測により得られた新たな生体計測情報に、前記最適化された分類アルゴリズムを適用して、前記被験者の内部状態を推定する行動推定手段と、
前記推定結果に基く情報を呈示する情報呈示手段とを備え、
前記被験者の内部状態が感覚的錯誤に関するものであり、
前記個人データベース生成手段は、前記被験者に対する課題の呈示手段と、該課題の呈示状態と関連して前記被験者に対する光トポグラフィによる生体計測を行う生体計測手段とを有しており、
前記感覚的錯誤を検出するために、前記新たな生体計測として、前記光トポグラフィを前記被験者の主に後頭頂葉と背側前頭葉の少なくとも１組の脳部位において同時に計測する
ことを特徴とするヒューマンインターフェイス。 - 被験者の内部状態の情報と、該内部状態の情報と時間的関連性を有し生体由来の雑音を除去した前記被験者の生体計測情報とをセットとして取得し、個人用のデータベースを生成する個人データベース生成手段と、
前記個人用のデータベースを訓練セットとして分類アルゴリズムを最適化する分類アルゴリズム最適化手段と、
前記被験者の生体信号計測により得られた新たな生体計測情報に、前記最適化された分類アルゴリズムを適用して、前記被験者の内部状態を推定する行動推定手段と、
前記推定結果に基く情報を呈示する情報呈示手段とを備え、
前記被験者の内部状態が作業記憶に関するものであり、
前記個人データベース生成手段は、前記被験者に対する課題の呈示手段と、該課題の呈示状態と関連して前記被験者に対する光トポグラフィによる生体計測を行う生体計測手段とを有しており、
前記作業記憶を検出するために、前記新たな生体計測として、前記光トポグラフィを前記被験者の主に背側前頭葉の少なくとも１組の脳部位において同時に計測する
ことを特徴とするヒューマンインターフェイス。 - 被験者の内部状態の情報と、該内部状態の情報と時間的関連性を有し生体由来の雑音を除去した前記被験者の生体計測情報とをセットとして取得し、個人用のデータベースを生成する個人データベース生成手段と、
前記個人用のデータベースを訓練セットとして分類アルゴリズムを最適化する分類アルゴリズム最適化手段と、
前記被験者の生体信号計測により得られた新たな生体計測情報に、前記最適化された分類アルゴリズムを適用して、前記被験者の内部状態を推定する行動推定手段と、
前記推定結果に基く情報を呈示する情報呈示手段とを備え、
前記被験者の内部状態がスキル学習の固定化に関するものであり、
前記個人データベース生成手段は、前記被験者に対する課題の呈示手段と、該課題の呈示状態と関連して前記被験者に対する光トポグラフィによる生体計測を行う生体計測手段とを有しており、
前記スキル学習の固定化を検出するために、前記新たな生体計測として、前記光トポグラフィを前記被験者の主に前頭葉と運動野の少なくとも１組の脳部位において同時に計測する
ことを特徴とするヒューマンインターフェイス。 - 請求項１において、
前記感覚的錯誤を検出するために、前記新たな生体計測として、前記光トポグラフィと共に、前記被験者の脈拍、呼吸もしくは血圧を測定する
ことを特徴とするヒューマンインターフェイス。 - 請求項１乃至３の何れかにおいて、
前記個人データベース生成手段は、前記被験者に対する課題の呈示手段と、該課題の呈示状態と関連して前記被験者に対する脳波による生体計測を行う生体計測手段とを有している
ことを特徴とするヒューマンインターフェイス。 - 請求項１乃至３の何れかにおいて、
前記個人データベース生成手段は、前記生体計測情報に関する信号の前処理において、周波数バンドパスフィルタを用いると共に、多項式ベースライン補正、主成分分析、もしくは独立成分分析の少なくとも１つを用いる
ことを特徴とするヒューマンインターフェイス。 - 請求項１乃至３の何れかにおいて、
前記個人データベース生成手段は、前記個人用のデータベースの保存装置として、ローカルハードディスクもしくはインターネットによるサーバを備えている
ことを特徴とするヒューマンインターフェイス。 - 請求項１乃至３の何れかにおいて、
前記個人データベース生成手段は、前記被験者に対する課題の呈示手段と、該課題の呈示状態と関連して前記被験者に対する光トポグラフィによる生体計測を行う生体計測手段とを有しており、
前記分類アルゴリズム最適化手段は、前記生体計測もしくは脳機能活動計測において、複数チャンネル信号を機械学習の分類アルゴリズム入力として用いる
ことを特徴とするヒューマンインターフェイス。 - 請求項８において、
前記分類アルゴリズム最適化手段は、前記機械学習アルゴリズムとして、分類法に、サポートベクターマシン、レレバンスベクターマシン、またはバギングのいずれかを用いる
ことを特徴とするヒューマンインターフェイス。 - 請求項８において、
前記分類アルゴリズム最適化手段は、前記機械学習アルゴリズムにおいて、記憶・失念といった二値分類課題において、サポートベクターマシンとクロスバリデーションを用いる
ことを特徴とするヒューマンインターフェイス。 - 請求項８において、
前記分類アルゴリズム最適化手段は、前記機械学習アルゴリズムにおいて、二値以上の分類課題において、レレバンスベクターマシンを用いる
ことを特徴とするヒューマンインターフェイス。 - 請求項１乃至３の何れかにおいて、
前記分類アルゴリズム最適化手段は、
前記被験者に対する課題の提示と並行して計測されたi番目試行の前記生体計測信号をx i 、前記内部状態のデータをy i としたとき、前記生体計測の信号と前記内部状態のデータを対 (x i ， y i )にして、これらのデータ対を全ての試行(x i ， y i ) (i=１，…，N)に亘って記録装置上に記録し、これら訓練セットとして前記分類アルゴリズムを最適化する
ことを特徴とするヒューマンインターフェイス。 - 請求項１乃至３の何れかにおいて、
予め取得される前記被験者の内部状態の情報及び前記生体計測情報は、前記被験者に生体計測装置を装着し課題を与えた状態での計測結果であり、
前記被験者に生体計測装置を装着し課題を与えた状態で前記新たな生体計測情報と新たな前記内部状態の情報を取得し、これらの情報に前記最適化された分類アルゴリズムを適用して、前記被験者の内部状態を推定する
ことを特徴とするヒューマンインターフェイス。 - 請求項１乃至３の何れかにおいて、
予め取得される前記被験者の内部状態の情報及び前記生体計測情報は、前記被験者に生体計測装置を装着し課題を与えた状態での計測結果であり、
前記被験者に生体計測装置を装着し課題を与えず実作業下で前記新たな生体計測情報と新たな前記内部状態の情報を取得し、これらの情報に前記最適化された分類アルゴリズムを適用して、前記被験者の内部状態を推定する
ことを特徴とするヒューマンインターフェイス。 - 請求項１乃至３の何れかにおいて、
前記被験者に生体計測装置を装着し安静状態の脳機能計測を行った生体計測情報と、該被験者が前記生体計測装置を装着しない状態での実務の作業内容・作業成績を基に主観的な評価を行った結果に基いて生成された前記被験者の内部状態の情報とにより、前記個人データベースとして最適タスク設定のデータベースを生成し、
安静状態で計測された前記被験者の新たな内部状態のと前記最適タスク設定のデータベースに基づき、当日の前記被験者の内部状態を推定し、判定結果やアドバイスを生成、出力する
ことを特徴とするヒューマンインターフェイス。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010009106A JP5476137B2 (ja) | 2010-01-19 | 2010-01-19 | 生体および脳機能計測に基づくヒューマンインターフェイス |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010009106A JP5476137B2 (ja) | 2010-01-19 | 2010-01-19 | 生体および脳機能計測に基づくヒューマンインターフェイス |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011150408A JP2011150408A (ja) | 2011-08-04 |
| JP5476137B2 true JP5476137B2 (ja) | 2014-04-23 |
Family
ID=44537350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010009106A Expired - Fee Related JP5476137B2 (ja) | 2010-01-19 | 2010-01-19 | 生体および脳機能計測に基づくヒューマンインターフェイス |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5476137B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014106375A (ja) * | 2012-11-28 | 2014-06-09 | Railway Technical Research Institute | ヒューマンエラー防止のための危険感受性向上システム |
| US10285652B2 (en) | 2012-12-07 | 2019-05-14 | Advanced Telecommunications Research Institute International | Tendency discrimination device, task execution assisting device, tendency discrimination computer program, and task execution assisting computer program |
| JP6330199B2 (ja) | 2014-02-24 | 2018-05-30 | ソニー株式会社 | スマートウェアラブル装置の身体位置最適化及び生体信号フィードバック |
| US10699057B2 (en) | 2015-10-07 | 2020-06-30 | Hitachi Ltd. | System and method for controlling information presented to user referring to contents |
| JP2017118912A (ja) * | 2015-12-28 | 2017-07-06 | 学校法人自治医科大学 | 運動学習の効果促進に最適な注意の向け方を判別する方法 |
| EP3424425A4 (en) | 2016-02-29 | 2020-03-04 | Daikin Industries, Ltd. | DETERMINATION RESULT OUTPUT DEVICE, DETERMINATION RESULT PROVIDING DEVICE, AND DETERMINATION RESULT OUTPUT SYSTEM |
| AU2017299614A1 (en) * | 2016-07-19 | 2019-01-31 | Akili Interactive Labs, Inc. | Platforms to implement signal detection metrics in adaptive response-deadline procedures |
| EP3495812A4 (en) * | 2016-08-03 | 2019-07-24 | Shimadzu Corporation | METHOD FOR PROCESSING ANALYSIS DATA AND DEVICE FOR PROCESSING ANALYSIS DATA |
| CN110022768B (zh) * | 2016-08-26 | 2022-07-01 | 阿克利互动实验室公司 | 与生理组件联接的认知平台 |
| JP6905892B2 (ja) | 2017-08-04 | 2021-07-21 | 株式会社日立製作所 | 計算機システム |
| FR3073727B1 (fr) * | 2017-11-21 | 2019-10-25 | Paris Sciences Et Lettres - Quartier Latin | Systeme de mesure en temps reel de l'activite d'une fonction cognitive et procede de calibration d'un tel systeme |
| JP2020109576A (ja) * | 2019-01-07 | 2020-07-16 | 株式会社ビジュアルジャパン | 情報処理装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4978860B2 (ja) * | 2007-01-24 | 2012-07-18 | 株式会社国際電気通信基礎技術研究所 | 行動予測方法及び行動予測装置 |
-
2010
- 2010-01-19 JP JP2010009106A patent/JP5476137B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011150408A (ja) | 2011-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5476137B2 (ja) | 生体および脳機能計測に基づくヒューマンインターフェイス | |
| CN109069081B (zh) | 用于预测、筛查和监测脑病/谵妄的设备、系统和方法 | |
| US7433732B1 (en) | Real-time brain monitoring system | |
| AU2004253483B2 (en) | Method and apparatus for an automated procedure to detect and monitor early-stage glaucoma | |
| WO2016200952A1 (en) | Method and system for locating seizure focus from interictal data | |
| US10925481B2 (en) | Systems and methods for measuring visual function maps | |
| CN114246589B (zh) | 记忆认知能力测评方法及系统 | |
| JP2021514721A (ja) | 異常運動の検出および補正のためのシステム及び方法 | |
| US11931574B2 (en) | Apparatus, systems and methods for monitoring symptoms of neurological conditions | |
| Ren et al. | Redaction of false high frequency oscillations due to muscle artifact improves specificity to epileptic tissue | |
| KR20230169160A (ko) | 정신건강 진단 및 모니터링을 위한 안구 시스템 | |
| Wriessnegger et al. | Mental state detection using riemannian geometry on electroencephalogram brain signals | |
| US20230107435A1 (en) | Brain Wave Analysis of Human Brain Cortical Function | |
| CN107296586A (zh) | 视觉误差检测设备/方法及基于该设备的书写系统/方法 | |
| US20230062081A1 (en) | Systems and methods for provoking and monitoring neurological events | |
| US11612757B1 (en) | Inducement, verification and optimization of neural entrainment through biofeedback, data analysis and combinations of adaptable stimulus delivery | |
| EP3991646A1 (en) | System and method for analyzing brain activity | |
| EP3164057B1 (en) | System and method for the determination of parameters of eye fixation | |
| WO2024171180A1 (en) | System and method of detecting electrophysiological events in a subject | |
| Mohd et al. | Classification of Stress using Machine Learning Based on Physiological and Psychological Data from Wearables | |
| Rajeev et al. | Epilepsy detection using Machine Learning | |
| Kashevnik et al. | Intelligent Service for Hybrid Analysis of Continuous Mental Processes Based on EEG and Video Data | |
| JP2022542730A (ja) | 被検体の相対的認知能力の決定 | |
| KR20230173645A (ko) | 망막 신호 데이터를 수집하고 아티팩트들을 제거하기 위한 시스템들 및 방법들 | |
| WO2023230017A1 (en) | Determining brain health |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120802 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130305 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130514 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5476137 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |