JP6468637B2 - 眠気推定装置及び眠気推定プログラム - Google Patents

眠気推定装置及び眠気推定プログラム Download PDF

Info

Publication number
JP6468637B2
JP6468637B2 JP2014261865A JP2014261865A JP6468637B2 JP 6468637 B2 JP6468637 B2 JP 6468637B2 JP 2014261865 A JP2014261865 A JP 2014261865A JP 2014261865 A JP2014261865 A JP 2014261865A JP 6468637 B2 JP6468637 B2 JP 6468637B2
Authority
JP
Japan
Prior art keywords
sleepiness
value
index
data
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014261865A
Other languages
English (en)
Other versions
JP2016120063A (ja
Inventor
秀俊 奥富
秀俊 奥富
好将 藤原
好将 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Information Systems Japan Corp
Original Assignee
Toshiba Information Systems Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Information Systems Japan Corp filed Critical Toshiba Information Systems Japan Corp
Priority to JP2014261865A priority Critical patent/JP6468637B2/ja
Priority to PCT/JP2015/085815 priority patent/WO2016104498A1/ja
Publication of JP2016120063A publication Critical patent/JP2016120063A/ja
Application granted granted Critical
Publication of JP6468637B2 publication Critical patent/JP6468637B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biomedical Technology (AREA)
  • Educational Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

この発明は、眠気推定装置及び眠気推定プログラムに関するものである。
近年、健康管理の観点から、或いは、自動車事故防止等の観点から眠気に注目が集まっている。特に、車の運転、機器の操縦・操作、デスクワークなどの場合に、眠気が起こっていることの推定は重要である。
従来の眠気を捕えようとする技術としては、特許文献1に記載のものがある。特許文献1には、心拍信号から心拍間隔を検出し、心拍間隔の変動に対するスペクトル密度を求め、極大周波数と極大周波数に対応する極大スペクトル密度を算出し、算出された極大周波数と極大周波数に対応する極大スペクトル密度の変動傾向を基にして覚醒状態であるか否かを判定することが記載されている。
特許文献2には、眠気推定パラメータという個人によってバラツキのあるパラメータの代わりに、「回帰所要時間」を導入することが記載されている。「回帰所要時間」とは、行動が検出されたタイミングから、行動検出情報の取得タイミングより後に取得した眠気推定パラメータの値が行動検出情報の取得タイミングより前に取得した眠気推定パラメータの値に戻るまでに掛かる時間である。
同じ眠気推定パラメータの値に戻るまでに掛かる時間である、「回帰所要時間」は、個人によらない普遍的な値であると考える。複数の時間範囲のそれぞれと、眠気レベル候補とが対応づけられた眠気レベル推定テーブルを保持し、複数の時間範囲の内で回帰所要時間が属する時間範囲に対応する眠気レベル候補を特定する。
特許文献3では、計測器の計測データを取得し、その計測データの前処理を行って心拍数値を得ると共に、その心拍数値から心拍ゆらぎを抽出し、続いて心拍特徴量(心拍数値及び心拍ゆらぎ)を参照するための心拍特徴量の参照時間幅を設定する。具体的には、心拍特徴量をFFT処理して周波数スペクトル分布を生成し、この周波数スペクトル分布において最初の極小値となる下限周波数を探索し、下限周波数を起点とした周波数範囲内で振幅スペクトルパワーの最大値に対応するピーク周波数を抽出し、このピーク周波数の逆数を参照時間幅とする。
その後、そのような参照時間幅における心拍特徴量の標準偏差値を計算し、眠気検出装置は、心拍特徴量の標準偏差値を用いて運転者に浅い眠気があるかどうかを判定する。かくして、特許文献3の発明によれば、個人毎に適した特徴量参照時間幅を設定するので、個人差によらない眠気検出を行うことができる、というものである。
特許文献4に記載の発明は、皮膚温、体温、脈拍、心拍、血圧、呼吸、発汗及び体動を含む生体情報をセンサにより検出する生体情報を統合してクラスタリングを行い、睡眠状態の時間的変化を状態遷移確率によりモデル化し、一時的な生体情報のばらつきを吸収する睡眠状態モデルを作成する睡眠状態モデル部12を備える。
モデル部12は、年齢差、男女差、季節差及び個人差を含む個人の睡眠の差異に対応するために、生体情報を統合することで現測定時間の睡眠状態を推定し、更に、現測定時間に推定された睡眠状態と睡眠状態が遷移する確率である状態遷移確率とを用いて、現測定時間の睡眠状態を決定するものとされている。学習部13は、利用者が起床時に入力する自覚症状と、睡眠状態モデル部12に蓄積されている過去の睡眠状態の遷移と、入眠起床時刻判定部に蓄積されている過去の入眠及び起床時刻とを用いて、状態遷移確率を更新する。
また、ユーザ入力部15では、利用者が自覚症状としての目覚めの良さを、例えば、「良い」、「普通」、「悪い」の3段階により評価したユーザ情報を入力し、学習部13及び入眠起床時刻判定部16に出力する。
更に、学習部13では、入眠起床時刻判定部16から入眠及び起床時刻を入力し、睡眠状態モデル部12から、1回の睡眠における睡眠状態の遷移の時系列データを入力し、睡眠状態遷移部122に保持されている状態遷移確率の更新を行う。
かくして特許文献4に記載の発明では、睡眠状態遷移部122に保持されている状態遷移確率32が、学習部13により更新されることによって、個人の睡眠の差異に適応することが可能であり、精度良く睡眠状態を判定可能とする。
国際公開2008/065724号パンフレット 特開2012−245091号公報 特開2010−131061号公報 特開2004−254827号公報
上記のように、従来の眠気推定においては個人差によらない精度の良い眠気推定を可能とすべく、様々な手法が提供されている。しかしながら、RRIデータを自律神経の活動指標(以下、単に「指標」という場合もある)の算出に用い、活動指標の閾値を少なくとも備える眠気推定ルールに基づき上記算出された活動指標を評価して眠気推定を行う装置においては、個人差によらない精度の良い推定を可能とするものは見当たらない。
本発明はこのようなRRIデータから自律神経の活動指標を算出し、これを用いて眠気推定する技術の現状に鑑みてなされたもので、その目的は、個人差によらない精度の良い眠気推定を可能とすべく、眠気推定を行うと共に眠気推定ルールを更新する眠気推定装置と眠気推定プログラムを提供することである。
本発明に係る眠気推定装置は、心電図信号のR波に相当する信号を検出するRRIセンサにより得られる信号からR−R間隔のデータであるRRIデータを取得するRRI取得手段と、前記RRIデータを統計処理した結果と前記RRIデータのスペクトル解析の結果とに基づいて、自律神経の活動に関する複数種の活動指標について指標値を計算すると共に前記複数種の活動指標の指標値について指標値ベクトル時系列を生成する指標値計算手段と、前記指標値計算手段により計算される全活動指標から選択された1以上の活動指標の指標値とこの選択された活動指標に関する閾値との比較条件及び/または前記選択された活動指標の指標値に関する所定変動状態の有無の条件を論理結合して作成した推定関数によって構成される眠気推定ルールに基づき、前記指標値計算手段により算出された指標値を評価し眠気を推定する眠気推定手段と前記指標値計算手段により計算された指標値を用いて眠気推定を行う場合に用いる閾値を備える眠気推定ルールが記憶された記憶手段と、被検者から得られる情報または被検者の生体状態を解析して得られる情報である、眠気の有無を示す眠気データを出力する眠気情報出力装置と、前記眠気情報出力装置から出力された眠気データを、前記RRI取得手段がRRIデータを取得する時刻の時間間隔において取得する眠気データ取得手段と、前記眠気データ取得手段が取得した前記眠気データを用いて眠気推定ルールの適否を評価するための参照データを生成すると共に前記眠気データについて眠気データベクトル時系列を生成する参照データ生成手段と、前記眠気データベクトル時系列と前記指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行うべき活動指標を特定し、この特定された活動指標が関係している推定関数について論理結合の更新を行うことにより、前記記憶手段に記憶されている眠気推定ルールを更新する更新手段とを具備することを特徴とする。
本発明に係る眠気推定装置では、前記指標値計算手段は、前記RRIデータを統計処理した結果と、前記RRIデータのスペクトル解析の結果に基づいて自律神経の活動指標を複数算出することを特徴とする。
本発明に係る眠気推定装置では、前記RRIデータを統計処理した結果の活動指標には、
SDRR:(RRIの標準偏差)
RMSSD:(隣接するRRIの差の二乗平均値の平方根)
SDSD:(隣接するRRIの差の標準偏差)
pRR50:(隣接するRRIの差が50(ミリ秒)を超える割合)
の少なくとも1つが含まれることを特徴とする。
本発明に係る眠気推定装置では、前記RRIデータのスペクトル解析の結果の活動指標には、
LF:(PSD(パワースペクトル密度関数)の0.04〜0.15[Hz]のパワー)
HF:(PSDの0.15〜0.40[Hz]のパワー)
HF/(LF+HF)
(i=0,1,2,・・・,9):(PSDの0.15+i×0.025〜 0.15+(i+1)×0.025 [Hz]のパワー)
の少なくとも1つが含まれることを特徴とする。
本発明に係る眠気推定装置では、前記指標値計算手段は、第1の時間毎のRRIデータを用いて単位時間の指標値を算出し、単位時間の指標値を活動指標の種類分集めてベクトル化し、ベクトル化された指標値を時系列に並べて指標値ベクトル時系列を作成し、眠気推定手段は、閾値ベクトルと前記指標値ベクトル時系列を用いて評価する推定関数により眠気推定を行うことを特徴とする。
本発明に係る眠気推定装置では、更新手段は、前記眠気データベクトル時系列において眠気有りとなっている時刻に対応する活動指標の値を前記指標値ベクトル時系列から求め、正の相関のときには求めた活動指標の値の最低値を候補閾値とし、負の相関のときには求めた活動指標の値の最高値を候補閾値として、当該候補閾値により前記指標値ベクトル時系列の活動指標の値を評価することにより、閾値の更新を行うことを特徴とする。
本発明に係る眠気推定装置では、更新手段は、前記指標値ベクトル時系列において、候補閾値以上の活動指標の値が占める割合に基づき、候補閾値を新たな閾値に更新することを特徴とする。
本発明に係る眠気推定装置では、更新手段は、候補閾値を新たな閾値に更新しない場合には、候補閾値の値を増減させて新たな候補閾値を作成し、この候補閾値により前記指標値ベクトル時系列の活動指標の値を評価することにより、閾値の更新を行うことを特徴とする。
本発明に係る眠気推定装置では、更新手段は、前記眠気データベクトル時系列と前記指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行う活動指標を特定する特定ステップと、前記眠気データベクトル時系列において眠気有りとなっている時刻に対応する活動指標の値を前記指標値ベクトル時系列から求め、正の相関のときには求めた活動指標の値の最低値を候補閾値とし、負の相関のときには求めた活動指標の値の最高値を候補閾値とする候補閾値生成ステップと、前記指標値ベクトル時系列において、候補閾値以上の活動指標の値が占める割合に基づき、候補閾値を新たな閾値に更新する閾値更新ステップと前記特定された活動指標のみについて、前記更新した閾値を用いて活動指標毎に、各活動指標の指標値と閾値の大小関係を示す式である条件式を作成するステップと、条件式が1つの活動指標では当該条件式を推定関数とし、条件式が複数の活動指標では複数の条件式の論理的結合の全てのパターンにより生成された複数の関数を推定関数とするステップと、この推定関数のそれぞれについてヒット率を算出し、算出したヒット率の最も高いものを最終的な推定関数とするステップとを実行することを特徴とする。
本発明に係る眠気推定プログラムは、コンピュータを、心電図信号のR波に相当する信号を検出するRRIセンサにより得られる信号からR−R間隔のデータであるRRIデータを取得するRRI取得手段、前記RRIデータを統計処理した結果と前記RRIデータのスペクトル解析の結果とに基づいて、自律神経の活動に関する複数種の活動指標について指標値を計算すると共に前記複数種の活動指標の指標値について指標値ベクトル時系列を生成する指標値計算手段、前記指標値計算手段により計算される全活動指標から選択された1以上の活動指標の指標値とこの選択された活動指標に関する閾値との比較条件及び/または前記選択された活動指標の指標値に関する所定変動状態の有無の条件を論理結合して作成した推定関数によって構成される眠気推定ルールに基づき、前記指標値計算手段により算出された指標値を評価し眠気を推定する眠気推定手段、被検者から得られる情報または被検者の生体状態を解析して得られる情報である、眠気の有無を示す眠気データを出力する眠気情報出力装置から出力された眠気データを、前記RRI取得手段がRRIデータを取得する時刻の時間間隔において取得する眠気データ取得手段、前記眠気データ取得手段が取得した前記眠気データを用いて眠気推定ルールの適否を評価するための参照データを生成すると共に前記眠気データについて眠気データベクトル時系列を生成する参照データ生成手段、前記眠気データベクトル時系列と前記指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行うべき活動指標を特定し、この特定された活動指標が関係している推定関数について論理結合の更新を行うことにより、前記眠気推定ルールを更新する更新手段として機能させることを特徴とする。
本発明に係る眠気推定プログラムでは、前記指標値計算手段は、前記RRIデータを統計処理した結果と、前記RRIデータのスペクトル解析の結果に基づいて自律神経の活動指標を複数算出することを特徴とする。
本発明に係る眠気推定プログラムでは、前記RRIデータを統計処理した結果の活動指標には、
SDRR:(RRIの標準偏差)
RMSSD:(隣接するRRIの差の二乗平均値の平方根)
SDSD:(隣接するRRIの差の標準偏差)
pRR50:(隣接するRRIの差が50(ミリ秒)を超える割合)
の少なくとも1つが含まれることを特徴とする。
本発明に係る眠気推定プログラムでは、前記RRIデータのスペクトル解析の結果の活動指標には、
LF:(PSD(パワースペクトル密度関数)の0.04〜0.15[Hz]のパワー)
HF:(PSDの0.15〜0.40[Hz]のパワー)
HF/(LF+HF)
(i=0,1,2,・・・,9):(PSDの0.15+i×0.025〜 0.15+(i+1)×0.025 [Hz]のパワー)
の少なくとも1つが含まれることを特徴とする。
本発明に係る眠気推定プログラムでは、前記指標値計算手段は、第1の時間毎のRRIデータを用いて単位時間の指標値を算出し、単位時間の指標値を活動指標の種類分集めてベクトル化し、ベクトル化された指標値を時系列に並べて指標値ベクトル時系列を作成し、眠気推定手段は、閾値ベクトルと前記指標値ベクトル時系列を用いて評価する推定関数により眠気推定を行うことを特徴とする。
本発明に係る眠気推定プログラムでは、更新手段は、前記眠気データベクトル時系列において眠気有りとなっている時刻に対応する活動指標の値を前記指標値ベクトル時系列から求め、正の相関のときには求めた活動指標の値の最低値を候補閾値とし、負の相関のときには求めた活動指標の値の最高値を候補閾値として、当該候補閾値により前記指標値ベクトル時系列の活動指標の値を評価することにより、閾値の更新を行うことを特徴とする。
本発明に係る眠気推定プログラムでは、更新手段は、前記指標値ベクトル時系列において、候補閾値以上の活動指標の値が占める割合に基づき、候補閾値を新たな閾値に更新することを特徴とする。
本発明に係る眠気推定プログラムでは、更新手段は、候補閾値を新たな閾値に更新しない場合には、候補閾値の値を増減させて新たな候補閾値を作成し、この候補閾値により前記指標値ベクトル時系列の活動指標の値を評価することにより、閾値の更新を行うことを特徴とする。
本発明に係る眠気推定プログラムでは、更新手段は、前記眠気データベクトル時系列と前記指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行う活動指標を特定し、前記眠気データベクトル時系列において眠気有りとなっている時刻に対応する活動指標の値を前記指標値ベクトル時系列から求め、正の相関のときには求めた活動指標の値の最低値を候補閾値とし、負の相関のときには求めた活動指標の値の最高値を候補閾値とする候補閾値を生成し、前記指標値ベクトル時系列において、候補閾値以上の活動指標の値が占める割合に基づき、候補閾値を新たな閾値に更新し、前記特定された活動指標のみについて、前記更新した閾値を用いて活動指標毎に、各活動指標の指標値と閾値の大小関係を示す式である条件式を作成し、条件式が1つの活動指標では当該条件式を推定関数とし、条件式が複数の活動指標では複数の条件式の論理的結合の全てのパターンにより生成された複数の関数を推定関数とし、この推定関数のそれぞれについてヒット率を算出し、算出したヒット率の最も高いものを最終的な推定関数とすることを特徴とする。
本発明によれば、個人差などに対応してより精度の高い眠気の推定を行うことができると共に眠気推定ルールを改訂するので、次第に推定の精度が向上してゆくことが期待される。
本発明に係る眠気推定装置の第1の実施形態のブロック図。 心電図信号におけるRRIを説明するための心電図波形を示す図。 本発明に係る第1の実施形態の眠気推定装置において、要部を端末とクラウドストレージにより構成したブロック図。 本発明に係る眠気推定装置の第1の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の実施形態に取り込んだRRIデータの一例を示す図。 本発明に係る眠気推定装置の実施形態に取り込んだRRIデータとその取り込み時刻により構成されるデータの一例を示す図。 本発明に係る眠気推定装置の実施形態におけるループ処理のループ回数が0の場合のRRIデータの一例を示す図。 本発明に係る眠気推定装置の実施形態におけるループ処理のループ回数が3の場合のRRIデータの一例を示す図。 本発明に係る眠気推定装置の実施形態における要部である指標値計算手段の構成例を示すブロック図。 FFT直接法により得たPSDを示す図。 最大エントロピー法(burg法)により求めたPSDを示す図。 図10に示したFFT直接法により得たPSDに対して、本発明に係る眠気推定装置の実施形態が用いる活動指標である特定周波数帯のパワーpを求める区間を示す図。 図11に示した最大エントロピー法(burg法)により得たPSDに対して、本発明に係る眠気推定装置の実施形態が用いる活動指標である特定周波数帯のパワーpを求める区間を示す図。 本発明に係る眠気推定装置の実施形態において用いる複数の活動指標について、指標名と指標変数、その閾値の一例を示す図。 本発明に係る眠気推定装置の眠気推定ルール更新の処理を示すフローチャート。 本発明に係る眠気推定装置の実施形態が用いる推定関数の一例を説明するためのベン図。 本発明に係る眠気推定装置の第2の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第3の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第4の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第5の実施形態の機能ブロック図。 本発明に係る眠気推定装置の第5の実施形態の各部が備える具体的構成を示す機能ブロック図。 本発明に係る眠気推定装置の第5の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第6の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第7の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第8の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第9の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第10の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第11の実施形態の各部が備える具体的構成を示す機能ブロック図。 本発明に係る眠気推定装置の第11の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第12の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第13の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第14の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第15の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第16の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第17の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第18の実施形態による端末の処理を示すフローチャート。 本発明に係る眠気推定装置の第19の実施形態による端末の処理を示すフローチャート。
以下、添付図面を参照して本発明に係る眠気推定装置及び眠気推定プログラムの実施形態を説明する。各図において、同一の構成要素には同一の符号を付して重複する説明を省略する。また、以下に示されるいくつかの実施形態では、フローチャートに手段と部の配置を示し、手段と部の配置を示したブロック図を省略する。図1に、本発明の眠気推定装置の第1の実施形態のブロック図を示す。眠気推定装置は、コンピュータなどのプロセッサを有する端末20に、心電図のR波に相当する信号を検出するセンサであるRRIセンサ10と、眠気情報出力装置40を接続した構成を有する。端末20には、クラウドストレージ30が接続されており、クラウドストレージ30には、上記端末20が眠気推定などに用いるセンサ特性情報1101、眠気推定ルール1102、眠気推定ルールを更新するときに用いる更新ルール1103、取得済RRI1012X、取得済眠気データ1003Xが記憶されているものとする。
上記において、RRIセンサ10は、生体に設けられ、無線或いは有線により図2(b)に示すような心電図信号を検出して、図1に示すようにRRI(整形前)1001を出力する。RRIセンサ10は、心電図のR波に相当する信号を検出するセンサであればどのような心拍センサでもよく、心電計の心電図を取り出す部分の構成や脈波センサなどを用いることができる。
ここで、心電図信号について説明を行う。図2(a)に示されるように、心電図信号には、Rのピークを有するQRS波を観測することができる。QRS波は、心室全体を急速に興奮させるときに発生するものとされる。また、その前方のP波は、洞房結節に興奮が発生し、心房が収縮したときの波とされる。更に、QRS波の後方に現れるT波は、心室の興奮か回復するときに発生する波とされる。心臓の解析には、上記のP波、QRS波、T波により得られるPQ時間、QRS時間、QT時間などが重要なパラメータとして用いられる。心電図信号には図2(b)に示すように、拍動に応じてR波が所定間隔で現れるので、RRIも重要なパラメータとされ、自律神経活動に関連していることが知られている。本実施形態では、このRRIを眠気推定に用いるものである。
眠気情報出力装置40は、被検者から得られる情報または被検者の生体状態を解析して得られる情報である、眠気の有無を示す眠気データを出力するものである。眠気情報出力装置40は、脳波波形に基づき眠気の有無の情報を得るか、被検者の顔を撮像した画像の解析に眠気の有無の情報を得るか、被検者が眠気を感じたときに信号出力を行う機器によるか、その他の眠気の有無の情報を得るセンサ、の少なくとも1つにより眠気データを出力するものである。
端末20のCPUが眠気推定プログラムを実行することにより、図1に示されるRRI取得手段21、データ整形手段22、指標値計算手段23、眠気推定手段24、出力手段25を実現する。また、端末20のCPUが眠気推定プログラムの一部である眠気推定ルール更新プログラムを実行することにより、図1に示される眠気データ取得手段51、参照データ生成手段52、更新手段53が実現される。上記のRRI取得手段21は、上記RRIセンサ10からRRIデータを取得するものである。RRIセンサ10としては、心電図信号を出力するものでもよく、この場合には、RRI取得手段21が心電図信号に基づきRRIデータを作成する。
データ整形手段22は、RRIデータに対し、所定周波数成分の除去であるトレンド除去、異常値除去、データ補間、フィルタ処理の少なくとも1つを行う構成を有している。これらの構成は、トレンド除去部、異常値除去部、データ補間部、フィルタ処理部などとして実現されるが、ここでは詳細を省略する。
指標値計算手段23は、上記RRIデータに基づいて自律神経の指標値を算出するもので、例えば、上記RRIデータを統計処理した結果と、上記RRIデータのスペクトル解析の結果に基づいて、複数種類である自律神経の活動指標について、その指標値を算出するように構成することができる。指標値計算手段23は、第1の時間毎のRRIデータを用いて単位時間の指標値を算出し、単位時間の指標値を活動指標の種類分集めてベクトル化し、ベクトル化された指標を時系列に並べて指標値ベクトル時系列を作成する。
また、眠気推定手段24は、活動指標に関する閾値及び/または変動状態により評価する推定関数によって構成される眠気推定ルールに基づき、上記指標値計算手段23により算出された活動指標を評価し眠気を推定する。
端末20に備えられている出力手段25は、眠気推定手段24による推定結果を出力し、警報発生や機器の動作停止、警告などに用いられるようにする。
眠気データ取得手段51は、上記眠気情報出力装置40から出力された眠気の有無を示す眠気データを取得するものである。参照データ生成手段52は、上記眠気データを用いて眠気推定ルールの適否を評価するための参照データを生成するものである。上記指標値計算手段23は、活動指標の値について指標値ベクトル時系列を生成するものであり、上記参照データ生成手段52は、上記眠気データについて眠気データベクトル時系列を生成するものである。
更新手段53は、上記指標値計算手段により計算された指標値と上記参照データに基づき上記記憶手段であるクラウドストレージ30に記憶されている眠気推定ルールを更新するものである。更新手段53は、上記眠気データベクトル時系列と上記指標値ベクトル時系列を照合し、上記眠気推定ルールを更新するか否かを判定するものである。更新手段53は、上記眠気データベクトル時系列と上記指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行う活動指標を特定するように構成することができる。
更新手段53は、上記判定により更新すると判定した場合に、上記眠気データベクトル時系列と上記指標値ベクトル時系列の関係に基づき閾値を更新するものである。更新手段53は、上記眠気データベクトル時系列において眠気有りとなっている時刻に対応する活動指標の値を上記指標値ベクトル時系列から求め、正の相関のときには求めた活動指標の値の最低値を候補閾値とし、負の相関のときには求めた活動指標の値の最高値を候補閾値として、当該候補閾値により前記指標値ベクトル時系列の活動指標の値を評価することにより、閾値の更新を行うように構成することができる。
更新手段53は、上記指標値ベクトル時系列において、候補閾値以上の活動指標の値が占める割合に基づき、候補閾値を新たな閾値に更新するように構成することができる。更新手段53は、候補閾値を新たな閾値に更新しない場合には、候補閾値の値を増減させて新たな候補閾値を作成し、この候補閾値により前記指標値ベクトル時系列の活動指標の値を評価することにより、閾値の更新を行うように構成することができる。
以上の構成の眠気推定装置は、具体的には、図3に示す構成を有する。端末20に、既に説明したRRIセンサ10及び眠気情報出力装置40が接続されると共に、端末20にクラウドストレージ30が接続されて構成されている。端末20は、スマートフォン、タブレット端末、モバイル端末などにより構成することができる。
端末20は、CPUの制御によって処理を行うものであり、処理中のデータなどを一時保持するためのメモリ、タッチ画面による情報やコマンドの入力と、各種データや画像の表示を行うことのできる入出力部、電話回線を介した通信やネットワークを介した通信などを行う通信部、時刻データを取り出すためのタイマを有する。更に、各種のアプリケーションプログラム、応用ソフト、各種ブラウザ、本実施形態において行うデータ取得やデータ整形等のデータ処理を行うためのパラメータ類及びデータ処理プログラム、眠気推定処理を行うための眠気推定プログラム、眠気推定ルール更新処理を行うための眠気推定ルール更新プログラムを記憶した記憶装置を備えている。
クラウドストレージ30は、CPUの制御によって処理を行うものであり、処理中のデータなどを一時保持するための一時記憶などを行うメモリ、各種のパラメータ類及びプログラムを記憶した記憶装置を備えている。更に、クラウドストレージ30は、ネットワークを介した通信(ここでは、主に端末20との間の通信)などを行う通信部を備えている。
以上の構成を有する眠気推定装置では、眠気推定プログラムによって端末20のCPUが図4に示すフローチャートに対応する処理を行う。クラウドストレージ30には、図4に示すセンサ特性情報1101、眠気推定ルール1102が備えられている。センサ特性情報1101は、センサ機種の違いによる特性差を吸収するために、図4に示すデータ整形手段22においてRRIに基づくデータを補正する目的で利用されるもので、例えば、QRS波のピークが尖鋭でない特性や尖鋭であるが誤差が大きい特性となっている場合を補正値により補正する。クラウドストレージ30にセンサ特性情報1101が存在しない場合は、特にセンサ機種の違いを吸収する目的での補正を行わなくとも良い。
眠気推定ルール1102は、活動指標の値に関する閾値及び/または変動状態により評価する推定関数によって構成されるものである。上記眠気推定ルール1102の推定関数は、後に詳述するが、上記活動指標と対応するそれぞれの閾値との比較条件と、所定変動状態の有無の条件とを含み、アンドとオアとノットのいずれかを用いて、或いはこれらアンドとオアとノットの2以上を用いて、上記条件を結合させて形成することができる。
図4に示される処理では、初めに開始処理部201が実行され、ループ開始部202が起動され、順次、RRI取得手段21以降の処理が実行される。ループ開始部202からループ終了判定部203まではループ処理であり、ループ終了判定部203で終了と判定されるまでループが継続される。このループの終了は、例えば端末20からユーザが所定のキー操作を行うことにより実行させることができる。上記ループ処理では、処理がループ開始部202を介してRRI取得手段21に戻る度に、ループカウンタcntをカウントアップする。ここに、cnt=0,1,2,・・・(cntの開始値はゼロ)とする。
ループ処理(ループ開始部202からループ終了判定部203の間)は、開始処理部201で決定される指標値計算時間間隔DT[秒]毎に実施される。この理由により、RRIセンサ10による測定開始時刻をT0、1回のループ処理で扱うRRIのデータ長をLT[秒]間分とすると、cnt回目のループ処理では、時刻T0+cnt×DT〜時刻T0+cnt×DT+LTまでの、LT[秒]間に取得されたRRIデータが処理される。
開始処理部201では、本処理で実施される各処理のパラメータを設定する。パラメータとは、以降のループ処理(ループ開始部202からループ終了判定部203の間)による再処理の時間間隔DT[秒](指標値計算時間間隔)、1回のループ処理で扱うRRIのデータ長LT[秒]間分をはじめとし、以降のデータ整形手段22におけるデータ整形処理のパラメータ、定数類、以降の指標値計算手段23における心拍解析のパラメータ類、定数類である。パラメータは、通常は予め用意しているデフォルト値を利用することができるが、幾つかの候補パラメータを用意しておき、所定のタイミングなどで変更手続きを実行して変更してもよい
クラウドストレージ30の説明において既述した内容と重複するが、この開始処理部201では、クラウドストレージ30にアクセスし、RRIセンサ機種に応じたセンサ特性情報1101が存在すれば読み込む。クラウドストレージ30にセンサ特性情報1101が存在しない場合は、特にセンサ機種の違いを吸収する目的での補正は行われない。
更に開始処理部201では、クラウドストレージ30に接続し、推定精度向上のために更新された眠気推定ルール1102が存在すれば読み込む。クラウドストレージ30に更新された眠気推定ルール1102が存在しない場合は、前回の眠気推定処理で使用した眠気推定ルール1102が適用される。
開始処理部201の処理に続いてループ開始部202が起動され、RRI取得手段21の処理が実行される。RRI取得手段21では、測定開始時刻T0、RRI時間長LT、指標値計算時間間隔DTを用いて以下を順次実行する。即ち、RRIセンサ10からRRI(整形前)1001をリアルタイムに取得する。例えば、図5に示されるようなデータを取得する。図5の例では、RRIセンサ10からはじめに「680」(単位は[ミリ秒])を取り込み、以降、「710」,「593」,「827」,・・・とデータを取得したことを示している
次に、RRI取得手段21では、RRIセンサ10に内蔵されるタイマ、或いは端末20に内蔵されるタイマから1つのRRIデータが発生した時刻1002を取得する。時刻1002とRRI(整形前)1001を対応付けたデータを、RRI2(整形前)1012に追加・蓄積する。例えば、図6に示されるデータであり、図6では、RRIセンサ10から取得した初めのデータが15時09分19秒600ミリ秒の時刻のものであり、以降、図6中に示される時刻のデータであることを示している。
RRI2(整形前)1012のうち、所定の時刻から所定の時刻までを抽出してRRI3(整形前)1013を生成する。指標値計算開始時刻T0、図4のフローチャートによる処理の第cnt回目のループでは(cnt=0,1,2,・・・)、時刻T0+cnt×DT〜時刻T0+cnt×DT+LTまでのLT秒間に取得されたRRIを扱う。
尚、以降のデータ整形手段22の補間処理において、時刻T0+cnt×DT〜時刻T0+cnt×DT+LTの前後1つずつのデータも必要になるため、時刻T0+cnt×DT〜時刻T0+cnt×DT+LTまでのLT秒間に取得されたRRIと、その前後1つずつのRRIを含めたものが、RRI3(整形前)1013である。
例えば、指標値計算開始時刻T0が15時10分20秒、LT=300[秒](=5[分])、DT=10秒、cnt=0、の場合は、時刻15時10分20秒〜15時15分20秒までのデータに、15時10分20秒の1つ前のデータと、15時15分20秒の1つ後のデータを含めた図7に示すようなデータである。
cnt=3の場合は、時刻15時10分50秒〜15時15分50秒までのデータに、15時10分50秒の1つ前のデータと、15時15分50秒の1つ後のデータを含めた図8に示すようなデータである。
RRI取得手段21による処理に続いてデータ整形手段22による処理が行われる。データ整形手段22では、所定の時点のデータに対してセンサ特性情報1101に応じた補正がなされる場合がある。これはセンサ機種の違いによる特性差を吸収するためのものである。次に、指標値計算手段23による処理が行われる。
指標値計算手段23については、図9に示されている内部構成を有しているので、この図9を用いて説明を行う。指標値計算手段23は、指標1計算部232−1〜指標m計算部232−mと、ベクトル化部233によって構成される。指標1計算部232−1〜指標m計算部232−mでは、RRI3(整形前)1013およびRRI(整形後)1014を用いて、心拍変動に基づく自律神経の活動指標(複数)をm個算出する。
本実施形態において用いる、心拍変動に基づく自律神経の活動指標(複数)とは、例えば以下ものを挙げることができる。
・積率統計量に関する活動指標
SDRR:RRIの標準偏差(交感神経と副交感神経の活動指標)
RMSSD:隣接するRRIの差の二乗平均値の平方根(副交感神経の活動指標)
SDSD:隣接するRRIの差の標準偏差(副交感神経の活動指標)
pRR50:隣接するRRIの差が50[ミリ秒]を超える割合(副交感神経の活動指標)
・スペクトル解析に基づく活動指標
LF:PSDの0.04〜0.15[Hz]のパワー(主として交感神経の活動指標)
HF:PSDの0.15〜0.40[Hz]のパワー(副交感神経の活動指標)
HF/(LF+HF)(副交感神経の活動比率)
特定周波数帯のパワーp(i=0,1,2,・・・,9):PSDの0.15+i×0.025〜0.15+(i+1)×0.025[Hz]のパワー(副交感神経の個別周波数帯の活動指標)
積率統計量に関する活動指標は、RRI3(整形前)1013のデータを
(1≦i≦m)としたとき、以下の式により与えられる。
スペクトル解析に基づく指標の算出は、はじめにRRI(整形後)1014(即ち、{x}系列(1≦i≦m))について、FFT、最大エントロピー法等を適用してPSD(パワースペクトル密度関数)を求める。FFT算出については良く知られており、ここではその詳細説明を省略する。
図10は、FFT直接法により得たPSDを示す図である。また、図11は、最大エントロピー法(burg法)により求めたPSDを示す図である。PSDを求める手法としては、上記の他に、FFTとARモデル予測(Yule-Walker 法)により求める手法がある。
周波数fにおけるパワースペクトル密度関数をPSD(f)と表すと、LF、HFは以下の式により与えられる。尚、LF、HFの積分区間の定義は諸説あり、定まったものは存在しない。従って、以下の式における積分区間は一例である。
上記の「スペクトル解析に基づく指標」においては、HF/(LF+HF)を指標として示したが、Ratio は、LF/(LF+HF)であっても、HF/LFであっても良い。特定周波数帯のパワーp(i=0,1,2,・・・,9)は、本願発明者が初めて提供する独自の指標であり、上記HFの積分区間が0.15〜0.40[Hz]であるところを、該区間を10分割し、分割区間単位でパワーを算出するものである。即ち、次の式により示す処理によりパワーを求める。
図12は、FFT直接法により得たPSDの上記0.15〜0.40[Hz]の区間を、区間Iから区間Xまでの10区間に分割し、各区間でパワーを求めることを示す図である。また、図13は、最大エントロピー法(burg法)により求めたPSDの上記0.15〜0.40[Hz]の区間を、区間Iから区間Xまでの10区間に分割し、各区間でパワーを求めることを示す図である。勿論、分割数10は一例であり、2以上の任意の数の区間に分割しても良い。
上記の実施形態において、眠気推定処理の第cnt回目のループでは、時刻T0+cnt×DT〜時刻T0+cnt×DT+LTまでのLT秒間に取得されたRRIを用いて、SDRR、RMSSD、SDSD、pRR50、LF、HF、HF/(LF+HF)、p、p、p、p、p、p、p、p、p、pのm(=17)個の指標の指標値が算出される。
以降では,それぞれの指標値をy(j=1,2,3,…,m)と表記する。特に、時刻T0+cnt×DT+LT(cnt値に依存)における指標値であることを表す場合には、ycnt(j=1,2,3,…,m)、(cnt=0,1,2,3,…)と表記する。すなわち、yα,βは、時刻T0+β×DT〜時刻T0+β×DT+LTまでのLT秒間に取得されたRRIから算出されたα番目の指標値を意味する。
図9に示すベクトル化部233では、眠気推定処理の第cnt回目のループで算出される指標値をベクトル化する。すなわち、時刻T0+cnt×DT〜時刻T0+cnt×DT+LTまでのLT秒間に取得されたRRIに基づき生成された指標値の種類分(種類数の)指標値y1,cnt〜ym,cntをまとめてベクトル化する。これにより、指標値ベクトル1021
YYcnt={y1,cnt,y2,cnt,y3,cnt,・・・・,ym,cnt}を生成する。ベクトルの標記は、文中ではYYのように、大文字を連続記載したものとする。以降、YYcntは、時刻T0+cnt×DT+LTにおける指標値ベクトルとして扱う。
図4の指標値計算手段23には、図示しない指標値ベクトルの時系列化部が含まれているので、以下に指標値ベクトルの時系列化部の説明を行う。指標値ベクトルの時系列化部では、眠気推定処理の第k回目(0≦cnt≦k)までに算出された指標値ベクトルYYをまとめて、指標値ベクトル時系列1051:DD={YY,YY,YY,・・・,YY}を生成する。
次に、指標値計算手段23に次いで処理を行う眠気推定手段24の説明を行う。眠気推定手段24では、再処理ループ(ループ開始部202〜ループ終了判定部203)の0〜k回目までのループで構成される指標値ベクトル時系列1051:DD={YY,YY,YY,・・・,YY}を参照し、眠気推定ルール1102に基づき眠気の推定を行う。
ここに、眠気推定ルール1102とは、閾値が定められた閾値ベクトルRRと、指標値ベクトル時系列DDと閾値ベクトルRRを引数とする推定関数fとで構成されるものである。f(DD,RR)は推定値を意味する。また、推定関数fは、推定値f(DD,RR)={1,0}(1:眠気可能性あり、0:眠気可能性なし)のように、離散化された整数値を返すように設計されている。上記では、2値のものを示したが、推定値f(DD,RR)={3,2,1,0}(3:眠気可能性大、2:可能性中、1:可能性低、0:なし)のように、4値化されていても良く、特に制限は無い。
推定関数fは、指標値ベクトル時系列DD={YY,YY,YY,・・・,YY}のk+1個の要素のうち、少なくとも1つ以上のYYcnt(0≦cnt≦k)を利用し、また、YYcnt={y1,cnt,y2,cnt,・・・・,ym,cnt}のm個の要素のうち、少なくとも1つ以上のyj,cnt(1≦j≦m)を利用するように構成することができる。即ち、k+1の時刻に対応する指標値ベクトルのうち少なくとも1つ以上の時刻に対応する指標値ベクトルを参照し、これらの指標値ベクトルのm個の要素のうち1つ以上を利用するようにすることができる。
上記推定関数fのより具体的な例1を示す。例1は、以下の条件1〜3を満たすときに「眠気あり」と判定することができる。これは、2値判定の例である。
条件1:HF/(LF+HF)≧0.2
条件2:p≧3.8 または p≧4.2
条件3:HF≦200
本実施形態では、指標名と、指標変数及びその閾値は、図14に示す如き対応があるものとする。例えば、HF/(LF+HF)の変数はy,閾値はr(=0.2)である。同様に、指標名p,p,HFの変数は、y13,y14,y,閾値はr13(=3.8),r14(=4.2),r(=200)であることを示している。これに対応する閾値ベクトルRRは、図14の上から下まで連番で1〜17までの指標番号とすると、RR={{7,0.2},{13,3.8},{14,4.2},{6,200}}であり、{{指標番号,閾値},{指標番号,閾値},{指標番号,閾値},{指標番号,閾値},・・・}などとして構成することができる。
処理時刻及びループカウントを意味する最新のcnt値をkとすると、例1の推定関数は以下のように与えられる。
f(DD,RR):=(y7,k≧r)∧((y13,k≧r13)∨(y14,k≧r14))∧(y6,k≦r
上記において、∧はANDを意味し、∨はORを意味する。
上記の推定関数f(DD,RR)がTRUEならば1、FALSEならば0とすることができる。
尚、本実施形態における推定関数が処理する内容は、一般的な指標を用いた判定が条件1であり、被検者に固有の特徴である、眠気時に特にPSDにおける0.275〜0.3[Hz]の領域或いは0.3〜0.325[Hz]の領域の成分が上昇するという傾向を用いた判定が条件2であり、食事やお喋りなど、副交感神経の活動が活性化する場合の判定が条件3であり、これら条件1と条件2が共に成立し、条件3を排除するようにしたものである。
上記のユーザに固有の特徴に係る条件については、ユーザについて予め全指標を用いた測定であって、眠気を生じたときの測定を行うことにより得るものとすることができる。この測定のデータから、眠気を生じたときの各指標において顕著な変化を求め、推定関数とすることができる。これは後述するクラウドストレージ30において、眠気推定処理が実行される毎に眠気推定ルール1102が更新され、推定精度を向上させて行く構成において処理を実行することができる。これによって、ユーザに固有の眠気推定ルールを設定することができる。
上記推定関数fの、より具体的な例2を示す。例2は、先の例1の推定関数fについて、条件4を加えたものであり、以下の通りである。
条件1:HF/(LF+HF)≧0.2
条件2:p≧3.8 または p≧4.2
条件3:HF≦200
条件4:条件1が過去連続して3回(現在を含め4回)満たしている
処理時刻及びループカウントを意味する最新のcnt値をkとすると、本例の推定関数は以下のように与えられる。
f(DD,RR):=(y7,k≧r)∧((y13,k≧r13)∨(y14,k≧r14))
∧(y6,k≦r)∧((y7,k−1≧r)∧(y7,k−2≧r)∧(y7,k−3≧r))
上記の推定関数(条件式)がTRUEならば1、FALSEならば0とすることができる。
以上の通り、指標値計算手段23(図1)は、第1の時間毎のRRIデータを用いて単位時間の活動指標を算出し、単位時間の活動指標を活動指標の種類分集めてベクトル化し、ベクトル化された指標値を時系列に並べて指標値ベクトル時系列を作成し、眠気推定手段24は、閾値ベクトルと上記指標値ベクトル時系列を用いて評価する関数により眠気推定を行う。
次に、出力手段25が行う出力処理の説明を行う。出力手段25の出力処理では、眠気推定手段24において算出された推定値f(DD,RR)を、眠気推定処理の呼び出し側/上位側への返り値として戻す処理を行う。
出力手段25に次いで処理を行う上記眠気データ取得手段51の説明を行う。既述の通り、端末20にはRRIセンサ10以外に眠気情報出力装置40が接続されている。眠気データ取得手段51は、眠気情報出力装置40により被検者(ユーザ)の客観的な眠気データを収集する。


眠気情報出力装置40の例1は、被検者が眠気を催した際に、端末20の所定位置をタッチすることにより、おおよその眠気発生時刻を収集する構成とすることができる。タッチの回数により、被検者の主観的な眠気の度合いも測定するとしてもよい。
処理の第cnt回目のループでは、時刻T0+cnt×DT〜時刻T0+cnt×DT+LTまでの時間間隔LTの間に収集したタッチの回数を収集する。この場合のデータ構造は、Q1,cnt={0,1}(0:眠気なし,1:眠気あり)、或いは、Q1,cnt={0,1,2,・・・}(0:眠気なし,1以降:被検者の主観的な眠気の度合い)とすることができる。
眠気情報出力装置40の例2は、被検者をビデオ撮影し、画像認識処理の結果、眠気と判定される時刻を収集するものである。
処理の第cnt回目のループでは、時刻T0+cnt×DT〜時刻T0+cnt×DT+LTまでの時間間隔LTの間に少なくとも1回の動画像認識評価を行う。この場合のデータ構造は、Q2,cnt={0,1}(0:眠気なし,1:眠気あり)或いは、Q2,cnt={0,1,2,・・・}(0:眠気なし,1以降:画像認識結果による眠気の度合い)とすることができる。
眠気情報出力装置40は、上記例1、例2に示した如く、処理の第cnt回目のループ、すなわち時刻T0+cnt×DT〜時刻T0+cnt×DT+LTまでの時間間隔LTの間に、少なくとも1回の眠気評価を行い、少なくとも2値化された眠気データを収集可能な手段であれば、その構成に限定はない。
眠気情報出力装置40の数をwとする。第s番目(1≦s≦w)の眠気情報出力装置40により、処理の第cnt回目のループ、すなわち時刻T0+cnt×DT〜時刻T0+cnt×DT+LTまでの時間間隔LTの間に得た眠気データをQs,cntとする(s=1,2,・・・,w)。
眠気データ取得手段51の処理の次には、ループ終了判定部203が処理を行う。眠気推定処理の呼び出し側/上位側などから終了指示により、ループ終了判定部203はYESへ分岐し、RRIセンサ10によるデータ取得終了、停止し、及び眠気推定処理の呼び出し側/上位関数へコントロールを渡すことになる。ループ終了判定部203がNOへ分岐した場合には、ループ開始部202からRRI取得手段21の処理へ戻り、次ステップ以降のループ処理が行われる。
ループ終了部204は、ループ終了判定部203による終了判定(YESへの分岐)がなされた後にループの終了のたびに、図4に示すように、RRIセンサ10から取得したRRI2(整形前)1012と、眠気データ1003と、指標値ベクトルの時系列データDDの一部或いは全部のデータである指標値ベクトル時系列1051を、好ましくは眠気が生じたときのデータであるか否かを示すフラグと共にクラウドストレージ30に転送する。この結果、クラウドストレージ30には、取得済RRI1012Xとして、また、取得済眠気データ1003Xとして、所定期間の指標値ベクトル時系列1051Xとして記憶されることになる。ループ終了部204による処理の次には、参照データ生成手段52による処理が行われることになる。
参照データ生成手段52は、クラウドストレージ30に蓄積されている第cnt回目のループで収集した眠気データである取得済眠気データ1003Xを取り出し、これをまとめてベクトル化し、眠気データベクトルQQcnt={Q1,cnt,Q2,cnt,・・・}を生成する。
眠気データのベクトル化の次には、参照データ生成手段52の図示しない眠気データベクトルの時系列化部が処理を行う。この眠気データベクトルの時系列化部による処理は、指標値ベクトルの時系列化部と同様に、ループ処理の第k回目(0≦cnt≦k)までに収集した眠気データベクトルQQをまとめて眠気データベクトル時系列EE={QQ,QQ,QQ,・・・,QQ}を生成する。
ここで、眠気データベクトル時系列EE={QQ,QQ,QQ,・・・,QQ}の例を示して説明する。また、眠気情報出力装置40として、(1)眠気時に被検者が端末20のパネルの該当部をタッチすることによる自己申告の眠気情報(主観的眠気情報)と、(2)ビデオ画像撮影と画像処理(顔認識処理等)による眠気情報(客観的眠気情報)を例とする。
処理時刻を意味するcnt値をkとする。被検者によるパネルをタッチの場合には、例えば、パネルの該当部にタッチした場合は1、タッチしない場合は0として、本ループ処理の時間間隔DTにて処理を行って時系列データを生成する(参照データ生成手段52)。
また、ビデオ画像撮影と画像処理(顔認識処理等)の場合には、目が細くなり、瞼の動作がなく、顔全体に動きが無い状態を1(眠気)、瞼のまばたき時間以上に瞼を閉じている状態を2(寝ている)、その他の覚醒状態を0として、本ループ処理の時間間隔DTにて処理を行って時系列データを生成する(参照データ生成手段52)。
データ生成により、眠気データベクトルQQは、例えば、次の通りになる。
QQk−4={0,0},QQk−3={0,1},QQk−2={0,1},QQk−1={0,2},QQ={1,0}
尚、上記自己申告の手法は、画像処理よりも遅れて生じることが想定される。全眠気データベクトルQQcntを集めて眠気データベクトル時系列EE={QQ,QQ,QQ,・・・,QQ}が生成される。
上記のようにして参照データ生成手段52による処理が終了すると、次の更新手段53によって以下の処理が行われる。更新手段53は、指標値ベクトル時系列1051(DD={YY,YY,YY,・・・,YY})または過去の所定期間内に取得した指標値ベクトル時系列1051を集合してクラウドストレージ30に蓄積した所定期間の指標値ベクトル時系列1051Xと、眠気データベクトル時系列1052(EE={QQ,QQ,QQ,・・・,QQ})または過去の所定期間内に取得した眠気データベクトル時系列1052を集合してクラウドストレージ30に蓄積した所定期間の眠気データベクトル時系列1052Xとを照合する。この照合に基づいて、更新手段53は、眠気推定ルール1102(推定関数f,閾値ベクトルRR)を最適なものに更新する。
更新ルールは、眠気推定ルール1102の更新に関するパラメータ及び更新関数gにより構成される。更新手段53は、過去に取得したデータに対して統計的な分析手法を適用することにより、更新処理時点において最新かつ最適の推定関数を求めるものである。更新手段53は、統計的な分析手法の種類に応じて様々なものとすることができ、複数種類を用意することができる。
更新手段53による眠気推定ルール更新処理の一例は、図15のフローチャートに示すように行われる。まず、指標値ベクトルの時系列DDと眠気データベクトルの時系列EEとの照合が行われる(S11)。このステップS11では、眠気データベクトル時系列と指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行う活動指標を特定する。
より具体的には、指標値ベクトルの時系列DD={YY,YY,YY,・・・,YY}と、眠気データベクトルの時系列EE={QQ,QQ,QQ,・・・,QQ}の相関値(相互相関)を算出し、相関値の絶対値が所定値以上である指標を検出する。即ち、指標毎正の相関(または負の相関)が所定以上である指標を検出する。ここで、所定値は、例えば0.3などと決定しておけば良く、この値は当該システムに固定なものとしても良く、また適宜な場合に変更するようにしても良い。
相関値が所定値以上である指標については更新を行い、所定値未満の指標については更新を行わず、既存の眠気推定ルールをそのまま適用する。更新を行うと決定した指標のみを対象に、指標毎に以下の処理を実行する。眠気データベクトル時系列EE={QQ,QQ,QQ,・・・,QQ}において「眠気有り」がセットされている全ての処理時刻における指標値を収集する(S12)。
次に、相関関数の結果が正の相関がある場合には、収集した指標値について最低値を候補閾値とし、また、相関関数の結果が負の相関がある場合には、収集した指標値について最高値を候補閾値とする(S13)。例えば、DDとEEについて、第3番目の指標と第7番目の指標が高い正の相関があったとする。このとき、EEにおいて1(眠気)を示すcnt値が、cnt=43、101、252だったとする。このcnt値における指標値をDDから得る。即ち、第3番目の指標に関しては{y3,43,y3,101,y3,252}を得て、第7番目の指標に関しては{y7,43,y7,101,y7,252}を得る。このとき、{y3,43,y3,101,y3,252}の中で最低値が第3番目の候補閾値r'となり,{y7,43,y7,101,y7,252}の中で最低値が第7番目の候補閾値r'となる。
次に、候補閾値に対応する指標値ベクトル時系列1051または所定期間の指標値ベクトル時系列1051Xの全ての時刻において、候補閾値以上(以下)の値を有する時刻が占める割合γを求める(S14)。次に、求めた割合γが、予め設定した割合以下(例えば、10%以下)であるか否かを判定する(S15)。ステップS15においてYESとなると、この候補閾値を該当の指標における新たな閾値に更新する(S16)。ここで、ステップS15においてYESの場合を、前述の第3番目の指標(正の相関)について例示すると、r3 =r'3として閾値 r3を更新することになる。
一方、ステップS15においてNOとなると、候補閾値の値を所定だけ増減させて(S17)、ステップS14に戻って処理を続ける。増減は、例えば増加によるループ処理を限界まで続け、限界となると元の値から減少によるループを行うようにすることができる。尚、ステップS14へ戻った場合には、ステップS15でYESとならなくとも、割合があらかじめ定めた割合に最も近い値を示したところでループを止め、その時点での候補閾値を該指標の新たな閾値としても良い。ステップS15においてNOへ分岐した場合を前述の第3番目の指標(正の相関)について例示すると、前述の割合γが予め設定した割合に最も近い値となるようなr''3(> r'3 )を再計算により求め、r3 =r''3,として閾値 r3を更新することになる。
上記の如くして、指標値ベクトル時系列DD={YY,YY,YY,・・・,YY}と眠気データベクトル時系列EE={QQ,QQ,QQ,・・・,QQ}の間で高い相関性を持つ指標とその閾値を得ているものとして、眠気推定ルール1102を構成する推定関数に対する更新処理を説明する。なお、以下において、条件式とは、各活動指標の指標値と閾値の大小関係を示す式である。そして、推定関数とは、上記条件式を用いて作成され、通常複数の条件式の論理的結合により生成された関数である。条件式が1つの活動指標では当該条件式が推定関数である。
図14において上から下までの指標に1から17までの連番で指標番号を与えた場合に、DDとEEの間で高い相関性を持つ指標番号が、例えば{3,13,14}の3つ存在しているものとする。このうち、{3,13}が正の相関を有し、{14}が負の相関を有していたとする。また、各指標に対応する、上記で求めた閾値は{r,r13,r14}であり、時刻はkとする。
推定値として2値化を構成する場合の最も基本となる推定関数及び閾値ベクトルは、
f:=(y3,k≧r)∨(y13,k≧r13)∨(y14,k≦r14)−−−(S1)
RR={{3,r},{13,r13},{14,r14}}−−−(S2)
として与えられる。なお、∨はORを示す。
上記の最も基本となる推定関数式(S1)は、3つの条件式(不等式)をORで結合した構造となっている。上記のORで結合された3つの条件式を、それぞれη,η,ηと表すと、式(S1)は、図16で示されるベン図上で、3つの円の外周で囲まれた部分に相当する。この部分は、また、ベン図上の線分で囲まれた領域0〜VIIに関して、I〜VIIまでの領域をOR(∨)で結合した領域に等しく、以下の式(S3)により表すことができる。
f=I ∨ II ∨ III ∨ ・・・ ∨ VII −−−(S3)
尚、領域0〜VIIを表す理論式は、それぞれ以下の表1で示されるブール式z〜zとして与えられる。
即ち、z=(¬η)∧(¬η)∧η,z=(¬η)∧η∧(¬η)である。
以降の最適化では、上記の最も基本となる推定関数式(S1)に相当する式(S3)について、推定として有効でない部分を省いた構成、例えばI∨III∨VIIなど、を用いることができる。ここで、I〜VIIの領域を、理論式z〜zを要素に持つ集合Zを考える。
Z={z,z,z,z,z,z,z}−−−(S4)
評価する推定関数の数は、Zの冪集合2の要素数分だけある。式(S4)に関しては、Zの要素数は7なので、Zの冪集合2の要素数は2=128である。Zの冪集合2の全ての要素の記載は省略するが、一部を省略して表記すると、

={{φ},{z},{z},・・・
{z,z},・・・,{z,z},・・・
{z,z,z},・・・,{z,z,z},・・・
・・・
・・・,{z,z,z,z},・・・
・・・
,{z,z,z,z,z,z,z} }−−−(S5)
である。
推定関数は、冪集合2の要素毎に該要素の要素をOR(∨)で結合した関数となる。即ち、式(S5)で表した冪集合2に関しては、φ(空集合)を除き、
f:=z
f:=z
・・・
f:=z∨z
f:=z∨z
・・・
f:=z∨z∨z
f:=z∨z∨z
・・・
f:=z∨z∨z∨z
f:=z∨z∨z∨z∨z∨z∨z −−−(S7)
である。
次いで、上記で求めた推定関数毎に、所定期間の指標値ベクトル時系列1051Xを与えて推定値(推定値の時系列)を算出する。該推定値(推定値時系列)が、所定期間の眠気データベクトル時系列1052Xと最も一致する(ヒット率が高い)関数を選び最終的な推定関数とする。
ヒット率の算出に関しては、推定値の時系列をX={0,0,1,1,0,…}、眠気データベクトル時系列(2値化の場合)Y={0,0,0,1,0,…},|X|=|Y|=m'とした場合では、
などとして与える。上記例は、DDとEEの間で高い相関性を持つ指標の数が3の場合を示したものであるが、その他の自然数の場合でも同様にして求めることができる。
以上の処理は、更新手段53が図15のステップS11からステップS16においてクラウドストレージ30の眠気推定ルール1102のパラメータ(閾値)に対する更新を行った後に、推定関数に対する更新として行うものである。これをまとめると、図15のステップS21とステップS22に示すようになる。即ち、ステップS11で特定された指標のみについてステップS16において求めた閾値を用いて指標毎の条件式(論理式)を作成する(S21)。次いで、上記ステップS21において作成した条件式の論理的な結合の全てのパターンにより複数の推定関数を作成し、この推定関数のそれぞれについてヒット率を算出し、算出したヒット率の最も高いものを最終的な推定関数とする(S22)。このようにして更新手段53による眠気推定ルール1102の更新が終了した後に、終了処理部205が眠気推定ルール更新処理を終了する。
図17に、本発明に係る眠気推定装置の第2の実施形態が用いる眠気推定プログラム及び眠気推定ルール更新プログラムによる処理を示すフローチャートを示す。装置の構成は第1の実施形態に示したものと変わらない。この実施形態では、参照データ生成手段52が眠気データ1003を得て眠気データベクトル時系列1052を生成する毎に、クラウドストレージ30に送出して蓄積し、所定期間の眠気データベクトル時系列1052Xとする。その他の実質処理は第1の実施形態と変わらない。
図18に、本発明に係る眠気推定装置が用いる第3の実施形態の眠気推定プログラム及び眠気推定ルール更新プログラムによる処理を示すフローチャートを示す。装置の構成は第1の実施形態に示したものと変わらない。この実施形態では、第1の実施形態におけるループ処理(ループ開始部202からループ終了判定部203の間)でのみ行われていたデータ整形手段22と指標値計算手段23による処理を、ループ終了部204の処理以降のループ処理(ループ2開始部212からループ2終了判定部213の間)においても、次のようにクラウドストレージ30の取得済RRI1012Xのデータを用いて行うようにしたものである。
ループ2開始部212からループ2終了判定部213の間においては、第2データ整形手段22Aがクラウドストレージ30の取得済RRI1012Xを読出してデータ整形し、このデータ整形されたデータを用いて第2指標値計算手段23Aが指標値を計算し、指標値ベクトル時系列を生成する。
データ整形手段22と指標値計算手段23とは、RRIセンサ10から得られるRRI(整形前)1001を用いて処理や計算を行うのに対し、第2データ整形手段22Aと第2指標値計算手段23Aは、クラウドストレージ30に蓄積された取得済RRI1012Xを用いて処理や計算を行う点で相違する。データ整形手段22と指標値計算手段23とが行う処理や計算の内容と、第2データ整形手段22Aと第2指標値計算手段23Aとが行う処理や計算の内容は、同じである。
このループ処理が終了した後に、生成された指標値ベクトル時系列を、ループ2終了部214が一括してクラウドストレージ30に蓄積し、所定期間の指標値ベクトル時系列1051Xとする。このようにして、推定ルール更新のために、所定期間の指標値ベクトル時系列1051Xが生成される。その他の実質処理は第1の実施形態と変わらない。
図19に、本発明に係る眠気推定装置が用いる第4の実施形態の眠気推定プログラム及び眠気推定ルール更新プログラムによる処理を示すフローチャートを示す。装置の構成は第1の実施形態に示したものと変わらない。この実施形態では、ループ2終了部214が、ループ2終了判定部213による終了判定(YESへの分岐)がなされた後にループ2の終了のたびに、指標値ベクトルの時系列データDDの一部或いは全部のデータである指標値ベクトル時系列1051を、好ましくは眠気が生じたときのデータであるか否かを示すフラグと共にクラウドストレージ30に転送する。また、第1の実施形態と同様に、参照データ生成手段52が眠気データベクトル時系列1052を生成する毎にクラウドストレージ30に送出して蓄積し、所定期間の眠気データベクトル時系列1052Xとする。これ以外は第3の実施形態と変わらない。
図20に、発明に係る眠気推定装置の第5の実施形態の機能ブロック図を示す。この第5の実施形態では、端末20が眠気推定処理を行い、サーバ60がルール更新を行う。図21に第5の実施形態の眠気推定装置の各部が備える具体的構成を示す。図22は、発明に係る眠気推定装置の第5の実施形態の動作を示すフローチャートである。図20に示すように、サーバ60は、第2データ整形手段22A、第2指標値計算手段23A、参照データ生成手段52、更新手段53を備えている。第2データ整形手段22Aと第2指標値計算手段23Aは、クラウドストレージ30に蓄積された取得済RRI1012Xを用いて処理や計算を行う。
サーバ60は、CPUの制御によって処理を行うものであり、図21に示すように、処理中のデータなどを一時保持するためのメモリ、電話回線を介した通信やネットワークを介した通信などを行う通信部、時刻データを取り出すためのタイマを有する。更に、各種のアプリケーションプログラム、応用ソフト、各種ブラウザ、本実施形態において行うデータ取得やデータ整形等のデータ処理を行うためのデータ処理プログラム、眠気推定ルール更新処理を行うための眠気推定ルール更新プログラム、各種の処理データを記憶するための記憶装置を備えている。
図22に示すように、端末20は、RRI取得手段21によるRRIデータの取得と眠気データ取得手段51による眠気データの収集を行い、これらをループ終了部204により、ループ終了の都度、RRI2(整形前)1012としてクラウドストレージ30へ送り取得済RRI1012Xとして蓄積し、眠気データ1003としてクラウドストレージ30へ送り取得済眠気データ1003Xとして蓄積するだけで、眠気推定ルール更新に関しての実質処理は行わない。眠気推定手段24は、閾値ベクトルと上記指標値ベクトル時系列を用いて評価する関数により眠気推定を行う。眠気推定手段24において算出された推定値1005は、出力手段25により眠気推定処理の呼び出し側/上位側への返り値として戻される。
サーバ60は、ループ2開始部612とループ2終了判定部613とに挟まれるループ処理においてクラウドストレージ30の取得済RRI1012Xを取り出して第2データ整形手段22Aと第2指標値計算手段23Aによって計算処理を行い、指標値ベクトル時系列を得る。ループ2終了部614の終了処理がなされると、参照データ生成手段52によるクラウドストレージ30の取得済眠気データ1003Xの取り出しが行われ、参照データ生成がなされる。次に、更新手段53がクラウドストレージ30の所定期間の指標値ベクトル時系列1051Xから指標値ベクトル時系列を読み出し、クラウドストレージ30の所定期間の眠気データベクトル時系列1052Xから眠気データベクトル時系列を読み出し、眠気推定ルール1102の更新を行う。このような第5の実施形態の構成によって、処理能力で優れたサーバ60において、適切に眠気推定ルールを更新することが可能である。
図23に、本発明に係る眠気推定装置が用いる第6の実施形態の眠気推定プログラム及び眠気推定ルール更新プログラムによる処理を示すフローチャートを示す。装置の構成は第5の実施形態に示したものと変わらない。この実施形態では、サーバ60においてループ処理が終了する毎に、作成された指標値ベクトル時系列1051をループ2終了部614が、クラウドストレージ30の所定期間の指標値ベクトル時系列1051Xとして蓄積し、参照データ生成手段52が作成した眠気データベクトル時系列1052を作成の毎に、クラウドストレージ30の所定期間の眠気データベクトル時系列1052Xとして蓄積する処理を行う。これ以外の処理は第6の実施形態と変わらない。
図24に、本発明に係る眠気推定装置が用いる第7の実施形態の眠気推定プログラム及び眠気推定ルール更新プログラムによる処理を示すフローチャートを示す。装置の構成は第5の実施形態に示したものと変わらない。この実施形態では、サーバ60が更新手段53を備え、端末20がデータ整形手段22、指標値計算手段23、参照データ生成手段52を備える点において第5の実施形態と異なっている。
端末20では、ループ終了部204が、ループ処理終了毎に得られた指標値ベクトル時系列をクラウドストレージ30へ所定期間の指標値ベクトル時系列1051Xとして蓄積し、参照データ生成手段52が生成した眠気データベクトル時系列を一括してクラウドストレージ30へ送り、所定期間の眠気データベクトル時系列1052Xの更新を行う。一方、サーバ60の更新手段53がクラウドストレージ30の所定期間の指標値ベクトル時系列1051Xから指標値ベクトル時系列を読み出し、クラウドストレージ30の所定期間の眠気データベクトル時系列1052Xから眠気データベクトル時系列を読み出し、眠気推定ルール1102の更新を行う。これ以外の処理は第5の実施形態と変わらない。
図25に、本発明に係る眠気推定装置が用いる第8の実施形態の眠気推定プログラム及び眠気推定ルール更新プログラムによる処理を示すフローチャートを示す。装置の構成は第5の実施形態に示したものと変わらない。この実施形態では、サーバ60がループ2開始部612、第2データ整形手段22A、第2指標値計算手段23A、ループ2終了判定部613、ループ2終了部614を備えておらず、クラウドストレージ30の所定期間の指標値ベクトル時系列1051Xに対して、端末20のループ終了部204から指標値ベクトル時系列1051が送出され蓄積される。また、この実施形態では、第7の実施形態とほぼ同様に処理を行う。参照データ生成手段52が眠気データベクトル時系列1052を生成する毎にクラウドストレージ30に送出して蓄積し、所定期間の眠気データベクトル時系列1052Xとする点において第7の実施形態と相違する。
図26に、本発明に係る眠気推定装置が用いる第9の実施形態の眠気推定プログラム及び眠気推定ルール更新プログラムによる処理を示すフローチャートを示す。装置の構成は第5の実施形態に示したものと変わらない。この実施形態は、第8の実施形態において、端末20に備えられていた参照データ生成手段52を、サーバ60に移した構成を有する。
即ち、サーバ60の参照データ生成手段52が、クラウドストレージ30に蓄積されている取得済眠気データ1003Xを取り出し、これをまとめてベクトル化し、更に眠気データベクトル時系列を生成する。そして、参照データ生成手段52は生成された眠気データベクトル時系列をクラウドストレージ30に一括して送り、所定期間の眠気データベクトル時系列1052Xとして蓄積する。これ以外の処理は、第8の実施形態の処理と変わらない。
図27に、本発明に係る眠気推定装置が用いる第10の実施形態の眠気推定プログラム及び眠気推定ルール更新プログラムによる処理を示すフローチャートを示す。装置の構成は第5の実施形態に示したものと変わらない。この実施形態では、第9の実施形態の変形例である。即ち、端末20のループ終了部204がクラウドストレージ30へ眠気データ1003を蓄積する毎に、この眠気データ1003をサーバ60の参照データ生成手段52が取り出し、これをベクトル化し、更に眠気データベクトル時系列を生成する。そして、参照データ生成手段52は上記処理において眠気データベクトル時系列1052を生成する毎に、これをクラウドストレージ30に送り、所定期間の眠気データベクトル時系列1052Xとして蓄積する。他の処理は第9の実施形態と変わらない。
図28に、本発明に係る眠気推定装置における第11の実施形態の具体的構成図を示す。第11の実施形態では、端末20とサーバ60とが直接接続され、相互にデータの送受信が可能である点において、図21に示した第5の実施形態と相違する。
図29に、本発明に係る眠気推定装置が用いる第11の実施形態の眠気推定プログラム及び眠気推定ルール更新プログラムによる処理を示すフローチャートを示す。図29と図22を比較すると明らかなように、この第11の実施形態の構成と処理は、第5の実施形態の構成と処理と大きく異なる。この第11の実施形態では、端末20にサーバ同期開始部206とサーバ同期終了部207とが備えられ、サーバ60に端末同期開始部606と端末同期終了部607とが備えられ、サーバ60がループ開始部602、RRI取得手段21A、ループ終了判定部603を備えている点において、第5の実施形態と異なる。
第11の実施形態では、サーバ同期開始部206と端末同期開始部606とによる同期確立後に、端末20のRRI取得手段21が取得したRRI(整形前)1001と時刻1002が直接にサーバ60へ送られる。サーバ60では、RRI取得手段21Aが上記RRI(整形前)1001と時刻1002を受け取って保持しておくことができる。サーバ60に備えられたデータ整形手段22によりデータ整形が行われ、指標値計算手段23によって指標値の計算が行われ、眠気推定手段24によって推定値1005が求められて端末20へ送られる。推定値1005は、端末20に設けられた出力手段25が、眠気推定処理の呼び出し側/上位側への返り値として戻す処理を行う。
定められた回数のループ処理が終了したとき、サーバ同期終了部207と端末同期終了部607とは同期動作を終了する。このときクラウドストレージ30には、同期終了までの取得済RRI1012Xと取得済眠気データ1003Xとが蓄積されている。そこで、取得済RRI1012Xを用いてサーバ60の第2データ整形手段22A及び第2指標値計算手段23Aが指標値ベクトル時系列を求め、取得済眠気データ1003Xを用いて参照データ生成手段52が眠気データベクトル時系列を生成する。最終的に、更新手段53が、クラウドストレージ30に蓄積された所定期間の指標値ベクトル時系列1051Xと所定期間の眠気データベクトル時系列1052Xとに基づき眠気推定ルール1102の更新を行う。
図30に、本発明に係る眠気推定装置が用いる第12の実施形態の眠気推定プログラム及び眠気推定ルール更新プログラムによる処理を示すフローチャートを示す。装置の構成は第11の実施形態に示したものと変わらない。第11の実施形態では、終了時にクラウドストレージ30の所定期間の指標値ベクトル時系列1051Xと所定期間の眠気データベクトル時系列1052Xとの一括更新を行うようにしているが、この実施形態では、ループ2開始部612とループ2終了判定部613間のループ処理毎に、ループ2終了部614が指標値ベクトル時系列1051をクラウドストレージ30に送出し、また、参照データ生成手段52が眠気データベクトル時系列1052をクラウドストレージ30に送出する。この結果、上記ループ処理毎にクラウドストレージ30の所定期間の指標値ベクトル時系列1051Xと所定期間の眠気データベクトル時系列1052Xとが更新される。この点以外は、第11の実施形態と変わらない。
図31に、本発明に係る眠気推定装置が用いる第13の実施形態の眠気推定プログラム及び眠気推定ルール更新プログラムによる処理を示すフローチャートを示す。この第13の実施形態の構成と処理は、第12の実施形態の構成と処理とほぼ同じである。以下の処理が第12の実施形態と異なる。第12の実施形態のサーバ60に備えられていたループ2開始部612、第2データ整形手段22A、第2指標値計算手段23A、ループ2終了判定部613、ループ2終了部614が、この第13の実施形態では、サーバ60に備えられない。この第13の実施形態では、サーバ60のループ処理において、RRI取得手段21Aが取得したRRI(整形前)1001と時刻1002を用いて、サーバ60のデータ整形手段22と指標値計算手段23が指標値ベクトル時系列1051を求め、これをループ処理終了毎にループ終了部604がクラウドストレージ30へ送る。これにより、上記ループ処理毎にクラウドストレージ30の所定期間の指標値ベクトル時系列1051Xが更新される。
また、端末20が参照データ生成手段52を備え、サーバ同期終了部207による同期終了後に、参照データ生成手段52は、クラウドストレージ30の取得済眠気データ1003Xを用いて眠気データベクトル時系列を生成し、クラウドストレージ30の所定期間の眠気データベクトル時系列1052Xの一括更新を行う。この点以外は、第12の実施形態と変わらない。
図32に、本発明に係る眠気推定装置が用いる第14の実施形態の眠気推定プログラム及び眠気推定ルール更新プログラムによる処理を示すフローチャートを示す。この第14の実施形態の構成と処理は、第13の実施形態の構成と処理とほぼ同じである。この第14の実施形態では、端末20のループ処理毎に、ループ処理で取得しただけの眠気データ1003を用いて、参照データ生成手段52が、眠気データベクトル時系列1052を生成し、その都度、クラウドストレージ30へ送出する。これにより、上記ループ処理毎にクラウドストレージ30の所定期間の眠気データベクトル時系列1052Xが更新される。この点以外は、第13の実施形態と変わらない。
図33に、本発明に係る眠気推定装置が用いる第15の実施形態の眠気推定プログラム及び眠気推定ルール更新プログラムによる処理を示すフローチャートを示す。この第15の実施形態の構成と処理は、第14の実施形態の構成と処理とほぼ同じである。この第15の実施形態では、参照データ生成手段52がサーバ60に設けられており、クラウドストレージ30の取得済眠気データ1003Xを用いて参照データ生成手段52が眠気データベクトル時系列を生成し、クラウドストレージ30に蓄積された所定期間の眠気データベクトル時系列1052Xを一括して更新する。この点以外は、第14の実施形態と変わらない。
図34に、本発明に係る眠気推定装置が用いる第16の実施形態の眠気推定プログラム及び眠気推定ルール更新プログラムによる処理を示すフローチャートを示す。この第16の実施形態の構成と処理は、第15の実施形態の構成と処理とほぼ同じである。この第16の実施形態では、端末20からループ処理毎にクラウドストレージ30に送出される眠気データ1003をサーバ60の参照データ生成手段52が取り込み、眠気データベクトル時系列1052を生成し、その都度、クラウドストレージ30へ送出する。この送信の都度、クラウドストレージ30に蓄積された所定期間の眠気データベクトル時系列1052Xが更新される。この点以外は、第15の実施形態と変わらない。
図35に、本発明に係る眠気推定装置が用いる第17の実施形態の眠気推定プログラム及び眠気推定ルール更新プログラムによる処理を示すフローチャートを示す。この第17の実施形態の構成は、第5の実施形態の構成とほぼ同じであり、また、第17の実施形態の処理は、第7の実施形態の処理とほぼ同じである。第5の実施形態では、サーバ60が、ループ2開始部612とループ2終了判定部613とに挟まれるループ処理を行い、参照データ生成手段52による参照データ生成を行っている。この第17の実施形態では、上記の処理を端末20において行う。
即ち、端末20は、ループ終了部204の処理が終了すると、ループ2開始部212とループ2終了判定部213とに挟まれるループ処理において、クラウドストレージ30の取得済RRI1012Xを取り出して第2データ整形手段22Aと第2指標値計算手段23Aによって処理を行い、指標値ベクトル時系列を得る。第2指標値計算手段23Aに続くループ2終了判定部213においてYESへ分岐すると、ループ2終了部214の終了処理において、クラウドストレージ30の所定期間の指標値ベクトル時系列1051Xの一括更新がなされる。
端末20において、ループ2終了部214の処理が終了となると、参照データ生成手段52が、クラウドストレージ30の取得済眠気データ1003Xを取り出して参照データ生成を行う。
次に、サーバ60の更新手段53がクラウドストレージ30の所定期間の指標値ベクトル時系列1051Xから指標値ベクトル時系列を読み出し、クラウドストレージ30の所定期間の眠気データベクトル時系列1052Xから眠気データベクトル時系列を読み出し、眠気推定ルール1102の更新を行う。この構成によって、処理能力で優れたサーバ60において、適切に眠気推定ルールを更新することが可能である。
図36に、第18の実施形態の眠気推定プログラムによる処理を示すフローチャートを示す。この第18の実施形態の構成と処理は、第17の実施形態の構成と処理とほぼ同じである。この第18の実施形態は、参照データ生成手段52がサーバ60に備えられている点において第17の実施形態と異なっている。参照データ生成手段52は、クラウドストレージ30の取得済眠気データ1003Xを取り出して参照データ生成がなされる。参照データ生成手段52は、参照データ生成の後に、クラウドストレージ30の所定期間の眠気データベクトル時系列1052Xの一括更新を行う。
図37に、第19の実施形態の眠気推定プログラムによる処理を示すフローチャートを示す。この第19の実施形態の構成と処理は、第18の実施形態の構成と処理とほぼ同じである。この第19の実施形態は、第18の実施形態においてサーバ60に備えられていた参照データ生成手段52を端末20へ移動し、端末20に備えられていたループ2の処理をサーバ60へ移動したものである。
上記の構成により、サーバ60では、開始処理部601の処理が起動されると、ループ2開始部612とループ2終了判定部613とに挟まれるループ処理において、クラウドストレージ30の取得済RRI1012Xを取り出して第2データ整形手段22Aと第2指標値計算手段23Aによって処理と計算を行い、指標値ベクトル時系列を得る。第2指標値計算手段23Aに続くループ2終了判定部613においてYESへ分岐すると、ループ2終了部614の終了処理において、クラウドストレージ30の所定期間の指標値ベクトル時系列1051Xに対する一括更新がなされる。
また、第19の実施形態では、ループ終了部204による処理の終了後に、端末20の参照データ生成手段52は、クラウドストレージ30の取得済眠気データ1003Xを取り出して参照データを生成し、この後に、クラウドストレージ30の所定期間の眠気データベクトル時系列1052Xの一括更新を行う。
10 RRIセンサ
20 端末
21、21A RRI取得手段
22 データ整形手段
22A 第2データ整形手段
23 指数値計算手段
23A 第2指数値計算手段
24 眠気推定手段
51 眠気データ取得手段
52 参照データ生成手段
53 更新手段
30 クラウドストレージ
40 眠気情報出力装置
60 サーバ
233 ベクトル化部

Claims (18)

  1. 心電図信号のR波に相当する信号を検出するRRIセンサにより得られる信号からR−R間隔のデータであるRRIデータを取得するRRI取得手段と、
    前記RRIデータを統計処理した結果と前記RRIデータのスペクトル解析の結果とに基づいて、自律神経の活動に関する複数種の活動指標について指標値を計算すると共に前記複数種の活動指標の指標値について指標値ベクトル時系列を生成する指標値計算手段と、
    前記指標値計算手段により計算される全活動指標から選択された1以上の活動指標の指標値とこの選択された活動指標に関する閾値との比較条件及び/または前記選択された活動指標の指標値に関する所定変動状態の有無の条件を論理結合して作成した推定関数によって構成される眠気推定ルールに基づき、前記指標値計算手段により算出された指標値を評価し眠気を推定する眠気推定手段と
    前記指標値計算手段により計算された指標値を用いて眠気推定を行う場合に用いる閾値を備える眠気推定ルールが記憶された記憶手段と、
    被検者から得られる情報または被検者の生体状態を解析して得られる情報である、眠気の有無を示す眠気データを出力する眠気情報出力装置と、
    前記眠気情報出力装置から出力された眠気データを、前記RRI取得手段がRRIデータを取得する時刻の時間間隔において取得する眠気データ取得手段と、
    前記眠気データ取得手段が取得した前記眠気データを用いて眠気推定ルールの適否を評価するための参照データを生成すると共に前記眠気データについて眠気データベクトル時系列を生成する参照データ生成手段と、
    前記眠気データベクトル時系列と前記指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行うべき活動指標を特定し、この特定された活動指標が関係している推定関数について論理結合の更新を行うことにより、前記記憶手段に記憶されている眠気推定ルールを更新する更新手段と
    を具備することを特徴とする眠気推定装置。
  2. 前記指標値計算手段は、前記RRIデータを統計処理した結果と、前記RRIデータのスペクトル解析の結果に基づいて自律神経について複数の活動指標の指標値を算出することを特徴とする請求項1に記載の眠気推定装置。
  3. 前記RRIデータを統計処理した結果の活動指標には、
    SDRR:(RRIの標準偏差)
    RMSSD:(隣接するRRIの差の二乗平均値の平方根)
    SDSD:(隣接するRRIの差の標準偏差)
    pRR50:(隣接するRRIの差が50(ミリ秒)を超える割合)
    の少なくとも1つが含まれることを特徴とする請求項2に記載の眠気推定装置。
  4. 前記RRIデータのスペクトル解析の結果の活動指標には、
    LF:(PSD(パワースペクトル密度関数)の0.04〜0.15[Hz]のパワー)
    HF:(PSDの0.15〜0.40[Hz]のパワー)
    HF/(LF+HF)
    i(i=0,1,2,・・・,9):(PSDの0.15+i×0.025〜 0.15+(i+1)×0.025 [Hz]のパワー)
    の少なくとも1つが含まれることを特徴とする請求項2または3に記載の眠気推定装置。
  5. 前記指標値計算手段は、第1の時間毎のRRIデータを用いて単位時間の指標値を算出し、単位時間の指標値を活動指標の種類分集めてベクトル化し、ベクトル化された指標値を時系列に並べて指標値ベクトル時系列を作成し、
    眠気推定手段は、閾値ベクトルと前記指標値ベクトル時系列を用いて評価する推定関数により眠気推定を行うことを特徴とする請求項2乃至4のいずれか1項に記載の眠気推定装置。
  6. 更新手段は、前記眠気データベクトル時系列において眠気有りとなっている時刻に対応する活動指標の値を前記指標値ベクトル時系列から求め、正の相関のときには求めた活動指標の値の最低値を候補閾値とし、負の相関のときには求めた活動指標の値の最高値を候補閾値として、当該候補閾値により前記指標値ベクトル時系列の活動指標の値を評価することにより、閾値の更新を行うことを特徴とする請求項1乃至5のいずれか1項に記載の眠気推定装置。
  7. 更新手段は、前記指標値ベクトル時系列において、候補閾値以上の活動指標の値が占める割合に基づき、候補閾値を新たな閾値に更新することを特徴とする請求項6に記載の眠気推定装置。
  8. 更新手段は、候補閾値を新たな閾値に更新しない場合には、候補閾値の値を増減させて新たな候補閾値を作成し、この候補閾値により前記指標値ベクトル時系列の活動指標の値を評価することにより、閾値の更新を行うことを特徴とする請求項7に記載の眠気推定装置。
  9. 更新手段は、前記眠気データベクトル時系列と前記指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行う活動指標を特定する特定ステップと、
    前記眠気データベクトル時系列において眠気有りとなっている時刻に対応する活動指標の値を前記指標値ベクトル時系列から求め、正の相関のときには求めた活動指標の値の最低値を候補閾値とし、負の相関のときには求めた活動指標の値の最高値を候補閾値とする候補閾値生成ステップと、
    前記指標値ベクトル時系列において、候補閾値以上の活動指標の値が占める割合に基づき、候補閾値を新たな閾値に更新する閾値更新ステップと
    前記特定された活動指標のみについて、前記更新した閾値を用いて活動指標毎に、各活動指標の指標値と閾値の大小関係を示す式である条件式を作成するステップと、
    条件式が1つの活動指標では当該条件式を推定関数とし、条件式が複数の活動指標では複数の条件式の論理的結合の全てのパターンにより生成された複数の関数を推定関数とするステップと、
    この推定関数のそれぞれについてヒット率を算出し、算出したヒット率の最も高いものを最終的な推定関数とするステップと
    を実行することを特徴とする請求項1に記載の眠気推定装置。
  10. コンピュータを、
    心電図信号のR波に相当する信号を検出するRRIセンサにより得られる信号からR−R間隔のデータであるRRIデータを取得するRRI取得手段、
    前記RRIデータを統計処理した結果と前記RRIデータのスペクトル解析の結果とに基づいて、自律神経の活動に関する複数種の活動指標について指標値を計算すると共に前記複数種の活動指標の指標値について指標値ベクトル時系列を生成する指標値計算手段、
    前記指標値計算手段により計算される全活動指標から選択された1以上の活動指標の指標値とこの選択された活動指標に関する閾値との比較条件及び/または前記選択された活動指標の指標値に関する所定変動状態の有無の条件を論理結合して作成した推定関数によって構成される眠気推定ルールに基づき、前記指標値計算手段により算出された指標値を評価し眠気を推定する眠気推定手段
    被検者から得られる情報または被検者の生体状態を解析して得られる情報である、眠気の有無を示す眠気データを出力する眠気情報出力装置から出力された眠気データを、前記RRI取得手段がRRIデータを取得する時刻の時間間隔において取得する眠気データ取得手段
    前記眠気データ取得手段が取得した前記眠気データを用いて眠気推定ルールの適否を評価するための参照データを生成すると共に前記眠気データについて眠気データベクトル時系列を生成する参照データ生成手段、
    前記眠気データベクトル時系列と前記指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行うべき活動指標を特定し、この特定された活動指標が関係している推定関数について論理結合の更新を行うことにより、前記眠気推定ルールを更新する更新手段
    として機能させることを特徴とする眠気推定プログラム。
  11. 前記指標値計算手段は、前記RRIデータを統計処理した結果と、前記RRIデータのスペクトル解析の結果に基づいて自律神経の活動指標を複数算出することを特徴とする請求項10に記載の眠気推定プログラム。
  12. 前記RRIデータを統計処理した結果の活動指標には、
    SDRR:(RRIの標準偏差)
    RMSSD:(隣接するRRIの差の二乗平均値の平方根)
    SDSD:(隣接するRRIの差の標準偏差)
    pRR50:(隣接するRRIの差が50(ミリ秒)を超える割合)
    の少なくとも1つが含まれることを特徴とする請求項11に記載の眠気推定プログラム。
  13. 前記RRIデータのスペクトル解析の結果の活動指標には、
    LF:(PSD(パワースペクトル密度関数)の0.04〜0.15[Hz]のパワー)
    HF:(PSDの0.15〜0.40[Hz]のパワー)
    HF/(LF+HF)
    i(i=0,1,2,・・・,9):(PSDの0.15+i×0.025〜 0.15+(i+1)×0.025 [Hz]のパワー)
    の少なくとも1つが含まれることを特徴とする請求項11または12に記載の眠気推定プログラム。
  14. 前記指標値計算手段は、第1の時間毎のRRIデータを用いて単位時間の指標値を算出し、単位時間の指標値を活動指標の種類分集めてベクトル化し、ベクトル化された指標値を時系列に並べて指標値ベクトル時系列を作成し、
    眠気推定手段は、閾値ベクトルと前記指標値ベクトル時系列を用いて評価する推定関数により眠気推定を行うことを特徴とする請求項11乃至13のいずれか1項に記載の眠気推定プログラム。
  15. 更新手段は、前記眠気データベクトル時系列において眠気有りとなっている時刻に対応する活動指標の値を前記指標値ベクトル時系列から求め、正の相関のときには求めた活動指標の値の最低値を候補閾値とし、負の相関のときには求めた活動指標の値の最高値を候補閾値として、当該候補閾値により前記指標値ベクトル時系列の活動指標の値を評価することにより、閾値の更新を行うことを特徴とする請求項10乃至14のいずれか1項に記載の眠気推定プログラム。
  16. 更新手段は、前記指標値ベクトル時系列において、候補閾値以上の活動指標の値が占める割合に基づき、候補閾値を新たな閾値に更新することを特徴とする請求項15に記載の眠気推定プログラム。
  17. 更新手段は、候補閾値を新たな閾値に更新しない場合には、候補閾値の値を増減させて新たな候補閾値を作成し、この候補閾値により前記指標値ベクトル時系列の活動指標の値を評価することにより、閾値の更新を行うことを特徴とする請求項16に記載の眠気推定プログラム。
  18. 更新手段は、前記眠気データベクトル時系列と前記指標値ベクトル時系列の相互相関の相関値を求め、相関値に基づき更新を行う活動指標を特定し、
    前記眠気データベクトル時系列において眠気有りとなっている時刻に対応する活動指標の値を前記指標値ベクトル時系列から求め、正の相関のときには求めた活動指標の値の最低値を候補閾値とし、負の相関のときには求めた活動指標の値の最高値を候補閾値とする候補閾値を生成し、
    前記指標値ベクトル時系列において、候補閾値以上の活動指標の値が占める割合に基づき、候補閾値を新たな閾値に更新し、
    前記特定された活動指標のみについて、前記更新した閾値を用いて活動指標毎に、各活動指標の指標値と閾値の大小関係を示す式である条件式を作成し、
    条件式が1つの活動指標では当該条件式を推定関数とし、条件式が複数の活動指標では複数の条件式の論理的結合の全てのパターンにより生成された複数の関数を推定関数とし、
    この推定関数のそれぞれについてヒット率を算出し、算出したヒット率の最も高いものを最終的な推定関数とする
    ことを特徴とする請求項10に記載の眠気推定ルール更新プログラム。
JP2014261865A 2014-12-25 2014-12-25 眠気推定装置及び眠気推定プログラム Active JP6468637B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014261865A JP6468637B2 (ja) 2014-12-25 2014-12-25 眠気推定装置及び眠気推定プログラム
PCT/JP2015/085815 WO2016104498A1 (ja) 2014-12-25 2015-12-22 眠気推定装置及び眠気推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014261865A JP6468637B2 (ja) 2014-12-25 2014-12-25 眠気推定装置及び眠気推定プログラム

Publications (2)

Publication Number Publication Date
JP2016120063A JP2016120063A (ja) 2016-07-07
JP6468637B2 true JP6468637B2 (ja) 2019-02-13

Family

ID=56150516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014261865A Active JP6468637B2 (ja) 2014-12-25 2014-12-25 眠気推定装置及び眠気推定プログラム

Country Status (2)

Country Link
JP (1) JP6468637B2 (ja)
WO (1) WO2016104498A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6791707B2 (ja) * 2016-09-30 2020-11-25 東芝情報システム株式会社 眠気推定装置及び眠気推定プログラム
JP2018202130A (ja) * 2017-05-30 2018-12-27 アルパイン株式会社 状態推定装置、情報処理装置、状態推定システム
US10918323B2 (en) 2017-07-04 2021-02-16 Panasonic Intellectual Property Management Co, Ltd. Drowsiness detecting device, drowsiness detecting method, and program recording medium
JPWO2019193998A1 (ja) * 2018-04-04 2021-03-11 シャープ株式会社 状態取得装置、ネットワークシステム、および状態処理装置
WO2023282175A1 (ja) * 2021-07-06 2023-01-12 東洋紡株式会社 自律神経活動状態の表示システム、自律神経活動表示マップ、自律神経活動監視システム、乗り物、情報処理装置、記憶媒体、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5045492B2 (ja) * 2008-02-27 2012-10-10 トヨタ自動車株式会社 覚醒度推定装置
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
US8805485B2 (en) * 2008-11-21 2014-08-12 Massachusetts Institute Of Technology Extraction of fetal cardiac signals
JP6191242B2 (ja) * 2013-05-30 2017-09-06 トヨタ自動車株式会社 集中度推定装置

Also Published As

Publication number Publication date
WO2016104498A1 (ja) 2016-06-30
JP2016120063A (ja) 2016-07-07

Similar Documents

Publication Publication Date Title
Çınar et al. Classification of normal sinus rhythm, abnormal arrhythmia and congestive heart failure ECG signals using LSTM and hybrid CNN-SVM deep neural networks
JP6468637B2 (ja) 眠気推定装置及び眠気推定プログラム
Şen et al. A comparative study on classification of sleep stage based on EEG signals using feature selection and classification algorithms
US20230143594A1 (en) Systems and methods for reduced lead electrocardiogram diagnosis using deep neural networks and rule-based systems
CN109646022B (zh) 儿童注意力评估系统及其方法
US11717234B2 (en) Forecasting neonatal vitality
CA2883218A1 (en) Methods and systems for calculating and using statistical models to predict medical events
CN109674474B (zh) 睡眠呼吸暂停识别方法、设备及计算机可读介质
CN105212949A (zh) 一种使用皮肤电信号进行文化体验情感识别的方法
JP2019025311A (ja) データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム
Bonotis et al. Automated assessment of pain intensity based on EEG signal analysis
CN114366060A (zh) 一种基于心率变异性的健康预警方法、装置及电子设备
JP6468635B2 (ja) 眠気推定装置及び眠気推定プログラム
WO2024140617A1 (zh) 一种人机交互用户体验测评与优化方法、系统及存储介质
US11776690B2 (en) Forecasting uterine activity
JP2018171124A (ja) 睡眠状態推定装置、睡眠状態推定方法および睡眠状態推定プログラム
CN110313922A (zh) 一种压力调节方法、压力调节系统及终端
Luo et al. Exploring adaptive graph topologies and temporal graph networks for EEG-based depression detection
JP6468636B2 (ja) 眠気推定ルール更新装置及び眠気推定ルール更新プログラム
Zuo et al. Mobile phone use driver distraction detection based on MSaE of multi-modality physiological signals
JPWO2020166239A1 (ja) 睡眠時無呼吸症候群判定装置、睡眠時無呼吸症候群判定方法、及び、睡眠時無呼吸症候群判定プログラム
Prajitha et al. Noise Removal-based Thresholding framework for Arrhythmia classification
JP7501660B2 (ja) 疲労度推定装置、疲労度推定方法、及びプログラム
US20240282414A1 (en) Biological Measurement Data Processing Device and Biological Measurement Data Processing Method
US20240090829A1 (en) Evaluation of sleep data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190111

R150 Certificate of patent or registration of utility model

Ref document number: 6468637

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250