JP7231035B2 - 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法およびプログラム - Google Patents
眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法およびプログラム Download PDFInfo
- Publication number
- JP7231035B2 JP7231035B2 JP2021533914A JP2021533914A JP7231035B2 JP 7231035 B2 JP7231035 B2 JP 7231035B2 JP 2021533914 A JP2021533914 A JP 2021533914A JP 2021533914 A JP2021533914 A JP 2021533914A JP 7231035 B2 JP7231035 B2 JP 7231035B2
- Authority
- JP
- Japan
- Prior art keywords
- drowsiness estimation
- information
- drowsiness
- estimation information
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
- A61B2560/0247—Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/029—Humidity sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physiology (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Ophthalmology & Optometry (AREA)
- Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Dentistry (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
図1は、第1実施形態に係る覚醒度制御システムの機能構成の例を示す概略ブロック図である。図1に示す構成で、覚醒度制御システム1は、カメラ11と、湿度センサ12と、眠気推定装置13と、眠気推定情報補正装置14と、覚醒度制御装置15と、環境制御装置16とを備える。
例えば、眠気推定情報の値が、眠気の程度を分類するクラスうち何れか1つのクラスを示すようになっていてもよい。このように眠気推定情報の値が眠気の程度のクラスを示す場合は、眠気推定情報が離散値をとる場合の例に該当する。
あるいは、眠気推定情報が、眠気の程度を数値で示すようになっていてもよい。眠気推定情報が連続値をとる場合の例として、眠気推定情報が[0,1]など所定区間の実数値をとる場合が挙げられる。[0,1]は、0から1までの間の値であることを示す。
また、対象者が、室内で作業を行う作業者である場合、対象者の周囲環境は、対象者が在室する室内の環境であってもよい。あるいは、対象者の周囲環境は、対象者の席の環境であるなど、室内のうちの一部の空間の環境であってもよい。
例えば、対象者が自動車、鉄道車両、船舶または航空機等の乗り物の運転者または操縦者である場合、カメラ11が運転席または操縦席の前方に、運転席または操縦席に向けて設置され、運転者または操縦者の顔を撮像するようにしてもよい。
カメラ11が、動画像を撮像するようにしてもよい。あるいは、カメラ11が、例えば5秒周期など周期的に静止画像を撮像するようにしてもよい。
例えば、眠気推定装置13の処理の説明で後述する特徴量を、カメラ11が抽出するようにしてもよい。すなわち、カメラ11と眠気推定装置13との何れが特徴量の抽出を行うようしてもよい。
眠気推定装置13は、眠気推定情報取得部(眠気推定情報取得手段)の例に該当する。
湿度センサ12が、直近の湿度測定値そのものを湿度情報として出力するようにしてもよい。あるいは、湿度センサ12が、予め定められた時間窓THで湿度測定値を平均した値を湿度情報として出力するなど、湿度測定値を加工した値を湿度測定値として出力するようにしてもよい。
湿度センサ12の設置位置は、対象者が位置する空間の湿度を測定可能な位置であればよく、特定の位置に限定されない。湿度センサ12の設置位置が、対象者の目に近い位置であればより好ましいが、実施形態はこのような例に限定されない。
また、対象者が、室内で作業を行う作業者である場合、湿度センサ12が、対象者が在室する室内に設置されていてもよい。特に、湿度センサ12が、対象者の席に設置されていてもよい。
湿度センサ12が、相対湿度[%]を測定するようにしてもよい。あるいは、湿度センサ12が絶対湿度[g/m3]を測定するようにしてもよい。
ここで、眠気推定の実験を行った結果、人の瞼の動きと、その人の周囲環境における湿度との間に関係があることが判明した。この関係により、周囲環境の状態によっては、眠気の推定精度が低下してしまうことが判明した。
そこで、眠気推定情報補正装置14は、眠気推定装置13が算出する眠気推定情報に対して、対象者の周囲環境における湿度を反映させる補正を行う。これにより、覚醒度制御システム1では、対象者の眠気推定情報を算出する際、周囲環境の影響による推定精度の低下を軽減できる。具体的には、覚醒度制御システム1では、対象者の周囲環境における湿度の影響によって眠気の推定精度が低下することを軽減できる。
図2の例で、眠気推定装置13は、瞼動き情報を取得する。上述したように、眠気推定装置13が、瞼の画像を含む画像データを瞼動き情報として取得するようにしてもよい。
あるいは、眠気推定装置13が、瞼の動きの特徴量を瞼動き情報として取得するようにしてもよい。
眠気推定装置13が備える眠気推定モデルの表現形式は、特定の形式に限定されない。
例えば、眠気推定装置13が、数式の形式で表現された眠気推定モデルを備えるようにしてもよいが、実施形態はこのような例に限定されない。
眠気推定情報補正装置14は、取得した眠気推定情報と湿度情報とを補正モデルに適用することで、眠気推定情報に対して湿度の影響を加味する補正を行い、補正後の眠気推定情報を出力する。補正モデルは、眠気推定情報と湿度情報との入力に対して補正後の眠気推定情報を出力するモデルである。
眠気推定情報補正装置14が出力する補正後の眠気推定情報を、補正後眠気推定情報と称する。
第1通信部110は、他の装置と通信を行う。特に、第1通信部110は、眠気推定情報を眠気推定装置13から受信する。また、第1通信部110は、湿度情報を湿度センサ12から受信する。また、第1通信部110は、補正後眠気推定情報を覚醒度制御装置15へ送信する。
補正モデル記憶部181は、補正モデルを記憶する。上述したように、補正モデルは、眠気推定情報と湿度情報との入力に対して補正後の眠気推定情報を出力するモデルである。
眠気推定情報補正部191は、眠気推定情報に対して湿度の影響を加味する補正を行って、補正後眠気推定情報を算出する。具体的には、眠気推定情報補正部191は、補正モデル記憶部181から補正モデルを読み出す。そして、眠気推定情報補正部191は、眠気推定装置13からの眠気推定情報と湿度センサ12からの湿度情報とを補正モデルに適用して、補正後眠気推定情報を取得する。
図4は、眠気推定情報補正部191が連続値の補正後眠気推定情報を出力する場合の、補正の例を示す図である。図4のグラフの横軸は、相対湿度を示す。縦軸は、補正係数を示す。
眠気推定情報補正部191は、湿度情報が示す湿度に図4のグラフで対応付けられている補正係数値を取得する。そして、眠気推定情報補正部191は、取得した補正係数値を眠気推定情報(補正前の値)に乗算して、補正後眠気推定情報を算出する。
図4のグラフは、補正モデルの部分の例に該当する。図4のグラフと、補正係数値を眠気推定情報に乗算する式との組み合わせは、補正モデルの例に該当する。
そこで、眠気推定情報補正部191は、湿度が低いほど補正係数の値を小さく算出し、眠気推定情報を小さくする(眠気が弱いと推定する)ようにする。眠気推定情報補正部191による補正量(元の眠気推定情報からの減少幅)は、湿度が低いほど大きくなる。
また、図4のグラフで、湿度がH12以上の場合は、補正係数が一定の値(C12)となっている。湿度がある程度以上に高くなると、湿度がさらに高くなっても瞼の動きに対する湿度の影響は同様と考えられるためである。
また、図4の例と同様、湿度が上限閾値以上の場合はE-E’の値が変化しない(補正量が変化しない)ようになっていてもよい。図4の例では、H12が上限閾値の例に該当する。
図5は、湿度情報が示す湿度(相対湿度)と、眠気推定情報のクラス分けに用いる閾値との対応関係の例を示している。図5の例では、相対湿度Hが、「0%≦H<40%」の場合、閾値として、TH1 1、TH2 1、TH3 1、TH4 1の4つの閾値を用いる。相対湿度Hが、「40%≦H<60%」の場合、閾値として、TH1 2、TH2 2、TH3 2、TH4 2の4つの閾値を用いる。相対湿度Hが、「60%≦H≦100%」の場合、閾値として、TH1 3、TH2 3、TH3 3、TH4 3の4つの閾値を用いる。
ここで、iを「1≦i≦3」を満たす整数とし、jを「1≦j≦3」を満たす整数として、THi jと、THi+1 jとの関係は、式(1)のように示される。
また、眠気が強いほど眠気推定情報が大きく算出される場合、iを「1≦i≦3」を満たす整数とし、jを「1≦j≦3」を満たす整数として、THi jと、THi j+1との関係は、式(2)のように示される。
あるいは、眠気が強いほど眠気推定情報が小さく算出される場合は、式(2)に代えて式(3)の関係が成り立つように閾値を設定する。
図6の各部のうち、図1の各部に対応して同様の機能を有する部分に同一の符号(11、12、13、14)を付して説明を省略する。
対象者の眠気が所定の条件以上に強いと判定した場合、運転制御装置21は、対象者が眠気によって適切な運転または操縦を行えない場合に対応するように、運転装置22を制御する。
あるいは、運転装置22が、制御対象の乗り物の駆動装置、制動装置および操舵装置を含み、運転制御装置21が、運転装置22を制御して制御対象の乗り物の自動運転を行うようにしてもよい。
図7の各部のうち、図1の各部に対応して同様の機能を有する部分に同一の符号(11、12、13、14)を付して説明を省略する。
例えば、対象者が、自動車、鉄道車両、船舶または航空機等の乗り物の運転者または操縦者であってもよい。この場合、警報システム3が警報を出力することで、少なくとも一時的に対象者の眠気を低減させ(すなわち覚醒させ)、対象者が眠気によって適切な運転を行えない可能性を低減させることができる。
対象者の眠気が所定の条件以上に強いと判定した場合、警報装置31は警報を出力する。
警報システム3が、乗り物を安全な場所へ移動させて睡眠をとるように促すメッセージを出力するようにしてもよい。
特に、眠気推定情報補正装置14を設ける構成によれば、眠気推定装置13による眠気推定情報の算出の処理の機械学習と、眠気推定情報補正装置14による補正の処理の機械学習とを、別々の機械学習処理とすることができる。したがって、眠気推定装置13による眠気推定情報の算出の処理の機械学習では、湿度情報は不要である。
あるいは、眠気推定装置13として、対象者の瞼の動きに基づいて眠気推定情報を算出する装置を用いることができる。すなわち、眠気推定モデルとして一般的に知られているモデルを用いることができる。この場合、眠気推定装置13による眠気推定情報の算出の処理の機械学習を新たに行う必要が無い。
これにより、眠気推定情報補正装置14では、対象者の眠気を推定する際、推定精度の低下を軽減できる。特に、眠気推定情報補正装置14では、対象者の周囲環境における湿度の影響によって眠気の推定精度が低下してしまうことを回避または軽減できる。
これにより、眠気推定情報補正装置14では、対象者が目の乾燥を感じて瞬きする。あるいは、目を閉じるといった動作によって眠気を実際よりも強く判定してしまうことを軽減できる。
これにより、眠気推定情報補正装置14は、湿度が上限閾値より大きい場合に瞼の動きへの影響が同様であることを反映して、より正確に眠気を推定することができる。
これにより、眠気推定情報補正装置14は、湿度が下限閾値より大きい場合に瞼の動きへの影響が同様であることを反映して、より正確に眠気を推定することができる。
眠気推定装置13と、眠気推定情報補正装置14とに代えて、湿度の影響を加味した眠気推定情報を出力する眠気推定装置を設けるようにしてもよい。
図8は、第2実施形態に係る覚醒度制御システムの例を示す図である。図8に示す構成で、覚醒度制御システム4は、カメラ11と、湿度センサ12と、眠気推定装置41と、覚醒度制御装置15と、環境制御装置16とを備える。
図8の各部のうち、図1の各部に対応して同様の機能を有する部分に同一の符号(11、12、15、16)を付して説明を省略する。
それ以外の点では、覚醒度制御システム4は、覚醒度制御システム1と同様である。特に、覚醒度制御システム4は、眠気推定情報として、覚醒度制御システム1の場合と同様、対象者の周囲環境における湿度を反映させた補正後眠気推定情報を算出する。そして、覚醒度制御システム4は、覚醒度制御システム1の場合と同様、算出した補正後眠気推定情報に基づいて対象者の覚醒度を制御する。
図9は、眠気推定装置41におけるデータの入出力の例を示す図である。
図9の例で、眠気推定装置41は、瞼動き情報と、湿度情報とを取得する。眠気推定装置41は、得られた瞼動き情報と湿度情報とを眠気推定モデルに適用して、眠気推定情報を算出する。眠気推定装置41は、湿度の影響が反映されたモデルを用いることで、湿度の影響が反映された眠気推定情報を算出する。
眠気推定モデル記憶部281は、瞼動き情報と、湿度情報との入力に対して補正後眠気推定情報を出力する眠気推定モデルを記憶する。この眠気推定モデルは、第1実施形態の眠気推定装置13が備える眠気推定モデルと眠気推定情報補正装置14が備える補正モデルとの組み合わせに相当する。
眠気推定部291は、瞼動き情報と湿度情報とに基づいて、補正後眠気推定情報を算出する。具体的には、眠気推定部291は、眠気推定モデル記憶部281から眠気推定モデルを読み出す。そして、眠気推定部291は、カメラ11からの瞼動き情報と湿度センサ12からの湿度情報とを眠気推定モデルに適用して、補正後眠気推定情報を取得する。
図11の各部のうち、図6の各部に対応して同様の機能を有する部分に同一の符号(11、12、21、22)を付して説明を省略する。
また、図11の眠気推定装置41は、図8の眠気推定装置41と同様であり、同一の符号を付して説明を省略する。
図11の例で、眠気推定装置41は、第1実施形態の眠気推定情報補正装置14と同様の補正後眠気推定情報を算出し、運転制御システム5は、図6の運転制御システム2と同様に機能する。
図12の各部のうち、図7の各部に対応して同様の機能を有する部分に同一の符号(11、12、31)を付して説明を省略する。
また、図12の眠気推定装置41は、図8の眠気推定装置41と同様であり、同一の符号を付して説明を省略する。
図12の例で、眠気推定装置41は、第1実施形態の眠気推定情報補正装置14と同様の補正後眠気推定情報を算出し、警報システム6は、図7の警報システム3と同様に機能する。
これにより、眠気推定装置41では、対象者の眠気推定情報を算出する際、周囲環境の影響による推定精度の低下を軽減できる。
以下、第1実施形態で説明した眠気推定装置13が行う眠気推定情報の算出の例について説明する。第2実施形態で説明した眠気推定装置41についても、瞼動き情報と湿度情報とに基づいて補正後眠気推定情報を算出する処理の一部として、以下に説明する処理と同様の処理を適用することができる。
眠気推定装置13は、動画像信号を画像処理して、対象者の開眼度を検出し、対象者の開眼度の時系列情報を取得する。開眼度は、対象者が目を開いている程度を表す情報である。開眼度は、たとえば、単位時間において目を開いている時間の割合であってもよいし、目のうち開いている部分の面積を所定期間ごとに累計した値であってもよい。ただし、開眼度は、これらの例に示される情報に限定されない。
眠気推定装置13が、左眼の開眼度および右眼の開眼度を検出して、それぞれ、左眼開眼度の時系列情報および右眼の開眼度の時系列情報を取得するようにしてもよい。この場合、眠気推定装置13が、左眼の開眼度の時系列情報と右眼の開眼度の時系列情報とを加算平均して対象者の開眼度の時系列情報を算出するようにしてもよい。
眠気推定装置13は、フィルタリング算出窓幅TN[秒]単位でフィルタリング処理を行う。フレーム数Nとフィルタリング算出窓幅TN[秒]とフレームレートfs[フレーム/秒]との間には、式(6)で示される関係がある。
本例では、眠気推定装置13は、フィルタリング算出窓幅TN[秒]単位でフィルタリングすることで、開眼度の時系列情報X(t)を所定の値に置換し、その置換した値をフィルタリング後の開眼度の時系列情報XF(t)として出力する。
例えば、眠気推定装置13は、フィルタリング算出窓幅TN[秒]単位でフィルタリングすることで、開眼度の時系列情報X(t)を所定の主値に置換し、その置換した値をフィルタリング後の開眼度の時系列情報XF(t)として出力する。
同様に、眠気推定装置13は、フィルタリング算出窓幅TN[秒]単位でフィルタリングすることで、右眼の開眼度の時系列情報XR(t)を所定の第2の値に置換し、その置換した値をフィルタリング後の右眼の開眼度の時系列情報XFR(t)として出力する。
眠気推定装置13が、上記の3つのフィルタリングのうち1つのみを行うようにしてもよい。眠気推定装置13が行うフィルタリング処理としては、種々の方法を採用され得る。
眠気推定装置13によるフィルタリングは、フィルタリング算出窓幅TN[秒]が少なくとも0.1[秒]以上である場合に適用可能である(TN≧0.1)。その理由は、瞬きの時間が0.1~0.15[秒]のためである。例えば、フレームレートfsが30[フレーム/秒]の場合、フレーム数Nが3以上であるときに眠気推定装置13によるフィルタリングを適用可能である。以下では、フレーム数Nが30に等しく、フィルタリング算出窓幅TN[秒]が1[秒]である場合を例に説明するが、実施形態はこのような例に限定されない。
眠気推定装置13は、式(7)で示されるように、フィルタリング算出窓幅TN[秒]の開眼度の時系列情報X(t)の最大値をとる。
また、対象者の眼が冴えている状態では、開眼度を一定に維持できる。一方、対象者が眠い状態では、開眼度を一定に維持できない。特に、対象者が眠い状態では、対象者の目が冴えている場合よりも常に開眼度が小さくなり、フィルタリングで得られる開眼度の最大値も小さくなると考えられる。対象者の眠気が強いほど、フィルタリング後の開眼度の時系列情報XF(t)の値が小さくなると考えられる。
眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報に対して上述した補正を行い、補正後眠気推定情報を出力する。
第1の特徴量F1(T)は、式(8)のように示される。
V[]は、ばらつき度を計算する演算子である。ここでいうばらつき度として、例えば、分散、標準偏差、最大値と最小値との差分、または、エントロピーなど、いろいろなものを用いることができる。
Mは特徴量抽出処理用のフレーム数を示す。特徴量算出窓幅TM[秒]とフレームレートfs[フレーム/秒]とを用いて、「M=TM×fs」と表される。
この場合、第1の特徴量F1(T)は、眠気推定情報の例に該当する。
第2例は、特徴量算出の処理が後述するように相違している点を除いて、第1例の場合と同様である。
第2例では、眠気推定装置13は、開眼度の時系列情報X(t)のフレーム間差分の絶対値(以下、「フレーム間差分」と呼ぶ)を算出し、特徴量算出窓幅(TM)[秒]内のフレーム間差分の最大値を求め、その最大値を第2の特徴量F2(T)として出力する。
したがって、眠気推定装置13は、開眼度の時系列情報X(t)から第2の特徴量F2(T)を算出して、出力する。このフレーム間差分の絶対値の最大値は、眠い状態では値が小さくなり、目が冴えている状態では大きくなるため、眠気の推定に有用である。
フレーム間差分の最大値、すなわち、第2の特徴量F2(T)は、式(9)のように示される。
なお、眠気推定装置13が用いるデータは、式(9)に示される開眼度の時系列情報X(t)に限定されない。眠気推定装置13が、式(9)の開眼度の時系列情報X(t)に代えて、左眼の開眼度の時系列情報XL(t)、または、右眼の開眼度の時系列情報XR(t)を用いるようにしてもよい。
第2例で眠気推定装置13が出力する第2の特徴量F2(T)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第2の特徴量F2(T))に対して上述した補正を行い、補正後眠気推定情報を出力する。
第3例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
第3例では、眠気推定装置13は、開眼度の時系列情報X(t)から閉眼を検知し、特徴量算出窓幅(TM)[秒]内の閉眼割合(閉眼の割合)を求め、その閉眼割合を第3の特徴量F3(T)として出力する。したがって、眠気推定装置13は、開眼度の時系列情報X(t)から第3の特徴量F3(T)を算出して、出力する。この閉眼割合は、眠い状態では値が大きくなり、目が冴えている状態では小さくなるため、眠気の推定に有用である。
閉眼割合、すなわち、第3の特徴量F3(T)は、式(10)のように示される。
なお、眠気推定装置13が、第3の特徴量F3(T)の算出に、開眼度の時系列情報X(t)に代えて、左眼の開眼度の時系列情報XL(t)、または、右眼の開眼度の時系列情報XR(t)を用いるようにしてもよい。その場合、眠気推定装置13は、特徴量算出窓幅TM[秒]内での、左眼の開眼度の時系列情報XL(t)の閉眼割合を算出し、その閉眼割合を第3の特徴量F3(T)として出力する。また、眠気推定装置13は、特徴量算出窓幅TM[秒]内での、右眼の開眼度の時系列情報XR(t)の閉眼割合を算出し、その閉眼割合を第3の特徴量F3(T)として出力する。
第3例で眠気推定装置13が出力する第3の特徴量F3(T)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第3の特徴量F3(T))に対して上述した補正を行い、補正後眠気推定情報を出力する。
第4例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
第4例では、眠気推定装置13は、左眼の開眼度の時系列情報XL(t)と右眼の開眼度の時系列情報XR(t)との間の動き差分の絶対値(以下、「動き差分」と呼ぶ)を算出し、特徴量算出窓幅(TM)[秒]内の上記動き差分の平均値を求め、その動き差分の平均値を第4の特徴量F4(T)として出力する。
動き差分の平均値、すなわち、第4の特徴量F4(T)は、式(11)のように示される。
第5例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
第5例では、眠気推定装置13は、ある特徴量算出窓幅(TM)[秒]で算出された第1の特徴量F1(T)とそれに隣接する特徴量算出窓幅(TM)[秒]で算出された第1の特徴量F1(T-1)との差分の絶対値(以下、「隣接窓間の差分」と呼ぶ)を算出して、その隣接窓間の差分を第5の特徴量F5(T)として出力する。
隣接窓間の差分、すなわち、第5の特徴量F5(T)は、式(12)のように示される。
第5例で眠気推定装置13が出力する第5の特徴量F5(T)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第5の特徴量F5(T))に対して上述した補正を行い、補正後眠気推定情報を出力する。
第6例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
第6例では、眠気推定装置13は、第1の特徴量F1(T)の対数を算出して、その対数を第6の特徴量F6(T)として出力する。したがって、眠気推定装置13は、第1の特徴量F1(T)の対数を第6の特徴量F6(T)として算出して、出力する。ここで、一般に人の感覚は対数に従っていると言われている。眠気推定装置13が、第1の特徴量F1(T)の対数をとることで、人の感覚に近い眠気推定情報を出力できる。
第1の特徴量の対数、すなわち、第6の特徴量F6(T)は、式(13)のように示される。
なお、眠気推定装置13が、第1の特徴量F1(T)の対数に代えて、第2の特徴量F2(T)の対数、第3の特徴量F3(T)の対数、第4の特徴量F4(T)の対数、または、第5の特徴量F5(T)の対数を第6の特徴量F6(T)として算出し、出力するようにしてもよい。
第6例で眠気推定装置13が出力する第6の特徴量F6(T)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第6の特徴量F6(T))に対して上述した補正を行い、補正後眠気推定情報を出力する。
第7例は、特徴量算出の処理が相違している点を除いて、第1例の場合と同様である。
第7例~第9例では、眠気推定装置13は、統計量算出窓幅TK[秒]毎に、後述するように、上述した特徴量(例えば第1の特徴量F1(T))の統計量F7(S)~F9(S)を算出し、特徴量として用いる。ここで、Sは時間のインデックスであり、統計量算出窓の窓番号(0,1,2,・・・)を示す。例えば、統計量算出窓幅TK[秒]内の第1の特徴量T1(T)の個数がK個であるとする。
第1の特徴量の平均値、すなわち、第7の特徴量F7(S)は、式(14)のように示される。
式(14)におけるTの値は、第1の特徴量F1を求める際の特徴量算出窓の窓番号と、第7の特徴量F7を求める際の特徴量算出窓の窓番号との関係を示すオフセットの役割を果たす。
第7例で眠気推定装置13が出力する第7の特徴量F7(S)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第7の特徴量F7(S))に対して上述した補正を行い、補正後眠気推定情報を出力する。
第8例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
第8例では、眠気推定装置13は、統計量算出窓幅TK[秒]内の、第1の特徴量F1(T)の標準偏差を算出して、その標準偏差を第8の特徴量F8(S)として出力する。
したがって、眠気推定装置13は、統計量算出窓幅TK[秒]毎に、第1の特徴量F1(T)の標準偏差を、第8の特徴量F8(S)として算出して、出力する。
第1の特徴量の標準偏差、すなわち、第8の特徴量F8(S)は、式(15)のように示される。
式(15)におけるTの値は、第1の特徴量F1を求める際の特徴量算出窓の窓番号と、第8の特徴量F8を求める際の特徴量算出窓の窓番号との関係を示すオフセットの役割を果たす。
第8例で眠気推定装置13が出力する第8の特徴量F8(S)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第8の特徴量F8(S))に対して上述した補正を行い、補正後眠気推定情報を出力する。
第9例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
第9例では、眠気推定装置13は、統計量算出窓幅TK[秒]内の、第1の特徴量F1(T)の分散を算出して、その分散を第9の特徴量F9(S)として出力する。したがって、眠気推定装置13は、統計量算出窓幅TK[秒]毎に、第1の特徴量F1(T)の分散を、第9の特徴量F9(S)として算出して、出力する。
第1の特徴量の分散、すなわち、第9の特徴量F9(S)は、式(16)のように示される。
式(16)におけるTの値は、第1の特徴量F1を求める際の特徴量算出窓の窓番号と、第9の特徴量F9を求める際の特徴量算出窓の窓番号との関係を示すオフセットの役割を果たす。
第9例で眠気推定装置13が出力する第9の特徴量F9(S)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第9の特徴量F9(S))に対して上述した補正を行い、補正後眠気推定情報を出力する。
つぎに、図13から図16を参照して、実施の形態の構成の例について説明する。
図13は、実施形態に係る眠気推定情報補正装置の構成の例を示す図である。図13に示す眠気推定情報補正装置610は、眠気推定情報取得部611と、眠気推定情報補正部612とを備える。
これにより、眠気推定情報補正装置610では、対象者の眠気推定情報(補正後眠気推定情報)を算出する際、周囲環境の影響による推定精度の低下を軽減できる。
かかる構成で、瞼動き情報取得部621は、対象者の瞼の動き情報を取得する。眠気推定部622は、瞼動き情報取得部621が取得する瞼の動き情報と、対象者の周囲環境における湿度を示す湿度情報とに基づいて、対象者の眠気推定情報を算出する。
これにより、眠気推定装置620では、対象者の眠気を推定する際、推定精度の低下を軽減できる。特に眠気推定装置620では、対象者の周囲環境における湿度の影響によって眠気の推定精度が低下してしまうことを回避または軽減できる。
図15の処理では、対象者の瞼の動きに基づく眠気推定情報を取得し(ステップS11)、取得した眠気推定情報を、対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する(ステップS12)。
図16の処理では、対象者の瞼の動き情報を取得し(ステップS21)、取得した動き情報と、対象者の周囲環境における湿度を示す湿度情報とに基づいて、対象者の眠気推定情報を算出する(ステップS22)。
図17に示す構成で、コンピュータ700は、CPU710と、主記憶装置720と、補助記憶装置730と、インタフェース740とを備える。
上記の眠気推定情報補正装置14、眠気推定装置41、眠気推定情報補正装置610、または、眠気推定装置620のうち何れか1つ以上が、コンピュータ700に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。また、CPU710は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置720に確保する。各装置と他の装置との通信は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。
また、CPU710は、プログラムに従って、第1記憶部180に対応する記憶領域を主記憶装置720に確保する。第1通信部110が行う通信は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。
また、CPU710は、プログラムに従って、第2記憶部280に対応する記憶領域を主記憶装置720に確保する。第2通信部210が行う通信は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。
また、眠気推定情報取得部611の動作は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。
また、瞼動き情報取得部621の動作は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。
「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD-ROM(Compact Disc Read Only Memory)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
2、5 運転制御システム
3、6 警報システム
11 カメラ
12 湿度センサ
13 眠気推定装置
14 眠気推定情報補正装置
15 覚醒度制御装置
16 環境制御装置
21 運転制御装置
22 運転装置
31 警報装置
41 眠気推定装置
110 第1通信部(第1通信手段)
180 第1記憶部(第1記憶手段)
181 補正モデル記憶部(補正モデル記憶手段)
190 第1制御部(第1制御手段)
191 眠気推定情報補正部(眠気推定情報補正手段)
Claims (12)
- 対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを眠気推定情報として取得する眠気推定情報取得手段と、
前記眠気推定情報を、前記対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する眠気推定情報補正手段と、
を備える眠気推定情報補正装置。 - 前記眠気推定情報補正手段は、前記湿度が低いほど前記補正後眠気推定情報が小さくなるように補正を行う、
請求項1に記載の眠気推定情報補正装置。 - 前記眠気推定情報補正手段は、前記湿度が上限閾値より大きい場合、前記湿度が上限閾値の場合と同じ補正量の補正を行う、
請求項1または請求項2に記載の眠気推定情報補正装置。 - 前記眠気推定情報補正手段は、前記湿度が下限閾値より小さい場合、前記湿度が下限閾値の場合と同じ補正量の補正を行う、
請求項1または請求項2に記載の眠気推定情報補正装置。 - 前記眠気推定情報取得手段は、前記眠気推定情報として、前記対象者の開眼度を所定の頻度で繰り返し測定した時系列データを、連続する所定の個数の測定データごとに分割し、分割された所定の個数の測定データごとに開眼度の最大値をとったデータを取得する、
請求項1から4の何れか一項に記載の眠気推定情報補正装置。 - 前記眠気推定情報取得手段は、前記眠気推定情報として、前記対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、連続する2つの測定データごとに開眼度の差の大きさを求め、所定の時間幅ごとに、その時間幅に含まれる開眼度の差の大きさの最大値をとったデータを取得する、
請求項1から5の何れか一項に記載の眠気推定情報補正装置。 - 前記眠気推定情報取得手段は、前記眠気推定情報として、前記対象者の左眼、右眼それぞれ、開眼度を所定の頻度で繰り返し測定した時系列データから、連続する2つの測定データごとに開眼度の差を求め、さらに、左眼における差と右眼における差との差の絶対値を求め、所定の時間幅ごとに、その時間幅に含まれる差の絶対値の平均をとったデータを取得する、
請求項1から6の何れか一項に記載の眠気推定情報補正装置。 - 対象者の瞼の動き情報を取得する瞼動き情報取得手段と、
前記瞼の動き情報と、前記対象者の周囲環境における湿度を示す湿度情報とに基づいて、前記対象者の眠気推定情報として、前記対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを算出する眠気推定手段と、
を備える眠気推定装置。 - コンピュータによって、
対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを眠気推定情報として取得し、
前記眠気推定情報を、前記対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する、
ことを含む眠気推定情報補正方法。 - コンピュータによって、
対象者の瞼の動き情報を取得し、
前記瞼の動き情報と、前記対象者の周囲環境における湿度を示す湿度情報とに基づいて、前記対象者の眠気推定情報として、前記対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを算出する、
ことを含む眠気推定方法。 - コンピュータに、
対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを眠気推定情報として取得し、
前記眠気推定情報を、前記対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する、
ことを実行させるプログラム。 - コンピュータに、
対象者の瞼の動き情報を取得し、
前記瞼の動き情報と、前記対象者の周囲環境における湿度を示す湿度情報とに基づいて、前記対象者の眠気推定情報として、前記対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを算出する、
ことを実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019134835 | 2019-07-22 | ||
JP2019134835 | 2019-07-22 | ||
PCT/JP2020/026222 WO2021014939A1 (ja) | 2019-07-22 | 2020-07-03 | 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法および記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021014939A1 JPWO2021014939A1 (ja) | 2021-01-28 |
JP7231035B2 true JP7231035B2 (ja) | 2023-03-01 |
Family
ID=74193806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021533914A Active JP7231035B2 (ja) | 2019-07-22 | 2020-07-03 | 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220265217A1 (ja) |
JP (1) | JP7231035B2 (ja) |
WO (1) | WO2021014939A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2602511B (en) * | 2020-12-21 | 2023-02-08 | Continental Automotive Gmbh | Method to control environmental conditions in a vehicle |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017127616A (ja) | 2015-07-22 | 2017-07-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 覚醒度予測方法および覚醒度予測装置 |
JP2018183532A (ja) | 2017-04-27 | 2018-11-22 | 株式会社デンソー | 状態推定装置 |
JP2019046012A (ja) | 2017-08-31 | 2019-03-22 | マツダ株式会社 | 運転者状態判定装置 |
JP2019082282A (ja) | 2017-10-30 | 2019-05-30 | ダイキン工業株式会社 | 眠気推定装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3381351A1 (en) * | 2017-03-29 | 2018-10-03 | Vivior AG | System for assessing a health condition of a user |
-
2020
- 2020-07-03 US US17/628,294 patent/US20220265217A1/en active Pending
- 2020-07-03 WO PCT/JP2020/026222 patent/WO2021014939A1/ja active Application Filing
- 2020-07-03 JP JP2021533914A patent/JP7231035B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017127616A (ja) | 2015-07-22 | 2017-07-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 覚醒度予測方法および覚醒度予測装置 |
JP2018183532A (ja) | 2017-04-27 | 2018-11-22 | 株式会社デンソー | 状態推定装置 |
JP2019046012A (ja) | 2017-08-31 | 2019-03-22 | マツダ株式会社 | 運転者状態判定装置 |
JP2019082282A (ja) | 2017-10-30 | 2019-05-30 | ダイキン工業株式会社 | 眠気推定装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021014939A1 (ja) | 2021-01-28 |
WO2021014939A1 (ja) | 2021-01-28 |
US20220265217A1 (en) | 2022-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5782726B2 (ja) | 覚醒低下検出装置 | |
CN107554528B (zh) | 驾乘人员的疲劳等级检测方法及装置、存储介质、终端 | |
US20100036290A1 (en) | Arousal state classification model generating device, arousal state classifying device, and warning device | |
KR20110017883A (ko) | 졸음 이벤트의 검출을 위한 방법 및 장치 | |
US20110313259A1 (en) | Physiological condition estimation device and vehicle control device | |
US10583840B2 (en) | Methods and apparatus to monitor an activity level of a driver | |
JP4867215B2 (ja) | 生理・心理状態判定装置、生理・心理状態判定方法、リファレンスデータ生成装置、及びリファレンスデータ生成方法。 | |
JP2010128649A (ja) | 覚醒状態判断装置及び覚醒状態判断方法 | |
JP6839090B2 (ja) | 動力車両の運転手の覚醒レベルを予知する装置および方法 | |
JP7231035B2 (ja) | 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法およびプログラム | |
JP6399311B2 (ja) | 居眠り検知装置 | |
US20220036101A1 (en) | Methods, systems and computer program products for driver monitoring | |
JP3480483B2 (ja) | 覚醒度推定装置 | |
WO2020050357A1 (ja) | 脈波検出装置、車両装置、及び脈波検出プログラム | |
JP2010184067A (ja) | 生体状態推定装置 | |
Dehzangi et al. | Unobtrusive driver drowsiness prediction using driving behavior from vehicular sensors | |
JP2018045451A (ja) | 車両制御装置 | |
WO2021014632A1 (ja) | 運転者状態判断装置および運転者状態判断方法 | |
JP2019068933A (ja) | 推定装置及び推定方法 | |
US20200008732A1 (en) | Arousal level determination device | |
KR20220014938A (ko) | 자동차 및 그 제어 방법 | |
JP2020013554A (ja) | 覚醒度判定装置 | |
WO2020203911A1 (ja) | 脈拍数検出装置、及び脈拍数検出プログラム | |
JP7189564B2 (ja) | 眠気推定装置、眠気推定方法、および眠気推定プログラム | |
JP7295790B2 (ja) | 車載機、処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210928 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230130 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7231035 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |