JP6984374B2 - 覚醒維持装置及び制御プログラム - Google Patents

覚醒維持装置及び制御プログラム Download PDF

Info

Publication number
JP6984374B2
JP6984374B2 JP2017235337A JP2017235337A JP6984374B2 JP 6984374 B2 JP6984374 B2 JP 6984374B2 JP 2017235337 A JP2017235337 A JP 2017235337A JP 2017235337 A JP2017235337 A JP 2017235337A JP 6984374 B2 JP6984374 B2 JP 6984374B2
Authority
JP
Japan
Prior art keywords
stimulus
recovery
awakening
adaptation
target site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017235337A
Other languages
English (en)
Other versions
JP2019099089A (ja
Inventor
卓也 森
志織 大西
元気 千葉
清貴 田口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2017235337A priority Critical patent/JP6984374B2/ja
Publication of JP2019099089A publication Critical patent/JP2019099089A/ja
Application granted granted Critical
Publication of JP6984374B2 publication Critical patent/JP6984374B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本開示は、対象者を覚醒させるための覚醒維持装置及び制御プログラムに関するものである。
従来、運転手に刺激を与えて覚醒させる技術が知られている。例えば、特許文献1には、人が居眠り状態に陥ることを防止するために、冷風を耳下,首筋に向ける技術が開示されている。また、特許文献1には、送風を断続的に続けるオン提示期間の後、オン提示期間に応じた時間の、送風をオフにするオフ期間を挟み、再度オン提示期間を開始するサイクルを繰り返す技術が開示されている。特許文献1に開示の技術では、オン提示期間の間にオフ期間を挟むことで、刺激に対する人体の順応によって送風による覚醒効果が低下しないように、オン提示期間の刺激に対する人体の順応を回復させてから次のオン提示期間の刺激を開始することを試みている。
特許第4682793号公報
しかしながら、特許文献1に開示の技術では、オン提示期間とオフ期間とを長時間繰り返す場合、冷風によって皮膚温度が下がり続けるため、オン提示期間に応じた時間のオフ期間を設けてもオン提示期間の刺激に対する人体の順応が回復しきれなくなる。よって、冷風による刺激に対する人体の知覚が鈍くなり、覚醒効果が低下してしまう問題がある。
この開示のひとつの目的は、より高い覚醒効果を得ることを可能にする覚醒維持装置及び制御プログラムを提供することにある。
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
上記目的を達成するために、本開示の覚醒維持装置は、対象者を覚醒させるための覚醒刺激を発生する刺激装置(3)からの、対象者の対象部位に対する覚醒刺激の制御を行う刺激制御部(202)と、刺激制御部で覚醒刺激を休止させる場合に、対象部位のその覚醒刺激に対する順応からの回復を促進させる回復促進刺激を行わせる順応回復促進部(205)とを備える。
また、上記目的を達成するために、本開示の制御プログラムは、コンピュータを、対象者を覚醒させるための覚醒刺激を発生する刺激装置(3)からの、対象者の対象部位に対する覚醒刺激の制御を行う刺激制御部(202)と、刺激制御部で覚醒刺激を休止させる場合に、対象部位のその覚醒刺激に対する順応からの回復を促進させる回復促進刺激を行わせる順応回復促進部(205)として機能させる。
これによれば、覚醒刺激を休止させる場合に、対象部位のその覚醒刺激に対する順応からの回復を促進させる回復促進刺激を行わせるので、次の覚醒刺激を発生させる期間までに覚醒刺激に対する順応から回復し易くなる。よって、順応の回復が不十分であることによる覚醒効果の低下を抑えることが可能になり、より高い覚醒効果を得ることが可能になる。
覚醒維持システム1の概略的な構成の一例を示す図である。 空調装置3の概略的な構成の一例を示す図である。 HCU20の概略的な構成の一例を示す図である。 覚醒刺激としての冷風刺激と回復促進刺激としての触覚刺激との態様の一例について説明を行うための図である。 HCU20での覚醒維持関連処理の流れの一例を示すフローチャートである。
図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。
(実施形態1)
<覚醒維持システム1の概略構成>
以下、本実施形態について図面を用いて説明する。図1に示す覚醒維持システム1は、自動車(以下、単に車両)で用いられるものであり、HMI(Human Machine Interface)システム2及び空調装置3を含んでいる。HMIシステム2及び空調装置3は、例えば車内LANに接続されているものとする。覚醒維持システム1を搭載している車両を以降では自車と呼ぶ。
HMIシステム2は、HCU(Human Machine Interface Control Unit)20、DSM(Driver Status Monitor)21、生体センサ22、振動子23、及び操作デバイス24を備えている。HMIシステム2は、自車の運転手からの入力操作を受け付けたり、この運転手の状態を監視したりする。この運転手が対象者に相当する。
DSM21は、近赤外光源及び近赤外カメラと、これらを制御する制御ユニット等とによって構成されている。DSM21は、近赤外カメラを自車の運転席側に向けた姿勢にて、例えばインスツルメントパネルの上面に配置される。DSM21は、近赤外光源によって近赤外光を照射された運転手の頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、撮像画像から、画像認識処理によって顔の輪郭、目、鼻、口などの部位を検出する。また、各部位の相対的な位置関係からドライバの顔向き,顔の位置等の姿勢情報を検出する。さらに、瞼形状の変化を開眼度として算出することで、閉眼の検知を行う。そして、この開眼度の経時的な変化,顔部位の形状的な特徴,顔部位の経時的な変化等から、運転手の覚醒度(つまり、眠気の度合い)を逐次検知する。
本実施形態では、DSM21において覚醒度を0〜5の6段階の眠気の度合いに区分して検知する場合を例に挙げて説明を行う。6段階に区分される眠気の度合い(以下、眠気レベル)は、覚醒度の高いものから順に、全く眠くなさそうな(言い換えると覚醒状態である)眠気レベル「0」,やや眠そうな眠気レベル「1」,眠そうな眠気レベル「2」,かなり眠そうな眠気レベル「3」,非常に眠そうな眠気レベル「4」,眠っている(言い換えると睡眠状態である)眠気レベル「5」とする。DSM21は、検知した眠気レベルをHCU20へ逐次出力する。
生体センサ22は、運転手の生体情報を計測し、計測した生体情報を、HCU20へ逐次出力する。生体センサ22は、ステアリングホイール,運転席シート等に設けるといったように自車に設ける構成としてもよいし、運転手が装着するウェアラブルデバイスに設けられる構成としてもよい。運転手が装着するウェアラブルデバイスに生体センサ22が設けられている場合には、例えば無線通信を介して、生体センサ22での計測結果をHCU20が取得する構成とすればよい。
生体センサ22としては、例えば生体情報として運転手の皮膚温を検出する温度センサを用いる場合を例に挙げて以降の説明を行う。温度センサによる皮膚温の検出は、運転手に接触して検出する方法によって行ってもよいし、皮膚から放射される赤外線を利用することで運転手に非接触で検出する方法によって行ってもよい。一例として、サーモグラフィ等を用いればよい。
振動子23は、例えばステアリングホイール,運転席のシート等の自車の運転手が接触する箇所に設けられ、運転手に振動による刺激を与える。振動子23は、HCU20によって振動が制御されるものとする。本実施形態では、運転席のシートの運転手が着座した際に腰が接触する部位の左右に設けられる2つの振動子、及び臀部が接触する部位の左右に設けられる2つの振動子を用いる場合を例に挙げて説明を行う。以下では、この4つの振動子を左腰部振動子、右腰部振動子、左臀部振動子、右臀部振動子と呼ぶ。
操作デバイス24は、運転手が操作するスイッチ群である。例えば、操作デバイス24としては、自車のステアリングのスポーク部に設けられたステアリングスイッチ,自車で用いられるディスプレイと一体となったタッチスイッチ等がある。本実施形態では、操作デバイス24に、覚醒させるための刺激(以下、覚醒刺激)の発生を運転手が要求するためのスイッチ(以下、刺激要求スイッチ)が含まれるものとして以降の説明を行う。
HCU20は、プロセッサ、メモリ、I/O、これらを接続するバスを備えるマイクロコンピュータを主体として構成され、メモリに記憶された制御プログラムを実行することで各種の処理を実行する。プロセッサがこの制御プログラムを実行することは、制御プログラムに対応する方法が実行されることに相当する。ここで言うところのメモリは、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体(non- transitory tangible storage medium)である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスクなどによって実現される。このHCU20が覚醒維持装置に相当する。なお、HCU20での処理の詳細については後述する。
空調装置3は、図2に示すように、エアコンECU30、主空調部31、及びシート空調部32を備えている。エアコンECU30は、プロセッサ、メモリ、I/O、これらを接続するバスを備えるマイクロコンピュータを主体として構成され、メモリに記憶された制御プログラムを実行することで、自車の空調に関する処理を実行する。
主空調部31は、エアコンECU30に制御されて、自車の車室内の運転席,助手席の前方に複数設けられた吹き出し口から吹き出す風に関する調整(つまり、空調)を行う。本実施形態では、一例として運転席の前方に設けられた吹き出し口から吹き出す風に関する空調を行う場合を例に挙げて説明を行う。一例として、主空調部31は、送風部、温度調整部、吹き出し口、及びダクトを備えているものとする。
主空調部31の送風部は、エアコンECU30の指示によって制御されるブロワモータによりブロワを回転駆動し、主空調部31のダクト内において車室内に向かう空気流を発生させる。また、主空調部31のダクトにはこのダクトを通過する空気を加熱冷却する温度調整部が設けられている。主空調部31の温度調整部は、例えばヒータコアといった熱交換器を備えており、エアコンECU30の指示によって、この温度調整部を通過する空気を加熱冷却して送風の温度調整を行う。
主空調部31の吹き出し口は、運転席側の所謂センタフェイス吹き出し口及びサイドフェイス吹き出し口である。センタフェイス吹き出し口は、インスツルメントパネルの車幅方向の中央部付近に、運転席に着座した運転手の上半身側に向くように配置され、ダクトを通して送風されてくる、温度調整部で加熱冷却された空調風を、シートに着座する運転手の例えば左手に当てる。サイドフェイス吹き出し口は、インスツルメントパネルのサイドウィンドウ側に、運転席に着座した運転手の上半身側に向くように配置される。そして、主空調部31のダクトを通して送風されてくる、主空調部31の温度調整部で加熱冷却された空調風を、シートに着座する運転手の例えば右手に当てる。
なお、主空調部31の吹き出し口から吹き出す空調風の風向は、この吹き出し口に設けられたルーバをエアコンECU30の指示に従って駆動させることで運転手の頬に空調風が当たるように調整可能な構成であってもよい。また、主空調部31の吹き出し口は、運転席の足元に運転手の脚側に空調風を吹き出すように設けられる構成としてもよい。
シート空調部32は、シート内部に配置されており、シートを介して、そのシートに着座した乗員に対する空調を行う。シート空調部32もエアコンECU30に制御されて空調を行う。本実施形態では、シート空調部32が運転席シートに配置される場合を例に挙げて説明を行う。一例として、シート空調部32も、送風部、温度調整部、吹き出し口、及びダクトを備えているものとする。
シート空調部32の送風部はシートの外部の空気を吸い込み、シート空調部32のダクト側へ送風するものであり、空気通路をなすケース、エアコンECU30からの指示によって制御される駆動用モータ、及びこの駆動モータによって駆動される送風ファンを有している。シート空調部32の送風部と温度調整部とはダクトで接続されている。シート空調部32の温度調整部は、例えばペルチェ素子といった熱交換器を備えており、エアコンECU30の指示によって、この温度調整部を通過する空気を加熱冷却して送風の温度調整を行う。
シート空調部32の吹き出し口は、シートに着座する運転手の首筋,腕,臀部等に空調風が当たるように設けられる。例えば、首筋に空調風を当てる場合には、シートのヘッドレストの左右両端側に、首筋に向けて空調風が吹き出すように一対の吹き出し口を設ける構成とすればよい。なお、この吹き出し口は、ヘッドレスト内に設けられる構成であっても、ヘッドレストとは別体としてシートバック部の上端部に固定具により固定配置される構成であってもよい。腕に空調風を当てる場合には、シートのシートバック部の左右両端側に、腕に向けて空調風が吹き出すように一対の吹き出し口を設ける構成とすればよい。なお、この吹き出し口は、シートバック部内に設けられる構成であっても、シートバック部とは別体としてシートバック部の左右端部に固定具により固定配置される構成であってもよい。臀部に空調風を当てる場合には、シートの座面下部に、天井方向に空調風が吹き出すように吹き出し口を設ける構成とすればよい。
<HCU20の概略構成>
続いて、図3を用いて、HCU20の概略構成について説明を行う。エアコンECU30は、トリガ検知部201、刺激制御部202、生体情報取得部203、タイミング特定部204、及び順応回復促進部205を機能ブロックとして備えている。なお、エアコンECU30が実行する機能の一部又は全部を、1つ或いは複数のIC等によりハードウェア的に構成してもよい。また、エアコンECU30が備える機能ブロックの一部又は全部は、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。
トリガ検知部201は、覚醒刺激を発生させるためのトリガ(以下、開始トリガ)を検知する。トリガ検知部201は、例えばDSM21で検知した眠気レベルが閾値以上であった場合に、これを開始トリガとして検知する構成とすればよい。ここで言うところの閾値とは、運転手による運転操作を行う場合に、覚醒させる必要が生じる程度の眠気の度合いであって、一例としては眠気レベル「2」とすればよい。なお、閾値は、覚醒度が低くなった場合に覚醒度を上げることを目的として高めに設定してもよいし、覚醒度が高い状態のうちから覚醒度を維持することを目的として低めに設定してもよい。
また、トリガ検知部201は、操作デバイス24のうちの刺激要求スイッチをオンにする操作を受け付けた場合に、これを開始トリガとして検知する構成とすればよい。刺激要求スイッチは、運転手が自らのタイミングで覚醒刺激を発生させたい場合に操作を行ってオンにし、覚醒刺激が不要となった場合にオフにするものとすればよい。なお、覚醒維持システム1を自動運転の自動化レベルを切り替えることが可能な車両で用いる場合、トリガ検知部201は、自動運転の自動化レベルが運転手に監視義務のないレベルから運転手に監視義務のあるレベルに切り替わることを開始トリガとして検知する構成としてもよい。
また、トリガ検知部201は、覚醒刺激を終了させるためのトリガ(以下、終了トリガ)を検知する。一例としては、DSM21で検知した眠気レベルが閾値未満となった場合に、これを終了トリガとして検知したり、刺激要求スイッチをオフにする操作を受け付けたことを終了トリガとして検知したりする構成とすればよい。他にも、自動運転の自動化レベルが運転手に監視義務のあるレベルから運転手に監視義務のないレベルに切り替わることを終了トリガとして検知する構成としてもよい。
刺激制御部202は、空調装置3のエアコンECU30に指示を行って、空調装置3から空調風を発生させる期間及び空調装置3から発生される空調風の温度を制御する。刺激制御部202は、トリガ検知部201で開始トリガを検知した場合に、運転手の対象部位に対する覚醒刺激を開始する。本実施形態では、刺激制御部202によって発生させる覚醒刺激は、空調装置3から発生する冷風とする。よって、空調装置3が刺激装置に相当する。一例として、冷風の温度は18℃とすればよい。なお、冷風の温度は、例えば自車の室温が低くなるのに応じて低く設定される構成としてもよい。
本実施形態では、刺激制御部202は、主空調部31から運転手の手に向けて冷風を発生させるよう制御する場合を例に挙げて以降の説明を行う。冷風による覚醒刺激を以降では冷風刺激と呼ぶ。なお、刺激制御部202は、運転手の頬、首筋、腕、臀部、脚等の他の種類の対象部位に向けて冷風を発生させるようにしてもよい。この場合、複数種類の対象部位に向けて同時に冷風を発生させる構成としてもよいし、複数種類の対象部位のうちの冷風を向ける対象部位が逐次変更されるように冷風を発生させる構成としてもよい。
また、刺激制御部202は、冷風刺激を開始した後は、トリガ検知部201で終了トリガを検知するまで、冷風刺激を行わせる期間(以下、冷風オン期間)と冷風刺激を休止させる期間(冷風オフ期間)とを繰り返させる。刺激制御部202は、冷風オン期間においては、冷風刺激を定常的に発生させる構成としてもよいし、断続的に発生させる構成としてもよい。刺激制御部202は、冷風オン期間を例えば固定期間とし、冷風刺激を開始してからこの固定期間が経過した時点で冷風刺激を休止させて冷風オフ期間に移行する。冷風オン期間を固定期間としない構成としてもよいが、覚醒効果がより高くなる特定の刺激時間を固定期間とすることが好ましい。固定期間は、例えば30sec等とすればよい。
なお、刺激制御部202は、DSM21で検知した眠気レベルが高くなるのに応じて、冷風刺激の強度を高くしたり、冷風刺激を行う対象部位を冷風刺激による覚醒効果がより高い対象部位に変更したり、冷風刺激を行う対象部位を増やしたりする構成としてもよい。冷風刺激の強度を高くする方法としては、冷風の風量を上げたり、冷風の温度を下げたりすることが挙げられる。
生体情報取得部203は、運転手の対象部位の皮膚温を取得する。一例としては、生体センサ22で逐次計測される運転手の皮膚温を取得する構成とすればよい。本実施形態の例では、ステアリングホイールに設けた温度センサとしての生体センサ22で計測した手の皮膚温を取得する構成とすればよい。
なお、対象部位が腕の場合には、例えば手首に装着するウェアラブルデバイスとしての生体センサ22で計測した皮膚温から腕の皮膚温を推定することで取得する構成とすればよい。手首の皮膚温からの腕の皮膚温の推定は、予め実験等によって求めた手首と腕との皮膚温の差の傾向をもとに行う構成とすればよい。対象部位が首筋の場合には、頭部の熱画像測定を行うサーモグラフィとしての生体センサ22で計測した首筋の皮膚温を取得する構成とすればよい。DSM21が放射温度計としても機能する場合には、この放射温度計の機能によってDSM21で計測される運転手の首筋の皮膚温を取得する構成とすればよい。対象部位が臀部の場合には、例えば座面に設けた温度センサとしての生体センサ22で計測した臀部の着衣表面温度を取得する構成とすればよい。対象部位が脚の場合には、例えば放射温度計としての生体センサ22で計測した脚の皮膚温若しくは着衣表面温度を取得する構成とすればよい。
タイミング特定部204は、冷風オン期間が終了して冷風オフ期間となった場合に、生体情報取得部203で取得する皮膚温が、刺激制御部202で冷風を発生させる前に生体情報取得部203で取得した皮膚温(以下、基準値)に戻ることをもとに、対象部位の冷風に対する順応が回復すると推定されるタイミング(以下、回復タイミング)を特定する。基準値に戻ったか否かは、例えば生体情報取得部203で取得する皮膚温が基準値と近似できる範囲で安定しているか否かによって判定すればよい。近似できる範囲は、誤差程度の値とすればよく、任意に設定可能である。また、安定しているか否かについては、任意に設定可能な所定の時間の間、生体情報取得部203で取得する皮膚温が基準値と近似できる範囲内におさまる場合に、安定していると判定すればよい。
なお、冷風に対する順応とは、冷風刺激に対する慣れによって、冷風に対する知覚が鈍くなることを示す。刺激制御部202は、冷風オン期間が終了して冷風オフ期間となった場合に、タイミング特定部204で特定する回復タイミングまで、次の冷風刺激を発生させるタイミング(つまり、次の冷風オン期間)を遅らせる。
順応回復促進部205は、刺激制御部202で冷風刺激(つまり、覚醒刺激)を休止させる場合に、刺激制御部202で冷風刺激を行わせた対象部位のその冷風刺激に対する順応からの回復を促進させる回復促進刺激を行わせる。順応回復促進部205は、回復促進刺激として、冷風刺激(つまり、覚醒刺激)による対象者への作用と逆傾向の作用を生じさせると推定される刺激を行わせる。
覚醒刺激が冷風刺激である場合には、皮膚温が低下して血管が収縮するため、皮膚温を上げたり血管を拡張させたりする刺激を行わせればよい。本実施形態では、血流を促進して皮膚温を上昇させると推定される振動子23での振動による刺激(以下、触覚刺激)を回復促進刺激とする。冷風刺激が対象とする感覚は温度覚であって、触覚刺激が対象とする感覚は触覚であるので、本実施形態で言うところの覚醒刺激と回復促進刺激とは、対象とする感覚といった種類の異なる刺激である。なお、触覚刺激といった回復促進刺激にも対象者を覚醒させる効果はあるが、本実施形態では一方の種類の刺激とその刺激による順応の回復を促進させる他方の刺激とを区別して説明する便宜上、覚醒刺激と回復促進刺激として区別している。刺激制御部202と順応回復促進部205とについても、あくまで機能ブロックであり、それぞれの機能を担う部材は同じであっても異なっていてもよい。
順応回復促進部205は、刺激制御部202で覚醒刺激を行わせる対象部位と少なくとも同じ対象部位に回復促進刺激を行わせることが好ましいが、異なる対象部位に回復促進刺激を行わせる構成としてもよい。これは、例えば冷風刺激を運転手の手に行わせて手の皮膚温が下がった場合でも、手以外の部位に触覚刺激を行わせて血流を促進することにより、手の皮膚温の上昇を促進させることが可能なためである。
順応回復促進部205は、冷風オフ期間となってから、タイミング特定部204で特定する回復タイミングまで、触覚刺激を行わせる対象部位を変更しながら回復促進刺激としての触覚刺激を行わせる。順応回復促進部205は、触覚刺激を行わせる対象部位を変更しながら触覚刺激を行う場合に、一定の順序に従って規則的に対象部位をローテーションする構成としてもよいが、触覚刺激による覚醒効果を高めるために、対象部位を不規則に変更しながら触覚刺激を行わせることが好ましい。ここで言うところの不規則とは、対象者が不規則と感じると推定される程度の不規則であればよい。対象部位の不規則な選択としては、例えば疑似乱数列生成アルゴリズムで生成される疑似乱数列を利用して行う構成としてもよいし、予め設定された複数の選択パターンのいずれかを用いることで行う構成としてもよい。
また、順応回復促進部205は、触覚刺激を行わせる期間において恒常的に触覚刺激を行わせる構成としてもよいが、触覚刺激への順応を抑制するために断続的に触覚刺激を行わせることが好ましい。さらに、順応回復促進部205は、触覚刺激を行わせる対象部位を変更しながら断続的に触覚刺激を行わせる場合に、触覚刺激を行わせる対象部位の触覚刺激に対する順応が回復すると推定されるタイミングまでは、他の対象部位に触覚刺激を行わせることが好ましい。
触覚刺激に対する順応が回復するタイミングについては、対象部位への触覚刺激の期間とこの触覚刺激への順応が回復するまでの時間との対応関係から推定する構成とすればよい。この対応関係は例えば予め実験等によって求めておく構成とすればよい。例えば、触覚刺激の期間30secであって、対応関係において触覚刺激の期間30secにこの触覚刺激への順応が回復するまでの時間90secが対応付けられている場合には、90sec後を触覚刺激への順応が回復するタイミングと推定すればよい。
ここで、図4を用いて、覚醒刺激としての冷風刺激と回復促進刺激としての触覚刺激との態様の一例について説明を行う。図4では、冷風刺激は空調装置3によって運転手の手に行わせる一方、触覚刺激は振動子23によって運転手の左腰部,右腰部,左臀部,右臀部に行わせる場合を例に挙げて説明を行う。図4の横軸が時間を示している。なお、冷風オン期間は30secで固定とする。
まず、刺激制御部202が、冷風オン期間の30secの間、空調装置3から運転手の手に冷風刺激を行わせる。この冷風オン期間中に冷風刺激によって運転手の手の皮膚温度が低下して冷風刺激に慣れ、冷風刺激に対する知覚が鈍くなる。続いて、冷風オフ期間になると、順応回復促進部205が、触覚刺激を行わせる対象部位を運転手の左腰部,右腰部,左臀部,右臀部のうちから逐次変更しながら、振動子23によって触覚刺激を行わせる。触覚刺激は、触覚刺激を行わせた対象部位の触覚刺激に対する順応が回復すると推定されるタイミングまでは、他の対象部位に行わせる。冷風オフ期間中の触覚刺激によって、冷風刺激を休止している間も刺激を行うことで覚醒効果を高めるだけでなく、冷風刺激と種類の異なる刺激を行うことでも覚醒効果を高めつつ、冷風刺激に対する順応の回復も促進させる。
そして、生体情報取得部203で取得する皮膚温が冷風オン期間の前の基準値に戻った場合、タイミング特定部204が回復タイミングと特定する。タイミング特定部204で回復タイミングと特定された場合、順応回復促進部205は、逐次行わせていた触覚刺激の次の触覚刺激を行わせず、刺激制御部202が冷風刺激を再開させる。刺激制御部202が冷風刺激を再開させた後は、刺激制御部202が、冷風オン期間の30secの間、空調装置3から運転手の手に冷風刺激を行わせ、上述の処理を繰り返す。
<HCU20での覚醒維持関連処理>
ここで、図5のフローチャートを用いて、HCU20での運転手の覚醒を維持させる制御に関連する処理(以下、覚醒維持関連処理)の流れの一例について説明を行う。図5のフローチャートは、トリガ検知部201で開始トリガを検知したときに開始する。
まず、ステップS1では、刺激制御部202が、空調装置3から運転手に冷風刺激を行わせる。ステップS2では、冷風オン期間が終了した場合(S2でYES)には、ステップS3に移る。一方、冷風オン期間が終了していない場合(S2でNO)には、ステップS10に移る。
ステップS3では、冷風オフ期間が開始する。ステップS4では、タイミング特定部204で回復タイミングと特定され、冷風刺激に対する順応(以下、温度順応)から回復した場合(S4でYES)には、ステップS9に移る。一方、タイミング特定部204で回復タイミングと特定されておらず、温度順応から回復していない場合(S4でNO)には、ステップS5に移る。
ステップS5では、冷風オフ期間が開始してから触覚刺激を行っていないか、若しくは対象部位に触覚刺激を行ってからその対象部位の触覚刺激に対する順応が回復すると推定されるタイミングとなっており、その対象部位への触覚刺激に対する順応(以下、触覚順応)から回復している場合(S5でYES)には、ステップS6に移る。一方、対象部位に触覚刺激を行ってからその対象部位の触覚刺激に対する順応が回復すると推定されるタイミングとなっておらず、その対象部位への触覚順応から回復していない場合(S5でNO)には、ステップS7に移る。触覚順応からの回復の有無は順応回復促進部205が判断すればよい。
ステップS6では、順応回復促進部205が、S5で触覚刺激が回復していた対象部位に対して、振動子23から触覚刺激を行わせ、ステップS8に移る。一方、ステップS7では、順応回復促進部205が、触覚刺激の対象部位をS5で触覚刺激が回復していなかった対象部位以外に変更し、ステップS8に移る。対象部位の変更は、対象部位となり得る部位のうちの、S5で触覚刺激が回復していなかった対象部位以外から不規則に選択すればよい。
ステップS8では、覚醒維持関連処理の終了タイミングであった場合(S8でYES)には、覚醒維持関連処理を終了する。一方、覚醒維持関連処理の終了タイミングでなかった場合(S8でNO)には、S4に戻って処理を繰り返す。覚醒維持関連処理の終了タイミングの一例としては、トリガ検知部201で終了トリガを検知したこと、自車のイグニッション電源がオフになったこと等がある。S7で触覚刺激の対象部位を変更し、S4に戻り、S4で温度順応から回復しておらず、S5に移る場合、変更した対象部位の触覚順応から回復していればその対象部位に触覚刺激を行わせることになる。一方、変更した対象部位の触覚順応から回復していない場合には、S7に移って触覚刺激の対象部位を再度変更することになる。
S4で温度順応から回復していた場合に行われるステップS9では、刺激制御部202が、空調装置3から運転手に冷風刺激を行わせ、冷風オン期間を再度開始させる。ステップS10では、覚醒維持関連処理の終了タイミングであった場合(S10でYES)には、覚醒維持関連処理を終了する。一方、覚醒維持関連処理の終了タイミングでなかった場合(S10でNO)には、S2に戻って処理を繰り返す。
<実施形態1のまとめ>
実施形態1の構成によれば、冷風刺激を発生させる冷風オン期間が終了して冷風刺激を休止させる冷風オフ期間に、冷風刺激に対する順応からの回復を促進させる触覚刺激を行わせるので、冷風刺激に対する順応から回復し易くなる。よって、順応からの回復が早くなるぶん冷風オフ期間を短くすることが可能になるため、冷風オン期間と冷風オフ期間とを繰り返すサイクルにおける、覚醒効果がより高い冷風刺激の頻度を高め、覚醒効果をより高めることができる。
また、実施形態1の構成によれば、冷風オフ期間中の触覚刺激によって、冷風刺激を休止している間も刺激を行うことで覚醒効果を高めるだけでなく、冷風刺激と種類の異なる刺激を行うことでも覚醒効果を高めることが可能になる。さらに、複数の対象部位のうちから触覚刺激を行う対象部位を変更するので、同じ対象部位に触覚刺激を行わせ続ける場合に比べて触覚刺激への慣れが生じにくく、覚醒効果をより高めることが可能になる。他にも、複数の対象部位のうちから触覚刺激を行う対象部位を不規則に変更するので、規則的に変更する場合に比べて触覚刺激への慣れが生じにくく、覚醒効果をより高めることが可能になる。また、触覚刺激を行わせる対象部位のその触覚刺激に対する順応が回復すると推定されるタイミングまでは、他の対象部位に触覚刺激を行わせるので、触覚刺激に対する順応による覚醒効果の低下を抑えることが可能になる。
さらに、実施形態1の構成によれば、冷風オフ期間となってから次の冷風オン期間となるまで、複数の対象部位のうちから触覚刺激を行う対象部位を変更しつつ触覚刺激を行わせる。よって、冷風刺激に対する順応からの回復時間にばらつきがあり、冷風オフ期間に変動があった場合でも、触覚刺激を行う対象部位を逐次変更することで、特定の対象部位に対する触覚刺激の時間が多くなって触覚刺激に対する順応からの回復時間が長くなり過ぎることを防ぎやすくなる。また、触覚刺激に対する順応からの回復時間が長くなり過ぎることを防ぎやすくなること、及び触覚刺激を行う対象部位を変更できることから、冷風オン期間を固定としたとしても、この冷風オン期間中に触覚刺激に対する順応から回復した対象部位を、次の冷風オフ期間中の触覚刺激の対象部位とすることが可能になる。その結果、触覚刺激に対する順応による覚醒効果の低下を防ぎつつ、冷風オン期間を覚醒効果がより高くなる期間に固定することが可能になる。
また、実施形態1の構成によれば、冷風オフ期間となった場合に、対象部位のその冷風刺激に対する順応が回復すると推定される回復タイミングまで待って、次の冷風刺激を発生させるので、冷風刺激に対する順応の回復が不十分であることによる覚醒効果の低下を抑えることが可能になり、より高い覚醒効果を得ることが可能になる。
さらに、実施形態1の構成によれば、トリガ検知部201によって開始トリガが検知されるまでは冷風刺激を開始させないため、常に冷風刺激を発生させ続ける構成に比べ、運転手の冷風刺激への慣れが生じにくい。
(実施形態2)
前述の実施形態では、覚醒刺激を行わせる対象部位が1種類の部位である場合の例を示したが、覚醒刺激を行わせる対象部位が複数種類の部位であって、この複数種類の対象部位のうちの覚醒刺激を行わせる対象部位が逐次変更されるよう構成であってもよい。この場合、複数種類の覚醒刺激のオン期間同士の間の覚醒刺激を休止するオフ期間に回復促進刺激を行わせる構成とすればよい。
(実施形態3)
前述の実施形態では、回復促進刺激を行わせる対象部位が複数である構成を示したが、必ずしもこれに限らない。例えば、回復促進刺激を行わせる対象部位が1箇所である構成としてもよい。
(実施形態4)
前述の実施形態では、振動子23をHCU20が制御する構成を示したが、必ずしもこれに限らない。例えば、車両のシートに関する制御を行うシートECU等が存在する場合には、このような他の電子制御装置で振動子23を制御する構成としてもよい。HCUとエアコンECUに分かれていない構成でもよい。
(実施形態5)
前述の実施形態では、タイミング特定部204が、皮膚温といった生体情報が冷風オン期間となる前の基準値に戻ることをもとに回復タイミングを特定する構成を示したが、必ずしもこれに限らない。例えば、人に固有の回復タイミングのパターンを予め記憶しておくことで、このパターンから回復タイミングを特定する構成としてもよい。なお、このパターンは、個々の対象者別に学習する構成としてもよいし、複数の対象者の統計をとることによって一般化する構成としてもよい。
一例として、回復タイミングのパターンとしては、実験や学習等によって、覚醒刺激の時間及び覚醒刺激の積算回数に、順応が回復するまでの時間を対応付けた対応関係を用いる等すればよい。そして、タイミング特定部204は、覚醒刺激の時間及び覚醒刺激の積算回数をもとに、この対応関係を参照して得られる順応が回復するまでの時間から、回復タイミングを特定すればよい。
(実施形態6)
前述の実施形態では、順応回復促進部205が、覚醒刺激を休止する期間となってから、タイミング特定部204で特定する回復タイミングまで回復促進刺激を恒常的若しくは断続的に行わせる構成を示したが、必ずしもこれに限らない。例えば、順応回復促進部205が、タイミング特定部204で特定する回復タイミングよりも前に、回復促進刺激を恒常的若しくは断続的に行わせる期間を終了する構成としてもよい。この構成であっても、回復促進刺激を行わせない構成に比べて、回復促進刺激を行わせる分だけ覚醒刺激に対する順応の回復が早まるので、覚醒効果を高めることが可能になる。
(実施形態7)
前述の実施形態では、冷風刺激を覚醒刺激とし、触覚刺激を回復促進刺激とする構成を示したが、必ずしもこれに限らない。例えば、振動子23による触覚刺激を覚醒刺激とし、空調装置3による冷風刺激を回復促進刺激とする構成としてもよい。この場合、振動子23が刺激装置に相当する。この場合であっても、触覚刺激による対象者への作用と逆傾向の作用を冷風刺激によって生じさせると推定されるので、触覚刺激に対する順応からの回復を促進させ、覚醒効果をより高めることができる。なお、触覚刺激を覚醒刺激とする場合、例えばタイミング特定部204は、血流量といった生体情報が覚醒刺激のオン期間となる前の基準値に戻ることをもとに回復タイミングを特定する構成としてもよい。血流量については、例えばレーザードップラーフローメトリー法によって血流量を計測する血流センサ等を用いて検出する構成とすればよい。
(実施形態8)
前述の実施形態では、お互いが対象へ逆傾向の作用を生じさせる、種類の異なる覚醒刺激と回復促進刺激として、温度覚と触覚といった感覚の異なる冷風刺激と触覚刺激とを用いる構成を示したが、必ずしもこれに限らない。例えば、お互いが対象へ逆傾向の作用を生じさせる、種類の異なる覚醒刺激と回復促進刺激として、温度覚といった感覚は同じである冷風刺激と温風による刺激(以下、温風刺激)とを用いる構成としてもよい。なお、冷風刺激の方が、覚醒効果が高いと推定されるので、冷風刺激を覚醒刺激とし、温風刺激を回復促進刺激とすることが好ましい。また、冷風刺激を行う対象部位と、温風刺激を行う対象部位とは、同じ対象部位であることが好ましいが、異なる対象部位であっても順応からの回復を促進する効果はあると推定されるので、異なる対象部位であってもよい。
(実施形態9)
前述の実施形態では、刺激制御部202が、覚醒刺激を休止する期間となった場合に、タイミング特定部204で特定する回復タイミングまで、次の覚醒刺激を発生させるタイミングを遅らせる構成を示したが、必ずしもこれに限らない。例えば、HCU20にタイミング特定部204を備えず、刺激制御部202が、回復タイミングにかかわらず一定の期間で次の覚醒刺激を発生させる構成としてもよい。この構成とした場合であっても、覚醒刺激を休止する期間に順応回復促進部205が回復促進刺激を行わせ、覚醒刺激に対する順応からの回復を早めるので、順応の回復が不十分であることによる覚醒効果の低下を抑えることが可能になる。よって、より高い覚醒効果を得ることが可能になる。
(実施形態10)
前述の実施形態では、DSM21で検知した眠気の度合いが閾値以上であったこと、刺激要求スイッチをオンにする操作を受け付けたこと、及び自動運転の自動化レベルが運転手に監視義務のあるレベルに切り替わることを開始トリガとして検知する構成を示したが、必ずしもこれに限らない。例えば、上述のうちの一部のみを開始トリガとして検知する構成としてもよい。また、覚醒刺激の発生を運転手が要求する音声コマンドを音声認識装置で認識したことを開始トリガとする等してもよい。なお、終了トリガについても、DSM21で検知した眠気の度合いが閾値未満となったこと、刺激要求スイッチをオフにする操作を受け付けたこと、自動運転の自動化レベルが運転手に監視義務のないレベルに切り替わることの一部のみとしてもよい。また、覚醒刺激の終了を運転手が要求する音声コマンドを音声認識装置で認識したことを終了トリガとする等してもよい。
(実施形態11)
前述の実施形態では、トリガ検知部201で開始トリガを検知した場合に覚醒刺激を開始させる構成を示したが、必ずしもこれに限らない。例えば、自車のイグニッション電源がオンになった場合に、覚醒刺激を開始させる構成としてもよい。
(実施形態12)
前述の実施形態では、運転手の眠気の度合いを、DSM21を用いて検知する構成を示したが、必ずしもこれに限らない。例えば、生体センサ22で計測した計測結果から運転手の眠気の度合いを検知する構成としてもよい。生体センサ22で計測した計測結果からの眠気の度合いの検知は、例えばHCU20で行う構成とすればよい。
眠気の度合いの検知に用いる生体センサ22及び計測結果の一例としては、脳波計で計測する脳波、心拍計で計測する心拍数,心拍ゆらぎ、脈波計で計測する脈波、皮膚電気活動計で計測する皮膚コンダクタンス等がある。なお、計測装置は、運転手に装着されて生体情報を計測するウェアラブルデバイスであってもよいし、車両のステアリングホイール等に設けられたものであってもよい。
他にも、自車に搭載されたセンサで検出した情報から運転手の眠気の度合いを検知する構成としてもよい。自車に搭載されたセンサで検出した情報からの眠気の度合いの検知は、例えばHCU20で行う構成とすればよい。眠気の度合いの検知に用いる車載センサ及び情報の一例としては、舵角センサで検出する操舵角、周辺監視カメラで検出した走行区画線等がある。例えば、周辺監視カメラで逐次検出する走行区画線の位置から求められる自車の横揺れから眠気の度合いを検知したり、舵角センサで逐次検出する操舵角から求められるステアリング操作のばらつき量から眠気の度合いを検知したりすればよい。
(実施形態13)
前述の実施形態では、覚醒維持システム1が自動車で用いられる構成を示したが、必ずしもこれに限らない。覚醒維持システム1は種々の移動体で用いることが可能であり、例えば、鉄道車両,原動機付自転車等の自動車以外の車両で用いられる構成としてもよいし、航空機,船舶等の車両以外の移動体で用いる構成としてもよい。また、本開示は、移動体以外の家屋,施設等の室内で用いる構成としてもよい。この場合、この室内における覚醒状態の維持の対象者が請求項の対象者に相当する。また、本開示を、移動体以外の家屋,施設等の室内で用いる構成を採用する場合には、運手席シートの代わりに対象者が着座するシートを用いればよい。
なお、本開示は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。
1 覚醒維持システム、2 HMIシステム、3 空調装置(刺激装置)、20 HCU(覚醒維持装置)、21 DSM、22 生体センサ、23 振動子(刺激装置)、24 操作デバイス、30 エアコンECU、31 主空調部、32 シート空調部、201 トリガ検知部、202 刺激制御部、203 生体情報取得部、204 タイミング特定部、205 順応回復促進部

Claims (13)

  1. 対象者を覚醒させるための覚醒刺激を発生する刺激装置(3)からの、前記対象者の対象部位に対する前記覚醒刺激の制御を行う刺激制御部(202)と、
    前記刺激制御部で前記覚醒刺激を休止させる場合に、前記対象部位のその覚醒刺激に対する順応からの回復を促進させる回復促進刺激を行わせる順応回復促進部(205)とを備える覚醒維持装置。
  2. 前記順応回復促進部は、前記回復促進刺激として、前記覚醒刺激による前記対象者への作用と逆傾向の作用を生じさせると推定される刺激を行わせる請求項1に記載の覚醒維持装置。
  3. 前記順応回復促進部は、前記刺激制御部で前記覚醒刺激を休止させる場合に、前記対象部位のその覚醒刺激に対する順応からの回復を促進させる、その覚醒刺激とは種類の異なる前記回復促進刺激を行わせる請求項2に記載の覚醒維持装置。
  4. 前記順応回復促進部は、前記刺激制御部で前記覚醒刺激を休止させる場合に、前記対象部位のその覚醒刺激に対する順応からの回復を促進させる、その覚醒刺激とは対象とする感覚の異なる回復促進刺激を行わせる請求項3に記載の覚醒維持装置。
  5. 前記順応回復促進部は、前記刺激制御部で前記覚醒刺激を休止させる場合に、前記対象部位のその覚醒刺激に対する順応からの回復を促進させる、その覚醒刺激とは対象部位の異なる回復促進刺激を行わせる請求項3又は4に記載の覚醒維持装置。
  6. 前記順応回復促進部は、断続的に前記回復促進刺激を行わせる請求項1〜5のいずれか1項に記載の覚醒維持装置。
  7. 前記刺激制御部は、前記覚醒刺激を発生させる期間と前記覚醒刺激を休止させる期間とを制御するものであり、前記覚醒刺激を発生させる期間が終了して前記覚醒刺激を休止させる期間となった場合に、前記対象部位のその覚醒刺激に対する順応が回復すると推定されるタイミングまで、次の前記覚醒刺激を発生させるタイミングを遅らせる請求項3〜6のいずれか1項に記載の覚醒維持装置。
  8. 前記回復促進刺激の対象部位は複数であって、
    前記順応回復促進部は、前記覚醒刺激を休止させる期間となってから、前記対象部位のその覚醒刺激に対する順応が回復すると推定されるタイミングまで、前記回復促進刺激を行わせる請求項7に記載の覚醒維持装置。
  9. 前記回復促進刺激の対象部位は複数であって、
    前記順応回復促進部は、前記覚醒刺激を休止させる期間において、前記回復促進刺激を行わせる対象部位を変更しながら前記回復促進刺激を行わせる請求項7又は8に記載の覚醒維持装置。
  10. 前記順応回復促進部は、前記回復促進刺激を行わせる対象部位を変更しながら断続的に前記回復促進刺激を行わせるものであって、前記回復促進刺激を行わせる前記対象部位のその回復促進刺激に対する順応が回復すると推定されるタイミングまでは、他の前記対象部位に前記回復促進刺激を行わせる請求項9に記載の覚醒維持装置。
  11. 前記刺激制御部で前記覚醒刺激を発生させる期間は固定であって、
    前記順応回復促進部は、前記覚醒刺激を休止させる期間となってから、前記対象部位のその覚醒刺激に対する順応が回復すると推定されるタイミングまで、前記回復促進刺激を行わせる対象部位を変更しながら断続的に前記回復促進刺激を行わせる請求項8〜10のいずれか1項に記載の覚醒維持装置。
  12. 前記順応回復促進部は、前記回復促進刺激を行わせる対象部位を不規則に変更しながら前記回復促進刺激を行わせる請求項9〜11のいずれか1項に記載の覚醒維持装置。
  13. コンピュータを、
    対象者を覚醒させるための覚醒刺激を発生する刺激装置(3)からの、前記対象者の対象部位に対する前記覚醒刺激の制御を行う刺激制御部(202)と、
    前記刺激制御部で前記覚醒刺激を休止させる場合に、前記対象部位のその覚醒刺激に対する順応からの回復を促進させる回復促進刺激を行わせる順応回復促進部(205)として機能させるための制御プログラム。
JP2017235337A 2017-12-07 2017-12-07 覚醒維持装置及び制御プログラム Active JP6984374B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017235337A JP6984374B2 (ja) 2017-12-07 2017-12-07 覚醒維持装置及び制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017235337A JP6984374B2 (ja) 2017-12-07 2017-12-07 覚醒維持装置及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2019099089A JP2019099089A (ja) 2019-06-24
JP6984374B2 true JP6984374B2 (ja) 2021-12-17

Family

ID=66975618

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017235337A Active JP6984374B2 (ja) 2017-12-07 2017-12-07 覚醒維持装置及び制御プログラム

Country Status (1)

Country Link
JP (1) JP6984374B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024058231A1 (ja) * 2022-09-14 2024-03-21 テイ・エス テック株式会社 シートシステム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265377A (ja) * 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc 運転者状態判定装置及び運転支援装置
JP2013012029A (ja) * 2011-06-29 2013-01-17 Nissan Motor Co Ltd 覚醒誘導装置
JP6039504B2 (ja) * 2013-05-23 2016-12-07 学校法人常翔学園 覚醒維持支援装置

Also Published As

Publication number Publication date
JP2019099089A (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
JP7014951B2 (ja) 乗物用シート
US20240083306A1 (en) Intelligent Seat Systems
US7113100B2 (en) Vehicle tiredness alleviating system
JP3843958B2 (ja) シート温度調節システム
JP4954879B2 (ja) 環境制御装置、環境制御方法、環境制御プログラム及び環境制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP7035810B2 (ja) 覚醒維持装置
JP5601043B2 (ja) 覚醒誘導装置
JP2007283932A (ja) 車両用乗員温熱装置
CN105774703A (zh) 一种舒适度调节方法及系统
JP6937480B2 (ja) 覚醒誘導システム
JP2010068941A (ja) 入眠装置および入眠方法
JP2004290499A (ja) 車両用覚醒装置
JP2013012029A (ja) 覚醒誘導装置
JP6926840B2 (ja) 覚醒維持装置及び制御プログラム
JP6984374B2 (ja) 覚醒維持装置及び制御プログラム
JP7087286B2 (ja) 覚醒維持装置
WO2022085364A1 (ja) 睡眠制御装置
JP5796363B2 (ja) 運転支援装置および運転支援方法
JP2010099143A (ja) 生体状態推定システム
JP2020045015A (ja) 覚醒維持装置、覚醒維持方法、及び制御プログラム
JP7332952B2 (ja) 乗物用シート
JP6773075B2 (ja) 覚醒維持装置
JP4159921B2 (ja) 温度刺激装置
DE102014203922A1 (de) Fahrer-Vitalisierungsinterface
JP2019010927A (ja) 覚醒維持装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211108

R151 Written notification of patent or utility model registration

Ref document number: 6984374

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151