JP7338294B2 - 生体計測装置及び生体計測方法 - Google Patents

生体計測装置及び生体計測方法 Download PDF

Info

Publication number
JP7338294B2
JP7338294B2 JP2019136457A JP2019136457A JP7338294B2 JP 7338294 B2 JP7338294 B2 JP 7338294B2 JP 2019136457 A JP2019136457 A JP 2019136457A JP 2019136457 A JP2019136457 A JP 2019136457A JP 7338294 B2 JP7338294 B2 JP 7338294B2
Authority
JP
Japan
Prior art keywords
forehead
shield
removal
bioinstrumentation
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019136457A
Other languages
English (en)
Other versions
JP2021019675A (ja
Inventor
康司 浜田
雅志 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2019136457A priority Critical patent/JP7338294B2/ja
Publication of JP2021019675A publication Critical patent/JP2021019675A/ja
Application granted granted Critical
Publication of JP7338294B2 publication Critical patent/JP7338294B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本開示は、生体計測装置及び生体計測方法に関するものである。
従来、対象者に接触しない状態で対象者内部の生体情報を計測する技術が知られている。例えば、特許文献1には、対象物としての人の額に光を照射し、この対象物から反射される光の情報から対象物の脳血流を計測することで、非接触で脳血流を計測する技術が開示されている。
特開2018-94400号公報
しかしながら、特許文献1に開示の技術では、対象物としての人の額が髪で遮蔽されている場合に、その人に髪をどけて貰わなければ脳血流を計測することができない問題がある。
この開示のひとつの目的は、対象者の額にあたる部分に照射して反射される光の情報から対象者の脳血流を計測する際に、対象者の額にあたる部分が髪で遮蔽されている場合であっても、より手間を抑えつつ、脳血流を計測不能となりにくくする生体計測装置及び生体計測方法を提供することにある。
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
上記目的を達成するために、本開示の生体計測装置は、対象者の額にあたる部分である額部分に照射して反射される光の情報から対象者の脳血流を、所定の計測間隔ごとに繰り返し計測する計測部(101,102)を備える生体計測装置であって、額部分を遮蔽する遮蔽物を検出する遮蔽物検出部(106)と、遮蔽物検出部で遮蔽物を検出した場合に、遮蔽物のうちの髪を額部分から除去する除去装置(30)を動作させる除去制御部(181)と、遮蔽物検出部で遮蔽物を検出した場合に、遮蔽物が除去装置の動作によって額部分から除去可能か否かを判断する可否判断部(107,107a)を備え、可否判断部で遮蔽物が除去装置の動作によって額部分から除去可能と判断した場合には、以降の計測部での計測を、除去制御部で除去装置を動作させてから行う。
上記目的を達成するために、本開示の生体計測方法は、対象者の額にあたる部分である額部分に照射して反射される光の情報から対象者の脳血流を、所定の計測間隔ごとに繰り返し計測する生体計測方法であって、額部分を遮蔽する遮蔽物を検出し、遮蔽物を検出した場合に、遮蔽物のうちの髪を額部分から除去する除去装置(30)を動作させ、遮蔽物を検出した場合に、遮蔽物が除去装置の動作によって額部分から除去可能か否かを判断し、遮蔽物が除去装置の動作によって額部分から除去可能と判断した場合には、以降の脳血流の計測を、除去装置を動作させてから行う。
これらによれば、対象者の額部分を遮蔽する遮蔽物を検出した場合に、遮蔽物のうちの髪を額部分から除去する除去装置を動作させるので、遮蔽物が髪であれば額部分から髪を除去することが可能になる。髪の除去は除去装置を動作させることで行うので人の手間を抑えることができる。また、額部分から髪を除去することが可能になれば、対象者の額部分に照射して反射される光の情報から対象者の脳血流を計測しやすくなるため、脳血流が計測不能となりにくくなる。その結果、対象者の額にあたる部分に照射して反射される光の情報から対象者の脳血流を計測する際に、対象者の額にあたる部分が髪で遮蔽されている場合であっても、より手間を抑えつつ、脳血流が計測不能となりにくくなる。
生体計測システム1の概略的な構成の一例を示す図である。 除去装置30が風を利用して額部分を遮蔽する髪を除去する場合の一例を説明するための図である。 計測器101の設け方の一例について説明するための図である。 計測器101の設け方の一例について説明するための図である。 除去制御部181で制御する除去装置30の動作の一例について説明するための図である。 除去制御部181で制御する除去装置30の動作の一例について説明するための図である。 生体計測装置10での生体計測関連処理の流れの一例を示すフローチャートである。 生体計測システム1aの概略的な構成の一例を示す図である。
図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。
(実施形態1)
<生体計測システム1の概略構成>
以下、本実施形態について図面を用いて説明する。図1に示す生体計測システム1は、例えば自動車といった車両で用いられるものとする。図1に示すように、生体計測システム1は、生体計測装置10、提示装置20、及び除去装置30を含んでいる。
生体計測装置10は、対象者の額にあたる部分(以下、額部分)に照射して反射される光の情報から対象者の脳血流を計測する。本実施形態では、対象者は車両の乗員とする。以下では、一例として、運転席に着座するドライバが対象者である場合を例に挙げて説明を行う。本実施形態では、生体計測装置10による対象者の脳血流の計測は、車両のシートに対象者が着座した状態で行われるものとする。
生体計測装置10は、計測した対象者の脳血流をもとに対象者の状態を推定する。ここで言うところの対象者の状態とは、脳血流をもとに推定できる状態であればよく、例えばリラックス状態,活性状態,覚醒状態等が挙げられる。生体計測装置10は、対象者の額部分を遮蔽する遮蔽物(以下、単に遮蔽物)を検出する。遮蔽物としては、例えば対象者の髪,帽子,創傷被覆材等が挙げられる。生体計測装置10は、遮蔽物を検出した場合に、遮蔽物のうちの髪を額部分から除去する除去装置30を動作させる。生体計測装置10の詳細については後述する。額部分とは、例えば対象者の顔の前面のうち、眉より上方且つ髪の生え際より下方の領域とすればよい。
提示装置20は、対象者に向けて情報を提示する。提示装置20は、表示,音,振動,送風等によって情報を提示する構成とすればよい。表示によって情報を提示する場合は、インジケータ,ディスプレイ等の表示装置を用いる構成とすればよい。音によって情報を提示する場合は、スピーカ等を用いる構成とすればよい。振動によって情報を提示する場合は、対象者と接触する箇所に設けた振動子を用いる構成とすればよい。送風によって情報を提示する場合は、対象者に向けて風を吹き出す送風装置を用いる構成とすればよい。
提示装置20は、情報を提示する。提示装置20は、図1に示すように、状態通知部201及び報知部202を機能ブロックとして備える。状態通知部201は、生体計測装置10で推定した対象者の状態を通知する。一例として、状態通知部201での対象者の状態の通知は、表示,音によって行えばよい。表示によって通知を行う場合は、対象者の状態を表すアイコンをディスプレイに表示したり、状態に応じたインジケータを点灯したりすればよい。音によって通知を行う場合は、対象者の状態を示す音声をスピーカから出力したりすればよい。
報知部202は、除去装置30を動作させることの報知を行う。一例として報知部202での報知は、表示,音,振動,送風等によって行えばよい。表示によって報知を行う場合は、除去装置30を動作させることを示すインジケータを点灯したりすればよい。音によって報知を行う場合は、除去装置30を動作させることを示す音,音声をスピーカから出力したりすればよい。振動によって報知を行う場合は、対象者の着座するシートに設けられた振動子を振動させたりすればよい。送風によって報知を行う場合は、対象者に向けて風を吹き出す送風装置から対象者に向けて風を吹き出したりすればよい。
除去装置30は、前述したように、遮蔽物のうちの髪を額部分から除去する。除去装置30は、例えば風,静電気等を利用して髪を額部分から除去する構成とすればよい。静電気を利用する場合は、除去装置30として静電気発生装置を用いればよい。静電気を利用する場合は、髪はプラスに帯電しやすいので、マイナスの静電気を発生させることで、除去装置30側に髪を吸引すればよい。静電気を利用する場合は、除去装置30を、対象者の着座するシートの天井側、つまり対象者の額部分にあたると推定される位置よりも上方側に設ければよい。これにより、対象者の髪を額部分の上方側に吸引して額部分から髪を除去することが可能になる。本実施形態では、対象者の額部分にあたると推定される位置(以下、推定位置)とは、車両のシートに対象者が着座した場合における位置である。推定位置は、例えば平均的な成人の身長から定めた固定値を用いる等すればよい。
風を利用して髪を除去する場合は、除去装置30として送風装置を用いればよい。送風装置としては、コンプレッサ等で風を送り出す構成とすればよい。送風装置は、車両に搭載されるカーエアコンを利用する構成としてもよいし、カーエアコンとは別に遮蔽物除去専用の送風装置を用いる構成としてもよい。遮蔽物除去専用の送風装置を用いる場合、遮蔽物除去のための風は、カーエアコンの空調風の吹出口とは別の、遮蔽物除去専用の吹出口(以下、除去用吹出口)から風を吹き出す構成とすればよい。送風装置としてカーエアコンを利用する場合には、空調のための吹出口に設けられたルーバ等の向きを制御することで空調風を遮蔽物除去のための風として用いてもよい。また、送風装置としてカーエアコンを利用する場合であっても、空調のための吹出口とは別に除去用吹出口を設けて、除去用吹出口から空調風を遮蔽物除去のための風として吹き出してもよい。
風を利用して髪を除去する場合、例えば報知部202での報知を送風では行わない構成とすればよい。なお、風を利用して髪を除去する場合に、報知部202での報知を送風で行う構成としてもよい。この場合には、例えば共通の送風装置からの送風の強度を異ならせることで、髪を除去する風と報知を行う風とを使い分ければよい。報知を行う風は、髪を除去する風よりも強度を小さくすればよい。これによれば、報知から除去に遷移する際に風の強度が段階的に上がるため、対象者にとって除去時の風の強さが気になりにくくなる。なお、ここで言うところの風の強度は、風速であっても風量であってもよい。
風を利用して髪を除去する場合、除去装置30は、遮蔽物除去のための風を吹き出す吹出口から額部分に向けて風を吹き出すことが可能な構成とすればよい。これにより、図2に示すように、額部分に風を当てることで額部分から髪を除去することが可能になる。風を利用する場合、前述した推定位置よりも下方に吹出口が設けられていることが好ましい。これは、髪が額部分を遮蔽している場合、髪は額部分の上方側から下方側に垂れているため、額部分の下方から風を当てた方が、額部分から髪を除去しやすいためである。
除去用吹出口を用いる場合は、除去用吹出口を、運転席前方に設ける構成とすればよい。一例として、除去用吹出口は、ステアリングコラムカバー,インスツルメントパネル等に設ける構成とすればよい。なお、対象者をドライバ以外の乗員とする場合には、除去用吹出口を助手席前方のダッシュボード,後部座席前方のシートバック背面等に設ける構成とすればよい。以下では、除去装置30は送風装置であって、除去用吹出口を用いる場合を例に挙げて説明を続ける。また、除去用吹出口には制御によって風向を自動で調整可能なルーバ等が設けられていることが好ましい。
<生体計測装置10の概略構成>
続いて、図1を用いて、生体計測装置10の概略構成について説明を行う。生体計測装置10は、図1に示すように、計測器101、生体信号判定部102、保持部103、生体指標算出部104、状態推定部105、遮蔽物検出部106、可否判断部107、制御部108、及び設定部109を備える。
計測器101は、対象者の額部分に向けて光を照射し、この光の反射光を検出する。計測器101は、光として例えば近赤外光を用いればよい。近赤外光として、波長が700~1000nmのパルス光を用いればよい。計測器101には、光を照射する光源、反射光を受光する受光装置、光源及び受光装置を制御する制御回路等が含まれる。光源は、計測用の光を照射する。受光装置は、計測用の光の反射光を受光する。計測器101は、光源から照射した光が対象者の額部分に当たるように、光源の光軸が前述の推定位置に向くように設けられる構成とすればよい。計測器101は、生体計測装置10の他の構成と同じ筐体内に設けられていてもよいし、生体計測装置10の他の構成と別の筐体内に設けられていてもよい。
ここで、計測器101の設け方の一例について図3,図4を用いて説明を行う。図3,図4の実線の矢印が照射光の進み方を示す。図3,図4の点線の矢印が反射光の進み方を示している。図3,図4のROが除去装置30の除去用吹出口を示す。図3,図4の白抜きの矢印が除去用吹出口から吹き出される風の向きを示す。
計測器101は、図3に示すように、光源から照射した光が対象者の額部分に当たる位置であれば、光の照射方向が除去用吹出口ROから風を吹き出させる方向と異なるように設けられてもよい。図3の例では、計測器101は、例えば推定位置よりも前方且つ上方のルームミラー近傍に設けられている。一方、除去用吹出口ROは、ステアリングコラムカバーに設けられている。
計測器101は、図4に示すように、除去用吹出口ROとともに推定位置よりも下方に設けられるとともに、光の照射方向が除去用吹出口ROから風を吹き出させる方向と同方向となるように設けられることが好ましい。これによれば、光の照射方向が除去用吹出口ROから風を吹き出させる方向と同方向であるので、風によって髪が除去された部分に光が当たり、風によって動いた先に光が当たる不具合を生じにくくなる。よって、除去用吹出口ROから吹き出す風によって額部分から髪を除去しやすくなるとともに、脳血流が特に計測不能となりにくくなる。図4の例では、計測器101も除去用吹出口ROもステアリングコラムカバーに設けられている。なお、計測器101と除去用吹出口ROとは、車両の左右方向に並んで設けられる構成としてもよいし、車両の上下方向に並んで設けられる構成としてもよい。
なお、光源の光軸は調整可能となっていることが好ましい。光源の光軸はアクチュエータを駆動することで、自動で調整することが好ましい。この場合、光源の光軸は、実際の対象者の額部分に当たりやすいように、対象者の着座するシート位置の調整値に応じて調整することが好ましい。他にも、対象者の顔を撮像する撮像ユニットを車両が搭載している場合には、この撮像ユニットで撮像した対象者の顔位置に応じて、実際の対象者の額部分に当たりやすいように光源の光軸を調整することが好ましい。
計測器101以外の機能ブロックと計測器101の制御とは、プロセッサ、メモリ、I/O、これらを接続するバスを備えるコンピュータで実現すればよい。このコンピュータは、メモリに記憶された制御プログラムを実行することで対象者の脳血流の計測に関連する各種の処理を実行する。なお、このコンピュータが実行する機能の一部または全部を、1つあるいは複数のIC等によりハードウェア的に構成してもよい。また、このコンピュータが実行する機能の一部又は全部を、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現してもよい。制御プログラムが記憶されたメモリは、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体(non- transitory tangible storage medium)である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスクなどによって実現される。
生体信号判定部102は、計測器101で対象者の額部分に照射して反射される光の情報から対象者の脳血流を計測する。この生体信号判定部102及び計測器101が計測部に相当する。生体信号判定部102は、例えば近赤外光の反射光を用いて生体内のヘモグロビン濃度の計測を行って血流量を計測する近赤外分光法によって脳血流量を計測すればよい。近赤外光は、骨を含む生体組織を透過しやすく、ヘモグロビンによって吸収されやすい特性をもっている。近赤外分光法では、近赤外光のこの特性を利用し、照射光と反射光との強度の変化からLambe‐beer則をもとにヘモグロビン濃度、すなわち血流量を計測する。なお、生体信号判定部102は、ヘモグロビンといった血流量と相関のある生体物質での光の散乱,吸収をもとに脳血流量を計測できる方法であれば、近赤外分光法以外の方法によって脳血流量を計測してもよい。
生体信号判定部102は、例えば所定の計測間隔ごとに脳血流を計測することで、脳血流を逐次計測する構成とすればよい。この場合、計測器101は、光を照射して受光する動作を計測間隔ごとに繰り返せばよい。計測間隔は任意に設定可能とすればよい。なお、1回の脳血流の計測に計測器101での光を照射して受光する動作が複数回必要な場合は、この複数回を1セットとする動作を、計測間隔ごとに繰り返せばよい。生体信号判定部102は、脳血流量を計測する都度、計測した脳血流量を保持部103に記録する。保持部103は、揮発性メモリであってもよいし、不揮発性メモリであってもよい。保持部103は、例えば一定の過去までのデータを記録するリングバッファとすればよい。保持部103に記録した脳血流量は、前回の計測値との比較等のために用いられる。
生体指標算出部104は、生体信号判定部102で計測した血流量から、対象者の状態を推定するための指標(以下、生体指標)を算出する。一例として、生体指標算出部104は、生体信号判定部102で逐次計測した血流量から、生体指標として脳血流の変化量を算出する。例えば、脳血流の変化量は、保持部103に記憶されている前回計測した血流量と生体信号判定部102で計測した今回の血流量との差分から算出すればよい。
状態推定部105は、生体指標算出部104で算出した生体指標としての脳血流の変化量から対象者の状態を推定する。状態推定部105は、例えばリラックス状態,活性状態,覚醒状態等の対象者の状態を推定する。状態推定部105は、対象者の状態と、その状態に特徴的な脳血流の変化量との対応関係をもとに、脳血流の変化量から対象者の状態を推定すればよい。上述の対応関係は、例えば機械学習で求めたものを用いる構成としてもよいし、実験等で求めたものを用いる構成としてもよい。状態推定部105は、推定した対象者の状態を提示装置20に出力する。提示装置20では、状態通知部201が、状態推定部105で推定した対象者の状態を通知する。
なお、本実施形態では、生体信号判定部102で脳血流として一旦血流量を計測してから生体指標算出部104で脳血流の変化量を算出する構成を示したが、必ずしもこれに限らない。例えば、血流量を一旦計測せずに、ヘモグロビン濃度の変化量から脳血流として脳血流の変化量を生体信号判定部102で計測する構成としてもよい。この場合は、状態推定部105は、生体信号判定部102で計測した脳血流の変化量から対象者の状態を推定する構成とすればよい。
遮蔽物検出部106は、対象者の額部分を遮蔽する遮蔽物を検出する。遮蔽物検出部106は、生体信号判定部102で計測する脳血流の計測結果が、脳血流の計測値として推定される範囲(以下、正常範囲)内でない場合に、額部分を遮蔽する遮蔽物を検出すればよい。一例としては、脳血流の血流量が、脳血流として取り得る値の範囲内でない場合に、正常範囲内でないとして、額部分を遮蔽する遮蔽物を検出すればよい。また、脳血流の変化量が、脳血流の変化量として取り得る値の範囲内でない場合に、正常範囲内でないとして、額部分を遮蔽する遮蔽物を検出すればよい。
なお、対象者の顔を撮像する撮像ユニットを車両が搭載している場合には、この撮像ユニットで撮像した対象者の顔画像をもとに、遮蔽物検出部106が、対象者の額部分を遮蔽する遮蔽物を検出する構成としてもよい。この場合には、一例として、画像から目等との位置関係をもとに額部分を特定するとともに、顔画像に対して二値化処理を行って、輝度が閾値未満の部位を黒色とし、輝度が閾値以上の部位を白色とする。そして、額部分の輝度が閾値未満の部位の割合が一定以上であることをもとに遮蔽物を検出すればよい。
可否判断部107は、遮蔽物検出部106で遮蔽物を検出した場合に、遮蔽物が除去装置30の動作によって額部分から除去可能か否かを判断する。可否判断部107は、例えば除去装置30を動作させてから計測器101及び生体信号判定部102での脳血流の計測を行う試行を行った前後での計測結果の変化をもとに除去可能か否かを判断すればよい。より詳しくは、試行後に、脳血流の計測結果が、正常範囲内に変化した場合に、除去可能と判断すればよい。一方、試行後に、脳血流の計測結果が、正常範囲内でないままである場合に、除去可能でないと判断すればよい。試行における除去装置30の動作は、後述する除去制御部181が制御する。
制御部108は、除去制御部181及び報知制御部182をサブ機能ブロックとして備える。除去制御部181は、除去装置30の制御を行う。除去制御部181は、除去装置30に指示を行って除去装置30を動作させる。除去制御部181は、遮蔽物検出部106で遮蔽物を検出した場合に除去装置30を動作させる。除去制御部181は、髪を除去するための風として、例えば風速8~15m/sの風を除去装置30から吹き出させるように制御すればよい。
例えば、除去制御部181は、遮蔽物検出部106で遮蔽物を検出した場合に、可否判断部107での判断のための試行の一部として、除去装置30を動作させればよい。また、除去制御部181は、可否判断部107で遮蔽物が除去装置30の動作によって額部分から除去可能と判断した場合には、以降の脳血流の計測のために、除去装置30を動作させればよい。この場合、計測器101は、除去装置30が動作してから光を照射して反射光を受光する動作を開始すればよい。
ここで、図5及び図6を用いて、除去制御部181で制御する除去装置30の動作の一例について説明を行う。図5及び図6では、可否判断部107で遮蔽物が除去装置30の動作によって額部分から除去可能と判断して以降の、脳血流の逐次の計測のための動作の例を示す。
例えば、除去制御部181は、除去装置30を動作させる場合に、除去装置30の除去用吹出口ROから、図5に示すように、風を単発的に吹き出させることによって髪を額部分から除去してもよい。この場合、計測器101は、除去制御部181で除去装置30に単発的な風を吹き出させ始めてから、除去装置30から吹き出した風が対象者の額部分に到達するのにかかると推定される到達時間(以下、風の到達時間)だけ遅れて動作させる。これにより、計測器101から照射する光を、風で額部分の髪が除去されてから額部分に当てることが可能になる。風の到達時間は、推定位置と除去用吹出口ROとの距離及び風速から予め推算して定めておけばよい。
また、図5に示すように、除去装置30から風を単発的に吹き出させる場合は、単発的な風の吹き出しとそれに続く計測器101の動作を、脳血流の計測間隔ごとに繰りかえす。除去装置30から風を単発的に吹き出させる構成によれば、対象者の額部分に風のあたる時間を短く抑えることができるため、対象者のわずらわしさを低減することが可能になる。なお、可否判断部107での判断のための試行時には、除去制御部181は、除去装置30の吹出口から風を単発的に例えば1度吹き出させる構成とすればよい。
例えば、除去制御部181は、除去装置30を動作させる場合に、除去装置30の吹出口から、図6に示すように、風を継続的に吹き出させることによって髪を額部分から除去してもよい。この場合、計測器101は、除去制御部181で除去装置30に継続的な風を吹き出させ始めてから、風の到達時間だけ遅れて動作させる。これにより、計測器101から照射する光を、風で額部分の髪が除去されてから額部分に当てることが可能になる。図6に示すように、除去装置30から風を継続的に吹き出させる場合は、継続的に風を吹き出させている間に、計測器101の動作を、脳血流の計測間隔ごとに繰りかえす。なお、除去装置30から風を継続的に吹き出させる構成を採用する場合であっても、可否判断部107での判断のための試行時には、除去制御部181は、除去装置30の吹出口から風を単発的に例えば1度吹き出させる構成とすればよい。
報知制御部182は、提示装置20に指示を行って報知部202で報知を行わせる。報知制御部182は、除去制御部181で除去装置30を動作させる場合に、除去装置30を動作させる前に除去装置30を動作させることの報知を行わせる。報知制御部182は、除去装置30の動作についての報知であることを対象者が認識できるように、除去装置30の動作直前に報知を行わせることが好ましい。なお、報知制御部182は、可否判断部107での判断のための試行時における除去装置30の動作前にも報知を行わせる構成としてもよい。
設定部109は、操作入力部を介した対象者等のユーザからの入力に応じて生体計測装置10における設定を切り替える。例えば、設定部109は、入力に応じて除去装置30を動作させることの報知の要否の設定を切り替える。そして、設定部109で報知要の設定となっている場合には、報知制御部182が報知を実施する一方、設定部109で報知不要の設定となっている場合には、報知制御部182が報知を実施しない。これによれば、ユーザの好みに応じて報知の有無を切り替えることが可能になる。
また、設定部109は、入力に応じて除去装置30を動作させることの要否の設定を切り替えてもよい。この場合、設定部109で動作要の設定となっている場合には、除去制御部181が除去装置30の動作を実施する一方、設定部109で動作不要の設定となっている場合には、除去制御部181が除去装置30の動作を実施しない。これによれば、ユーザの好みに応じて除去装置30の動作の有無を切り替えることが可能になる。
<生体計測装置10での生体計測関連処理>
続いて、図7のフローチャートを用いて、生体計測装置10での対象者の脳血流の計測に関連する処理(以下、生体計測関連処理)の流れの一例について説明を行う。コンピュータによって生体計測関連処理に含まれるステップが実行されることが、生体計測方法が実行されることに相当する。図7のフローチャートは、例えば、車両の内燃機関又はモータジェネレータを始動させるためのスイッチ(以下、パワースイッチ)がオンになったときに開始する構成とすればよい。
まず、ステップS1では、計測タイミングであった場合(S1でYES)には、ステップS2に移る。一方、計測タイミングでなかった場合(S1でNO)には、ステップS17に移る。計測タイミングは、所定の計測間隔ごとに計測を行う場合には、前回の計測から所定の計測間隔分の時間が経過した時点とすればよい。なお、初回の計測については、例えばパワースイッチがオンになったときを計測タイミングとしてもよいし、車両の走行開始から一定時間が経過したときを計測タイミングとしてもよい。
ステップS2では、計測器101及び生体信号判定部102によって、脳血流の計測を行う。具体的には、計測器101が対象者の額部分に向けて光を照射し、この光の反射光を検出する。そして、生体信号判定部102が、計測器101で対象者の額部分に照射して反射される光の情報から対象者の脳血流を計測する。
ステップS3では、S2で計測する脳血流の計測結果が、前述の正常範囲内である場合(S3でYES)には、ステップS12に移る。一方、S2で計測する脳血流の計測結果が、正常範囲内でない場合(S3でNO)には、ステップS4に移る。脳血流の計測結果が正常範囲内か否かについては、例えば遮蔽物検出部106が判断すればよい。
ステップS4では、図7のフローチャートの処理を開始してから、S3で正常範囲内でないと連続して判断された回数(以下、異常回数)が規定回数未満の場合(S4でYES)には、ステップS6に移る。一方、異常回数が規定回数以上の場合(S4でNO)には、ステップS5に移る。ここで言うところの規定回数は、任意に設定可能な値とすればよい。
ステップS5では、生体計測装置10が提示装置20に計測不能であることを出力し、生体計測関連処理を終了する。提示装置20は、計測不能であることが出力されてきた場合に、計測不能であることを示す情報を提示すればよい。例えば、表示装置に表示したり、音声出力装置から音声出力したりすることで提示すればよい。
ステップS6では、遮蔽物検出部106が、対象者の額部分を遮蔽する遮蔽物を検出する。ステップS7では、除去制御部181で除去装置30を動作させてから計測器101及び生体信号判定部102での脳血流の計測を行う試行を行う。
ステップS8では、可否判断部107が、S7で試行を行った前後での計測結果の変化をもとに、遮蔽物が除去装置30の動作によって額部分から除去可能か否かを判断する。そして、除去可能と判断した場合(S8でYES)には、ステップS9に移る。一方、除去可能でないと判断した場合(S8でNO)には、ステップS5に移る。
ステップS9では、設定部109で報知要の設定となっている場合(S9でYES)には、ステップS10に移る。一方、設定部109で報知不要の設定となっている場合(S9でNO)には、ステップS11に移る。ステップS10では、報知制御部182が除去装置30を動作させることの報知を実施する。
ステップS11では、除去制御部181が除去装置30の動作を開始させ、S1に戻って処理を繰り返す。S11では、除去装置30から風を単発的に吹き出させる構成を採用する場合には、計測間隔ごとの動作が開始される。一方、除去装置30から風を継続的に吹き出させる構成を採用する場合には、継続的な動作が開始される。
ステップS12では、除去装置30の動作が開始済みの場合(S12でYES)には、ステップS13に移る。一方、除去装置30の動作が開始済みでない場合(S12でNO)には、ステップS14に移る。ステップS13では、除去制御部181が除去装置30の動作を停止させる。S13では、除去装置30から風を単発的に吹き出させる構成を採用する場合には、計測間隔ごとの動作が停止される。一方、除去装置30から風を継続的に吹き出させる構成を採用する場合には、継続的な動作が開始停止される。
ステップS14では、生体指標算出部104が、S2で計測した血流量から、対象者の状態を推定するための生体指標を算出する。ステップS15では、状態推定部105が、S14で算出した生体指標から対象者の状態を推定する。S16では、状態推定部105が、S15で推定した状態を提示装置20の状態通知部201に出力し、対象者の状態を通知させる。
ステップS17では、生体計測関連処理の終了タイミングであった場合(S17でYES)には、生体計測関連処理を終了する。一方、生体計測関連処理の終了タイミングでなかった場合(S17でNO)には、S1に戻って処理を繰り返す。生体計測関連処理の終了タイミングの一例としては、パワースイッチがオフになったとき等がある。
なお、図7のフローチャートからS12~S13の処理を省略してもよい。この場合、S3でNOの場合にS14の処理に移ることになる。図7のフローチャートからS12~S13の処理を省略する場合、可否判断部107で遮蔽物が除去装置30の動作によって額部分から除去可能と判断した場合には、以降の計測器101及び生体信号判定部102での逐次の計測を、除去制御部181で除去装置30を動作させてから行う。除去装置30から風を単発的に吹き出させる構成を採用する場合には、逐次の計測の都度、除去装置30を動作させてから計測を行うことになる。除去装置30から風を継続的に吹き出させる構成を採用する場合には、除去装置30を動作させてから、除去装置30を継続的に動作させつつ、逐次の計測を行うことになる。また、S11で一旦除去装置30の動作を開始した場合には、額部分に風を当てることで額部分から髪を除去した上でS2での脳血流の計測を行うことになる。
<実施形態1のまとめ>
実施形態1の構成によれば、対象者の額部分を遮蔽する遮蔽物を検出した場合に、遮蔽物のうちの髪を額部分から除去する除去装置30を動作させるので、遮蔽物が髪であれば額部分から髪を除去することが可能になる。髪の除去は除去装置30を動作させることで行うので人の手間を抑えることができる。また、額部分から髪を除去することが可能になれば、対象者の額部分に照射して反射される光の情報から対象者の脳血流を計測しやすくなるため、脳血流が計測不能となりにくくなる。その結果、対象者の額にあたる部分に照射して反射される光の情報から対象者の脳血流を計測する際に、対象者の額にあたる部分が髪で遮蔽されている場合であっても、より手間を抑えつつ、脳血流が計測不能となりにくくなる。
実施形態1の構成によれば、遮蔽物の存在によって脳血流が計測不能な場合に除去装置30を動作させて対象者の額部分に風を当てる。よって、この風の発生を頼りに、脳血流を計測中であること、及び遮蔽物の存在によって脳血流が計測不能であることを対象者に認識させることが可能になる。
また、対象者の額にあたる部分に照射して反射される光の情報から対象者の脳血流を計測する場合、非接触で脳血流を計測するため、計測範囲を対象者が認識しづらい問題が生じる。これに対して、実施形態1の構成によれば、計測範囲である額部分に風を当てるので、対象者が計測範囲を認識しやすくなる。よって、対象者が脳血流を計測しやすいように対応することが容易になる。
実施形態1の構成によれば、遮蔽物が除去装置30の動作によって額部分から除去可能と可否判断部107で判断した場合に、以降の脳血流の計測を、除去制御部181で除去装置30を動作させてから行う。よって、除去装置30で除去可能でない遮蔽物に対して除去装置30を動作させてから脳血流の計測を行う無駄を抑えることが可能になる。
実施形態1の構成によれば、報知制御部182が、除去制御部181で除去装置30を動作させる場合に、除去装置30を動作させる前に除去装置30を動作させることの報知を行わせる。よって、除去装置30の動作に対して対象者が身構えることができ、対象者を除去装置30の動作によって驚かせずに済む。
(実施形態2)
実施形態1では、遮蔽物が除去装置30の動作によって額部分から除去可能か否かを、除去装置30を動作させてから計測器101及び生体信号判定部102での脳血流の計測を行う試行を行った前後での計測結果の変化をもとに判断する構成を示したが、必ずしもこれに限らない。例えば、額部分を含む画像を撮像する撮像装置で撮像した額部分の画像の、試行前後での変化をもとに判断する構成(以下、実施形態2)としてもよい。以下、実施形態2の構成について説明を行う。
図8に示すように、生体計測システム1aは、生体計測装置10a、提示装置20、除去装置30、及びカメラユニット40を含んでいる。生体計測システム1aは、生体計測装置10の代わりに生体計測装置10aを含む点と、カメラユニット40を含む点とを除けば、実施形態1の生体計測システム1と同様である。
カメラユニット40は、対象者の額部分を含む画像を撮像するカメラと、これを制御する制御ユニット等とによって構成されている。よって、カメラユニット40が撮像装置に相当する。対象者が車両のドライバの場合は、カメラユニット40は、カメラを車両の運転席側に向けた姿勢にて、例えばインスツルメントパネルの上面,ルームミラー近傍,ステアリングコラムカバー等に配置される構成とすればよい。カメラとしては、近赤外カメラを用いてもよい。近赤外カメラを用いる場合は、近赤外光を照射する近赤外光源もカメラユニット40に含む構成とすればよい。この場合、カメラユニット40は、近赤外光源によって近赤外光を照射された対象者の額部分を含む画像を、近赤外カメラによって撮影する。カメラユニット40で逐次撮像する対象者の額部分を含む顔画像は、生体計測装置10aに出力する構成とすればよい。
生体計測装置10aは、計測器101、生体信号判定部102、保持部103、生体指標算出部104、状態推定部105、遮蔽物検出部106、可否判断部107a、制御部108、設定部109、及び画像取得部110を備える。生体計測装置10aは、可否判断部107の代わりに可否判断部107aを備える点と、画像取得部110を備える点とを除けば、実施形態1の生体計測装置10と同様である。
画像取得部110は、カメラユニット40から出力される顔画像を取得する。可否判断部107aは、遮蔽物検出部106で遮蔽物を検出した場合に、遮蔽物が除去装置30の動作によって額部分から除去可能か否かを判断する。可否判断部107aは、判断に用いる情報が異なる点を除けば、実施形態1の可否判断部107と同様である。
可否判断部107aは、例えば除去装置30を動作させてから計測器101及び生体信号判定部102での脳血流の計測を行う試行を行った前後での、画像取得部110で取得する顔画像の変化をもとに除去可能か否かを判断すればよい。より詳しくは、試行後に、顔画像の額部分から遮蔽物が除去された場合に、除去可能と判断すればよい。一方、試行後に、額部分画像の額部分から遮蔽物が除去されなかった場合に、除去可能でないと判断すればよい。
顔画像の額部分に遮蔽物が存在するか否かは、顔画像をもとに判断すればよい。一例として、画像から目等との位置関係をもとに額部分を特定するとともに、顔画像に対して二値化処理を行って、輝度が閾値未満の部位を黒色とし、輝度が閾値以上の部位を白色とする。そして、額部分の輝度が閾値未満の部位の割合が一定以上であることをもとに遮蔽物が存在するか否かを判断すればよい。なお、遮蔽物検出部106で顔画像をもとに額部分を遮蔽する遮蔽物を検出する構成を採用する場合には、この遮蔽物検出部106での検出結果を利用して、可否判断部107aが顔画像の額部分に遮蔽物が存在するか否か判断してもよい。
除去制御部181は、可否判断部107aで遮蔽物が除去装置30の動作によって額部分から除去可能と判断した場合には、以降の脳血流の計測のために、除去装置30を動作させればよい。
実施形態2の構成によれば、遮蔽物が除去装置30の動作によって額部分から除去可能か否かを判断するのに用いる情報が異なる点を除けば実施形態1と同様である。よって、実施形態1と同様に、対象者の額にあたる部分に照射して反射される光の情報から対象者の脳血流を計測する際に、対象者の額にあたる部分が髪で遮蔽されている場合であっても、より手間を抑えつつ、脳血流が計測不能となりにくくなる。
(実施形態3)
前述の実施形態では、可否判断部107,107aでの判断結果に応じて、除去装置30の動作を行うか否かを切り替える構成を示したが、必ずしもこれに限らない。例えば、可否判断部107,107aを備えず、遮蔽物検出部106で対象者の額部分を遮蔽する遮蔽物を検出した場合に、除去装置30の動作を行う構成としてもよい。
(実施形態4)
前述の実施形態では、報知制御部182は、除去制御部181で除去装置30を動作させる場合に、除去装置30を動作させる前に除去装置30を動作させることの報知を行わせる構成を示したが、必ずしもこれに限らない。例えば、報知制御部182を生体計測装置10,10aに備えず、除去装置30を動作させる前に除去装置30を動作させることの報知を行わせない構成としてもよい。
(実施形態5)
前述の実施形態では、提示装置20と除去装置30とがそれぞれ別体となっている構成を示したが、必ずしもこれに限らない。例えば、提示装置20と除去装置30とが一体となっている構成としてもよい。
(実施形態6)
前述の実施形態では、生体計測装置10,10aに提示装置20,除去装置30,カメラユニット40を含まない構成を示したが、必ずしもこれに限らない。例えば、生体計測装置10,10aに提示装置20,除去装置30,カメラユニット40の一部若しくは全部を含む構成としてもよい。
(実施形態7)
前述の実施形態では、生体計測システム1が自動車で用いられる構成を示したが、必ずしもこれに限らない。生体計測システム1は種々の移動体で用いることが可能であり、例えば、鉄道車両等の自動車以外の車両で用いられる構成としてもよいし、航空機,船舶等の車両以外の移動体で用いる構成としてもよい。また、生体計測システム1,1aと同様の構成を、移動体以外の家屋,施設等の室内で用いる構成としてもよい。この場合、生体計測システム1,1aを利用する際の、計測器101及び除去装置30に対する対象者の位置が定まるように用いるものとする。例えば、計測器101及び除去装置30に対する位置が固定された椅子等に対象者が着座して用いる等すればよい。
なお、本開示は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。また、本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
1,1a 生体計測システム、10,10a 生体計測装置、20 提示装置、30 除去装置、40 カメラユニット(撮像装置)、101 計測器(計測部)、102 生体信号判定部(計測部)、106 遮蔽物検出部、107,107a 可否判断部、110 画像取得部、181 報知制御部、182 除去制御部、201 状態通知部、202 報知部

Claims (10)

  1. 対象者の額にあたる部分である額部分に照射して反射される光の情報から前記対象者の脳血流を、所定の計測間隔ごとに繰り返し計測する計測部(101,102)を備える生体計測装置であって、
    前記額部分を遮蔽する遮蔽物を検出する遮蔽物検出部(106)と、
    前記遮蔽物検出部で前記遮蔽物を検出した場合に、前記遮蔽物のうちの髪を前記額部分から除去する除去装置(30)を動作させる除去制御部(181)と、
    前記遮蔽物検出部で前記遮蔽物を検出した場合に、前記遮蔽物が前記除去装置の動作によって前記額部分から除去可能か否かを判断する可否判断部(107,107a)を備え、
    前記可否判断部で前記遮蔽物が前記除去装置の動作によって前記額部分から除去可能と判断した場合には、以降の前記計測部での計測を、前記除去制御部で前記除去装置を動作させてから行う生体計測装置。
  2. 前記遮蔽物検出部は、前記計測部での計測結果が前記脳血流の計測値として推定される範囲内でない場合に、前記額部分を遮蔽する遮蔽物を検出する請求項1に記載の生体計測装置。
  3. 前記額部分を含む画像を撮像する撮像装置(40)で撮像した前記額部分の画像を取得する画像取得部(110)を備え、
    前記可否判断部(107a)は、前記除去装置を動作させてから前記計測部での計測を行う試行によって、前記画像取得部で取得する前記額部分の画像の、前記試行の前後での変化をもとに、前記遮蔽物が前記除去装置の動作によって前記額部分から除去可能か否かを判断する請求項1又は2に記載の生体計測装置。
  4. 前記除去制御部で前記除去装置を動作させる場合に、前記除去装置を動作させる前に前記除去装置を動作させることの報知を行わせる報知制御部(182)を備える請求項1~のいずれか1項に記載の生体計測装置。
  5. 前記報知制御部は、前記報知の要否の設定に応じて前記報知の実施有無を切り替えることが可能な請求項に記載の生体計測装置。
  6. 前記除去装置は、動作時に吹出口から風を吹き出すことによって前記遮蔽物のうちの髪を前記額部分から除去するものである請求項1~のいずれか1項に記載の生体計測装置。
  7. 前記除去装置は、前記計測部での前記対象者の脳血流の計測時における前記対象者の前記額部分の位置にあたると推定される位置よりも下方に前記吹出口が設けられており、
    前記除去制御部は、前記除去装置を動作させて、前記額部分よりも下方の前記吹出口から前記額部分に向けて風を吹き出させるものであって、
    前記計測部も、前記計測部での前記対象者の脳血流の計測時における前記対象者の前記額部分の位置にあたると推定される位置よりも下方に設けられており、前記吹出口から風を吹き出させる方向と同方向に、前記額部分に向けて光を照射し、反射される光の情報から前記対象者の脳血流を計測する請求項に記載の生体計測装置。
  8. 前記除去制御部は、前記遮蔽物検出部で前記遮蔽物を検出した場合に、前記除去装置の動作時に前記吹出口から風を単発的に吹き出させることによって前記遮蔽物のうちの髪を前記額部分から除去する請求項又はに記載の生体計測装置。
  9. 前記除去制御部は、前記遮蔽物検出部で前記遮蔽物を検出した場合に、前記除去装置の動作時に前記吹出口から風を持続的に吹き出させることによって前記遮蔽物のうちの髪を前記額部分から除去する請求項又はに記載の生体計測装置。
  10. 対象者の額にあたる部分である額部分に照射して反射される光の情報から前記対象者の脳血流を、所定の計測間隔ごとに繰り返し計測する生体計測方法であって、
    前記額部分を遮蔽する遮蔽物を検出し、
    前記遮蔽物を検出した場合に、前記遮蔽物のうちの髪を前記額部分から除去する除去装置(30)を動作させ、
    前記遮蔽物を検出した場合に、前記遮蔽物が前記除去装置の動作によって前記額部分から除去可能か否かを判断し、
    前記遮蔽物が前記除去装置の動作によって前記額部分から除去可能と判断した場合には、以降の脳血流の計測を、前記除去装置を動作させてから行う生体計測方法。
JP2019136457A 2019-07-24 2019-07-24 生体計測装置及び生体計測方法 Active JP7338294B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019136457A JP7338294B2 (ja) 2019-07-24 2019-07-24 生体計測装置及び生体計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019136457A JP7338294B2 (ja) 2019-07-24 2019-07-24 生体計測装置及び生体計測方法

Publications (2)

Publication Number Publication Date
JP2021019675A JP2021019675A (ja) 2021-02-18
JP7338294B2 true JP7338294B2 (ja) 2023-09-05

Family

ID=74572902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019136457A Active JP7338294B2 (ja) 2019-07-24 2019-07-24 生体計測装置及び生体計測方法

Country Status (1)

Country Link
JP (1) JP7338294B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017153731A (ja) 2016-03-02 2017-09-07 Toto株式会社 手乾燥装置
JP2018094400A (ja) 2016-12-15 2018-06-21 パナソニックIpマネジメント株式会社 撮像装置
JP2018183564A (ja) 2017-04-26 2018-11-22 パナソニックIpマネジメント株式会社 深部体温測定装置、深部体温測定システム及び深部体温測定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0469090U (ja) * 1990-10-25 1992-06-18

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017153731A (ja) 2016-03-02 2017-09-07 Toto株式会社 手乾燥装置
JP2018094400A (ja) 2016-12-15 2018-06-21 パナソニックIpマネジメント株式会社 撮像装置
JP2018183564A (ja) 2017-04-26 2018-11-22 パナソニックIpマネジメント株式会社 深部体温測定装置、深部体温測定システム及び深部体温測定方法

Also Published As

Publication number Publication date
JP2021019675A (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
US10196041B2 (en) Imaging system
US11345298B2 (en) Driver monitoring device and driver monitoring method
RU2453884C1 (ru) Устройство для формирования изображения водителя и способ формирования изображения водителя
JP5923180B2 (ja) 生体情報計測装置及びそれを用いた入力装置
JP5233322B2 (ja) 情報処理装置および方法、並びに、プログラム
JPWO2015125243A1 (ja) 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法
JP6119136B2 (ja) 状態監視装置
US20150125126A1 (en) Detection system in a vehicle for recording the speaking activity of a vehicle occupant
WO2013146156A1 (ja) 被測定物情報取得装置
JP7035810B2 (ja) 覚醒維持装置
JP7290930B2 (ja) 乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム
JP2003260933A (ja) 自動眩しさ調節装置
JP2009213779A (ja) 車両用操作入力装置
JPWO2012172865A1 (ja) 乗員検知装置
JP2010033106A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
JP2013147187A (ja) 防眩制御装置
JP2021066275A (ja) 車両制御装置
JP7338294B2 (ja) 生体計測装置及び生体計測方法
JP2018022958A (ja) 車両用表示制御装置及び車両用モニタシステム
JP2005182452A (ja) 顔の向き検知装置
KR20200071623A (ko) 차량 및 그 제어방법
JP7267467B2 (ja) 注意方向判定装置および注意方向判定方法
JP2012093867A (ja) 報知システム
JP2021132999A (ja) 車両用制御装置
JP7312971B2 (ja) 車両表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230807

R151 Written notification of patent or utility model registration

Ref document number: 7338294

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151