JP6561852B2 - 心拍検出装置 - Google Patents

心拍検出装置 Download PDF

Info

Publication number
JP6561852B2
JP6561852B2 JP2016005474A JP2016005474A JP6561852B2 JP 6561852 B2 JP6561852 B2 JP 6561852B2 JP 2016005474 A JP2016005474 A JP 2016005474A JP 2016005474 A JP2016005474 A JP 2016005474A JP 6561852 B2 JP6561852 B2 JP 6561852B2
Authority
JP
Japan
Prior art keywords
heart
timing
reflected signal
distance
body surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016005474A
Other languages
English (en)
Other versions
JP2017124058A (ja
Inventor
齋藤 隆
隆 齋藤
坂本 浩二
浩二 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016005474A priority Critical patent/JP6561852B2/ja
Publication of JP2017124058A publication Critical patent/JP2017124058A/ja
Application granted granted Critical
Publication of JP6561852B2 publication Critical patent/JP6561852B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Description

本発明は、観測対象とする人物の心拍を非接触で検出する心拍検出装置に関する。
特許文献1には、マイクロ波ドップラーセンサを用いて、観測対象とする人物の心拍を非接触な方式で検出する装置(以降、心拍検出装置)が開示されている。なお、マイクロ波ドップラーセンサは、センサから照射されるマイクロ波によって、人や物体が動いた時に生じる送受信波の周波数ずれを検出し、信号として出力するセンサである。また、非接触方式の心拍検出装置とは、心拍を検出するためのセンサを人体の胸部等に取り付けることなく、例えば電磁波の送受信等によって心拍に関する情報を取得する装置である。
特開2002−65677号公報
観測対象とする人物(以降、被観測者)が姿勢を変えるなどの能動的に動いた場合にも、ドップラー効果による周波数ずれが発生する。そのため、特許文献1に開示の心拍検出装置では、被観測者自身の能動的な動きを心拍として誤検出する恐れがある。つまり、被観測者自身の能動的に動くことを許容する場合、特許文献1に開示の心拍検出装置では、被観測者の心拍を所望の精度で検出することが困難となりうる。
本発明は、この事情に基づいて成されたものであり、その目的とするところは、被観測者が能動的な動きに起因して、被観測者の心拍を誤検出する恐れを低減できる非接触方式の心拍検出装置を提供することにある。
その目的を達成するための本発明は、観測対象とするユーザが着座する座席が存在する方向に所定の周波数帯の電波を送信するための送信アンテナと電気的に接続され、周波数帯のインパルス波を送信アンテナから所定の送信周期で送信させる発信機(30)と、座席が存在する方向から到来する周波数帯の電波を受信するための受信アンテナと電気的に接続され、受信アンテナが受信している電波の強度に応じた電力レベルの電気信号を取得する受信機(40)と、受信機が取得した電気信号の電力レベルの時間変化に基づいて、インパルス波がユーザの人体表面で反射されて返ってきた反射信号を受信したタイミングである第1タイミングと、ユーザの心臓で反射されて返ってきた反射信号を受信したタイミングである第2タイミングを特定する反射信号検出部(50)と、反射信号検出部が特定した第1タイミングと第2タイミングとの時間差から、人体表面から心臓までの距離に応じた値となる体表面間距離指標値を取得する指標値取得部(80)と、指標値取得部が推定した体表面間距離指標値の経時変化に基づいて心臓の拍動を検出し、拍動が発生する間隔である拍動間隔、及び心拍数の少なくとも何れか一方を含む心拍情報を取得する心拍情報取得部(90)と、を備えることを特徴とする。
以上の構成においてユーザの心臓の拍動(つまり心拍)は、体表面間距離指標値の時間変化に基づいて検出される。このような構成によれば、送信アンテナと人体表面との距離の変化は、拍動の検出に影響を及ぼしにくい。また、体表面間距離は、インパルス波の照射/受信によって取得される。つまり、以上の構成によれば、非接触方式の心拍検出装置において、被観測者が能動的な動きに起因して、被観測者の心拍を誤検出する恐れを低減できる。
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
心拍情報取得装置100の概略的な構成を示すブロック図である。 送信アンテナ10及び受信アンテナ20の設置位置を説明するための図である。 シミュレーションモデルを表した図である。 受信機40が出力する電気信号の波形を表した図である。 心臓の拍動に伴う反射信号の受信タイミングの変化を説明するための図である。 距離算出部70と体表面間距離特定部80の作動を説明するための図である。 心拍情報の利用するシステムの一例を表すブロック図である。 心拍情報の利用するシステムの一例を表すブロック図である。 心拍情報の利用するシステムの一例を表すブロック図である。 変形例2における反射信号検出部50の作動を説明するための図である。 変形例3における反射信号検出部50の作動を説明するための図である。 変形例4における送信アンテナ10及び受信アンテナ20の設置位置を説明するための図である。 変形例5における送信アンテナ10及び受信アンテナ20の設置位置を説明するための図である。
以下、本発明の実施形態について図を用いて説明する。図1は、本発明に係る心拍検出装置としての機能を備える心拍情報取得装置100の概略的な構成の一例を示す図である。図1に示すように心拍情報取得装置100は、送信アンテナ10、受信アンテナ20、発信機30、受信機40、反射信号検出部50、パラメータ記憶部60、距離算出部70、体表面間距離特定部80、及び心拍情報取得部90を備える。
ここでは一例として心拍情報取得装置100は、車両200に搭載されてあって、当該車両200の運転者の心臓の拍動(つまり心拍)を検出するように構成されているものとする。図1及び図2に示す300は観測対象とする人物(つまり運転者)300を、320は運転者300の心臓を、それぞれ表している。また、310は運転者300の肉体のうち、送信アンテナ10と心臓320との間に存在する、脂肪や筋肉などを主とする部分(以降、非内臓部)を表しており、311は非内臓部310の送信アンテナ10側の表面(つまり人体表面)を表している。
この心拍情報取得装置100は、概略的には次のように動作する。まず、心拍情報取得装置100は、マイクロ波帯のインパルス(以降、インパルス波)を送信アンテナ10から心臓320が存在しうる方向に照射する。心拍情報取得装置100から照射されたインパルス波は、人体表面311で反射されるとともに、人体表面311を透過して心臓320の表面でも反射されて心拍情報取得装置100へ返ってくる。図1、図2に示す一点鎖線は、人体表面311からの反射波を示しており、二点鎖線は、心臓320からの反射波を表している。
そして、人体表面311及び心臓320からの反射波を受信したタイミングに基づいて人体表面311から心臓320までの距離を検出し、人体表面311から心臓320までの距離の経時変化に基づいて心臓の拍動の発生を検出する。以下、この心拍情報取得装置100の構成及び作動について述べる。
送信アンテナ10は、マイクロ波帯の電波を送信するための指向性アンテナである。送信アンテナ10は、指向性の中心となる方向が、運転者用シート220の配置されている方向となるように、インストゥルメントパネル210に配置されている。もちろん、送信アンテナ10は、その指向性の中心が、運転者用シート220に運転者が着座している状態において、心臓320が存在すると想定される位置(以降、想定心臓位置)を向くように配置されていることが好ましい。想定心臓位置は運転者の体格等に応じて予め設定されればよい。
送信アンテナ10は、発信機30と電気的に接続されており、発信機30からの入力された電気信号を電波に変換して空間に放射する。なお、他の態様として、送信アンテナ10は、指向性の中心方向を動的に調整可能に構成されていても良い。その場合には、運転者用シートの位置に応じて想定心臓位置を推定し、その推定した想定心臓位置を指向性の中心に捉えるように送信アンテナ10の指向性を調整することが好ましい。運転者用シート220が車両後方に配置されている程、運転者の体格が大きく、心臓320が高い位置に存在することが想定されるためである。そのような態様によれば、運転者の体格に応じたより適切な方向に向けてインパルス波を照射できるようになる。指向性の中心方向の調整は、機械的な構造又はデジタル信号処理によって実現されればよい。
なお、本実施形態では一例として送信アンテナ10を指向性アンテナとするが、他の態様として無指向性アンテナであってもよい。また、ここでは一例として心拍の発生を検出するためにマイクロ波帯の電波を用いる態様とするが、これに限らない。その他の周波数帯の電波を用いてもよい。
受信アンテナ20は、マイクロ波帯の電波を受信するためのアンテナである。受信アンテナ20は、受信機40と電気的に接続されてあって、受信している電波の信号強度に対応する電力レベルの電気信号を受信機40に出力する。受信アンテナ20は、運転者用シートから到来する電波を受信できるように構成されていればよく、指向性アンテナであってもよいし、無指向性アンテナであってもよい。
なお、後述する距離算出部70による人体表面311や心臓320との距離算出を簡略化するため、受信アンテナ20は、送信アンテナ10の近傍に配置されているものとする。ここでの送信アンテナ10の近傍とは、送信アンテナ10から想定心臓位置までの距離に対して、送信アンテナ10からの距離が十分に小さい所定の値以下となる範囲を指す。
発信機30は、送信アンテナ10と電気的に接続されており、所定の送信周期で電気的なインパルスを送信アンテナ10に出力する。これにより、送信アンテナ10はマイクロ波帯のインパルス(つまりインパルス波)を前述の送信周期で送信することになる。送信周期は、心臓320が収縮している間に少なくとも1回はインパルス波を送信する長さとすればよい。例えば、心臓(具体的には心室)が収縮している時間(いわゆるQT時間)の平均値の半分程度の長さとすれば良い。
また、発信機30は、反射信号検出部50とも接続されており、反射信号検出部50がインパルス波を送信したタイミング(以降、送信タイミング)を特定するための情報を反射信号検出部50に提供する。例えば発信機30は、電気的なインパルス信号を送信アンテナ10に出力すると同時に、インパルス信号を出力したことを示す制御信号を反射信号検出部50に出力する。反射信号検出部50は、発信機30から制御信号が入力されたタイミングを送信タイミングと見なして取り扱う。
受信機40は、受信アンテナ20と電気的に接続されてあって、受信アンテナ20からの電気信号(以降、受信信号)を逐次取得し、その電力レベルを反射信号検出部50に逐次提供する。
反射信号検出部50は、発信機30から入力される制御信号に基づいて送信タイミングを特定し、送信タイミングを示す送信タイミング情報をメモリ51に保存する。また、反射信号検出部50は、受信機40から受信信号の電力レベルを逐次取得し、メモリ51に保存していく。受信機40から入力される受信信号の電力レベルは、メモリ51において例えば時系列順に並べて保存されていけばよい。
そして、受信信号の電力レベルが、所定の受信判定閾値以上となった場合に、反射信号を受信したと判定する。ここでの反射信号とは、インパルス波が人体表面311などで反射されて返ってきた信号に相当する。なお、反射信号を受信したと判定することは、反射信号の受信した時点を特定することに相当する。
上述の受信判定閾値は、反射信号を受信したことを検出するための閾値であって、具体的な値は適宜設計されれば良い。ただし、受信判定閾値は、心臓320からの反射信号を受信したことを検出できるように、心臓320からの反射信号に対応する電力レベルの想定値に応じた値に設定されているものとする。心臓320からの反射信号に対応する電力レベルの想定値は、シミュレーションや実試験等によって適宜決定されれば良い。
また、反射信号検出部50は、反射信号の受信を検出した場合、後述する反射信号識別規則に基づき、当該反射信号が、人体表面311からの反射信号であるか、心臓320からの反射信号であるか、その他(つまり外乱)であるかを識別する。反射信号識別規則は、一回のインパルス波の照射に対して受信しうる種々の反射信号のうち、どのような反射信号を人体表面からの反射信号とみなし、また、どのような反射信号を心臓320からの反射信号とみなすかを定義する規則である。
反射信号検出部50は、送信タイミングや、人体表面311からの反射信号を受信したタイミング、心臓320からの反射信号を受信したタイミングを示す情報を逐次距離算出部70に提供する。なお、人体表面311からの反射信号を受信したタイミングが請求項に記載の第1タイミングに相当し、心臓320からの反射信号を受信したタイミングが請求項に記載の第2タイミングに相当する。
パラメータ記憶部60は、種々の処理に用いるパラメータを記憶している記憶媒体である。パラメータ記憶部60は例えばフラッシュメモリやROMなどの不揮発性の記憶媒体を用いて実現されればよい。
距離算出部70は、送信タイミングと、人体表面311からの反射信号の受信タイミングとの時間差(つまり、人体表面311までの往復飛行時間)から、送信アンテナ10から人体表面311までの距離を特定する。また、送信タイミングと、心臓320からの反射信号の受信タイミングまでの時間差から、心臓320までのインパルス波の往復飛行時間を特定し、送信アンテナ10から心臓320までの距離を特定する。
所定のターゲットまでの電磁波の往復飛行時間から、当該ターゲットまでの距離を算出する方法自体は周知であるため、その詳細な説明は省略するが、概略的には次の通りである。なお、ここでのターゲットとは、人体表面311や心臓320などの、インパルス波を反射する物体である。距離算出部70は、ターゲットまでの往復飛行時間に、電磁波の伝搬速度を乗算することで、送信アンテナ10からターゲットまでの距離と、ターゲットから受信アンテナ20までの距離の和(つまり往復距離)を特定する。そして、往復距離の半分をターゲットまでの距離として採用する。
距離算出部70は、発信機30がインパルス波を送信させる度に、人体表面311や心臓320との距離の特定を試みる。距離算出部70が特定した種々の距離を示す情報は、体表面間距離特定部80に提供される。
以降では便宜上、送信アンテナ10から心臓320までの片道距離のことを、心臓320までの距離と、省略して記載する。送信アンテナ10から人体表面311までの距離についても同様である。なお、人体表面311までの距離や心臓320までの距離は、往復飛行時間(換言すれば伝搬時間)に伝搬速度を乗じた、見かけ上の距離のままであっても良いし、伝播媒体が有する誘電率等を考慮した実際の距離に変換して扱っても良い。どちらかに統一されていればよい。
体表面間距離特定部80は、心臓320までの距離から、人体表面311までの距離を減算することで、体表面間距離を特定する。体表面間距離とは、人体表面311から、心臓320の人体表面311の表面までの距離を表すものである。体表面間距離が請求項に記載の体表面間距離指標値に相当し、体表面間距離特定部80が請求項に記載の指標値取得部に相当する。
体表面間距離特定部80が特定した体表面間距離は逐次心拍情報取得部90に提供される。なお、本実施形態では心臓320までの距離から人体表面311までの距離を減算することで、体表面間距離を特定する態様とするが、これに限らない。後述する体表面間往復時間Txに基づいて、体表面間距離を算出する態様としてもよい。その場合、人体表面311までの距離を算出する必要はない。
心拍情報取得部90は、体表面間距離特定部80から体表面間距離を逐次取得する。逐次取得する体表面間距離は、例えば取得時刻を示すタイムスタンプを付与して、図示しないメモリに時系列順に並べて保存していけば良い。
心臓320が収縮している場合、体表面間距離は心臓320の収縮体積に応じた量だけ大きくなる。この心拍情報取得部90は、このような挙動に基づいて、心臓の拍動の発生タイミングを特定する。すなわち、体表面間距離を時系列に並べたデータ(以降、時系列データ)に基づいて、体表面間距離が大きくなるタイミング(以降、収縮タイミング)を特定する。そして、収縮タイミングを拍動の発生タイミングと見なし、拍動の発生間隔を特定する。また、一定時間当りの収縮タイミングの発生回数を心拍数として採用する。つまり、心拍情報取得部90は、拍動の発生間隔や心拍数といった心拍情報を取得する。この心拍情報取得部90の詳細な作動については別途後述する。
以上で述べた反射信号検出部50、距離算出部70、体表面間距離特定部80、及び心拍情報取得部90のそれぞれは、図示しないCPUが所定のプログラムを実行することによって実現される機能ブロックとして実現されればよい。なお、他の態様として、反射信号検出部50、距離算出部70、体表面間距離特定部80、及び心拍情報取得部90の一部又は全部は、ICなどのデジタル回路素子やアナログ回路素子を用いたハードウェアモジュールとして実現されてもよい。もちろん、ソフトウェアとハードウェアの組み合わせによって実現されても良い。発信機30や受信機40は、ICやアンプ等のハードウェア部材を用いて実現されればよい。もちろん、発信機30や受信機40が備える機能の一部は、ソフトウェア的に実現されても良い。
<反射信号識別規則について>
次に、図3及び図4を用いて、反射信号識別規則について説明する。図3は、インパルス波の送信に対する受信信号の電力レベルをシミュレーションするためのモデルを表している。図3中の300Aは、人体の心臓320付近を模したモデルであって、脂肪及び筋肉を主とする非内臓部モデル310Aと、心臓320を模した心臓モデル320Aを備える。なお、FCC(Federal Communications Commission)に基づき、非内臓部モデル310Aの誘電率は38F/mとし、心臓モデル320Aの誘電率は49F/mとしている。また、送信アンテナ10から非内臓部モデル310Aまでの距離は0.6mとしている。
上記電磁波シミュレーションモデルを用い、送信アンテナ10からインパルス波を送信した時の受信機40が出力する信号波形を図4に示す。図4の横軸は、発信機30が送信アンテナ10にインパルス信号を出力してからの経過時間を示しており、縦軸は、受信機40が出力する電気信号の電力レベルを表している。
受信信号Ssndは、送信したインパルス波(以降、送信波)自体を表すものである。また、受信信号Ssrfは、人体表面311に相当する非内臓部モデル310Aの表面で反射されたインパルス波に対応する反射信号を表している。
人体表面311や心臓320以外の物体からの反射信号(以降、外乱)を無視できる場合、送信波に対応する受信信号Ssndが収束した以降において最初に返ってくる反射信号は、人体表面311で反射されたインパルス波となる。これを踏まえ、本実施形態の反射信号検出部50は、送信波に対応する受信信号Ssndが収束した以降において最初に検出した反射信号を、人体表面311からの反射信号と見なす。
横軸上の時刻Tm1は、人体表面311からの反射信号の受信を検出したタイミングを表している。インパルス波の送信を開始してから人体表面311からの反射信号を受信するまでの時間Tsrfは、送信アンテナ10−人体表面311間の往復飛行時間に相当する。
なお、反射信号検出部50は受信機40が出力する電気信号の電力レベルが受信判定閾値以上となった場合、反射信号を受信したと判定するとともに、いったん電力レベルが受信判定閾値となった以降において再びノイズ閾値以下になっている状態が一定時間継続した場合に、受信した反射信号が収束したと判定する。
また、外乱を無視できる場合、人体表面311からの反射信号に対応する受信信号Ssrfが収束した以降において最初に受信する反射信号は、心臓320からの反射信号となる。つまり、受信信号Shrtは、心臓320に対応する心臓モデル320Aの表面からの反射信号を表している。これを踏まえ、本実施形態における反射信号検出部50は、送信波に対応する受信信号Ssndが収束した以降において、2番目に検出した反射信号を、心臓320からの反射信号と見なす。
図中のTm2は、心臓320からの反射信号の受信を検出したタイミングを表しており、インパルス波の送信を開始してから心臓320からの反射信号を受信するまでの時間Thrtは、送信アンテナ10−心臓320間の往復飛行時間に相当する。また、時間Thrtと時間Tsrfの差分である時間Txは、人体表面311と心臓320との間をインパルス波が往復している時間(以降、体表面間往復時間)を表している。
体表面間往復時間Txは、人体表面311から心臓320までの距離と、非内臓部310の誘電率とに基づいて定まる。ただし、非内臓部310の誘電率は一定と見なすことができるため、体表面間往復時間Txは、人体表面311から心臓320までの距離(つまり、体表面間距離)を示す指標として機能する。体表面間往復時間Txは人体表面311と心臓320との距離に応じて定まるため、当然、体表面間往復時間Txは心臓320の収縮/復元に応じても変化する。
図5は一例として、心臓320が収縮していない状態(以降、復元状態)と、心臓320が収縮している状態(以降、収縮状態)をシミュレーションした結果を比較するための図である。図5の上段に示すグラフが復元状態でのシミュレーション結果を表しており、下段に示すグラフは収縮状態でのシミュレーション結果を表している。
なお、便宜上、収縮状態を模したシミュレーションモデルは、復元状態を模したシミュレーションモデルに対し、非内臓部モデル310Aと心臓モデル320Aの境界面を送信アンテナ10から5mm遠い位置に配置している。ただし、非内臓部モデル310Aの表面と送信アンテナ10との距離は、復元状態と同一としている。各グラフの縦軸と横軸は、図4と同様である。
図5に示すように、収縮状態では心臓320からの反射信号の受信を検出するタイミングが、復元状態に対して所定時間(ここでは0.2ナノ秒)遅れる。当然、心臓320からの反射信号の受信を検出するタイミングが遅れた分だけ、体表面間往復時間Txの長くなり、体表面間距離特定部80が特定する体表面間距離も長くなる。つまり、このシミュレーションからも、拍動の発生に応じて、体表面間距離及び体表面間往復時間が変化することが分かる。
図6は、距離算出部70及び体表面間距離特定部80のそれぞれが逐次特定する種々の距離を、経時推移を概念的に表したグラフである。図6の上段は、距離算出部70の検出結果を表しており、下段は、体表面間距離特定部80が特定する体表面間距離の推移を表している。なお、図6の上段に示すグラフにおいて、一点鎖線は人体表面311までの距離の推移を表しており、二点鎖線は心臓320からの距離の推移を表している。また、便宜上、図6の下段のグラフは、心臓320の拍動に伴う体表面間距離の変位量を、上段に示す変位量よりも誇張して表している。
図6の下段に示すように、体表面間距離は心臓320の拍動に対応して周期的に変位する。心拍情報取得部90は、心臓320が収縮していない状態における体表面間距離(以降、復元状態距離)に対して、所定の閾値Dth以上大きくなったタイミングを拍動が発生したタイミングとして採用する。復元状態距離は、例えば直近所定回数分(例えば40回分)の体表面間距離の平均値や中央値等とすればよい。閾値Dthは適宜設計されれば良い。
<本実施形態のまとめ>
以上の構成において心臓320の拍動は、体表面間距離の時間変化に基づいて検出される。このような構成によれば、送信アンテナ10と人体表面311との距離の変化は、拍動の検出に影響を及ぼしにくい。また、体表面間距離は、インパルス波の照射によって取得される。
したがって、以上の構成によれば、例えば姿勢を変えるなどの能動的に動くことを許容する状況においても、非接触で拍動間隔や心拍数といった心拍情報を取得できる。また、上記構成によれば、非接触で心拍情報を取得することができるため、ユーザに対して心拍情報を取得するためのセンサ等を装着させる手間を煩わせる必要がない。
<心拍情報の利用例1>
以上の心拍情報取得装置100が取得した心拍情報は、例えば、運転者の意識レベルが低下しているか否かを判定するための指標として用いることができる。一般的に、運転者の意識レベルが低下している場合、心拍数のゆらぎが低減していく(換言すれば拍動間隔が安定する)傾向があるためである。なお、意識レベルが低下する場合とは、眠気を催している場合や、血圧が低下している場合等である。
図7は、心拍情報を運転者の意識レベルが低下しているか否かを判定するための指標として用いるシステムの概略的な構成の一例を示している。図7に示す意識レベル判定装置400Aは、心拍情報取得装置100と接続されており、心拍情報取得装置100が取得した心拍情報に基づいて、運転者の意識レベルが低いレベルであるか否かを判定する。例えば、直近N回の拍動間隔のばらつき(例えば統計学における分散)が、所定の低下判定閾値以下に収まっている場合、運転者の意識レベルが低レベルであると判定する。Nは適宜設計される正の整数とすればよく、例えば100などとすれば良い。低下判定閾値もまた適宜設計されれば良い。
なお、意識レベル判定装置400Aは、コンピュータとして構成されている電子制御装置(ECU:Electronic Control Unit)500Aと相互通信可能に接続されており、意識レベルが低レベルとなっているか否かの判定結果を逐次ECU500Aに提供する。ECU500Aは、意識レベル判定装置400Aによって運転者の意識レベルが低レベルであると判定されている場合、運転者を覚醒させるための制御処理を行う。
例えばECU500Aは、通知装置601から運転者を覚醒させるための情報を出力させることで、運転者の意識レベルの向上を促す。通知装置601は、例えばディスプレイや、LED、スピーカ、振動発生装置などといった、ユーザの感覚器官(例えば視覚や聴覚、触覚)に対して刺激を付与しうる装置を用いて実現されれば良い。また、車両200の窓の開閉を制御する窓制御装置602と協働して、窓を開けることで運転者の意識レベルの向上を促してもよい。
さらに、ECU500Aは車室内の空調を制御する空調制御装置603と協働して、運転者に対して冷風を吹き付けることで運転者の意識レベルの向上を促してもよい。また、インターネットや携帯電話網などの広域通信網を介した通信を実施する広域無線通信機604と協働し、車両200の外部に設けられた、車両200の運行を管理するセンタに対して、運転者の意識レベルが低下している旨を報告しても良い。そのような態様によれば、センタ側で運転者300の意識レベルが低下していることを把握することができる。
さらに、車両200の走行を自動的に実行する自動運転システム605に対して、自動走行を実行するように要求してもよい。そのような態様によれば、意識レベル判定装置400Aによって運転者の意識レベルが低レベルであると判定されている場合、運転操作の権限が自動的に自動運転システム605に移譲される。
<心拍情報の利用例2>
また、心拍情報取得装置100が取得した心拍情報は、運転者の血流速度が高レベルであるか否かを判定するための指標として用いることができる。心拍数が高い程、血流速度が高くなるためである。なお、ここでの血流速度とは、単位時間(例えば1分)当りに所定の部位を血液が流れる量に相当するものである。
図8に示す、心拍情報取得装置100と接続された血流速度判定装置400Bは、心拍情報取得装置100が取得した心拍情報に基づいて、運転者の血流速度が高レベルであるか否かを判定する装置である。例えば血流速度判定装置400Bは、心拍数が所定の閾値以上となっている場合に、血流速度が高レベルであると判定する。
血流速度判定装置400Bは、ECU500Bと接続されており、判定結果を逐次ECU500Bに提供する。ECU500Bは、血流速度判定装置400Bによって運転者の血流速度が高レベルであると判定されている場合、運転者の体を冷却するための制御処理を行う。血流速度が高レベルとなっている場合としては、運転者の体温が上昇している場合が想定されるためである。
例えば、ECU500Bは、通知装置601から窓を開けるなどの対策を促す情報を出力させたり、窓制御装置602と協働して窓を開けたりする。また、空調制御装置603と協働して、車室内の温度を所定の目標温度まで下げてもよい。
<心拍情報の利用例3>
さらに、心拍情報取得装置100が取得した心拍情報は、運転者が精神的又は肉体的なストレスを受けている状態(以降、ストレス状態)であるか否かを判定するための指標として用いることができる。人間はストレスを受けると心拍数が上昇する傾向があるためである。
図9に示す、心拍情報取得装置100と接続されたストレス状態判定装置400Cは、心拍情報取得装置100が取得した心拍情報に基づいて、運転者がストレス状態となっているか否かを判定する装置である。ストレス状態判定装置400Cは、例えば、心拍数が所定の閾値以上となっている場合に、運転者がストレス状態であると判定する。ここで用いる閾値は、平常時の心拍数に基づいて決定されることが好ましい。平常時の心拍数はユーザによって設定されたり、所定の試験を実施することで特定されたりすれば良い。
なお、ストレス状態判定装置400Cは、ECU500Cと接続されており、ECU500Cに対して運転者がストレス状態であるか否かの判定結果を逐次提供する。ECU500Cは、ストレス状態判定装置400Cによって運転者がストレス状態であると判定されている場合には、運転者のストレスを緩和するための制御処理を行う。
例えばECU500Cは、通知装置601からユーザをリラックスさせるための映像や音楽を出力させたり、窓制御装置602と協働して窓を開けたりする。また、広域無線通信機604と協働し、運転者がストレス状態となっている旨をセンタに報告しても良い。そのような態様によれば、センタ側で運転者がストレスを感じていることを把握することができる。
さらに、車両200の加速操作や減速操作を車両200の前後の車両との車間距離に応じて自動的に実施する加減速制御装置606と協働し、車両200の加減速を自動的に実施させてもよい。運転者が実施する必要がある運転操作を少なくすることで、運転者のストレスを緩和が期待できるためである。もちろん、運転者がストレス状態であると判定されている場合には、加減速操作だけでなく、操舵操作も自動化させてもよい。
<心拍情報のその他の利用例>
その他、心拍情報取得装置100が取得した心拍情報は、不整脈や除脈の検出に用いられても良いし、興奮状態であるか否かの判定に用いられても良い。また、心拍情報取得装置100が取得した心拍情報は、以上で例示した以外の用途にも利用することができる。
以上、本発明の実施形態及びその種々の利用例を説明したが、本発明は上述の実施形態に限定されるものではなく、以降で述べる種々の変形例も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
なお、前述の実施形態で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態の構成を適用することができる。
[変形例1]
以上では、人体表面311と心臓320との間の部分を、非内臓部310として一纏めにして扱ったが、インパルス波の照射方向によっては、人体表面311からの反射信号や、心臓320からの反射信号の他に、肋骨からの反射信号が検出される場合も想定される。
肋骨からの反射信号が検出されることが確認される態様でインパルス波を照射する場合には、3番目の反射信号を心臓320からの反射信号として取り扱えば良い。通常、肋骨からの反射信号は、人体表面311からの反射信号と、心臓320からの反射信号の間に検出されるためである。
[変形例2]
変形例1では、外乱の一例として肋骨からの反射信号に言及したが、外乱の発生源は肋骨に限らない。運転者の周辺に存在する車室内の構造物で反射された反射信号が受信アンテナ20で受信されることも想定される。当然、車室内の構造物で反射された反射信号もまた、外乱に該当する。
しかし、そのような構造物由来の外乱については、予め試験によって、外乱としての反射信号が到来する時間帯を特定しておくことができる場合がある。仮に、構造物由来の外乱が到来する時間帯を特定できている場合には、当該時間帯に到来した反射信号は、外乱として除外することで、外乱を誤って心臓320からの反射信号と見なしてしまう恐れを低減することができる。このような態様は例えば次のように構成しておけばよい。
まず、予め試験等によって、インパルス波を送信してから構造物由来の外乱が到来する時間帯(以降、外乱到来時間帯)を特定し、当該外乱到来時間帯の開始時間Tnstと、終了時間Tnenなどといった外乱到来時間帯を表すパラメータ(以降、外乱除去用パラメータ)を、パラメータ記憶部60に登録しておく。外乱除去用パラメータが請求項に記載の外乱除去用情報に相当する。反射信号検出部50は、パラメータ記憶部60に登録されている外乱除去用パラメータに基づき、外乱到来時間帯を特定し、外乱到来時間帯においては、反射信号を受信したか否かの判定を行わない。これにより、予め設定されている外乱到来時間帯に到来した反射信号については、心臓320や人体表面311からの反射信号とは判定しない。
図10は、この変形例2の作動を概念的に表した図である。図中のTn1は、インパルス波が送信されてから時間Tnst経過した時点を表しており、Tn2は、インパルス波が送信されてから時間Tnen経過した時点を表している。時刻Tn1から時刻Tn2までの時間帯が外乱到来時間帯に相当する。当該時間帯に外乱Snseが到来し、電力レベルが受信判定閾値以上となっても、反射信号を受信したとは判定しない。
このような態様によれば、受信アンテナ20が受信しうる種々の反射信号のなかから、より精度よく、人体表面311からの反射信号や、心臓320からの反射信号を特定することができる。なお、図10では外乱到来時間帯を1つしか設定していない態様を例示しているが、これに限らない。外乱到来時間帯は複数設定していても良い。また、送信波に対応する電力レベルが観測される時間帯を、外乱時間帯として登録しておいてもよい。外乱時間帯以外の時間帯が、反射信号を検出する上で有効な時間帯として機能する。つまり、外乱時間帯以外の時間帯が、請求項に記載の有効時間帯に相当する。
[変形例3]
変形例2では、外乱が到来する時間帯を予め登録しておくことで、外乱を人体表面311や心臓320からの反射信号と誤判定してしまう可能性を低減する方法を例示したが、これに限らない。
パラメータ記憶部60に、インパルス波の送信タイミングに対する、心臓320からの反射信号が到達しうる時間帯(以降、心臓検出時間帯)を登録しておき、当該心臓検出時間帯において検出された反射信号を心臓320からの反射信号と判定する態様としてもよい。そのような態様を変形例3とする。
より具体的には、心臓検出時間帯の開始時点を定義する心臓検出開始時間Thstと、心臓検出時間帯の終了時点を定義する心臓検出打切時間Thfnを登録しておき、これらのパラメータを用いて心臓検出時間帯を特定する。心臓検出開始時間Thst及び心臓検出打切時間Thfnが請求項に記載の心臓検出時間帯情報に相当する。
心臓検出時間帯は、人体表面311からの反射信号を受信したタイミングTm1を基準として定まるものとする。心臓検出開始時間Thstは、人体表面311からの反射信号を受信したタイミングTm1に対する心臓検出時間帯を開始する時点を示すパラメータとする。心臓検出打切時間Thfnは、例えば心臓検出時間帯の継続時間を表すパラメータとすればよい。
図11は、そのような設定による反射信号検出部50の作動を表す図である。図11に示すように、人体表面311からの反射信号を受信した時点Tm1から心臓検出開始時間Thst経過時点から、心臓検出打切時間Thfn経過するまでの時間帯を、心臓検出時間帯として採用する。そして、当該時間帯に到来した反射信号を、心臓320からの反射信号であると判定する。このような態様によれば、仮に人体表面311からの反射信号が到来してから心臓検出開始時間Thst経過するまでの間に外乱Snseが到来しても、当該外乱Snseを心臓320からの反射信号であると誤判定する恐れを低減できる。
つまり、このような態様によれば、外乱を心臓320からの反射信号であると誤判定する恐れを低減できるため、拍動間隔等の心拍情報をより精度よく収集することができる。また、反射信号検出部50が反射信号を検出する時間帯を限定的にするため、反射信号検出部50の処理負荷を低減できる。
[変形例4]
以上では、送信アンテナ10及び受信アンテナ20を、車両200において運転者にとっての正面となる領域、具体的には、インストゥルメントパネル210に配置する態様を例示したが、これに限らない。図12に示すように送信アンテナ10及び受信アンテナ20は、運転者用シート220の背もたれ部221に配置されていてもよい。また、仮に背もたれ部221に送信アンテナ10及び受信アンテナ20を配置する場合には、その配置位置は、想定心臓位置に近い位置とすることが好ましい。
一般的な運転姿勢においては、運転者300の背面は、背もたれ部221と接触するため、背もたれ部221に送信アンテナ10及び受信アンテナ20を配置すれば、送信アンテナ10に対する人体表面311の位置が安定する。つまり、背もたれ部221に送信アンテナ10及び受信アンテナ20を配置することによって、呼吸に伴う人体表面311とアンテナ振動成分が発生しにくくなり、心臓320の拍動をより精度よく検出できるようになる。また、インストゥルメントパネル210に配置する場合に比べて送信アンテナ10と人体との空隙が抑制されるため、車室内構造物に由来する外乱が到来しにくくなる。その結果、心臓320の拍動の検出精度を高めることができる。
[変形例5]
また、変形例4に関連し、図13に示すように、送信アンテナ10及び受信アンテナ20は、運転者の正面側と背面側の両方に設けてもよい。便宜上、運転者の正面側に配置された送信アンテナ10及び受信アンテナ20を正面側系統と称し、運転者の背面側に配置された送信アンテナ10及び受信アンテナ20を背面側系統と称する。なお、発信機30については、各送信アンテナ10に対応するように配置してもよいし、1つの発信機30を用いて各送信アンテナ10からインパルス波を送信させてもよい。受信機40についても同様である。
このような態様によれば、正面側系統と背面側系統の何れか一方を、他方のバックアップ系統として利用することができる。仮に正面側系統では肋骨等によって心臓の拍動を検出できない場合であっても、背面側系統によって拍動を検出できていれば、運転者300の心拍情報を取得することができる。つまり、送信アンテナ10及び受信アンテナ20は、運転者の正面側と背面側の両方に設けることで、信頼性を向上させることができる。
[変形例6]
以上では、運転者の心拍情報を取得するための構成を例示したが、観測対象とする人物は、運転者に限らない。助手席乗員や、後部座席乗員などを観測対象としてもよい。送信アンテナ10や受信アンテナ20は、観測対象とする人物が着座する座席に応じた位置に配置すれば良い。例えば助手席乗員を観測対象とする場合には、インストゥルメントパネル210のうち、助手席にとって正面となる領域や、助手席用シートの背もたれ部に、送信アンテナ10及び受信アンテナ20を配置すればよい。また、送信アンテナ10及び受信アンテナ20は、トランクに設置していても良い。
なお、以上では、送信用のアンテナと受信用のアンテナをそれぞれ設ける態様を例示したが、これに限らない。1つのアンテナを、送信アンテナ10及び受信アンテナ20として兼用してもよい。また、1つの送信アンテナ10に対して受信アンテナ20が複数存在する態様としてもよい。
[変形例7]
以上では、心拍情報取得装置100が車両200に搭載されている態様、換言すれば、車両200の乗員を観測対象とする態様を例示したが、これに限らない。例えば心拍情報取得装置100は、パイロットの心拍情報を取得するように、飛行機のコックピットに搭載されても良い。また、心拍情報取得装置100は、ベッドに寝ている人物の心拍情報を取得するように、ベッドに適用されても良い。その他、オフィスの椅子やデスク等、種々の場面に適用されても良い。
[変形例
心拍情報取得装置100は、心拍情報に加えて、人体表面311までの距離の経時変化の周期性を検出することで、呼吸のリズムを特定してもよい。人体表面311までの距離が増大傾向から減少傾向へと遷移する周期が、呼吸のリズムに相当する。人体表面311までの距離が増大傾向であるか減少傾向であるかは、人体表面311までの距離の時系列データから判定することができる。
[変形例
上述の実施形態等において体表面間距離特定部80が特定する体表面間距離は、体表面間往復時間と伝搬速度のみから定まる、電磁波にとっての見かけ上の距離であってもよいし、伝播媒体が有する誘電率等を考慮した実際の距離であってもよい。体表面間距離の経時的な変化に基づいて、拍動の発生を検出することを思想としているため、各時点での算出方法が統一されていれば良い。
また、以上では心臓の拍動に伴う体表面間距離の変位を、距離の概念に変換してから特定する態様としたが、これに限らない。体表面間距離と体表面間往復時間Txには比例関係が成立する。そのため、心拍情報取得部90は、体表面間往復時間Txの経時変化から、拍動の発生を検出する態様としてもよい。つまり、請求項に記載の体表面間距離指標値として、体表面間往復時間Txを採用してもよい。
100 心拍情報取得装置、10 送信アンテナ、20 受信アンテナ、30 発信機、40 受信機、50 反射信号検出部、60 パラメータ記憶部(記憶部)、70 距離算出部、80 体表面間距離特定部(指標値取得部)、90 心拍情報取得部

Claims (7)

  1. 観測対象とするユーザが着座する座席が存在する方向に所定の周波数帯の電波を送信するための送信アンテナと電気的に接続され、前記周波数帯のインパルス波を前記送信アンテナから所定の送信周期で送信させる発信機(30)と、
    前記座席が存在する方向から到来する前記周波数帯の電波を受信するための受信アンテナと電気的に接続され、前記受信アンテナが受信している電波の強度に応じた電力レベルの電気信号を取得する受信機(40)と、
    前記受信機が取得した電気信号の電力レベルの時間変化に基づいて、前記インパルス波が前記ユーザの人体表面で反射されて返ってきた反射信号を受信したタイミングである第1タイミングと、前記ユーザの心臓で反射されて返ってきた反射信号を受信したタイミングである第2タイミングを特定する反射信号検出部(50)と、
    前記反射信号検出部が特定した前記第1タイミングと前記第2タイミングとの時間差から、前記人体表面から心臓までの距離に応じた値となる体表面間距離指標値を取得する指標値取得部(80)と、
    前記指標値取得部が推定した前記体表面間距離指標値の経時変化に基づいて前記心臓の拍動を検出し、前記拍動が発生する間隔である拍動間隔、及び心拍数の少なくとも何れか一方を含む心拍情報を取得する心拍情報取得部(90)と、を備えることを特徴とする心拍検出装置。
  2. 請求項1において、
    前記第1タイミングを基準として定まる、前記心臓からの反射信号が到達しうる心臓検出時間帯を示す心臓検出時間帯情報が予め登録されている記憶部(60)を備え、
    前記反射信号検出部は、
    前記受信機が取得した電気信号の電力レベルが所定の受信判定閾値以上となった場合に、前記インパルス波が所定の物体で反射されて返ってきた反射信号を受信したと判定するものであって、
    前記第1タイミングを特定した場合には、その特定した第1タイミングを基準として前記心臓検出時間帯情報を用いて前記心臓検出時間帯を特定し、
    前記心臓検出時間帯において検出した反射信号を前記心臓からの反射信号と見なすことを特徴とする心拍検出装置。
  3. 請求項1又は2において、
    前記発信機が前記インパルス波を送信させた時点を基準として定まる、前記座席の周辺に存在する構造物からの反射信号が到来しうる外乱到来時間帯を示す外乱除去用情報が予め登録されている記憶部(60)を備え、
    前記反射信号検出部は、前記記憶部が記憶している前記外乱除去用情報を用いて、前記受信機が受信した反射信号が外乱であるか否かを識別し、前記第1タイミング及び前記第2タイミングを特定することを特徴とする心拍検出装置。
  4. 請求項3において、
    前記反射信号検出部は、前記発信機が前記インパルス波を送信させた時点以降において、前記外乱到来時間帯に設定されていない時間帯である有効時間帯において最初に検出した反射信号を前記人体表面からの反射信号と見なし、かつ、2番目に検出した反射信号を前記心臓からの反射信号と見なすことを特徴とする心拍検出装置。
  5. 請求項1から3の何れか1項において、
    前記座席は背もたれ部を備え、
    前記送信アンテナ及び前記受信アンテナは、前記背もたれ部に配置されていることを特徴とする心拍検出装置。
  6. 請求項1から4の何れか1項において、
    前記心拍検出装置は、車両で用いられ、前記車両の運転者の心拍を検出するためのものであって、
    前記座席は、背もたれ部を備える運転者用シートであって、
    前記送信アンテナ及び前記受信アンテナは、前記車両のインストゥルメントパネルにおける前記運転者用シートの正面となる領域と、前記運転者用シートの前記背もたれ部の両方にそれぞれ少なくとも1つずつ設けられていることを特徴とする心拍検出装置。
  7. 請求項1から6の何れか1項において、
    前記インパルス波を送信させた時点から前記第1タイミングまでの時間差に基づいて前記人体表面までの距離を算出する距離算出部(70)を備え、
    前記距離算出部が算出した前記人体表面までの距離の時間変化から、前記ユーザが呼吸するリズムを特定することを特徴とする心拍検出装置。
JP2016005474A 2016-01-14 2016-01-14 心拍検出装置 Active JP6561852B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016005474A JP6561852B2 (ja) 2016-01-14 2016-01-14 心拍検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016005474A JP6561852B2 (ja) 2016-01-14 2016-01-14 心拍検出装置

Publications (2)

Publication Number Publication Date
JP2017124058A JP2017124058A (ja) 2017-07-20
JP6561852B2 true JP6561852B2 (ja) 2019-08-21

Family

ID=59363409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016005474A Active JP6561852B2 (ja) 2016-01-14 2016-01-14 心拍検出装置

Country Status (1)

Country Link
JP (1) JP6561852B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019080873A (ja) * 2017-10-31 2019-05-30 旭化成株式会社 検出装置および運転手監視システム
US11707197B2 (en) * 2017-12-22 2023-07-25 Resmed Sensor Technologies Limited Apparatus, system, and method for physiological sensing in vehicles
KR102035220B1 (ko) * 2018-06-05 2019-11-18 주식회사 엠제이테크 비접촉 생체 신호 검출을 이용한 졸음 운전 방지 장치
JP7035876B2 (ja) * 2018-07-20 2022-03-15 株式会社Soken 生体検知装置
WO2021205508A1 (ja) 2020-04-06 2021-10-14 三菱電機株式会社 生体情報取得装置及び生体情報取得方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006255141A (ja) * 2005-03-17 2006-09-28 Tdk Corp センサー装置
JP2010120493A (ja) * 2008-11-19 2010-06-03 Panasonic Corp 生体信号検知装置
JP6273662B2 (ja) * 2012-10-05 2018-02-07 トランスロボティックス,インク. 高分解能距離感知のためのシステム及び方法、並びにその適用
CN103871199B (zh) * 2014-03-12 2016-10-05 佛山市新明珠卫浴有限公司 一种非接触式测定脉搏心率以及远程报警的电子坐便器

Also Published As

Publication number Publication date
JP2017124058A (ja) 2017-07-20

Similar Documents

Publication Publication Date Title
JP6561852B2 (ja) 心拍検出装置
EP2417908A1 (en) Device, system and method for measuring vital signs
JP5872559B2 (ja) 被験者の呼吸活動をモニタする方法と装置
US20190231272A1 (en) Measuring apparatus, measuring method, and non-transitory computer-readable storage medium for storing program
JP5848469B1 (ja) 生体状態検出装置
US20150265200A1 (en) Safety belt arrangements and methods for determining information with respect to the cardiac and/or respiratory activity of a user of a safety belt
KR20200033324A (ko) 차량 탑승자의 생체 신호의 무접촉 검출 및 모니터링 시스템
EP3640085A1 (en) Vehicle occupant detection device
JP2017104360A (ja) 生体情報の取得装置、生体情報の取得プログラムおよび生体情報の取得方法
EP2368492A1 (en) A method for estimating parameters indicative of a heart performance, a radar system and a computer program product
KR101768142B1 (ko) 생체 측정 장치 및 그 제어방법
JP2001260698A (ja) 心拍呼吸検出装置
CN109751706A (zh) 空调的控制方法及装置、空调器、控制器
JP2023509146A (ja) 車両内のレーダーベースの監視
KR102437150B1 (ko) 다중 주파수 신호를 사용하는 사물의 변위 측정 방법 및 장치
WO2020202159A1 (en) System for determining object status and method thereof
JP2018033771A (ja) 生体情報出力装置および生体情報出力装置を備える椅子
CN117222360A (zh) 用于心血管和呼吸跟踪的多传感器系统
JP2016198121A (ja) 生体情報検知装置及び生体情報検知装置を備えた座席
JP6835784B2 (ja) 生体情報検出装置
JP2019201698A (ja) 生体検知装置
JP7035876B2 (ja) 生体検知装置
JP7457945B2 (ja) 信号処理システム、及びセンサシステム
JP2018117800A (ja) 心拍取得システム及び心拍取得方法
JP6597524B2 (ja) 生体情報記録装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190708

R150 Certificate of patent or registration of utility model

Ref document number: 6561852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250