JP7161704B2 - Pulse rate detector and pulse rate detection program - Google Patents
Pulse rate detector and pulse rate detection program Download PDFInfo
- Publication number
- JP7161704B2 JP7161704B2 JP2019066380A JP2019066380A JP7161704B2 JP 7161704 B2 JP7161704 B2 JP 7161704B2 JP 2019066380 A JP2019066380 A JP 2019066380A JP 2019066380 A JP2019066380 A JP 2019066380A JP 7161704 B2 JP7161704 B2 JP 7161704B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pulse rate
- time
- frame image
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000001514 detection method Methods 0.000 claims description 81
- 238000012937 correction Methods 0.000 claims description 34
- 230000004397 blinking Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims 2
- 235000019557 luminance Nutrition 0.000 description 115
- 101100328887 Caenorhabditis elegans col-34 gene Proteins 0.000 description 52
- 238000000034 method Methods 0.000 description 30
- 238000012545 processing Methods 0.000 description 22
- 210000004204 blood vessel Anatomy 0.000 description 21
- 230000008859 change Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 3
- 206010041349 Somnolence Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000004962 physiological condition Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 1
- 206010029216 Nervousness Diseases 0.000 description 1
- RRLHMJHRFMHVNM-BQVXCWBNSA-N [(2s,3r,6r)-6-[5-[5-hydroxy-3-(4-hydroxyphenyl)-4-oxochromen-7-yl]oxypentoxy]-2-methyl-3,6-dihydro-2h-pyran-3-yl] acetate Chemical compound C1=C[C@@H](OC(C)=O)[C@H](C)O[C@H]1OCCCCCOC1=CC(O)=C2C(=O)C(C=3C=CC(O)=CC=3)=COC2=C1 RRLHMJHRFMHVNM-BQVXCWBNSA-N 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
Description
本発明は、脈拍数検出装置、及び脈拍数検出プログラムに関し、例えば、対象者の脈拍数を検出するものに関する。 TECHNICAL FIELD The present invention relates to a pulse rate detection device and a pulse rate detection program, for example, to those for detecting the pulse rate of a subject.
対象者の健康状態や生理的な状態を把握するためには、脈拍数の検出が重要である。通常、脈拍数は、対象者に器具を装着して検出するが、もっと手軽に検出したいとの要望が高く、非接触で対象者の脈拍数を検出する技術が盛んに研究されている。
これにより、例えば、車両の運転者の脈拍をモニタリングして、より交通安全を推進することができる。
Detection of the pulse rate is important for grasping the health condition and physiological condition of the subject. Normally, the pulse rate is detected by wearing a device on the subject, but there is a strong demand for easier detection, and techniques for non-contact detection of the subject's pulse rate are being actively researched.
This allows, for example, monitoring the pulse of the driver of the vehicle to promote better road safety.
このように、非接触で脈拍を検出する技術に非特許文献1の技術がある。この技術は、対象者の腕をカメラで撮影し、そのカメラ映像から脈拍を検出する。血流により体表面の輝度や色が変化するため、映像を画像処理することにより脈拍を検出することができる。
As described above, the technique of
ところで、対象者の体表面を撮影しているときに環境光が変化すると体表面の輝度も変化してしまい、脈拍による輝度変化と環境光の変化による輝度変化が区別できないという問題があった。
特に、脈拍数検出装置を車両に搭載する場合、環境光が頻繁に変化するため、環境光の変化による光外乱を分別しないと脈拍数を検出することが困難である。
By the way, when the ambient light changes when the subject's body surface is photographed, the brightness of the body surface also changes, and there is a problem that the brightness change due to the pulse and the brightness change due to the change in the ambient light cannot be distinguished.
In particular, when the pulse rate detector is installed in a vehicle, the ambient light changes frequently, so it is difficult to detect the pulse rate unless the light disturbance due to the change in the ambient light is discriminated.
本発明は、環境光の変化による輝度の変化を分別して脈拍数を検出することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to detect a pulse rate by discriminating changes in brightness due to changes in ambient light.
(1)本発明は、前記目的を達成するために、請求項1に記載の発明では、点滅する光源によって対象者の体表面を照明する照明手段と、変動する環境光の下、前記照明された体表面を時系列的に連続する画像によって動画撮影する撮影手段と、前記光源が点灯している時に撮影した点灯時の画像と、前記光源が消灯している時に撮影した消灯時の画像のうちの、一方の画像の撮影時における他方の画像を、当該一方の画像の前後に撮影した他方の画像から推測することで補間する補間手段と、前記補間手段で補間した画像を用いて、前記一方の画像の撮影時における、点灯時の画像の輝度から消灯時の画像の輝度を画素ごとに減じることにより、前記点灯時の画像の輝度を補正する補正手段と、時系列的に連続する前記補正した点灯時の画像の輝度の変化から前記対象者の脈拍数を取得する脈拍数取得手段と、前記取得した脈拍数を出力する出力手段と、を具備したことを特徴とする脈拍数検出装置を提供する。
(2)請求項2に記載の発明では、前記一方の画像は点灯時の画像であり、他方の画像は消灯時の画像であることを特徴とする請求項1に記載の脈拍数検出装置を提供する。
(3)請求項3に記載の発明では、前記照明手段は、前記光源が発する赤外線の点滅によって前記体表面を照明し、前記撮影手段は、前記体表面から反射した赤外線の画像によって動画撮影する、ことを特徴とする請求項1、又は請求項2に記載の脈拍数検出装置を提供する。
(4)請求項4に記載の発明では、前記照明手段は、前記光源としてLEDを点滅させる、ことを特徴とする請求項2、又は請求項3に記載の脈拍数検出装置を提供する。
(5)請求項5に記載の発明では、前記補間手段は、前記前に撮影した他方の画像の撮影時刻T1から前記後に撮影した他方の画像の撮影時刻T3までの第1時間と、前記撮影時刻T1から前記一方の画像の撮影時刻T2までの第2時間との時間比に基づいて、前記画素ごとの輝度を推定することで補間する、ことを特徴とする請求項1、請求項2、請求項3、又は請求項4に記載の脈拍数検出装置を提供する。
(6)請求項6に記載の発明では、変動する環境光の下、点滅する光源によって照明された対象者の体表面を時系列的に連続する画像によって撮影した画像を取得する画像取得機能と、前記光源が点灯している時に撮影した点灯時の画像と、前記光源が消灯している時に撮影した消灯時の画像のうちの、一方の画像の撮影時における他方の画像を、当該一方の画像の前後に撮影した他方の画像からすることで補間する補間機能と、前記補間機能で補間した画像を用いて、前記一方の画像の撮影時における、点灯時の画像の輝度から消灯時の画像の輝度を画素ごとに減じることにより、前記点灯時の画像の輝度を補正する補正機能と、時系列的に連続する前記補正した点灯時の画像の輝度の変化から前記対象者の脈拍数を取得する脈拍数取得機能と、前記取得した脈拍数を出力する出力機能と、をコンピュータで実現する脈拍数検出プログラムを提供する。
(1) In order to achieve the above object, the invention according to
(2) In the second aspect of the invention, the one image is an image when the light is on, and the other image is an image when the light is off. offer.
(3) In the invention according to
(4) The invention according to
(5) In the invention according to
(6) In the invention according to
本発明によれば、点滅光を用いて環境光による輝度を推測することにより、これを分別して脈拍数を検出することができる。 According to the present invention, the pulse rate can be detected by estimating the brightness of the ambient light using the flashing light and discriminating it.
(1)実施形態の概要
脈拍数検出装置1(図2)は、環境光の下、点滅するLED9で照明しながら対象者11の顔を動画撮影する。
脈拍数検出装置1は、カメラ8のフレームレートに同期させてLED9を点滅させ、これによって、LED9の点灯時のフレーム画像(オンフレーム画像)と消灯時のフレーム画像(オフフレーム画像)が交互に撮影された動画を生成する。
(1) Outline of Embodiment The pulse rate detection device 1 (FIG. 2) shoots a moving image of the subject's 11 face under ambient light while illuminating with a blinking LED 9 .
The pulse
オフフレーム画像の輝度は環境光によるものであり、オンフレーム画像の輝度は環境光によるものとLED9によるものを合わせたものである。
ここで、オンフレーム画像から環境光による輝度を除けば、LED9だけによる外乱のない輝度が得られ、これから脈拍数を検出することができる。
The brightness of the off-frame image is due to the ambient light, and the brightness of the on-frame image is the sum of the brightness due to the ambient light and the brightness due to the LED 9 .
Here, if the luminance due to the ambient light is removed from the on-frame image, the luminance without disturbance from only the LED 9 can be obtained, and the pulse rate can be detected from this luminance.
そこで、脈拍数検出装置1は、オンフレーム画像の前後のオフフレーム画像を用いることで、オンフレーム画像の撮影時に対応するオフフレーム画像を推測して補間する。その具体的一例として本実施形態では、オンフレーム画像の撮影時刻をT2、オンフレーム画像の前のオフフレーム画像の撮影時刻をT1、オンフレーム画像の後のオフフレーム画像の撮影時刻をT3とした場合に、撮影時刻T1から撮影時刻T3までの第1時間と、撮影時刻T1から撮影時刻T2までの第2時間との時間比に基づいて、オンフレーム画像撮影時T2において仮にLED9を消灯していたら撮影されていたであろうと推測される推測上の補間フレーム画像(2つのオフフレーム画像をオンフレーム画像撮影時点において補間する推測上のオフフレーム画像)を生成して補間する。
補間フレーム画像の輝度は、オンフレーム画像撮影時の環境光による輝度であると推測される。
Therefore, the pulse
The brightness of the interpolated frame image is assumed to be the brightness due to the ambient light when the on-frame image was captured.
そこで、脈拍数検出装置1は、オンフレーム画像の輝度から補間フレーム画像の輝度を引くことにより、オンフレーム画像から環境光の輝度を除いた補正フレーム画像を生成する。
そして、脈拍数検出装置1は、当該補正フレーム画像の輝度のフーリエ変換から脈拍数を検出する。
Therefore, the pulse
Then, the pulse
(2)実施形態の詳細
図1は、環境光の変化による外乱下で脈波(脈拍)を検出する原理を説明するための図である。
本実施の形態では、LED(light emitting diode)の照明は脈波信号を拡大するが、光外乱を拡大しないという原理原則に基づき、点滅するLEDを用いることによって、脈波による輝度変化と環境光の変化による輝度変化を分別する。
(2) Details of Embodiment FIG. 1 is a diagram for explaining the principle of detecting a pulse wave (pulse) under disturbance due to changes in ambient light.
In the present embodiment, the LED (light emitting diode) illumination expands the pulse wave signal but does not expand the light disturbance. discriminate the luminance change due to the change of .
図1(a)は、LED照明を用いずに、環境光だけで体表面を撮影した場合を示している。
体表面(皮膚表面17と血管18から構成される)に入射した環境光は、皮膚表面17と血管18で反射して、それぞれ皮膚反射光Aと血管反射光Bを生じさせる。カメラが撮影するのは、これらを合成した体表面反射光Cである。
FIG. 1(a) shows a case in which the body surface is photographed using only ambient light without using LED lighting.
Ambient light incident on the body surface (composed of
図1(a)のグラフは、これら反射光による輝度信号(輝度信号の振幅)の時間変化を示している。
グラフの皮膚表面輝度信号A、血管輝度信号B、及び体表面輝度信号Cは、それぞれ、皮膚反射光A、血管反射光B、体表面反射光Cによるものである。
皮膚輝度信号Aは、環境光の変化に伴って変化し、血管輝度信号Bは、環境光の変化と脈拍に伴って変化する。
カメラで撮影した動画から得られるのは、これらの変化を合成した体表面輝度信号Cである。
The graph of FIG. 1(a) shows the time change of the luminance signal (amplitude of the luminance signal) due to these reflected lights.
The skin surface luminance signal A, the blood vessel luminance signal B, and the body surface luminance signal C in the graph are due to the skin reflected light A, the blood vessel reflected light B, and the body surface reflected light C, respectively.
The skin luminance signal A changes with changes in ambient light, and the blood vessel luminance signal B changes with changes in ambient light and pulse.
A body surface luminance signal C obtained by synthesizing these changes is obtained from a moving image captured by a camera.
図1(b)は、環境光の下、LED光による照明を行いながら体表面を撮影した場合を示している。
体表面に入射したLED光は、皮膚表面17と血管18で反射して、それぞれ皮膚反射光Dと血管反射光Eを生じさせる。カメラが撮影するのは、皮膚反射光A、血管反射光B、皮膚反射光D、及び血管反射光Eを合成した体表面反射光Fである。
FIG. 1(b) shows a case in which the body surface is photographed under ambient light while being illuminated with LED light.
The LED light incident on the body surface is reflected by the
図1(b)のグラフは、これらの反射光による輝度信号の時間変化を示している。
グラフの皮膚表面輝度信号A、血管輝度信号B、皮膚表面輝度信号D、血管輝度信号E、及び体表面輝度信号Fは、それぞれ、皮膚反射光A、血管反射光B、皮膚反射光D、血管反射光E、及び体表面反射光Fによるものである。
LED光の輝度は一定であるため、皮膚表面輝度信号Dは一定値をとり、血管輝度信号Eは脈拍に伴って変化する。
カメラで撮影した動画から得られるのは、皮膚表面輝度信号A~血管輝度信号Eを合成した体表面輝度信号Fである。
The graph of FIG. 1(b) shows the time change of the luminance signal due to these reflected lights.
The skin surface luminance signal A, the blood vessel luminance signal B, the skin surface luminance signal D, the blood vessel luminance signal E, and the body surface luminance signal F in the graph are the skin reflected light A, the blood vessel reflected light B, the skin reflected light D, the blood vessel This is due to reflected light E and body surface reflected light F.
Since the brightness of the LED light is constant, the skin surface brightness signal D takes a constant value, and the blood vessel brightness signal E changes with the pulse.
A body surface luminance signal F obtained by synthesizing the skin surface luminance signal A to the blood vessel luminance signal E is obtained from the moving image captured by the camera.
図1(c)のグラフは、体表面輝度信号Fと体表面輝度信号Cの差分を示している。
体表面輝度信号Fから体表面輝度信号Cを引くと、環境光による光外乱(皮膚表面輝度信号Aと血管輝度信号B)が消去されて、LED光による皮膚表面輝度信号Dと血管輝度信号Eの合計である体表面輝度信号Gが得られる。
体表面輝度信号Gには、皮膚表面輝度信号Dが含まれているが、これは一定であるため、体表面輝度信号Gの時間変化は血管輝度信号Eの時間変化を表し、これから脈拍数を検出することができる。
The graph of FIG. 1(c) shows the difference between the body surface luminance signal F and the body surface luminance signal C. FIG.
When the body surface luminance signal C is subtracted from the body surface luminance signal F, the optical disturbance (skin surface luminance signal A and blood vessel luminance signal B) due to the ambient light is eliminated, and the skin surface luminance signal D and the blood vessel luminance signal E due to the LED light are eliminated. A body surface luminance signal G that is the sum of is obtained.
The body surface luminance signal G includes the skin surface luminance signal D, which is constant. Therefore, the time change of the body surface luminance signal G represents the time change of the blood vessel luminance signal E, from which the pulse rate can be calculated. can be detected.
このように、LED点灯時の輝度信号とLED消灯時の輝度信号の差分から脈拍数を検出することができるが、LEDが点灯した状態と、LEDが消灯した状態を同時に実現することはできないという問題がある。 In this way, the pulse rate can be detected from the difference between the luminance signal when the LED is on and the luminance signal when the LED is off. There's a problem.
そこで、本実施の形態では、LEDを動画のフレームごとに点滅させて、LEDをオンして点灯している状態のオンフレーム画像とLEDをオフして消灯している状態のオフフレーム画像を交互に撮影する。そして、オンフレーム画像の前後のオフフレーム画像の輝度と、前のオフフレーム画像の撮影時刻T1から後のオフフレーム画像撮影時刻T3までの第1時間と、撮影時刻T1からオンフレーム画像の撮影時刻T2までの第2時間との時間比に基づいて、オンフレーム画像撮影時刻T2における補間フレーム画像(オンフレーム画像撮影時に仮想的に撮影されるオフフレーム画像)の輝度を推測する。
補間フレーム画像の輝度は、オンフレーム画像撮影時の環境光による輝度であると推測できるため、オンフレーム画像による輝度信号(体表面輝度信号F)と当該推測より得られる輝度信号(体表面輝度信号Cの推測値)の差分から脈拍数を検出する。
Therefore, in the present embodiment, the LED is blinked for each frame of the moving image, and the on-frame image in which the LED is turned on and the off-frame image in which the LED is turned off are alternately displayed. to shoot. Then, the luminance of the off-frame images before and after the on-frame image, the first time from the imaging time T1 of the previous off-frame image to the imaging time T3 of the subsequent off-frame image, and the imaging time of the on-frame image from the imaging time T1 Based on the time ratio to the second time up to T2, the brightness of the interpolated frame image (off-frame image virtually captured during on-frame image capturing) at on-frame image capturing time T2 is estimated.
Since the luminance of the interpolated frame image can be estimated to be the luminance due to the ambient light at the time of the on-frame image shooting, the luminance signal (body surface luminance signal F) of the on-frame image and the luminance signal obtained from the estimation (body surface luminance signal The pulse rate is detected from the difference between the estimated values of C).
図2は、本実施の形態の脈拍数検出装置1の構成を示した図である。
脈拍数検出装置1は、例えば、車両に搭載され、搭乗者(ドライバや助手席の乗客などの対象者)の脈波(脈拍)を監視し、ドライバの体調、緊張状態などの生理的な状態を把握する。
また、医療現場や災害現場などで患者や被災者の脈拍数を検出・監視したり、家庭や商業施設に設置して、利用者が手軽に脈拍数を検出するのに利用することができる。
FIG. 2 is a diagram showing the configuration of the pulse
The pulse
In addition, it can be used to detect and monitor the pulse rate of patients and disaster victims at medical sites and disaster sites, and to be installed in homes and commercial facilities so that users can easily detect the pulse rate.
脈拍数検出装置1は、CPU(Central Processing Unit)2、ROM(Read Only Memory)3、RAM(Random Access Memory)4、表示部5、入力部6、出力部7、カメラ8、LED9、記憶部10などから構成されており、対象者11(脈拍数検出装置1の検出対象者)の脈拍数(脈波、脈拍)を検出する。
CPU2は、記憶部10やROM3などに記憶されたプログラムに従って、各種の情報処理や制御を行う中央処理装置である。
本実施の形態では、カメラ8が撮影した動画を画像処理して対象者11の脈拍数を検出する。
The pulse
The
In this embodiment, the pulse rate of the subject 11 is detected by image-processing the moving image captured by the
ROM3は、読み取り専用メモリであって、脈拍数検出装置1を動作させるための基本的なプログラムやパラメータなどが記憶されている。
RAM4は、読み書きが可能なメモリであって、CPU2が動作する際のワーキングメモリを提供する。
本実施の形態では、動画を構成するフレーム画像(1コマの静止画像)を展開して記憶したり、計算結果を記憶したりすることにより、CPU2が、フレーム画像に写った体表面から脈拍数を検出するのを支援する。
当該体表面は、顔や手足など体表面が露出しているところならよいが、本実施の形態では、一例として顔の表面(顔面)から脈拍数を検出する。
The
The
In the present embodiment, the
The body surface may be any exposed body surface such as the face or limbs, but in the present embodiment, the pulse rate is detected from the face surface (face) as an example.
表示部5は、液晶画面などの表示デバイスを用いて構成されており、脈拍数検出装置1の操作画面や脈拍数の表示など、脈拍数検出装置1の運用に必要な情報を表示する。
入力部6は、表示デバイスに重畳して設置されたタッチパネルなどの入力デバイスを用いて構成されており、画面表示に対するタッチの有無などから各種の情報の入力を受け付ける。
The
The
出力部7は、各種の情報を外部装置に出力するインターフェースであり、例えば、検出した脈拍数を出力したり、あるいは、脈拍数に変化が現れた場合にアラームを出力することができる。
また出力部7は、車両を制御する制御装置などの他の制御機器に出力することができる。出力部7から脈拍数の出力を受けた制御機器では、例えば、ドライバの眠気や緊張状態等を判断し、ドライバに向けた制御、例えば、眠気を覚醒させるためにハンドルやシートを振動させる制御、警告音やメッセージの出力などを行うことができる。また、車両に対する制御として、脈拍数に基づいて判断したドライバの緊張状態に応じて、車間距離制御、車速制御、又はブレーキ制御の少なくとも1つを行うことも可能である。例えば、制御機器は、ドライバが所定値を超える高い緊張状態にあると判断した場合には、車間距離を基準値よりも大きくとるように制御し、車速を所定車速以下となるように制御し、所定車速以上であれば自動ブレーキ操作による減速処理等を行う。
表示部5や出力部7は、脈拍数を出力する出力手段として機能している。
The
The
The
カメラ8は、動画を撮影するためのカメラであって、レンズで構成された光学系と、これによって結像した像を電気信号に変換する赤外線イメージセンサを用いて構成されている。
カメラ8は、対象者11の顔前方に設置されており、対象者11の顔付近が撮影画面となるように設定されている。
そして、カメラ8は、対象者11を所定のフレームレートにて撮影し、これら時系列的に連続するフレーム画像(静止画像)で構成された動画を出力する。
The
The
Then, the
フレーム画像は、画像を構成する最小単位である画素(ピクセル)の配列により構成されており、各画素はLED9が照射する周波数帯域の赤外線を検出する。
このように、カメラ8は、変動する環境光の下、LED9で照明された体表面を時系列的に連続する画像によって動画撮影する撮影手段として機能する。
A frame image is composed of an array of pixels, which are the minimum units that constitute an image, and each pixel detects infrared rays in the frequency band emitted by the LED 9 .
In this way, the
LED9は、所定の周波数帯域の赤外線を対象に照射してこれを照明する照明装置であって、対象者11の顔の前方に設置されており、対象者11の顔を前方から照明する。
LED9は、点滅する光源が発する赤外線によって対象者の体表面を照明する照明手段として機能する。
LED9は、CPU2によるオンオフ制御によって、点灯状態と消灯状態をフレームレート(本実施の形態では、一例として毎秒60フレームとした)に同期して繰り返す。
LED9は、赤外線を発するため、対象者11には見えず(そのため、まぶしくない)、また、この波長領域では、脈波の検出に良好な皮膚反射光Dと血管反射光Eを得ることができる。
The LED 9 is a lighting device that illuminates an object by irradiating it with infrared rays of a predetermined frequency band, is installed in front of the face of the subject 11, and illuminates the face of the subject 11 from the front.
The LED 9 functions as illumination means for illuminating the subject's body surface with infrared rays emitted by a blinking light source.
The LED 9 repeats ON/OFF control by the
Since the LED 9 emits infrared rays, it cannot be seen by the subject 11 (therefore, it is not dazzling), and in this wavelength range, it is possible to obtain skin reflected light D and blood vessel reflected light E, which are good for pulse wave detection. .
なお、カメラ8とLED9は、カメラ8とLED9が一体となった、照明付きカメラとしてもよい。
また、脈拍数検出装置1は、赤外線により対象者11の脈波を検出するが、可視光を用いるなど、他の周波数帯域における光を用いてもよい。この場合は、カメラ8とLED9を当該光に適合したもので構成する。
Note that the
Further, the pulse
なお、脈拍数検出装置1で、赤外線を用いたのは、昼夜の区別なく脈拍数の検出が可能であるためである。
但し、可視光による脈拍数の検出が可能な昼間は可視光による脈拍数の検出を行い、車内が所定の明るさ以下になった場合に、赤外線による脈拍数の検出に切り替えるという運用も可能である。また、車内が所定の明るさ以下になるまでの間は、可視光による脈拍数の検出と本実施形態による赤外線による脈拍数の検出の両者を使用し、所定の明るさ以下になった後は本実施形態だけを使用するようにしてもよい。この場合、何れか一方の出力を他方の出力の信頼度を推定するために使用してもよく、また、両出力の平均値を検出値として出力するようにしてもよい。なお、車内の明るさについては、例えば照度センサ等を使用して検出する。
The reason why the
However, it is also possible to detect the pulse rate using visible light during the daytime when the pulse rate can be detected using visible light, and switch to pulse rate detection using infrared light when the brightness inside the vehicle falls below a predetermined level. be. In addition, until the brightness in the car falls below a predetermined brightness, both the pulse rate detection using visible light and the pulse rate detection using infrared light according to this embodiment are used. Only this embodiment may be used. In this case, either one of the outputs may be used to estimate the reliability of the other output, or the average value of both outputs may be output as the detected value. The brightness in the vehicle is detected using, for example, an illuminance sensor.
記憶部10は、ハードディスクやEEPROM(Electrically Erasable Programmable Read-Only Memory)などの記憶媒体を用いて構成されており、CPU2が脈波を検出するための脈拍数検出プログラム12やその他のプログラム、及びデータを記憶している。
CPU2が脈拍数検出プログラム12に従って検出した脈拍数は、RAM4に一時保存され、必要に応じて外部に出力されたり、記憶部10に保存される。
The
The pulse rate detected by the
脈拍数検出プログラム12は、CPU2に脈波検出処理を行わせるプログラムである。
CPU2は、脈拍数検出プログラム12を実行することにより、動画撮影した対象者11の顔から輝度の検出を行う。
The pulse
By executing the pulse
図3は、補間フレーム画像の作成方法を説明するための図である。
図3において、オン、オフと記した菱形図形の列は、動画撮影されたフレーム画像を時系列的に並べたところを模式的に表しており(時間の経過方向は図に向かって右方向とする)、オンと記された菱形図形はオンフレーム画像を、オフと記された菱形図形はオフフレーム画像を表している。
FIG. 3 is a diagram for explaining a method of creating an interpolated frame image.
In FIG. 3, the rows of rhombic figures labeled ON and OFF schematically represent the arrangement of the frame images taken as moving images in chronological order (the direction of passage of time is the right direction in the figure). ), the diamonds labeled ON represent on-frame images, and the diamonds labeled OFF represent off-frame images.
脈拍数検出装置1は、LED9をフレームレートに同期して点滅させるため、・・・、オフフレーム画像21、オンフレーム画像22、オフフレーム画像23、・・・といったように、オフフレーム画像とオンフレーム画像を交互に動画撮影するが、ここでは、一例として、オンフレーム画像22を補正する場合について考える。
Since the pulse
まず、脈拍数検出装置1は、オンフレーム画像22の1コマ前(1フレーム前)のオフフレーム画像21と、1コマ後(1フレーム後)のオフフレーム画像23を特定する。
そして、オフフレーム画像21とオフフレーム画像23の輝度と、撮影時刻の時間比に基づいて、オンフレーム画像22の撮影時点にて、オフフレーム画像21とオフフレーム画像23を補間する推定上のオフフレーム画像である補間フレーム画像25を生成する。
先に述べたように、補間フレーム画像25は、オンフレーム画像22の撮影時における環境光の輝度を推測することで補間した画像である。
First, the pulse
Based on the luminance of the off-
As described above, the interpolated
このように、脈拍数検出装置1は、光源が点灯している時に撮影した点灯時の画像(オンフレーム画像)と、前記光源が消灯している時に撮影した消灯時の画像(オフフレーム画像)のうちの、一方の画像の撮影時における他方の画像を、当該一方の画像の前後に撮影した他方の画像から推測することで補間する補間手段を備えている。
上の例では、一方の画像は点灯時の画像であり、他方の画像は消灯時の画像である。補間手段は、当該点灯時の画像の前の消灯時の画像の輝度と、当該点灯時の画像の後の消灯時の画像の輝度と、各画像撮影時の時間比に基づいて、当該点灯時の画像を撮影した時点における消灯時の画像の輝度を推測することにより環境光による輝度を推測している。
なお、当該一方の画像を消灯時の画像、他方の画像を点灯時の画像とすることも可能である。この場合、オフフレーム画像の前後のオンフレーム画像の輝度と、各画像の撮影時刻の時間比に基づいて、オンフレーム画像を補完する補間画像を作成する。
In this way, the pulse
In the above example, one image is the lit image and the other is the unlit image. The interpolating means calculates the luminance of an image when turned off before the image when turned on, the luminance of an image when turned off after the image when turned on, and the time ratio when each image is captured. The luminance due to ambient light is estimated by estimating the luminance of the image when the light is turned off at the time when the image is taken.
Note that one of the images may be an image when the lights are off, and the other image may be an image when the lights are on. In this case, an interpolated image that complements the on-frame image is created based on the brightness of the on-frame images before and after the off-frame image and the time ratio of the photographing times of the respective images.
より詳細には、図のグラフに示したように、iをフレーム画像のインデックスとして、オフフレーム画像21の撮影時刻T1をt(i)、処理対象となる画素の輝度をY(i)、オンフレーム画像22の撮影時刻T2をt(i+1)、対応する画素の輝度をY(i+1)、オフフレーム画像23の撮影時刻T3をt(i+2)、対応する画素の輝度をY(i+2)とする。
More specifically, as shown in the graph of the drawing, i is the index of the frame image, t(i) is the shooting time T1 of the off-
時刻T2=t(i+1)における補間フレーム画像25の当該画素の輝度Y(i+1)は、オフフレーム画像21とオフフレーム画像23の当該画素の両輝度と、T1、T2、T3の時間比に基づく式(1)(図3参照)によって計算される。
式(1)は、Y(i+1)=Y(i)+[Y(i+2)-Y(i)}×{t(i+1)-t(i)}÷{t(i+2)-t(i)}によって定義されている。
このように、撮影時刻の時間間隔(第1時刻、第2時刻)を都度取得して、この時間比に基づいて、補間フレーム画像25の当該画素の輝度Y(i+1)を式(1)により算出しているため、フレーム画像を撮影する時刻がばらついていても、オンフレーム画像22の撮影時点における補間フレーム画像の輝度を正しく計算することができる。
ここで、式(1)におけるt(i+2)-t(i)が第1時間、t(i+1)-t(i)が第2時間である。
The luminance Y(i+1) of the relevant pixel of the interpolated
Formula (1) is Y(i+1)=Y(i)+[Y(i+2)-Y(i)}×{t(i+1)-t(i)}÷{t(i+2)-t(i) } is defined by
In this way, the time interval (first time, second time) of the photographing time is obtained each time, and based on this time ratio, the luminance Y(i+1) of the pixel of the interpolated
Here, t(i+2)-t(i) in equation (1) is the first time, and t(i+1)-t(i) is the second time.
脈拍数検出装置1は、式(1)による計算をオフフレーム画像21、23の全ての画素の輝度について画素ごとに行う。
脈拍数検出装置1は、以上の処理によって、各オンフレーム画像に対応する補正フレーム画像をオンフレーム画像ごとに生成する。
このように、脈拍数検出装置1が備える補間手段は、前に撮影した他方の画像の撮影時刻T1から後に撮影した他方の画像の撮影時刻T3までの第1時間と、撮影時刻T1から一方の画像の撮影時刻T2までの第2時間との時間比に基づいて、画素ごとの輝度を推定することで補間している。
The pulse
The pulse
In this manner, the interpolating means provided in the pulse
ところで、このようにオンフレーム画像の前後のオフフレーム画像を使用して補間フレーム画像を生成することにしたのは、本願発明者が、オンフレーム画像を、その前後の一方のオフフレーム画像で補正する実験を行ったところ、望ましい精度が得られなかったためである。
そこで、オンフレーム画像の前後のオフフレーム画像を用いて補間フレーム画像を生成し、生成した補間フレーム画像を用いてオンフレーム画像を補正してみたところ、著しい効果が得られたという背景がある。
By the way, the reason why the interpolated frame image is generated using the off-frame images before and after the on-frame image is that the inventor of the present application corrects the on-frame image with one of the off-frame images before and after the on-frame image. This is because the desired accuracy could not be obtained when an experiment was conducted.
Therefore, when an interpolated frame image is generated using off-frame images before and after an on-frame image, and the on-frame image is corrected using the generated interpolated frame image, a remarkable effect was obtained.
以下、脈拍数検出装置1が行う脈波検出処理について説明する。
図4は、脈拍数検出装置1が行う脈拍数検出処理の手順を説明するためのフローチャートである。
以下の処理は、CPU2が脈拍数検出プログラム12に従って行うものである。
まず、CPU2は、最低輝度基準と最高輝度基準、及び最低脈拍数基準と、最高脈拍数基準をRAM4に記憶することにより、輝度脈拍数基準を設定する(ステップ5)。
The pulse wave detection processing performed by the pulse
FIG. 4 is a flowchart for explaining the procedure of the pulse rate detection process performed by the pulse
The following processing is performed by the
First, the
脈拍数検出装置1は、輝度を、例えば、0(最低輝度)から255(最高輝度)まで段階的に計測するが、ここでは、一例として最低輝度基準を60とし最高輝度基準を255とした。
最低輝度基準と最高輝度基準は、フレーム画像から体表面に該当する画素を識別する際の基準となる輝度であって、最適値が予めパラメータとして脈拍数検出プログラム12に設定されている。
これら顔の輝度を検出するのに適した輝度基準を用いることにより、顔の輝度の検出精度を高めることができる。
The pulse
The minimum luminance reference and the maximum luminance reference are luminances that serve as references for identifying pixels corresponding to the body surface from the frame image, and optimal values are preset in the pulse
By using luminance references suitable for detecting the luminance of these faces, the detection accuracy of the luminance of the face can be improved.
また、脈拍数検出装置1は、最低脈拍数を40bpmとし、最高脈拍数を150bpmとしている。
脈拍数検出装置1は、最低・最高脈拍数によって常識的な心拍数の範囲を設定し、これから外れるものは光外乱であるとして検出結果から除外する。
これにより、例えば、前方車両の方向指示器の点滅や緊急車両の警告灯の点滅、あるいは、トンネル内の照明などによる脈拍数の誤検出を抑止することができる。
The pulse
The pulse
As a result, it is possible to prevent erroneous detection of the pulse rate due to, for example, blinking of the direction indicator of the vehicle ahead, blinking of the warning light of the emergency vehicle, or lighting in the tunnel.
次に、CPU2は、数理形態クロージング用の構成を定義するパラメータをRAM4に記憶することにより、当該数理形態クロージングの構成を定義する(ステップ10)。
後述するように、最低輝度基準と最高輝度基準の範囲にある領域を顔領域として検出すると、一般にいびつな形となる。
これを脈拍数検出や顔の大きさを検出するのに適した形状に整形するのが数理形態クロージングである。
Next, the
As will be described later, when an area between the lowest luminance reference and the highest luminance reference is detected as a face area, it generally has a distorted shape.
Mathematical morphological closing is to shape this into a shape suitable for pulse rate detection and face size detection.
次に、CPU2は、画像取得補正処理を行う(ステップ15)。
ここで、画像取得補正処理の詳細な手順について説明するが、その前に、図5を用いて画像取得補正処理の概要について説明する。
脈拍数検出装置1は、補正前のフレーム画像をインデックスi(i=1、2、3、・・・)で表し、補正後のフレーム画像をインデックスj(j=1、2、3、・・・)で表す。
Next, the
Here, a detailed procedure of the image acquisition correction process will be described, but before that, an outline of the image acquisition correction process will be described with reference to FIG.
The pulse
図5(a)に示したように、脈拍数検出装置1は、カメラ8から、補正前の元のフレーム画像F(i)と、その撮影時刻t_frame(i)を取得する。
これにより、脈拍数検出装置1は、フレーム画像F(1)、F(2)、F(3)、・・・と、これらの撮影時刻t_frame(1)、t_frame(2)、t_frame(3)、・・を取得する。
このように、脈拍数検出装置1は、フレーム画像と撮影時刻を取り込みながら、フレーム画像F(5)に達してから補正処理をスタートする。
As shown in FIG. 5(a), the pulse
Accordingly, the pulse
In this way, the pulse
まず、脈拍数検出装置1は、図5(b)の式(2)に従って、補間フレーム画像F_int(j)を作成する。
これにより、脈拍数検出装置1は、フレーム画像F(1)とフレーム画像F(3)から、フレーム画像F(2)に対応する補間フレーム画像F_int(1)を作成する。式(2)は、式(1)を脈拍数検出プログラム12の計算アルゴリズムに適合する形にしたものであって、内容は同じである。
First, the pulse
As a result, the pulse
そして、脈拍数検出装置1は、図5(b)の式(3)に従って、F(i-3)-F_int(j)なる差分により輝度を画素ごとに計算して補正後のフレーム画像F_corr(j)を生成する。
これにより、脈拍数検出装置1は、図5(a)に示したように、補正前のフレーム画像F(2)の輝度から補間フレーム画像F_int(1)の輝度を画素ごとに引いて、補正後のフレーム画像F_corr(1)を生成する。
このように、脈拍数検出装置1は、推測した輝度(F_int(j)の輝度)を減じることにより、一方の画像の撮影時における、点灯時の画像の輝度から消灯時の画像の輝度を画素ごとに減じることにより、点灯時の画像の輝度を補正する補正手段を備えている。
Then, the pulse
As a result, the pulse
In this way, the pulse
更に、脈拍数検出装置1は、t(j)=t_frame(i-3)によって、補正後のフレーム画像F_corr(j)の撮影時刻を生成する。
これにより、補正後のフレーム画像F_corr(1)の撮影時刻はt(1)=t_frame(2)となって、補正前のフレーム画像F(2)と同じになり、正しい撮影時刻を付与することができる。
Furthermore, the pulse
As a result, the photographing time of the frame image F_corr(1) after correction becomes t(1)=t_frame(2), which is the same as that of the frame image F(2) before correction. can be done.
脈拍数検出装置1は、以上の処理を、iとjをインクリメントしながら行っていき、補正後のフレーム画像F_corr(j)と、その撮影時刻t(j)を順次作成していく。
このようにして、脈拍数検出装置1は、フレーム画像F_corr(j)(j=1、2、・・・)を撮影時刻t(j)(j=1、2、・・・)で並べた、補正後の動画を生成することができる。
The pulse
In this manner, the pulse
図6は、ステップ15の画像取得補正処理の手順を説明するためのフローチャートである。
まず、脈拍数検出装置1は、インデックスi、jを1に初期化してRAM4に記憶する(ステップ305)。
FIG. 6 is a flow chart for explaining the procedure of image acquisition correction processing in
First,
次に、脈拍数検出装置1は、LED9をオフにして消灯した後(ステップ310)、カメラ8で対象者11の顔を撮影して、環境光だけで撮影した補正前のフレーム画像F(i)を取得してRAM4に記憶する(ステップ315)。
更に、脈拍数検出装置1は、補正前のフレーム画像F(i)の撮影時刻t_frame(i)をRAM4に記憶することにより記録する(ステップ320)。
Next, after turning off the LED 9 (step 310), the pulse
Further, the pulse
次に、脈拍数検出装置1は、LED9をオンにして点灯し、対象者11の顔をLED9で照明する(ステップ325)。
そして、脈拍数検出装置1は、RAM4に記憶してあるiを1だけインクリメントして更新する(ステップ330)。
Next, the pulse
Then, the
次に、脈拍数検出装置1は、カメラ8で対象者11の顔を撮影して、環境光とLED照明の下に撮影された補正前のフレーム画像F(i)を取得してRAM4に記憶する(ステップ335)。
更に、脈拍数検出装置1は、補正前のフレーム画像F(i)の撮影時刻t_frame(i)をRAM4に記憶することにより記録する(ステップ340)。
Next, the pulse
Further, the pulse
そして、脈拍数検出装置1は、iを1だけインクリメントして更新し(ステップ345)、iが3より大きいか否かを判断する(ステップ350)。
当該ループ処理の初回では、i=3であるので、iが3以下となり(ステップ350;N)、脈拍数検出装置1は、後述のステップ40に移行して、データ取得期間が終了したか否かの判断を行う(ステップ40)。
Then, the
Since i=3 at the first time of the loop processing, i becomes 3 or less (step 350; N), and the pulse
データ取得期間が終了していない場合(ステップ40;N)、脈拍数検出装置1は、ステップ310に戻ってフレーム画像の取得を続行する。
一方、データ取得期間が終了している場合(ステップ40;Y)、脈拍数検出装置1は、後述のステップ45に移行する。
If the data acquisition period has not ended (
On the other hand, if the data acquisition period has ended (
当該ループ処理の2回目以降では、iが5となって3より大きくなり(ステップ350;Y)、脈拍数検出装置1は、式(2)に従って補間フレーム画像F_int(j)を作成してRAM4に記憶する(ステップ355)。
そして、脈拍数検出装置1は、式(3)に従って補正後のフレーム画像F_corr(j)を作成してRAM4に記憶すると共に(ステップ360)、当該補正後のフレーム画像F_corr(j)の撮影時刻t(j)=t_frame(i-3)を作成し、これを補正後のフレーム画像F_corr(j)と対応させて(紐付けて)RAM4に記憶する(ステップ370)。
このようにして、脈拍数検出装置1は、補正後のフレーム画像と、当該フレーム画像の撮影時刻を作成すると、メインルーチンにリターンする。
From the second loop processing onward, i becomes 5 and becomes larger than 3 (step 350; Y), and the pulse
Then, the pulse
In this manner, the pulse
以下、図4の続きの処理について説明するが、以下の処理では、補正後のフレーム画像F_corr(j)と、当該フレーム画像の撮影時刻t(j)を用いて処理を行う。
図4に戻り、CPU2は、RAM4に記憶したフレーム画像において顔を検出して、検出した顔の位置と大きさをRAM4に記憶する(ステップ25)。
より詳細には、図9のフレーム画像31に示したように、CPU2は、矩形32によって顔を検出する。顔の検出アルゴリズムは、顔検出技術で一般的に用いられているものを使用する。
The following process will be described, which follows FIG. 4. In the following process, the corrected frame image F_corr(j) and the photographing time t(j) of the frame image are used.
Returning to FIG. 4, the
More specifically, the
図4に戻り、次に、CPU2は、顔を検出できたか否かを判断する(ステップ30)。
顔を検出できた場合(ステップ30;Y)、CPU2は、脈拍数の検出に必要なデータを取得する後述のデータ取得処理を行う(ステップ35)。
一方、顔を検出できなかった場合(ステップ30;N)、CPU2は、例えば、顔を検出できなかった旨を示すフラグをRAM4に立てるなどして顔を検出できなかった状況を記録する(ステップ60)。
Returning to FIG. 4, next, the
If the face can be detected (
On the other hand, if the face could not be detected (
CPU2は、データ取得処理を行った後(ステップ35)、RAM4に記憶したインデックスjを1だけインクリメントし(ステップ37)、その後、データを取得するデータ取得期間が終了したか否かを判断する(ステップ40)。
データ取得期間は、脈拍数検出に用いる動画の長さを規定する期間であり、本実施の形態では、一例として、30秒間の動画から脈拍数を検出する。
After performing the data acquisition process (step 35), the
The data acquisition period is a period that defines the length of the moving image used for detecting the pulse rate. In this embodiment, as an example, the pulse rate is detected from a 30-second moving image.
データ取得期間が終了していない場合(ステップ40;N)、CPU2は、ステップ15に戻って、画像取得補正処理を続行する。
一方、データ取得期間が終了した場合(ステップ40;Y)、又は顔を検出できなかった状況を記録した後(ステップ60)、CPU2は、RAM4にアクセスしてステップ35で取得したデータがあるか否かを判断する(ステップ45)。
より詳細には、CPU2は、RAM4にアクセスして、ステップ35で取得した輝度信号があるか否かを確認することにより当該判断を行う。
If the data acquisition period has not ended (
On the other hand, when the data acquisition period has ended (
More specifically, the
RAM4にデータがない場合(ステップ45;N)、これはステップ30で顔が検出できなかった場合であり、CPU2は、RAM4から顔を検出できなかった状況の記録を読み取って不測定情報(測定が失敗した旨を示す情報)を作成し、これを表示部5や出力部7に出力して(ステップ65)、処理を終了する。
If there is no data in RAM 4 (
一方、RAM4にデータがある場合(ステップ45;Y)、CPU2は、後述の脈拍数検出処理を行って、当該検出した脈拍数をRAM4に記憶する(ステップ50)。
そして、CPU2はRAM4に記憶した脈拍数がRAM4に設定した最低・最高脈拍数の範囲内にある場合、これを表示部5や出力部7に出力して(ステップ55)、処理を終了する。
On the other hand, if there is data in the RAM 4 (
If the pulse rate stored in
図7は、図4のステップ35で示したデータ取得処理の手順を説明するためのフローチャートである。
まず、CPU2は、図4のステップ25で検出した顔のうち、最も大きい顔を処理対象として選択し、選択結果(即ち、選択した顔を他の顔から識別する情報)をRAM4に記憶する(ステップ105)。
FIG. 7 is a flow chart for explaining the procedure of the data acquisition process shown in
First, the
これは、対象者11の周囲に第三者が存在して、これら第三者の顔も認識してしまった場合に対象者11の顔(カメラ8の前に位置するため最も大きい)を選択するものである。
特に、脈拍数検出装置1を車両の運転者に対して使用する場合、運転席に座っている人物の顔が最も大きく写るため、この処理によって運転者の顔を選択することができる。
This selects the face of the target person 11 (largest because it is located in front of the camera 8) when there are third parties around the
In particular, when the pulse
次に、CPU2は、選択した顔に対して楕円マスクを作成して、当該楕円マスクを特定するデータをRAM4に記憶する(ステップ110)。
ここで、当該楕円マスクを特定するデータは、楕円マスクの形状やフレーム画像における楕円マスクの位置などを特定する座標値などのパラメータで構成されている。
以下では、このような処理を、楕円マスクをRAM4に記憶するなどと略記することにする。
Next, the
Here, the data specifying the elliptical mask is composed of parameters such as coordinate values specifying the shape of the elliptical mask and the position of the elliptical mask in the frame image.
In the following, such processing is abbreviated as storing the elliptical mask in the
図9のフレーム画像35は、矩形32によって認識した対象者11の顔に対して楕円マスク36を作成したところを示している。
このように、CPU2は、対象者11の顔を内部に包含するように、当該顔を含む楕円領域を設定することにより楕円マスク36を設定する。
なお、本実施の形態では、一例として楕円マスクを用いたが、矩形などの他の形状のマスクを用いることも可能である。
A
Thus, the
In this embodiment, an elliptical mask is used as an example, but it is also possible to use a mask of another shape such as a rectangle.
CPU2は、設定した楕円マスク36の内部にて顔の領域を特定し、当該領域の輝度から脈拍数を検出する。この楕円マスク36によって脈拍数を検出する領域を限定すると、良好に脈拍数検出が行えることは本願発明者が試行錯誤の末発見したものである。
The
図7に戻り、次に、CPU2は、フレーム画像から輝度マスクを作成してRAM4に記憶する(ステップ115)。
輝度マスクは、フレーム画像において、画素輝度が最低輝度基準以上かつ最高輝度基準以下となる画素で構成された領域であり、CPU2は、フレーム画像の各画素の輝度を調べて輝度マスクを作成する。
Returning to FIG. 7, next, the
A luminance mask is an area composed of pixels whose pixel luminance is equal to or higher than the minimum luminance reference and equal to or lower than the maximum luminance reference in the frame image.
次には、CPU2は、RAM4に記憶した楕円マスクと輝度マスクを用いて合計マスクを取得し、当該合計マスクをRAM4に記憶する(ステップ120)。
合計マスクは、輝度マスクのうち、楕円マスクに含まれている部分であり、CPU2は、楕円マスクと輝度マスクの論理積をとってその値が真となる画素によって合計マスクを作成する。
Next, the
The total mask is a portion of the luminance mask that is included in the elliptical mask, and the
次に、CPU2は、合計マスクを塊にまとめ(ステップ125)、まとめた塊のうち、最も大きい塊を選択し、最も大きい塊を新たな合計マスクとしてRAM4に記憶する(ステップ130)。
例えば、楕円マスクの位置には、分断された顔が写っている場合や、別のものが写っている場合がある。即ち、顔の中心部分に対して耳や額などの一部が髪の毛で分断されて写っている場合や、少し離れた位置に手が写っている場合などが存在する。このような場合、顔の中心部分、耳、額、手などが別々の合計マスクとして認識されてしまう。
そこで、各合計マスクの周縁相互の距離が所定閾値以下である一群の合計マスクを、1つの合計マスクとして扱うためにステップ125で塊にまとめている。
Next, the
For example, at the position of the elliptical mask, a fragmented face may appear or another object may appear. That is, there are cases where a part of the face such as the ear or the forehead is parted by hair, or where the hand is shown slightly away from the central part of the face. In such a case, the center of the face, ears, forehead, hands, etc. would be recognized as separate total masks.
Therefore, a group of summed masks in which the distance between the perimeters of each summed mask is less than or equal to a predetermined threshold is clustered in step 125 to be treated as one summed mask.
その一方で、顔から少し離れた位置に存在する手の合計マスクの塊を除外して、顔の合計マスクの塊を使用するために、ステップ130で最も大きい塊を選択している。
このようにCPU2は、合計マスクを塊にまとめてグループ化することにより顔や手などの部位ごとの塊にまとめ、最も大きい塊が顔である可能性が高いので、最も大きい合計マスクを選択している。
On the other hand, we select the largest mass in step 130 to use the face sum mask mass, excluding the hand sum mask mass that lies at a short distance from the face.
In this way, the
なお、手などの顔以外の体表面からも脈拍数は検出できるが、脈拍数検出装置1は、顔の大きさによって照明と顔との距離を間接的に計測して輝度を補正するため、顔に他の部位が混入すると、顔の大きさが実際より大きくなって輝度補正が困難となる。
そこで、最も大きい合計マスクを選択することにより、このような問題を回避することができる。
Although the pulse rate can also be detected from a body surface other than the face, such as the hand, the pulse
So, by choosing the largest total mask, we can avoid such problems.
次に、CPU2は、RAM4に記憶した最も大きい合計マスクからBlobマスクを作成してRAM4に記憶し(ステップ135)、更にBlobマスクからBlobFillを作成してRAM4に記憶する(ステップ140)。
BlobマスクとBlobFillの内容は、以下の通りである。
Next,
The contents of Blob Mask and BlobFill are as follows.
図9に示した合計マスク41は、ステップ130でCPU2がRAM4に記憶した最も大きい合計マスクである。一般に合計マスクはいびつな形をしている。
そこで、CPU2は、ステップ10(図4)で記憶した数理形態クロージング用の構成を定義するパラメータをRAM4から読み出し、これに基づいて合計マスク41を脈拍数検出に適したなめらかな形状42に整形してBlobマスク44を作成する。CPU2は、Blobマスク44を脈拍数の検出に用いる。
Therefore, the
また、Blobマスク44では、目や口などの部分でBlobマスク44に含まれない閉領域が形成される場合がある。
これら閉領域は、顔の面積に含まれるため、CPU2は、これらの閉領域をマスクに含めたBlobFill45を作成し、これを顔の大きさの判定に用いる。
CPU2は、脈拍数の検出にはBlobマスク44を用い、顔の大きさの検出にはBlobFill45を用いる。
Also, in the
Since these closed areas are included in the area of the face, the
The
図7に戻り、CPU2は、Blobマスク(ステップ135)とBlobFill(ステップ140)を作成した後、評価画像を作成してRAM4に記憶する(ステップ145)。
評価画像は、フレーム画像のうち、脈拍数の検出に用いる部分の領域を構成する画像であって、CPU2は、フレーム画像からBlobマスク44に該当する領域をフレーム画像から抜き出すことにより評価画像を作成する。
Returning to FIG. 7, after creating the Blob mask (step 135) and BlobFill (step 140), the
The evaluation image is an image that constitutes the region of the portion used for detecting the pulse rate in the frame image, and the
より具体的には、CPU2は、Blobマスクとフレーム画像によって論理積を計算し、真となる部分の画素を抽出することによりフレーム画像からBlobマスクに該当する部分を取り出して評価画像とする。
このように、Blobマスクは、フレーム画像から評価画像を抜き出す抜き型のような働きをしており、CPU2は、評価画像を構成する画素の輝度から脈拍数を検出する。
More specifically, the
Thus, the Blob mask functions like a die for extracting the evaluation image from the frame image, and the
次に、CPU2は、RAM4に記憶した評価画像を構成する各画素の輝度の値を合計し、当該輝度の合計値をRAM4に記憶し(ステップ150)、更に、RAM4に記憶してあるBlobマスクの画素数を取得する(ステップ155)。
そして、CPU2は、RAM4に記憶した輝度の合計値をRAM4に記憶したBlobマスクの画素数で割って、評価画像の輝度の平均値を計算することにより補正前(顔がLED9に対して前後移動することによる輝度の変化の輝度補正)の輝度信号Rを算出してRAM4に記憶する(ステップ160)。
Next, the
Then, the
次に、CPU2は、sROI(size of Region of Interest)を算出してRAM4に記憶し(ステップ165)、メインルーチンにリターンする。
sROIは、フレーム画像に対する測定領域(顔の大きさ)の割合であって、CPU2は、BlobFillの画素数をフレーム画像の画素数で除することによりsROIを計算する。
Next, the
The sROI is the ratio of the measurement area (face size) to the frame image, and the
sROIは、フレーム画像における顔の大きさの割合を%で表しており、対象者11の顔の前後位置を表している(sROIが大きいほどカメラ8とLED9から顔までの距離が近い)。
後述するように、CPU2は、sROIの値によって補正前の輝度信号Rを補正し(上記の輝度補正)、補正後の輝度信号R′を生成する。
なお、sROIは、フレーム画像に対する測定領域の割合であるところ、フレーム画像の画素数は固定されているため、評価画像の画素数をsROIとすることもできる。
The sROI represents the ratio of the size of the face in the frame image in %, and represents the front and rear positions of the face of the subject 11 (the larger the sROI, the closer the distance from the
As will be described later, the
Note that the sROI is the ratio of the measurement area to the frame image, but since the number of pixels in the frame image is fixed, the number of pixels in the evaluation image can also be used as the sROI.
図8は、図4のステップ50で示した脈拍数検出処理の手順を説明するためのフローチャートである。
まず、CPU2は、RAM4からデータ取得期間(30秒間)の間に取得した補正前の輝度信号RとsROIを読み出す。
そして、CPU2は、後述するように最小二乗法を用いて輝度信号RとsROIの関係式を算出してRAM4に記憶する(ステップ205)。
FIG. 8 is a flow chart for explaining the procedure of the pulse rate detection process shown in
First, the
Then, the
次に、CPU2は、sROIを当該関係式に適用して輝度信号Rを補正することにより補正後の輝度信号R′を算出して、当該輝度信号R′をRAM4に記憶する(ステップ210)。
そして、CPU2は、輝度信号R′をフーリエ変換して輝度信号R′の周波数成分を算出し、これをRAM4に記憶する(ステップ215)。
Next, the
Then, the
次に、CPU2は、RAM4に記憶した輝度信号R′の周波数成分において最大ピークを特定する(ステップ220)。
そして、CPU2は、当該最大ピークの周波数fを特定し、これを対象者11の脈拍数としてRAM4に記憶して(ステップ225)、メインルーチンにリターンする。
Next,
Then, the
このように、脈拍数検出装置1は、時系列的に連続する、環境光の光外乱を補正した点灯時の画像(オンフレーム画像)の輝度の変化から対象者の脈拍数(最大ピークの周波数)を取得する脈拍数取得手段を備えている。
In this way, the pulse
図10は、図8のステップ205に係る輝度信号RとsROIの関係式の算出方法を説明するための図である。
RAM4は、30秒分の輝度信号Rを記憶しており、これを時間の順にR(1)、R(2)、R(3)、・・・、R(i)、・・・とする。
同様にRAM4が記憶するsROIも時間の順に、sROI(1)、sROI(2)、sROI(3)、・・・、sROI(i)、・・・とする。
輝度信号R(i)とsROI(i)は、同じフレーム画像から取得するため、時間的に対応しており、同時刻での値である。
FIG. 10 is a diagram for explaining a method of calculating the relational expression between the luminance signal R and the sROI in step 205 of FIG.
The
Similarly, the sROIs stored in the
Since the luminance signals R(i) and sROI(i) are acquired from the same frame image, they correspond temporally and are values at the same time.
ここで、図10(a)の式(11)と式(12)で示したようにyi=R(i)、xi=sROI(i)とおいて、式(13)で示したyi=β0+β1×xiなる線形の関係が成り立つと仮定すると、式(14)が成立する。求めたいのはβ0とβ1であり、式(14)は、最小二乗法の行列表現となっている。 Here, as shown in formulas (11) and (12) in FIG. Assuming that the linear relationship xi holds, Equation (14) holds. What we want to find are β0 and β1, and Equation (14) is a matrix representation of the least squares method.
式(14)を式(15)のようにY=X×Bとおくと、式(16)によってBについて解くことができる。式中の上付き文字で表したTと-1は、それぞれ転置行列と逆行列を意味する。
CPU2は、RAM4に記憶した輝度信号RとsROIからX、Yを生成し、式(16)を計算することにより、β0とβ1を算出する。これによって、輝度信号RとsROIの関係式yi=β0+β1×xiが定まる(式(13))。
If Y=X×B is set in equation (14) as in equation (15), B can be solved by equation (16). The superscripts T and −1 in the formula mean the transposed matrix and the inverse matrix, respectively.
The
図10(b)の散布図51は、x軸(横軸)をsROI、y軸(縦軸)を輝度信号Rとし、(xi、yi)をプロットした図である。
これらのデータを式(13)によって直線近似した直線52(回帰直線)がRとsROIの関係式を規定しており、直線52のy切片がβ0、傾きがβ1となる。
A scatter diagram 51 in FIG. 10B is a diagram plotting (xi, yi) with sROI on the x-axis (horizontal axis) and luminance signal R on the y-axis (vertical axis).
A straight line 52 (regression straight line) obtained by linearly approximating these data by Equation (13) defines the relational expression between R and sROI, and the y-intercept of the
図11は、図8のステップ210に係る輝度信号Rの補正式を説明するための図である。
yiとxiは、図10と同じである。ここで、式(17)に示したように、補正後の輝度信号であるR(1)′、R(2)′、・・・、R(i)′、・・・をyi′と表すと、式(18)が成立し、これが輝度信号Rの補正式である。これを行列で表すと式(19)となり、これにyiとxiを代入するとyi′、即ち、補正後の輝度信号R′を計算することができる。
この式は、sROI(フレーム画像に写った顔の大きさ)によって顔の前後位置を推測し、これによって顔の前後移動による輝度の変化を補正するものである。
FIG. 11 is a diagram for explaining the correction formula for the luminance signal R according to step 210 of FIG.
yi and xi are the same as in FIG. Here, R(1)′, R(2)′, . . . , R(i)′, . Then, the equation (18) holds, which is the correction equation for the luminance signal R. Representing this in a matrix gives equation (19), and substituting yi and xi into this, yi', that is, the luminance signal R' after correction can be calculated.
This formula estimates the front and back position of the face from the sROI (the size of the face captured in the frame image), and corrects the change in brightness caused by the front and back movement of the face.
図12は、実験結果を説明するための図である。
図12(a)は、LED9の点滅による補正がない場合の輝度(輝度信号R′)の30秒間の時間変化を示している。
図12(b)は、これをFFTにて周波数領域に変換したものである。本来なら、70[bpm]付近に脈拍によるピークが現れるはずであるが、ノイズに埋もれていて検出することができない。
FIG. 12 is a diagram for explaining experimental results.
FIG. 12(a) shows the time change of the luminance (luminance signal R') for 30 seconds when there is no correction by blinking of the LED 9. FIG.
FIG. 12(b) is obtained by transforming this into the frequency domain by FFT. Normally, a pulse peak should appear around 70 [bpm], but it is buried in noise and cannot be detected.
図12(c)は、LED9を点滅させて輝度を補正した場合の輝度(輝度信号R′)の30秒間の時間変化を示している。
図12(d)は、これをFFTにて周波数領域に変換したものである。70[bpm]付近に、脈波による脈拍数ピーク55が明確に現れている。
このように、LED9を点滅させて、環境光による光外乱を低減すると、光外乱によるノイズに埋もれていた脈波を検出して、これから脈拍数を計算することができる。
FIG. 12(c) shows the time change of luminance (luminance signal R') for 30 seconds when the luminance is corrected by blinking the LED 9. FIG.
FIG. 12(d) is a result of transforming this into the frequency domain by FFT. A
In this way, by blinking the LED 9 to reduce the optical disturbance caused by the ambient light, the pulse wave buried in the noise caused by the optical disturbance can be detected and the pulse rate can be calculated therefrom.
以上に説明した実施の形態によれば、次のような効果を得ることができる。
(1)環境光による体表面の輝度の変化をキャンセルして、脈波による輝度変化を取得することができる。
(2)環境光による光外乱を低減して、体表面の輝度変化から脈拍数を検出することができる。
(3)LED9を点滅させることにより、LED9の消灯時のフレーム画像からLED9の点灯時における環境光の輝度を推測することができる。
(4)更に、顔の前後移動による輝度の変化を補正することができる。
According to the embodiment described above, the following effects can be obtained.
(1) It is possible to cancel changes in brightness of the body surface due to ambient light and acquire changes in brightness due to pulse waves.
(2) The pulse rate can be detected from the change in brightness of the body surface with reduced optical disturbance due to ambient light.
(3) By blinking the LED 9, the brightness of the ambient light when the LED 9 is on can be estimated from the frame image when the LED 9 is off.
(4) Further, it is possible to correct the change in brightness due to the forward and backward movement of the face.
1 脈拍数検出装置
2 CPU
3 ROM
4 RAM
5 表示部
6 入力部
7 出力部
8 カメラ
9 LED
10 記憶部
11 対象者
12 脈拍数検出プログラム
17 皮膚表面
18 血管
21、23 オフフレーム画像
22 オンフレーム画像
25 補間フレーム画像
31、35 フレーム画像
32 矩形
36 楕円マスク
41 合計マスク
42 形状
44 Blobマスク
45 BlobFill
51 散布図
52 直線
55 脈拍数ピーク
1
3 ROMs
4 RAM
5
10
51 Scatter diagram 52
Claims (6)
変動する環境光の下、前記照明された体表面を時系列的に連続する画像によって動画撮影する撮影手段と、
前記光源が点灯している時に撮影した点灯時の画像と、前記光源が消灯している時に撮影した消灯時の画像のうちの、一方の画像の撮影時における他方の画像を、当該一方の画像の前後に撮影した他方の画像から推測することで補間する補間手段と、
前記補間手段で補間した画像を用いて、前記一方の画像の撮影時における、点灯時の画像の輝度から消灯時の画像の輝度を画素ごとに減じることにより、前記点灯時の画像の輝度を補正する補正手段と、
時系列的に連続する前記補正した点灯時の画像の輝度の変化から前記対象者の脈拍数を取得する脈拍数取得手段と、
前記取得した脈拍数を出力する出力手段と、
を具備したことを特徴とする脈拍数検出装置。 illuminating means for illuminating the subject's body surface with a blinking light source;
an imaging means for capturing a moving image of the illuminated body surface in chronological order under varying environmental light;
An image taken when the light source is on and an image taken when the light source is off, and the other image at the time of shooting of the other image is the one image. an interpolating means for interpolating by inferring from the other image taken before and after;
Using the image interpolated by the interpolating means, the luminance of the image when the light is on is corrected by subtracting the luminance of the image when the light is off from the luminance of the image when the one image is captured, pixel by pixel. a corrective means for
pulse rate acquisition means for acquiring the pulse rate of the subject from changes in brightness of the corrected image at the time of lighting that are continuous in time series;
output means for outputting the acquired pulse rate;
A pulse rate detection device comprising:
ことを特徴とする請求項1、又は請求項2に記載の脈拍数検出装置。 The illuminating means illuminates the body surface by flickering infrared rays emitted by the light source, and the photographing means photographs a moving image using an infrared image reflected from the body surface.
The pulse rate detection device according to claim 1 or 2, characterized in that:
ことを特徴とする請求項2、又は請求項3に記載の脈拍数検出装置。 The lighting means blinks an LED as the light source,
4. The pulse rate detection device according to claim 2 or 3, characterized in that:
ことを特徴とする請求項1、請求項2、請求項3、又は請求項4に記載の脈拍数検出装置 The interpolation means selects a first time from the photographing time T1 of the other image photographed before to the photographing time T3 of the other image photographed later, and from the photographing time T1 to the photographing time T2 of the one image. interpolate by estimating the luminance for each pixel based on the time ratio of the second time of
The pulse rate detection device according to claim 1, claim 2, claim 3, or claim 4, characterized in that
前記光源が点灯している時に撮影した点灯時の画像と、前記光源が消灯している時に撮影した消灯時の画像のうちの、一方の画像の撮影時における他方の画像を、当該一方の画像の前後に撮影した他方の画像からすることで補間する補間機能と、
前記補間機能で補間した画像を用いて、前記一方の画像の撮影時における、点灯時の画像の輝度から消灯時の画像の輝度を画素ごとに減じることにより、前記点灯時の画像の輝度を補正する補正機能と、
時系列的に連続する前記補正した点灯時の画像の輝度の変化から前記対象者の脈拍数を取得する脈拍数取得機能と、
前記取得した脈拍数を出力する出力機能と、
をコンピュータで実現する脈拍数検出プログラム。 an image acquisition function for acquiring images of the subject's body surface illuminated by a blinking light source under fluctuating environmental light, using successive images in time series;
An image taken when the light source is on and an image taken when the light source is off, and the other image at the time of shooting of the other image is the one image. An interpolation function that interpolates from the other image taken before and after,
Using the image interpolated by the interpolation function, the brightness of the image when the one image is captured is subtracted from the brightness of the image when the light is on for each pixel, thereby correcting the brightness of the image when the light is on. and a correction function to
a pulse rate acquisition function for acquiring the pulse rate of the subject from changes in luminance of the corrected image at the time of lighting that are consecutive in time series;
an output function for outputting the acquired pulse rate;
A pulse rate detection program that realizes on a computer.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019066380A JP7161704B2 (en) | 2019-03-29 | 2019-03-29 | Pulse rate detector and pulse rate detection program |
PCT/JP2020/014361 WO2020203913A1 (en) | 2019-03-29 | 2020-03-27 | Pulse rate detection device and pulse rate detection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019066380A JP7161704B2 (en) | 2019-03-29 | 2019-03-29 | Pulse rate detector and pulse rate detection program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020162871A JP2020162871A (en) | 2020-10-08 |
JP7161704B2 true JP7161704B2 (en) | 2022-10-27 |
Family
ID=72667708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019066380A Ceased JP7161704B2 (en) | 2019-03-29 | 2019-03-29 | Pulse rate detector and pulse rate detection program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7161704B2 (en) |
WO (1) | WO2020203913A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023171337A1 (en) * | 2022-03-11 | 2023-09-14 | ソニーグループ株式会社 | Heart rate measurement system, heart rate measurement method, and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014128273A1 (en) | 2013-02-21 | 2014-08-28 | Iee International Electronics & Engineering S.A. | Imaging device based occupant monitoring system supporting multiple functions |
JP2015192852A (en) | 2014-03-25 | 2015-11-05 | キヤノン株式会社 | imaging device |
JP2017507724A (en) | 2014-03-06 | 2017-03-23 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Physiological characteristics determination device |
JP2017104491A (en) | 2015-12-07 | 2017-06-15 | パナソニック株式会社 | Living body information measurement device, living body information measurement method, and program |
-
2019
- 2019-03-29 JP JP2019066380A patent/JP7161704B2/en not_active Ceased
-
2020
- 2020-03-27 WO PCT/JP2020/014361 patent/WO2020203913A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014128273A1 (en) | 2013-02-21 | 2014-08-28 | Iee International Electronics & Engineering S.A. | Imaging device based occupant monitoring system supporting multiple functions |
JP2017507724A (en) | 2014-03-06 | 2017-03-23 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Physiological characteristics determination device |
JP2015192852A (en) | 2014-03-25 | 2015-11-05 | キヤノン株式会社 | imaging device |
JP2017104491A (en) | 2015-12-07 | 2017-06-15 | パナソニック株式会社 | Living body information measurement device, living body information measurement method, and program |
Also Published As
Publication number | Publication date |
---|---|
WO2020203913A1 (en) | 2020-10-08 |
JP2020162871A (en) | 2020-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020203915A1 (en) | Pulse wave detection device, and pulse wave detection program | |
JP4625544B2 (en) | Driving attention amount judging device, method and program | |
Ji et al. | Real-time eye, gaze, and face pose tracking for monitoring driver vigilance | |
US9117124B2 (en) | Driving attention amount determination device, method, and computer program | |
JP2017536589A (en) | Device, method and computer program for detecting instantaneous sleep | |
JP5109922B2 (en) | Driver monitoring device and program for driver monitoring device | |
JP5923180B2 (en) | Biological information measuring device and input device using the same | |
JP7204077B2 (en) | Pulse wave detection device, vehicle device, and pulse wave detection program | |
JP5177011B2 (en) | Eye opening degree identification device | |
JP6201956B2 (en) | Gaze detection device and gaze detection method | |
JP2017500111A (en) | Sleep monitoring system and method | |
JP7161704B2 (en) | Pulse rate detector and pulse rate detection program | |
KR101272811B1 (en) | System and method for interface | |
Parmar et al. | Drowsy driver detection system | |
JP3127760B2 (en) | Driver arousal level detection device | |
Coetzer et al. | Driver fatigue detection: A survey | |
JP6380178B2 (en) | Diagnosis support apparatus and diagnosis support method | |
JP6135550B2 (en) | Diagnosis support apparatus and diagnosis support method | |
JP6593133B2 (en) | Diagnosis support apparatus and diagnosis support method | |
JP2009078006A (en) | Sleepy state determining device | |
JP7174358B2 (en) | Pulse rate detector and pulse rate detection program | |
JP7209947B2 (en) | Pulse rate detector and pulse rate detection program | |
Wang et al. | Extracting driver's facial features during driving | |
JP6689470B1 (en) | Information processing apparatus, program, and information processing method | |
WO2020203914A1 (en) | Pulse wave detection device and pulse wave detection program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210728 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220916 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220929 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7161704 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RVOP | Cancellation by post-grant opposition |