JP6547160B2 - 脈波検出装置、及び脈波検出プログラム - Google Patents
脈波検出装置、及び脈波検出プログラム Download PDFInfo
- Publication number
- JP6547160B2 JP6547160B2 JP2017510146A JP2017510146A JP6547160B2 JP 6547160 B2 JP6547160 B2 JP 6547160B2 JP 2017510146 A JP2017510146 A JP 2017510146A JP 2017510146 A JP2017510146 A JP 2017510146A JP 6547160 B2 JP6547160 B2 JP 6547160B2
- Authority
- JP
- Japan
- Prior art keywords
- pulse wave
- skin
- component
- wave detection
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 206
- 230000008859 change Effects 0.000 claims description 103
- 238000012545 processing Methods 0.000 claims description 90
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 230000003595 spectral effect Effects 0.000 claims description 15
- 230000002123 temporal effect Effects 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 description 125
- 230000008569 process Effects 0.000 description 91
- 210000001508 eye Anatomy 0.000 description 84
- 238000012937 correction Methods 0.000 description 58
- 238000011156 evaluation Methods 0.000 description 48
- 101100328887 Caenorhabditis elegans col-34 gene Proteins 0.000 description 42
- 230000000875 corresponding effect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 206010041349 Somnolence Diseases 0.000 description 15
- 238000013480 data collection Methods 0.000 description 13
- 230000007423 decrease Effects 0.000 description 10
- 230000003247 decreasing effect Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 210000004209 hair Anatomy 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 230000004962 physiological condition Effects 0.000 description 3
- 230000036278 prepulse Effects 0.000 description 3
- 241001469893 Oxyzygonectes dovii Species 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000037321 sleepiness Effects 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 206010073261 Ovarian theca cell tumour Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000005037 parasympathetic nerve Anatomy 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 208000001644 thecoma Diseases 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0013—Medical image data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
- A61B5/14552—Details of sensors specially adapted therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30076—Plethysmography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Optics & Photonics (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
このような技術として、非特許文献のマサチューセッツ工科大学で行われた研究がある。
この技術は、ウェブカメラで被験者の顔を動画撮影し、その動画をラップトップコンピュータで撮影後に(即ち、リアルタイム処理ではなく、後からの処理にて)解析して脈波を検出したものである。
本研究は、従来レーザやドップラレーダなどの特殊な高価な装置を用いて脈波を検出していたのに対して、安価な汎用機器と簡便な方法を用いて脈波の非接触検出を実現したものである。
まず、図16(a)に示したように、動画の画面に矩形形状の評価領域101を設定して、被験者の顔が評価領域101に入るように着席してもらい、静止した状態の顔を動画で撮影する。実験は、屋内で行われ、窓から入る日光が光源として用いられる。
得られた動画をR成分、G成分、B成分の各成分に分離して平均すると図16(b)に示したように脈波がのった変動が得られる。
これら各成分には、ヘモグロビンの光の吸収特性などに応じて重みづけされた脈波信号が含まれており、これに対してICA(Independent Component Analysis;独立成分分析)などを行うと脈波が得られる。
例えば、脈波検出の対象者が動いた場合、対象者の顔が評価領域101の外に出てしまい、脈拍の検出ができなくなる。
更に、顔の外の背景102や髪、目、眉毛、口など、脈拍の検出できない領域も評価領域101に含まれるため、検出精度が低下するという問題もあった。
(2)請求項2に記載の発明では、前記対象者の少なくとも皮膚を含む領域は、前記対象者の顔を含んでいることを特徴とする請求項1に記載の脈波検出装置を提供する。
(3)請求項3に記載の発明では、前記対象者の皮膚の部分を特定するための基準となる色空間成分である基準成分を登録する基準成分登録手段を備え、前記皮膚部分特定手段は、前記動画において所定の色空間成分が前記登録した基準成分に対応する部分を前記皮膚の部分として特定することを特徴とする請求項1に記載の脈波検出装置を提供する。
(4)請求項4に記載の発明では、前記皮膚部分特定手段が前記皮膚の部分を特定するために用いる色空間成分は、前記脈波取得手段が前記脈波を取得するために用いる色空間成分と異なる色空間成分である、ことを特徴とする請求項1に記載の脈波検出装置を提供する。
(5)請求項5に記載の発明では、前記皮膚部分特定手段が前記皮膚の部分を特定するために用いる色空間成分は、色成分(H)、彩度成分(S)、及び明度成分(V)から成るHSV色空間の前記色成分(H)である、ことを特徴とする請求項4に記載の脈波検出装置を提供する。
(6)請求項6に記載の発明では、動画の色空間を変換する色空間変換手段を備え、前記皮膚部分特定手段と前記脈波取得手段は、前記取得した動画を前記色空間変換手段で変換した色空間にて色空間成分を取得することを特徴とする請求項1から請求項5までのうちの何れか1の請求項に記載の脈波検出装置を提供する。
(7)請求項7に記載の発明では、前記対象者の顔を撮影した顔画像を取得する顔画像取得手段と、前記取得した顔画像において、顔認識処理により、前記顔の皮膚が露出した所定の領域を特定する領域特定手段を備え、前記基準成分登録手段は、前記特定した領域の色空間成分を前記基準成分として登録することを特徴とする請求項3に記載の脈波検出装置を提供する。
(8)請求項8に記載の発明では、前記所定の領域は、前記対象者の鼻の領域であることを特徴とする請求項7に記載の脈波検出装置を提供する。
(9)請求項9に記載の発明では、前記基準成分登録手段は、前記特定した領域における色空間成分の分布に対して所定の統計処理を施した値を前記基準成分として登録することを特徴とする請求項7、又は請求項8に記載の脈波検出装置を提供する。
(10)請求項10に記載の発明では、前記皮膚部分特定手段は、前記動画の画素単位で前記皮膚の部分を特定することを特徴とする請求項1から請求項9までのうちの何れか1の請求項に記載の脈波検出装置を提供する。
(11)請求項11に記載の発明では、前記対象者は、輸送機器の搭乗者であって、前記出力した脈波を用いて前記搭乗者の体調を監視する監視手段を具備したことを特徴とする請求項1から請求項10までのうちの何れか1の請求項に記載の脈波検出装置を提供する。
(12)請求項12に記載の発明では、装置から離れた位置の対象者における、少なくとも皮膚を含む領域を非接触状態で撮影した動画を取得する動画取得機能と、前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定機能と、前記特定した皮膚の部分における明度成分(Y)、及び色度成分(I、Q)から成るYIQ色空間の前記色度成分(Q)の時間変化から前記対象者の脈波を取得する脈波取得機能と、前記取得した脈波を出力する出力機能と、をコンピュータで実現する脈波検出プログラムを提供する。
(13)請求項13に記載の発明では、前記皮膚部分特定手段は、HSV色空間の前記色成分(H)で皮膚部分候補を特定し、当該皮膚部分候補を彩度成分(S)で絞込むことで前記皮膚の部分を特定する、ことを特徴とする請求項5に記載の脈波検出装置を提供する。
(14)請求項14に記載の発明では、前記皮膚部分特定手段は、前記取得した動画を構成するフレーム画像毎に前記皮膚の部分を特定し、前記脈波取得手段は、前記フレーム画像毎に特定された皮膚の部分に対応する前記色度成分(Q)の時間変化から前記脈波を取得する、ことを特徴とする請求項13に記載の脈波検出装置を提供する。
(15)請求項15に記載の発明では、前記皮膚部分特定手段は、予め登録された前記彩度成分(S)の下限値Sloと上限値Shiを使用して絞り込む、ことを特徴とする請求項14に記載の脈波検出装置を提供する。
(16)請求項16に記載の発明では、前記皮膚部分特定手段は、前記予め登録された下限値Sloと上限値Shiを初期値とし、前記特定した皮膚部分候補から顔領域を推定し、当該顔領域の画素数が所定の閾値P2未満である場合、前記下限値Sloと上限値Shiの範囲を広げ、前記広げた後の下限値と上限値とにより、前記皮膚部分候補の絞込みを再度行い、前記顔領域の画素数が所定の閾値P2以上になるまで前記再度の絞込みを繰り返す、ことを特徴とする請求項15に記載の脈波検出装置を提供する。
(17)請求項17に記載の発明では、前記皮膚部分特定手段は、前記推定した顔領域以外の画素数が所定の閾値P1より多い場合、前記下限値Sloと上限値Shiの範囲を狭め、前記狭めた後の下限値と上限値とにより、前記皮膚部分候補の絞込みを再度行い、前記顔領域以外の画素数が所定の閾値P1以下になるまで前記再度の絞込みを繰り返す、ことを特徴とする請求項16に記載の脈波検出装置を提供する。
(18)請求項18に記載の発明では、複数の前記フレーム画像に対する色度成分(Q)の時間変化に対するスペクトル密度を求め、当該スペクトル密度の所定周波数領域のピーク値に基づいて、前記予め登録された下限値Sloと上限値Shiを変更する下限上限値変更手段を備え、前記皮膚部分特定手段は、前記変更後の下限値Sloと上限値Shiを使用して以降のフレーム画像に対する前記皮膚の部分を特定する、ことを特徴とする請求項15、請求項16、又は、請求項17に記載の脈波検出装置を提供する。
また、脈波取得手段が脈波を取得するために用いる色空間成分は、明度成分(Y)、及び色度成分(I、Q)から成るYIQ色空間の前記色度成分(Q)であり、脈波検出に好適であることが見いだされたQ成分を使用したので、外乱要素に対するロバスト性を向上させることができる。
(2)請求項2に記載の発明によれば、日常的に皮膚が露出していて撮影の容易な顔から脈波を検出することができる。
(3)請求項3に記載の発明によれば、基準成分との対比により動画から容易に皮膚の部分を抽出することができる。
(4)請求項4に記載の発明によれば、(皮膚と脈波では、光で観察する対象が異なるため)観察対象に適した色空間成分の組み合わせを採用することにより外乱要素に対するロバスト性を向上させることができる。
(5)請求項5に記載の発明によれば、皮膚の部分の特定に好適であることが見いだされたH成分と、脈波検出に好適であることが見いだされたQ成分を組み合わせることにより、外乱要素に対するロバスト性をより向上させることができる。
(6)請求項6に記載の発明によれば、色空間変換処理を外部装置ではなく、脈波検出装置内部に備えることにより、処理速度が向上し、動画からリアルタイムで脈波を検出することが容易となる。
(7)請求項7に記載の発明によれば、対象者自身から皮膚の色の基準成分を採取することにより、人ごとの微妙な皮膚色の差異が含まれた基準値を容易に取得することができる。
(8)請求項8に記載の発明によれば、皮膚が露出していて場所特定が容易な鼻の領域から皮膚の色の基準値を採取することができる。
(9)請求項9に記載の発明によれば、個人差が大きい皮膚の色の分布の偏りを統計処理によって均すことができ、これによって、基準成分の信頼性を向上させることができる。
(10)請求項10に記載の発明によれば、閉曲線で囲んだ(皮膚の部分に該当しない画素も散在する)領域ではなく、画素単位で皮膚の部分を抽出するため、評価対象から外乱要素として作用する画素を除外することができ、検出精度を高めることができる。
(11)請求項11に記載の発明によれば、輸送機器の搭乗者の体調を監視することができる。
(12)請求項12に記載の発明によれば、脈波検出プログラムを流通させ、これを汎用のコンピュータにインストールすることにより、容易かつ安価に脈波検出装置を構成することができる。
(13)〜(18)に記載の発明によれば、より精度よく皮膚の部分を特定することができる。
第1の実施の形態では、脈波検出装置1は、動画のフレーム画像をRGB成分からHSV成分に色変換し、予めH成分で用意してあるユーザの皮膚の色を用いて、皮膚の部分を特定する。H成分を用いたのは、皮膚の特定に関してはH成分を用いるとロバスト性が向上するためである。
脈波検出装置1は、上記の処理を各フレーム画像に対して行って脈波信号Qmの時系列的な変化を取得し、これを脈波として出力する。
そして、脈波検出装置1は、目の部分のY値によって撮影環境の明度を検出する。目の部分には、脈波信号が現れないので、明度の検出対象として利用することができる。
これにより、ユーザが車両などで移動することにより明度が変化するような場合でも、良好に脈波を検出することができる。
脈波検出装置1は、ユーザの動きによって皮膚の部分が画面内を移動することにより生じる皮膚の部分のQ値の変化を用いてカメラ特性データを更新していく。
また、脈波検出装置1は、補正対象の色を皮膚の色に限定しており、これによって複雑なアルゴリズムや計算が不要となるため、計算負荷が低くなり、動画のリアルタイム処理を良好に行うことができる。
(第1の実施の形態)
図1は、本実施の形態に係る脈波検出装置1の構成を示した図である。
脈波検出装置1は、例えば、車両に搭載され、搭乗者(ドライバや助手席の乗客など)の脈波を監視し、ドライバの体調、緊張状態などの生理的な状態を把握する。
また、医療現場や災害現場などで患者や被災者の脈波を検出・監視するのに用いることもできる。
Memory)4、表示部5、入力部6、出力部7、カメラ8、記憶部9などから構成されており、ユーザ10(脈波検出の対象者)の脈波を検出(あるいは、推定)する。
本実施の形態では、カメラ8が撮影した動画を画像処理してユーザ10の脈波を検出する。
RAM4は、読み書きが可能なメモリであって、CPU2が動作する際のワーキングメモリを提供する。
本実施の形態では、動画を構成するフレーム画像(1コマの静止画像)を展開して記憶したり、計算結果を記憶したりすることにより、CPU2が、フレーム画像の皮膚の部分(以下、皮膚部分)から脈波を検出するのを支援する。
入力部6は、表示デバイスに重畳して設置されたタッチパネルなどの入力デバイスを用いて構成されており、画面表示に対するタッチの有無などから各種の情報の入力を受け付ける。
また出力部7は、車両を制御する制御装置などの他の制御機器に出力することができる。出力部7から脈波や脈拍の出力を受けた制御機器では、例えば、ドライバの眠気や緊張状態等(後述する)を判断し、ドライバに向けた制御、例えば、眠気を覚醒させるためにハンドルやシートを振動させる制御、警告音やメッセージの出力などを行うことが出来る。また、車両に対する制御として、脈波に基づいて判断したドライバの緊張状態に応じて、車間距離制御、車速制御、又はブレーキ制御の少なくとも1つを行うことも可能である。例えば、制御機器は、ドライバが所定値を超える高い緊張状態にあると判断した場合には、車間距離を基準値よりも大きくとるように制御し、車速を所定車速以下となるように制御し、所定車速以上であれば自動ブレーキ操作による減速処理等を行う。
脈波検出装置1では、汎用品のカメラ8によっても脈波を良好に検出することができるため、コストを低減することができる。
フレーム画像は、画像を構成する最小単位である画素(ピクセル)の配列により構成されており、各画素は、RGB空間の色成分(R値、G値、B値)により配色されている。
なお、これらのうち、カメラ特性データ15は、第3の実施の形態で用いるデータであるので、後ほど説明する。
CPU2は、脈波検出プログラムを実行することにより、動画におけるユーザの皮膚部分の特定、及び特定した皮膚部分からの脈波の検出を行う。
ユーザデータベース14では、ユーザ1、ユーザ2、・・・などとユーザごとに登録データが記憶されている。
そして、登録データには、顔データ、皮膚色データ、目色データ、・・・といったユーザに固有な情報が登録されている。
皮膚色データは、フレーム画像でユーザの皮膚部分を特定するための皮膚の色の基準となるデータである。フレーム画像と皮膚色データの対比により皮膚部分が特定される。
目色データは、第2の実施の形態で用いるデータであるので、後ほど説明する。
脈波検出装置1は、脈波の検出を行うに際して、フレーム画像の色空間を変換する(色変換と呼ばれる)ため、まず、これについて説明する。
一般にカラー画像は、3つの色成分によって表現される。より詳細には、画像の各画素に付随する色情報は、3つの色成分を軸として張られる色空間の中の点の座標値として表される。
汎用のビデオカメラでは、色成分としてRGB空間のR成分、G成分、B成分を用いることが多く、従来技術でも、ビデオ信号に含まれるR、G、B成分をそのまま用いて脈波の検出を行っている。
その結果、皮膚部分の特定には、HSV空間のH成分が適しており、脈波検出には、YIQ空間のQ成分が適していることを見いだした。
そこで、脈波検出装置1では、目的に応じて色成分を使い分けることとした。
このように、観察対象によって光の反射特性が異なるため、対象に応じた最適な組み合わせを選ぶことにより外乱に対するロバスト性を高めることができる。
RGB空間は、RGB成分を表す互いに直交するR軸、G軸、B軸で構成されている。
RGB空間では、R値(赤)、G値(緑)、B値(青)によって色情報が表され、RGB空間の点の座標値によって画素のRGB値が規定される。
RGB方式は、最も一般的なカラーモデルであって、カメラ8もRGB方式にて動画を出力する。
HSV空間は、円形の底面を有する円錐で表され、円錐面方向の回転角がH成分を表し、底面における中心からの距離がS成分を表し、円錐の頂点から底面へ引いた垂線の距離がV成分を表している。
HSV空間では、H値(色)、S値(彩度)、V値(明度)によって色情報が表され、HSV空間の点の座標値によって画素のHSV値が規定される。
HSV方式は、主にコンピュータグラフィックなどで用いられている。
YIQ空間は、YIQ成分を表す互いに直交するY軸、I軸、Q軸で構成されている。
YIQ空間では、Y値(明度)、I値(色度:暖色系)、Q値(色度:寒色系)によって色情報が表され、YIQ空間の点の座標値によって画素のYIQ値が規定される。
Y値は、正の値をとり、I値とQ値は、正負の値をとることができる。
YIQ方式は、NTSC信号を生成するコンポーネント信号の方式として、主にビデオ機器内で用いられる。
図3(a)は、脈波検出装置1が、ユーザの顔から皮膚色データを採取する方法を示した図である。
脈波検出装置1は、カメラ8でユーザの顔の静止画像30を撮影し、鼻を検出して鼻領域20を設定する。鼻の検出は、一般的な顔認識技術を用いて行う。
そして、脈波検出装置1は、鼻領域20の色空間をRGB空間からHSV空間に変換し、各画素のH値から皮膚色データを生成する。
鼻の他に、例えば、額や頬など、他の領域から皮膚色データを採取するように構成することもできる。
フレーム画像31には、皮膚部分のほか、髪21、眉毛22、目23、唇24、背景25などが写し込まれている。
これら皮膚以外の部分は、脈波信号が含まれていないか、又は、脈波信号を検出するのに適していない部分であり、脈波検出処理において精度低下を来す外乱要素として作用する。
皮膚部分26は、画素単位で特定され、首などの皮膚が露出している部分は全て特定される。
このように、外乱要素を除去しつつ、脈波信号が含まれる部分を最大限確保することにより、脈波検出精度を高めることができる。
脈波検出装置1は、皮膚部分26aの各画素のQ値を平均してQmを算出し、Qmを脈波信号として出力する。
脈波検出装置1は、各フレーム画像から出力した脈波信号Qmを時系列的に(フレーム画像の順に)並べて脈波35を形成する。
このように、脈波検出装置1は、各フレーム画像でユーザの皮膚部分を特定することにより、ユーザの動きに合わせて皮膚部分を追跡・抽出しながら脈波を検出することができる。これにより、次のような特徴が得られる。
従来技術では、被験者が評価領域101に顔を合わせた状態で静止したまま動画を撮影する。撮影中に顔が評価領域101からはずれる可能性もあるため、撮影し終わった動画を解析している。
これに対し、脈波検出装置1は、動画の各フレーム画像において皮膚部分26を特定するため、評価領域がユーザの皮膚に固定されたまま動画内で移動する。
顔が動いても皮膚部分が評価領域からはずれることがないためリアルタイムで脈波を検出することができる。
これに対し、脈波検出装置1は、HSV画像を皮膚色データと対比して皮膚部分を特定する簡単な処理で皮膚部分を追跡することができる。そのため、リアルタイム処理に適している。
処理できたフレーム画像の間隔は、脈波の測定間隔(サンプリングレート)となるため、コマ落ちを防ぐことにより測定間隔が広がるのを防ぐことができる。
これによって脈波の高い時間分解能を維持することができ、脈波の検出精度が向上する。
脈波の検出は、対象者の現在の生理状態を監視する場合に用いられることが主であり、リアルタイム処理できることは重要である。
従来技術では、評価領域101を被験者の顔の形状に一致させることが困難なため、背景などの外乱要素が評価領域101に入り、脈波の検出精度が低下する可能性がある。
これに対し、脈波検出装置1では、評価領域と皮膚部分26が常に一致するため、顔以外の背景などの外乱要素が評価領域に入ることを防ぐことができ、これによって、正確な脈波検出を行うことができる。
従来技術では、被験者の顔が評価領域101に正しく設定されている場合であっても脈波と関係のない顔の部分(髪、目、口など)が評価領域に入っているため、これらが外乱要素となって脈波の検出精度に影響する可能性がある。
これに対し、脈波検出装置1では、これらの顔の要素が皮膚部分26から除外されるため、脈波の検出精度を高めることができる。
更に、ユーザが瞬きしたり、口を開閉したりしても、顔の動きに合わせて皮膚部分26が動的に設定されるため、顔の動きによる外乱要素も評価領域から除外することができる。
以下の処理は、CPU2が、脈波検出プログラム12に従って行うものである。
まず、CPU2は、カメラ8の画像の変化からユーザが指定位置に着席したことを検出すると、ユーザの顔の画像を取得してRAM4に記憶する(ステップ5)。
この画像は、静止画像として撮影してもよいし、動画のフレーム画像から取り出してもよい。
このように、脈波検出装置1は、対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得手段を備え、当該皮膚を含む領域は、対象者の顔を含んでいる。
顔が検索された場合、CPU2は、当該ユーザを登録済みであると判断し(ステップ15;Y)、ユーザデータベース14から当該ユーザの皮膚色データを取得してRAM4に記憶する(ステップ20)。
そして、脈波検出装置1は、顔の画像から顔データを形成し、顔データと皮膚色データを対応づけてユーザデータベース14に記憶することによりユーザ登録を行う(ステップ27)。
次に、CPU2は、RAM4に記憶したフレーム画像から脈波を検出する脈波検出処理を行う(ステップ35)。
脈波の検出を継続する場合(ステップ40;Y)、脈波検出装置1は、ステップ30に戻って、動画の次のフレーム画像に対して脈波検出処理を行う。
一方、ユーザが停止ボタンを押すなどして脈波の検出を継続しない場合(ステップ40;N)、脈波検出装置1は、処理を終了する。
まず、CPU2は、RAM4から顔の画像を読み出して、これを顔認識し(ステップ50)、そして、鼻を検出する(ステップ55)。
次に、CPU2は、検出した鼻に皮膚色データ採取用の鼻領域を設定する(ステップ60)。
次に、CPU2は、各画素のH値を平均してHmを算出し(ステップ75)、更に、H値の標準偏差σを算出する(ステップ80)。
更に、CPU2は、H値の上限値Hhi=Hm+n×σを算出してRAM4に記憶する(ステップ90)。
そして、CPU2は、H値の下限値と上限値を皮膚色データとして出力し(ステップ95)、メインルーチン(図5)にリターンする。
このように、脈波検出装置1は、基準成分を登録する基準成分登録手段を備えており、鼻領域の色空間成分に対して平均値と標準偏差による統計処理を施して登録している。
例えば、n=3とすると、H値がHm±3σの範囲にある部分が皮膚部分として特定される。
まず、CPU2は、RAM4に記憶されているフレーム画像の色空間をRGB空間からHSV空間に変換し、変換したHSV画像をRAM4に記憶する(ステップ100)。
次に、CPU2は、画素の順番を数えるカウンタiをi=0に設定する(ステップ103)。
そして、CPU2は、HiがHlo<Hi<Hhiを満たしているか否か、即ち、Hiが皮膚色データの範囲に入っているか否かを判断する(ステップ110)。
CPU2は、Hiがこの範囲にある場合、当該画素と皮膚色データが対応すると判断する。
Hiが当該不等式を満たしている場合、即ち、Hiが皮膚色データに対応する場合(ステップ110;Y)、CPU2は、当該画素の位置座標をRAM4に記憶する(ステップ115)。
以上のステップ100〜ステップ123を行うことにより皮膚部分に対応する画素(評価対象画素)の位置座標がRAM4に記憶される。
このように、脈波検出装置1は、動画に写っている対象者の皮膚の部分(評価対象画素)を特定する皮膚部分特定手段を備えている。
また、この特定は、動画において所定の色空間成分が登録した基準成分に対応する部分を画素単位で皮膚の部分とすることにより行われている。
そして、CPU2は、各画素のQ値を平均して平均値Qmを算出し(ステップ135)、これを脈波信号として出力し(ステップ140)、メインルーチン(図4)にリターンする。
以上の処理によって、1つのフレーム画像から脈波信号Qmを検出したが、これを連続する各フレーム画像について行い、脈波信号Qmをフレーム画像の順に並べると、脈波信号Qmの時間変化によって図3(c)に示した脈波が得られる。
このように、脈波検出装置1は、皮膚の部分における所定の色空間成分の時間変化から脈波を取得する脈波取得手段と、これを出力する出力手段を備えている。
このため、皮膚部分特定手段が皮膚の部分を特定するために用いる色空間成分と、脈波取得手段が脈波を取得するために用いる色空間成分は、異なる色空間成分である。
そして、脈波検出装置1は、動画の色空間を変換する色空間変換手段を備え、皮膚部分特定手段と脈波取得手段は、色空間変換手段で変換した色空間にて色空間成分を取得している。
更に、脈波検出装置1には、脈波によって、輸送機器の搭乗者の体調を監視する監視手段を備えることができる。
従来技術では、実験室の窓から差し込む日光による安定した明度の下で脈波の検出が行われている。
一方、脈波検出装置1を車両や医療現場で用いる場合、どのような撮影環境で使用されるかは様々であり、脈波検出中に特に明度が変化することが予想される。特に車両において運転者や搭乗者などの脈波を検出する場合には、車両の走行位置や向きの変化や時間帯などにより、明度の変化が頻繁に起こりやすい。
そこで、脈波検出装置1が実際に使用される際に生じる明度変化によって検出結果に影響が生じるか否かについて調べた。すなわち、本願発明者は、蛍光灯による照明の下で脈波の検出を行いながら、団扇で被験者の顔に影を作って明度を変化させてみた。
図7(a)は、環境の明度が変化しない場合の脈波信号Qmの時間変化である。
図に示したように、脈波がきれいに検出されている。
期間41は、影のない期間であり、期間42は、影のある期間である。
図に示したように、脈波信号Qmが明度の変化によって大きく変化し、この変化にQmの変化が埋もれてしまって脈波の検出が困難となる。
皮膚部分からは、明度の変化が重畳された脈波信号Qmが検出され、目部分からは、脈波の含まれない明度の変化(あるいは、明度の大きさ)が検出されるため、前者から後者を減算することにより、明度の変化を補正することができる。
また、本願発明者は、明度の変化の検出には、YIQ空間のY成分が好適であることを見い出したため、本実施の形態では、Y成分により明度の変化を検出する。
更に、脈波信号Qmと明度のY値は、同じ色空間に属するため、単に減算すればよい。
図8(a)は、明度の変化の検出に用いられる目部分45を示した図である。
目部分45は、色が濃く略中央の瞳孔部分48、瞳孔部分48の周囲の虹彩部分47、白に近く虹彩部分47の更に外側の白目部分46、から構成されている。
なお、脈波検出装置1は、白目部分46のQ値をQloとし、瞳孔部分48のQ値をQhiとして、これらを目色データとして登録するようにしてもよい。
後述するように、脈波検出装置1は、目色データを用いてユーザの顔の目領域から目部分45を抽出し、当該抽出した目部分45のY値の変化から明度の変化を検出する。
脈波検出装置1は、目部分45から検出したY値を平均して、明度信号Ymを生成する。これを時系列的にプロットすると明度信号51が得られる。
図に示した例では、期間42で顔に影を作ったので、期間42の明度が期間41よりも小さくなっている。
補正前脈波信号52は、明度の変化を補正する前の脈波信号Qmを時系列的にプロットしたものである。
補正前の脈波信号52では、図8(c)に示す様に、明度の低下の影響を受け、期間42における脈波信号Qmも低下している。
脈波検出装置1は、補正前の脈波信号Qmから明度信号Ymを減算することにより、補正後脈波信号53を生成する。これを時系列的にプロットすると補正後脈波信号53が得られる。
補正後脈波信号53では、明度の変化による影響が除去されているため、明度が低下した期間42においても適切な脈波が得られる。
まず、脈波検出装置1は、図8(e)に示したように、フレーム画像に対して顔認識処理を行い、目部分45を含む目領域55を抽出する。
そして、脈波検出装置1は、目領域55に対して目色データを適用して目部分45を抽出する。
フレーム画像に対して目色データを適用すると、例えば、背景などでたまたま目色データに対応する部分が抽出されてしまうのに対し、目領域55は、皮膚部分と目部分45から構成され、目色データに対応する部分は目部分45だけであるので、確実に目部分45を特定できるからである。
第1の実施の形態と同じステップには、同じステップ番号を付し、説明を簡略化、又は省略する。
ユーザが登録ユーザであった場合(ステップ15;Y)、CPU2は、ユーザデータベース14から皮膚色データを取得し(ステップ20)、更に目色データを取得する(ステップ150)。
次に、CPU2は、補正前の脈波信号Qmに対して明度変化対策処理を行い(ステップ160)、補正後の脈波信号Qmを出力する。
まず、CPU2は、皮膚色データ採取処理で使用した顔の画像を顔認識し(ステップ180)、目部分を検出する(ステップ185)。
このように脈波検出装置1は、顔画像において、顔認識処理により、顔の目の領域(この場合目部分)を特定する領域特定手段を備えている。
次に、CPU2は、目部分を評価域に設定し(ステップ190)、目部分に含まれる全ての画素の色空間をRGB空間からYIQ空間に変換する(ステップ200)。
そして、CPU2は、RAM4に記憶したQ値のうち最低値をQloとし(ステップ210)、更に、最高値をQhiとし(ステップ215)、これを目色データとして、当該ユーザの顔データと皮膚色データに対応づけてユーザデータベース14に登録し(ステップ220)、メインルーチン(図9)にリターンする。
そして、基準成分登録手段は、特定した領域における色空間成分の分布に対して最小値と最大値を特定する統計処理を施した値を登録している。
まず、脈波検出装置1のCPU2は、RAM4に記憶されているフレーム画像で顔認識を行って顔を検出し(ステップ230)、更に、目領域を検出し(ステップ235)、検出した目領域を評価域に設定する(ステップ240)。
次に、CPU2は、目領域の色空間をRGB空間からYIQ空間に変換してRAM4に記憶する(ステップ245)。
そして、CPU2は、QjとQlo、Qhiとの大小関係を判断する(ステップ255)。
QjがQlo<Qj<Qhiならば(ステップ255;Y)、CPU2は、当該画素が目部分に含まれると判断し、当該画素のY値を取得してRAM4に記憶する(ステップ260)。
まだ、判断していない画素がある場合(ステップ265;N)、CPU2は、jを1つインクリメントしてj=j+1に更新し(ステップ270)、その後ステップ253に戻って次の画素に対して同様の処理を繰り返す。
このように、脈波検出装置1は、動画において所定の色空間成分が登録した基準成分に対応する部分を目の部分として特定することにより、動画に写っている目の部分を画素単位で特定する目部分特定手段を備えている。
平均値Yeは、撮影環境の明度に対応し、これと前後するフレーム画像のYeとの差が明度の変化を表す。
そのため各フレーム画像から、それぞれの明度の平均値Yeを減算することにより、明度の変化分を補正することができる。
このように、脈波検出装置1は、動画の撮影環境の変化によって生じた明度の変化を目の部分の所定の色空間成分の変化から取得する明度変化取得手段を備えている。
このように、脈波検出装置1は、明度の変化を用いて動画の明度を画素単位で補正する明度補正手段と、補正された皮膚の部分における所定の色空間成分の時間変化から脈波を取得する脈波取得手段を備えている。
また、脈波検出装置1は、Y成分で明度の変化を取得し、H成分で皮膚部分を特定し、Q成分で脈波を検出しており、異なる色成分で処理を行っている。
そして、脈波検出装置1は、これら色空間を変換する色空間変換手段を備えている。
(1)外光の変化やユーザの動きなど、撮影環境の変化により明度が変化した場合でも脈波を検出することができる。
(2)顔の皮膚から脈波を検出しながら、同時に目から明度の変化を検出することができる。
(3)特別な装置がなくても明度の変化を補正することができる。
なお、本実施形態では、フレーム画像から皮膚部分を抽出してから当該皮膚部分の明度の補正を行ったが、フレーム画像の全体に対して明度の補正を行った後、皮膚部分を抽出するようにしてもよい。
例えば、汎用品のカメラ8を用いる場合、人間が動画を鑑賞する場合には分からないが、脈波を検出するのには障害となる程度の画素ごとの特性のばらつきが存在する。
本実施の形態では、色成分によって脈波を検出するため、クロミナンス(色質)特性のばらつきによる影響を受ける。
図12(a)は、カメラ8の画素のクロミナンス特性のばらつきを濃淡で表した図である。
このようにクロミナンス特性が一様でないため、画面内でユーザが動くと、クロミナンスの値が変化して、脈波検出の精度に影響がでる。
図に示したように、本来なら同じレベルで脈波が検出されるべきところ、クロミナンスの差によってレベルの高さに差が生じている。
また、色々な色に対する補正がなされるため、補正処理が複雑であり、脈波をリアルタイム処理すると、コマ落ちが生じて処理に係るフレームレートが低下する可能性がある。
カメラ特性データを用いてクロミナンスの変化を補正することにより正確な脈波を検出することができる。
このように、本実施の形態では、画面内でのユーザの動きに伴って自動的に補正値を作成することができる。
第1の実施の形態、及び第2の実施の形態と同じステップには、同じステップ番号を付し、説明を簡略化、又は省略する。
ステップ5〜ステップ30の後、 CPU2は、脈波検出処理を行った後(ステップ35)、カメラ特性データ更新処理を行う(ステップ305)。
その後、CPU2は、カメラ特性による補正が行われた脈波信号Qmに対して明度変化対策処理を行う(ステップ160)。
ステップ500〜530は、図6のステップ100〜130と同じである。
即ち、CPU2は、フレーム画像において皮膚部分に該当する画素を評価対象画素に指定し、その色空間をRGB空間からYIQ空間に変換する(ステップ530)。
次に、CPU2は、カメラ特性データ15から、当該位置座標に対する最新の補正値(即ち、前回補正までの最新値)Qc(x、y、k)を取得してRAM4に記憶する(ステップ575)。
ここで、kは画素ごとに設定されるカウンタであり、前回までの当該画素の補正回数を表すパラメータである。
このように、脈波検出装置1は、補正値を上記の式による統計処理を用いて画素ごとに更新するため、顔の移動に伴って皮膚の部分に生じる色空間成分の変化に対して所定の統計処理を施すことにより補正値を画素ごとに更新する更新手段を備えている。
まだ、更新していない画素がある場合(ステップ590;N)、CPU2は、次の評価対象画素(x、y)を選択し(ステップ595)、その後ステップ570に戻り、全ての画素について更新した場合(ステップ590;Y)、更新処理を終了してメインルーチン(図13)にリターンする。
CPU2は、フレーム画像で評価対象画素に設定された画素ごとにQ値からQcを減算してQa(カメラ特性対策によって補正されたQ値)を算出し(ステップ380)、Qaの平均値を算出して、これを脈波信号Qmとして(ステップ385)、メインルーチンにリターンする。
更に、脈波検出装置1は、ステップ305(図13)のカメラ特性データ更新処理とステップ315(図13)のカメラ特性対策処理を同じループ処理にて行うことにより、補正値を更新している間に最新の補正値を用いてばらつきを補正し、最新の補正値で補正された皮膚の部分から脈波を取得している。
また、カメラ特性対策処理は、一定程度補正値が収束した場合には、補正を終了するように構成することができる。
その場合は、少なくとも脈波信号の変動よりもカメラ特性による変動が小さくなるまで補正を継続する。
この場合、脈波検出装置1は、カメラの特性に起因する色空間成分のばらつきの大きさが、少なくとも、脈波による色空間成分の変化の大きさよりも小さい値に収束した場合に補正値の更新を完了する。
(1)脈波検出装置1を利用しながらカメラ特性を検出して補正することができる。そのため、事前の調節が必要ない。
(2)ユーザの動きに伴って補正値を作成していくので、例えば、車両に搭載して搭乗者を対象とするのに適している。
(3)補正の対象とする色を顔の色に限定したため、複雑なキャリブレーション計算は必要なく、動画処理中のコマ落ちを抑制することができる。
(4)コマ落ちの抑制の結果、脈波の時間分解能が向上する。このため、リアルタイム処理に適しており、また、パルス間隔(脈の間隔)解析の精度も向上する。
各実施形態において、脈波検出装置1による脈派検出処理を次の何れかのタイミングで開始する。各開始タイミングとしては、タイミング1をデフォルトとし、ユーザが任意のタイミングで変更できるようにしてもよい。
(1)タイミング1
脈波の監視対象である運転者が運転席に着座したことを検出した場合に処理を開始する。
なお、ドライバ以外の搭乗者(助手席や後部座席の乗客)も脈波の監視対象としている場合には、対象となる搭乗者席のいずれかに着座したことを検出した場合に処理を開始する。
この場合、搭乗者の検出については、対象となる席(座面や背もたれ部分など)に荷重センサを配置し閾値以上の荷重を検出した場合、シートベルトが着用された場合、イグニッションキーがオンされた場合(運転席用)、のいずれかの場合に着座したと判断する。
脈波検出装置1の何れかに、開始ボタンを配置し、搭乗者の何れかが開始ボタンを選択した場合に処理を開始する。
この場合の開始ボタンとしては、表示部5と入力部6により構成する。すなわち、脈波検出装置1は、表示部5に開始ボタンを画像表示し、該当部分がタッチされたことを入力部6のタッチパネルが検出した場合に処理を開始する。
また、入力部6として独立したハードスイッチを設けておくようにしてもよい。
なお、開始ボタンは、監視対象となる各搭乗者毎に設けるようにしてもよい。
脈波検出装置1が搭載されている車両の運転席のドアが開いた場合に処理を開始する。
なお、ドライバ以外の搭乗者も監視対象となっている場合には、該当する搭乗者に対応するドアが開いた場合にも処理を開始する。
ドアの開閉については、ドア部に開閉センサ(接触センサ)等の周知の技術により検出する。
このタイミング3によれば、他のタイミングに比べて、脈波の監視開始をいち早く行うことが可能になる。
とくに、ドアが開いた後搭乗者が着座するまでの間に、皮膚色データの取得などの、脈波検出処理(ステップ35)以前の処理を完了することができるため、より長い時間脈波を検出することができる。
例えば、脈波から運転者の眠気を検出する技術として、例えば、特開平2014−20678「眠気予測装置及び眠気予測システム」がある。一例として、この技術を用いることにより、運転者の脈波から眠気の有無を監視することができる。
詳細には、脈波検出装置1から検出された脈波を用いて運転者の脈拍とHFを測定する。HFとは、心拍間隔の変動量(心拍数の揺らぎ)を示す公知の指標である。
運転者の眠気は、次の眠気数値Zによって計算可能である。
眠気の兆候がある状態では、交感神経活動が亢進状態から抑制状態へ変わるため、脈拍数が低下する。また、眠気が生じる状態では、副交感神経が亢進状態へと変わることで脈拍数が下がりHFが上昇する。
また、脈拍は、眠気のほか、緊張状態、疲労等に応じても変化するため、脈波検出装置1は、これらの概念を含んだ運転者の覚醒度を脈波によって監視することが出可能である。
(1)第201の構成
対象者の顔を含む領域を撮影した動画を取得する動画取得手段と、前記動画に写っている前記対象者の目の部分を特定する目部分特定手段と、前記動画の撮影環境の変化によって生じた明度の変化を、前記特定した目の部分の所定の色空間成分の変化から取得する明度変化取得手段と、前記取得した明度の変化を用いて前記動画の明度を補正する明度補正手段と、前記補正された前記対象者の皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得する脈波取得手段と、前記取得した脈波を出力する出力手段と、を具備したことを特徴とする脈波検出装置。
(2)第202の構成
前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定手段を備え、前記脈波取得手段は、前記特定した皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得することを特徴とする第201の構成の脈波検出装置。
(3)第203の構成
前記対象者の目の部分を特定するための基準となる色空間成分である基準成分を登録する基準成分登録手段を備え、前記目部分特定手段は、前記動画において所定の色空間成分が前記登録した基準成分に対応する部分を前記目の部分として特定することを特徴とする第202の構成の脈波検出装置。
(4)第204の構成
前記皮膚部分特定手段は、前記動画において所定の色空間成分が予め登録した所定の基準成分に対応する部分を前記皮膚の部分として特定することを特徴とする第202の構成、又は第203の構成の脈波検出装置。
(5)第205の構成
前記明度変化取得手段が明度の変化を取得するために用いる色空間成分、前記脈波取得手段が前記脈波を取得するために用いる色空間成分、及び、前記皮膚部分特定手段が前記皮膚の部分を特定するために用いる色空間成分は、異なる色空間成分であることを特徴とする第202の構成、第203の構成、又は第204の構成の脈波検出装置。
(6)第206の構成
前記明度変化取得手段が明度の変化を取得するために用いる色空間成分と前記脈波取得手段が前記脈波を取得するために用いる色空間成分は、それぞれ、明度成分(Y)、及び色度成分(I、Q)から成るYIQ色空間の前記明度成分(Y)と前記色度成分(Q)であり、前記皮膚部分特定手段が前記皮膚の部分を特定するために用いる色空間成分は、色成分(H)、彩度成分(S)、及び明度成分(V)から成るHSV色空間の前記色成分(H)であることを特徴とする第205の構成の脈波検出装置。
(7)第207の構成
色空間を変換する色空間変換手段を備え、前記脈波取得手段、前記明度変化取得手段、及び前記皮膚部分特定手段は、前記取得した動画を前記色空間変換手段で変換した色空間にて色空間成分を取得することを特徴とする第202の構成から第206の構成までのうちの何れか1の構成の脈波検出装置。
(8)第208の構成
前記対象者の顔を撮影した顔画像を取得する顔画像取得手段と、前記取得した顔画像において、顔認識処理により、前記顔の目の領域を特定する領域特定手段を備え、前記基準成分登録手段は、前記特定した領域の色空間成分を前記基準成分として登録することを特徴とする第203の構成の脈波検出装置。
(9)第209の構成
前記基準成分登録手段は、前記特定した領域における色空間成分の分布に対して所定の統計処理を施した値を前記基準成分として登録することを特徴とする第208の構成の脈波検出装置。
(10)第210の構成
前記目部分特定手段は、前記動画の画素単位で前記目の部分を特定することを特徴とする第201の構成から第207の構成までのうちの何れか1の構成の脈波検出装置。
(11)第211の構成
前記明度補正手段は、前記動画の画素単位で前記補正を行うことを特徴とする第201の構成から第210の構成までのうちの何れか1の構成の脈波検出装置。
(12)第212の構成
前記対象者は、輸送機器の搭乗者であって、前記出力した脈波を用いて前記搭乗者の体調を監視する監視手段を具備したことを特徴とする第201の構成から第211の構成までのうちの何れか1の構成の脈波検出装置。
(13)第213の構成
対象者の顔を含む領域を撮影した動画を取得する動画取得機能と、前記動画に写っている前記対象者の目の部分を特定する目部分特定機能と、前記動画の撮影環境の変化によって生じた明度の変化を、前記特定した目の部分の所定の色空間成分の変化から取得する明度変化取得機能と、前記取得した明度の変化を用いて前記動画の明度を補正する明度補正機能と、前記補正された前記対象者の皮膚の部分における所定の色空間成分の時間変化から前記対象者の脈波を取得する脈波取得機能と、前記取得した脈波を出力する出力機能と、をコンピュータで実現する脈波検出プログラム。
(1)第201の構成によれば、対象者の目の部分から明度の変化を取得して動画の明度を補正することができる。
(2)第202の構成によれば、動画に写っている外乱要素を除外して皮膚の部分だけ取り出し、そこから脈波を検出することができるため、脈波検出の精度を高めることができる。
(3)第203の構成によれば、動画に写っている外乱要素を除外して目の部分だけ取り出し、明度の補正精度を向上させることができる。
(4)第204の構成によれば、基準成分との対比により動画から容易に皮膚の部分を抽出することができる。
(5)第205の構成によれば、(明度の変化、皮膚、及び脈波では、光で観察する対象が異なるため)観察対象に適した色空間成分の組み合わせを採用することにより外乱要素に対するロバスト性を向上させることができる。
(6)第206の構成によれば、明度の変化の検出に好適であることが見いだされたY成分と、皮膚の部分の特定に好適であることが見いだされたH成分と、脈波検出に好適であることが見いだされたQ成分を組み合わせることにより、外乱要素に対するロバスト性をより向上させることができる。
(7)第207の構成によれば、色空間変換処理を外部装置ではなく、脈波検出装置内部に備えることにより、処理速度が向上し、動画からリアルタイムで脈波を検出することが容易となる。
(8)第208の構成によれば、対象者自身から目の色の基準値を採取することにより、人ごとの微妙な目の色の差異が含まれた基準値を容易に取得することができる。
(9)第209の構成によれば、個人差が大きい目の色の分布の偏りを統計処理によって均すことができ、これによって、基準成分の信頼性を向上させることができる。
(10)第210の構成によれば、閉曲線で囲んだ(目の部分に該当しない画素も散在する)領域ではなく、画素ごとに目の部分を抽出するため、評価対象から外乱要素として作用する画素を除外することができ、検出精度を高めることができる。
(11)第211の構成によれば、閉曲線で囲んだ領域を代表値で補正するのではなく、画素ごとに補正することができるため、検出精度を高めることができる。
(12)第212の構成によれば、輸送機器の搭乗者の体調を監視することができる。
(13)第213の構成によれば、脈波検出プログラムを流通させ、これを汎用のコンピュータにインストールすることにより、容易かつ安価に脈波検出装置を構成することができる。
(1)第301の構成
所定のカメラで対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得手段と、前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定手段と、前記カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正するばらつき補正手段と、前記補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得する脈波取得手段と、前記取得した脈波を出力する出力手段と、を具備したことを特徴とする脈波検出装置。
(2)第302の構成
前記対象者の少なくとも皮膚を含む領域は、前記対象者の顔を含んでいることを特徴とする第301の構成の脈波検出装置。
(3)第303の構成
前記顔の移動に伴って前記皮膚の部分に生じる前記色空間成分の変化に対して所定の統計処理を施すことにより前記補正に用いる補正値を更新する更新手段を具備したことを特徴とする第302の構成の脈波検出装置。
(4)第304の構成
前記更新手段は、前記動画を構成する画素ごとに前記補正値を更新し、前記ばらつき補正手段は、前記画素ごとに当該画素に対応する補正値を用いて前記色空間成分を補正することを特徴とする第303の構成の脈波検出装置。
(5)第305の構成
前記更新手段は、前記カメラの特性に起因する前記色空間成分のばらつきの大きさが、少なくとも、前記対象者の脈波による前記色空間成分の変化の大きさよりも小さい値に収束した場合に前記更新を完了することを特徴とする第303の構成、又は第304の構成の脈波検出装置。
(6)第306の構成
前記ばらつき補正手段は、前記更新手段が前記補正値を更新している間に最新の補正値を用いて前記ばらつきを補正し、前記脈波取得手段は、前記最新の補正値で補正された前記皮膚の部分から前記脈波を取得することを特徴とする第303の構成、第304の構成、又は第305の構成の脈波検出装置。
(7)第307の構成
前記動画の撮影環境の変化によって生じた明度の変化を取得する明度変化取得手段と、前記取得した明度の変化を用いて前記動画の明度を補正する明度補正手段と、を備え、前記脈波取得手段は、前記明度補正手段で更に補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得することを特徴とする第301の構成から第306の構成までのうちの何れか1の構成の脈波検出装置。
(8)第308の構成
前記ばらつき補正手段による補正の対象となる色空間成分と前記脈波取得手段が前記脈波を取得するために用いる色空間成分は、明度成分(Y)、及び色度成分(I、Q)から成るYIQ色空間の前記色度成分(Q)であることを特徴とする第301の構成から第307の構成までのうちの何れか1の構成の脈波検出装置。
(9)第309の構成
前記対象者は、輸送機器の搭乗者であって、前記出力した脈波を用いて前記搭乗者の体調を監視する監視手段を具備したことを特徴とする第301の構成から第308の構成までのうちの何れか1の構成の脈波検出装置。
(10)第310の構成
所定のカメラで対象者の少なくとも皮膚を含む領域を撮影した動画を取得する動画取得機能と、前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定機能と、前記カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正するばらつき補正機能と、前記補正された前記皮膚の部分における前記色空間成分の時間変化から前記対象者の脈波を取得する脈波取得機能と、前記取得した脈波を出力する出力機能と、をコンピュータで実現する脈波検出プログラム。
(1)第301の構成によれば、カメラの特性に起因して前記動画に生じる所定の色空間成分のばらつきを補正することにより、脈波を良好に検出することができる。
(2)第302の構成によれば、日常的に皮膚が露出していて撮影の容易な顔から脈波を検出することができる。
(3)第303の構成によれば、顔の移動によって生じる色空間成分の変化で補正値を更新するが、その際に、統計処理によって補正値のばらつきを均すことができる。
(4)第304の構成によれば、領域を代表値で補正するのではなく、画素ごとに補正することにより、補正の精度を高めることができる。
(5)第305の構成によれば、色空間成分のばらつきが脈波の変動より小さくなるまで補正を収束させることにより、脈波の検出が良好に行えるようになる。
(6)第306の構成によれば、補正をしながら脈波の検出を行うことができる。
(7)第307の構成によれば、更に、明度の変化を用いて動画の明度を補正することにより、環境変化に対するロバスト性が向上し、明度が変化する環境においても脈波を検出することができる。
(8)第308の構成によれば、脈波検出のための色空間成分を、脈波検出に好適であることが見いだされたQ成分とすることにより、外乱要素に対するロバスト性を向上させることができる。
(9)第309の構成によれば、輸送機器の搭乗者の体調を監視することができる。
(10)第310の構成によれば、脈波検出プログラムを流通させ、これを汎用のコンピュータにインストールすることにより、容易かつ安価に脈波検出装置を構成することができる。
説明した第1実施形態では、脈波を測定するための評価領域として、固定された領域ではなく、動画の各フレーム画像のHSV成分のうち、H(色相)成分を使用して皮膚の部分を特定して評価領域(ROI)とし、評価領域のYIQ成分のうち各画素のQ(色度)値を平均したQmを当該フレーム画像の脈波信号とする場合について説明した。
これに対し、第4実施形態では、評価領域を決定する場合に、H成分に加え、S(彩度)成分を使用してより精度高く皮膚部分(評価領域)を特定するものである。
図17(a)は、第1実施形態で説明した図3(b)の左側に示したフレーム画像31に対応している。
この図17(a)のフレーム画像31を、色変換してHSV画像32を生成し、各画素のH成分から皮膚部分26を特定した場合、第1実施形態では脈波を測定可能な皮膚部分として図3(b)の右側の図で説明したが、実際には図17(b)に示すように、本来評価領域として特定したい顔の皮膚部分26以外にも背景の外乱251が含まれたり、フレーム画像31中に測定者の手200が写っている場合にも外乱301として評価領域に含まれる可能性がある。
そこで、本実施形態では、この背景や顔の皮膚以外の部分(外乱)を評価領域から取り除くために、S成分を使用した調整処理を行う。
図17(c)に示すように、明るさが変化しても、皮膚部分のH成分の変化は0.5から0.6の範囲内であり、明度変化に対する独立性が高い。本実施形態を含め本発明では、皮膚部分のH成分の独立性が高いことに着目して、評価領域を特定するものである。
図17(d)に示すように、皮膚部分のS成分は、明るさの変化に応じた変化幅がH成分に比べると大きく、明度に対するS成分の独立性は低い。
そこで、本実施形態では、最適なS成分の閾値(Slo〜Shi)を使用することで、外乱となる画素を評価領域から除いている。
最適なS成分の閾値は、図17(d)の最大幅Y1と最小幅Y2の範囲で変化させながら決定する。
なお、本実施形態による脈波検出装置1の構成については図1で説明した第1実施形態と異なるのは、ユーザデータベース14のユーザ毎に登録された皮膚色データが、第1実施形態では閾値として使用されるHloとHhiであるのに対し、第4実施形態ではさらに絞込み用の閾値として使用される下限値Sloと上限値Shiが保存される点である。他は第1実施形態と同様であるため説明を省略する。
また、第4実施形態の脈波検出装置1が行う全体的な処理の手順については、図4で説明した第1実施形態と同じである。
図18は、第4実施形態における、顔の画像から皮膚色データを採取する皮膚色データ採取処理のフローチャートである。
この皮膚色データ採取処理において、CPU2は、第1実施形態の図5で説明したステップ50〜ステップ95と同一の処理を行い、鼻領域を設定してH値の下限値Hloと上限値Hhiを皮膚データとして出力する。
次に、CPU2は、SmとβからS値の下限値Slo=Sm−q×βを算出してRAM4に記憶する(ステップ173)。qについては後述する。
更に、CPU2は、S値の上限値Shi=Sm+q×βを算出してRAM4に記憶する(ステップ174)。
そして、CPU2は、S値の下限値と上限値を皮膚色データとして出力し(ステップ175)、メインルーチン(図4)にリターンする。
このように、脈波検出装置1は、基準成分を登録する基準成分登録手段を備えており、鼻領域の色空間成分に対して平均値と標準偏差による統計処理を施して登録している。
ここで、qは、βの乗数であり、Smを中心としたS値の幅を規定する。後述するように、脈波検出装置1は、フレーム画像からS値がこの幅の間にある部分を皮膚部分として特定するため、実験などによりqを適当な値に調節することができる。
例えば、q=3とすると、S値がSm±3βの範囲にある部分が皮膚部分として特定される。
図19は、第4実施形態における、脈波検出処理のフローチャートである。
図19は、図6で説明した第1実施形態の脈波検出処理に対応しており、図6と同様な処理については同一のステップ番号を付してその説明を省略し、異なる点を中心に説明する。
すなわち、第1実施形態におけるステップ115では、ステップ110の条件を満たす画素を評価対象画素として当該画素の位置を記憶する(ステップ115)が、第4実施形態のステップ115においては、CPU2は、ステップ110の条件を満たす画素を評価対象画素ではなく候補画素として当該画素の位置座標をRAM4に記憶する。
またCPU2は、所定の複数フレーム画像分のQmに対して、S成分を使用して第2調整処理を行う(ステップ145)。
第1調整処理、第2調整処理の詳細については後述する。
図20は測定領域が狭い場合における、第1調整処理の原理説明図、図21は外乱が多い場合における、第1調整処理の原理説明図、図22は第1調整処理における調整幅についての説明図である。
第1調整処理では、皮膚色データで保存されているHlo〜Hhi内の画素を候補画素として特定し、更に、Slo〜Shiで絞込みを行う。図20、21の上の図が絞込みを行った後の全絞込み画素を表している。
そして、絞込み後の全画素のうち、顔の皮膚部分である顔領域26a、26cとして特定(推定)する。この顔領域の特定は、例えば、フレーム画像内に存在すべき顔画像の中心部分(例えば、フレーム画像の中心点)を予め特定しておき、この中心部分を含む画素の塊(隣接している画素の集まり)を顔領域とする。また、車両内の特定人物、例えば、運転者を被測定者とする場合、絞込んだ全画素のうち、最も大きな画素の塊を顔領域として特定(推定)するようにしてもよい。
そこで、図20(b)中央の図に示すように、顔領域の画素数が閾値P2になるSlo〜Shiの範囲を求めて絞込みを行う。すなわち、Slo〜Shiの範囲を、皮膚色データによる範囲から徐々に広げることで、顔領域の画素数がP2になる範囲を決定する。
Slo〜Shiの範囲を広げることで、図20(b)の上の図に示すように絞込み画素に含まれる顔領域26bの画素が増加し、下の図に示すように連続的に記録した生信号の振幅が大きくなり、脈波の測定が可能になる。
なお、Slo〜Shiの範囲を広げることで、外乱252b、253bの画素も増加するが、増加する外乱の画素数は多くないため、外乱の増加による影響は小さい。
そこで、図21(b)中央の図に示すように、外乱の画素数がP1になるSlo〜Shiの範囲を求めて絞込みを行う。すなわち、Slo〜Shiの範囲を、皮膚色データによる範囲から徐々に狭めることで、外乱の画素数がP1になる範囲を決定する。
Slo〜Shiの範囲を狭めることで、図21(b)上の図に示すように、絞込み画素に含まれる外乱252d、253dの画素が減少し、下の図に示すように、連続的に記録した生信号が脈波を表すようになる。
なお、Slo〜Shiの範囲を狭めることで、顔領域26dの画素も減少するが、Qmの値は平均値であるため問題はない。
例えば、車両内の運転者が測定対象者で、フレーム画像のサイズが480×640画素である場合、P1=1000,P2=71000に設定される。
図22(a)は、ユーザデータベース14の皮膚色データに保存されているSlo〜Shiの範囲が狭い場合の調整状態を表したものである。この図に示すように皮膚色データの範囲が狭い(Sloが0.3、Shiが0.35)場合には、図20で説明したように、顔領域の画素数が少なくなる。そこで、Sloを減らし、Shiを増やすことで、Slo〜Shiの範囲を広げ、広げた値で再度顔領域の画素数を求める。この画素数がP2未満であれば、更にSlo〜Shiの範囲を広げ、顔領域の画素数がP2以上になるまで繰り返す。
図22(a)の左の縦軸上に示したのが第1調整処理前における図20(a)の絞込み画素で、右の縦軸上に示したのが、第1調整処理後における図20(b)の絞込み画素である。
この図22(b)に示すように皮膚色データの範囲が広い(Sloが0.05、Shiが0.71)場合、図21で説明したように、顔領域以外の外乱が多くなる。そこで、Sloを増やし、Shiを減らすことで、Slo〜Shiの範囲を狭め、狭めた値で再度外乱の画素数を求める。この画素数がP1より多ければ、更にSlo〜Shiの範囲を狭め、外乱の画素数がP1になるまで繰り返す。
図22(b)の左の縦軸上に示したのが第1調整処理前における図21(a)の絞込み画素で、右の縦軸上に示したのが、第1調整処理後における図21(b)の絞込み画素である。
なお、本実施形態では、0.002の幅で増加、減少することで、1回の繰返しごとに範囲が0.004ずつ変化するように設定されているが、この増加、減少幅も任意である。例えば、処理を速めると共に負荷を減らすためには幅を大きくし、その逆の場合には幅を狭めるようにしてもよい。
図23は、第1調整処理のフローチャートである。
まず、CPU2は、ユーザデータベース14から皮膚色データSlo、Shiを読み込み、S成分の初期値としてRAM4に保存する(ステップ300)。
次にCPU2は、画素の順番を数えるカウンタjをj=0に設定する(ステップ303)。
次に、CPU2は、RAM4に記憶したHSV画像の各画素のうち、j番目の画素のS値であるSjを取得する(ステップ317)。ここで取得する各画素は、本実施形態のステップ115(図19)においてRAM4に記憶した各候補画素がSjの対象であり、ステップ100で変換されたHSV画素のうち、RAM4に記憶した当該候補画素Sjの位置座標に対応するHSV画素を取得する。
候補画素Sjがこの範囲Slo〜Shiにある場合(ステップ318;Y)、CPU2は、当該候補画素Sjを絞込み画素とし、その位置座標をRAM4に記憶する(ステップ319)。
まだ、判断していない候補画素がある場合(ステップ320;N)、CPU2は、jを1つインクリメントしてj=j+1に更新し(ステップ323)、ステップ317に戻って次の候補画素に対して同様の処理を繰り返す。
以上のステップ303〜ステップ323を行うことにより皮膚部分に対応する画素(絞込み画素)の位置座標がRAM4に記憶される。
すなわち、CPU2は、全絞込み画素を対象として、絞込み画素の画素塊を特定する。例えば、図21(a)上の図に示す絞込み画素の場合には、画素塊26c、252c、253cが特定される。
そして、この画素塊26c、252c、253cのうち、上述したように、フレーム画像内に存在すべき顔画像の中心部分(例えば、フレーム画像の中心点として予め規定されている)を含む画素塊26cを顔領域とする。
顔領域の画素数がP2未満である場合(ステップ330;Y)、図20(a)で説明したように、絞込み過ぎが原因で連続させたQmの生信号から脈波を取り出すことができなくなるので、CPU2は、ステップ300でRAM4に保存したSloを減らし、Shiを増やすことで、S成分による絞込み範囲を広げる(ステップ332)。
外乱の画素数がP1より多い場合(ステップ335;Y)、図21(a)で説明したように、連続させたQmの生信号に外乱成分が入り込みすぎるため、CPU2は、ステップ300でRAM4に保存したSloを増やし、Shiを減らすことで、S成分による絞込み範囲を狭める(ステップ340)。
その後、CPU2は、ステップ303に戻り、同一のフレーム画像の全候補画像Sjに対して再度変更後のS成分による絞り込みを行い(ステップ303〜ステップ323)、再度絞込んだ候補画像から顔領域を限定し(ステップ325)、再度の絞込みによって外乱の画素数がP1以下になるまで繰り返す。
外乱の画素数がP1以下である場合(ステップ335;N)、CPU2は、第1調整処理を終了しメインルーチンにリターンする。
すなわち、CPU2は、ステップ319でRAMに記憶した絞込み画素の位置座標に位置する、フレーム画像の画素(ステップ100でHSVに変換した画素)を特定し、その全てを評価対象画素として取得する(ステップ125)。
そして、CPU2は、評価対象画素の色空間をRGB空間からYIQ空間に色変換し(ステップ130)、各画素のQ値を平均して平均値Qmを算出し(ステップ135)、これを脈波信号として出力する(ステップ140)。
第1調整処理を含むステップ100からステップ140までの処理は、図4のステップ30において動画から取得した1フレームに対する処理であり、当該1のフレーム画像に対する脈波成分を含むQmが算出される。
これに対し第2調整処理は、連続する複数のフレーム画像から得られるQmの生信号から、脈波信号をより効率的に検出できるようにするための処理で、皮膚色データの範囲Slo〜Shiの初期値を調整する。第2調整処理の対象となる初期値Slo、Shiは、図23のステップ300においてユーザデータベース14の皮膚色データから読み出しRAM4に保存した値である。
図24は外乱のピーク値が大きい場合における原理説明図、図25は脈波のピーク値が小さい場合における原理説明図である。
図24、図25の上段は複数フレーム画像の絞込み画素(評価対象画素)を表し、中段は各評価対象画素から求めた複数のQm値の時間変化による脈波の生信号を表し、下段は脈波の生信号のスペクトル密度(PSD:Power Spectral Density)を表している。
このため、図24、25の下段に示すように、生信号のスペクトル密度Kを求めると、上限周波数F以下の部分が脈波信号に対応し、上限周波数Fを超える部分は外乱に対応していると判断できる。
そして、図24(a)下段に示すように、上限周波数Fを超える外乱部分のピーク値k1が所定の外乱基準値C1よりも大きい場合、24図(a)の中段に示す様に、外乱成分が多く含まれることで脈波信号を精度良く検出することができない。
そこで、外乱成分を減らすために、ステップ300で初期値として使用する皮膚色データの範囲Slo〜Shiを狭めることで、外乱部分のピーク値k1を下げる。
1つのフレーム画像に対して範囲Slo〜Shiの調整を繰り返すことで当該フレーム画像に対する最適な範囲を求める第1調整処理と異なり、この第2調整処理では、複数フレーム画像のQmを対象としているため初期値の範囲Slo〜Shiの調整を1回行い、次のフレーム画像に反映させている。
その結果、複数のフレーム画像に対する第2調整処理を経て、図24(b)下段に示すように、外乱部分のピーク値k2が外乱基準値C1以下になる。
これはS成分による絞込み過ぎが原因と考えられるので、生信号の変化幅を大きくするために、図23のステップ300で初期値として使用する皮膚色データの範囲Slo〜Shiを広げることで、脈波信号部分のピーク値k3を大きくする。
その結果、複数のフレーム画像に対する第2調整処理を経て、図25(b)下段に示すように、外乱部分のピーク値k4が脈波基準値C2以上になる。
図26(a)、(b)はそれぞれ図24、図25に対応し、S成分の初期値の範囲Slo〜Shiを減らす場合と、増加する場合の一例を表している。
第1調整処理では、1のフレーム画像に対して条件を満たすまで複数回の調整を行う(図23のステップ332、340)のに対し、第2調整処理では1回の調整であるため、第1調整処理に比べて調整幅が大きく設定されている。本実施形態では、1回の調整処理において、Slo、Shiを0.02ずつ増減している。これは、後続のフレーム画像に対する第1調整処理において早めに外乱部分のピーク値k1が外乱基準値C1以下(k2)となり、また、脈波信号部分のピーク値k3が脈波基準値C2以上(k4)となるようにするためである。
なおSlo、Shi増減の幅は、例示であり適宜変更、調整が可能であり、また、増加、減少の幅は同じである必要はなく異なる値を採用するようにしてもよい。この点第1調整処理も同じである。
本実施形態では、128点ウェルチ法スペクトル密度推定によりスペクトル密度を算出し、外乱基準値C1を60、脈波基準値C2を100としているが、当然他の値を採用することも可能である。
図27は、第2調整処理のフローチャートである。
CPU2は、Wフレーム分のQmがあるか否かを判断する(ステップ405)。すなわち、CPU2は、ステップ140(図19)で出力されたQmの数がW以上であるか否かを判断する。ここでWの値は脈波を推定可能な数以上であれば任意であるが、本実施形態ではW=60に設定している。
一方、Wフレーム分のQmがある場合(ステップ405;Y)、CPU2は、最新のWフレーム分のQmからスペクトル密度(PSD)を算出する(ステップ410)。すなわち、図24、25下段のスペクトル密度Kを求める。
そして、CPU2は、外乱部分のPSDピーク値が外乱基準値C1より大きいか否かを判断する(ステップ415)。すなわち、図24(a)の例の場合、CPU2は、算出したスペクトル密度Kのうち上限周波数Fより大きい外乱部分のピーク値k1を求め、このピーク値が外乱基準値C1よりも大きいか否かを判断する。
一方、外乱部分のピーク値が外乱基準値C1以下である場合(ステップ415;N)、CPU2は、脈波信号部分のピーク値が脈波基準値C2よりも小さいか否かを判断する(ステップ425)。
脈派信号部分のピーク値がC2未満である場合(ステップ425;Y)、CPU2は、RAM4に保存されているS成分の初期値であるSloを減らし、Shiを増し(ステップ430)、メインルーチンにリターンする。
また脈派信号部分のピーク値がC2以上である場合(ステップ425;N)、CPU2は、メインルーチンにリターンする。
また、S成分による絞込みを行う第1調整処理において、1フレーム画像に対して最適な絞込み範囲となるまで繰返し範囲Slo〜Shiを増減することで最適な範囲に基づく絞込みを行うことができる。
さらに、第2調整処理において、複数枚のフレーム画像から求まる生信号に対してスペクトル密度を求めることで、次のフレーム画像に対して絞込みを行うための初期値SloとShiを、外乱部分のピーク値が大きい場合には初期値の範囲を狭め、脈波信号部分のピーク値が小さい場合には初期値の範囲を広げている。このように絞込みを行うために使用するS成分の初期値を調整することにより、それ以降のフレーム画像に対する処理(第1調整処理の繰返し回数)を少なくすることができ、高速処理が可能になる。
第2調整処理だけを採用する場合、第1調整処理がないため、説明した実施形態よりも調整幅を小さくすることが好ましい。例えば、説明した実施形態では、初期値SloとShiを0.02ずつ増減する場合について説明したが、これを0.1ずつや、0.005ずつの増減にしてもよい。但しこの増減幅は任意である。
また、説明した第4実施形態は、第1実施形態に第1調整処理と第2調整処理を追加した場合を例に説明したが、第4実施形態を第2実施形態や第3実施形態に適用するようにしてもよい。
2 CPU
3 ROM
4 RAM
5 表示部
6 入力部
7 出力部
8 カメラ
9 記憶部
10 ユーザ
12 脈波検出プログラム
14 ユーザデータベース
15 カメラ特性データ
20 鼻領域
21 髪
22 眉毛
23 目
24 唇
25 背景
26 皮膚部分
30 静止画像
31 フレーム画像
32 HSV画像
35 脈波
41、42 期間
45 目部分
46 白目部分
47 虹彩部分
48 瞳孔部分
51 明度信号
52 補正前脈波信号
53 補正後脈波信号
55 目領域
61 左領域
62 中央領域
63 右領域
101 評価領域
102 背景
Claims (18)
- 装置から離れた位置の対象者における、少なくとも皮膚を含む領域を非接触状態で撮影した動画を取得する動画取得手段と、
前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定手段と、
前記特定した皮膚の部分における明度成分(Y)、及び色度成分(I、Q)から成るYIQ色空間の前記色度成分(Q)の時間変化から前記対象者の脈波を取得する脈波取得手段と、
前記取得した脈波を出力する出力手段と、
を具備したことを特徴とする脈波検出装置。 - 前記対象者の少なくとも皮膚を含む領域は、前記対象者の顔を含んでいることを特徴とする請求項1に記載の脈波検出装置。
- 前記対象者の皮膚の部分を特定するための基準となる色空間成分である基準成分を登録する基準成分登録手段を備え、
前記皮膚部分特定手段は、前記動画において所定の色空間成分が前記登録した基準成分に対応する部分を前記皮膚の部分として特定することを特徴とする請求項1に記載の脈波検出装置。 - 前記皮膚部分特定手段が前記皮膚の部分を特定するために用いる色空間成分は、前記脈波取得手段が前記脈波を取得するために用いる色空間成分と異なる色空間成分である、
ことを特徴とする請求項1に記載の脈波検出装置。 - 前記皮膚部分特定手段が前記皮膚の部分を特定するために用いる色空間成分は、色成分(H)、彩度成分(S)、及び明度成分(V)から成るHSV色空間の前記色成分(H)である、
ことを特徴とする請求項4に記載の脈波検出装置。 - 動画の色空間を変換する色空間変換手段を備え、
前記皮膚部分特定手段と前記脈波取得手段は、前記取得した動画を前記色空間変換手段で変換した色空間にて色空間成分を取得することを特徴とする請求項1から請求項5までのうちの何れか1の請求項に記載の脈波検出装置。 - 前記対象者の顔を撮影した顔画像を取得する顔画像取得手段と、
前記取得した顔画像において、顔認識処理により、前記顔の皮膚が露出した所定の領域を特定する領域特定手段を備え、
前記基準成分登録手段は、前記特定した領域の色空間成分を前記基準成分として登録することを特徴とする請求項3に記載の脈波検出装置。 - 前記所定の領域は、前記対象者の鼻の領域であることを特徴とする請求項7に記載の脈波検出装置。
- 前記基準成分登録手段は、前記特定した領域における色空間成分の分布に対して所定の統計処理を施した値を前記基準成分として登録することを特徴とする請求項7、又は請求項8に記載の脈波検出装置。
- 前記皮膚部分特定手段は、前記動画の画素単位で前記皮膚の部分を特定することを特徴とする請求項1から請求項9までのうちの何れか1の請求項に記載の脈波検出装置。
- 前記対象者は、輸送機器の搭乗者であって、前記出力した脈波を用いて前記搭乗者の体調を監視する監視手段を具備したことを特徴とする請求項1から請求項10までのうちの何れか1の請求項に記載の脈波検出装置。
- 装置から離れた位置の対象者における、少なくとも皮膚を含む領域を非接触状態で撮影した動画を取得する動画取得機能と、
前記取得した動画に写っている前記対象者の皮膚の部分を特定する皮膚部分特定機能と、
前記特定した皮膚の部分における明度成分(Y)、及び色度成分(I、Q)から成るYIQ色空間の前記色度成分(Q)の時間変化から前記対象者の脈波を取得する脈波取得機能と、
前記取得した脈波を出力する出力機能と、
をコンピュータで実現する脈波検出プログラム。 - 前記皮膚部分特定手段は、HSV色空間の前記色成分(H)で皮膚部分候補を特定し、当該皮膚部分候補を彩度成分(S)で絞込むことで前記皮膚の部分を特定する、
ことを特徴とする請求項5に記載の脈波検出装置。 - 前記皮膚部分特定手段は、前記取得した動画を構成するフレーム画像毎に前記皮膚の部分を特定し、
前記脈波取得手段は、前記フレーム画像毎に特定された皮膚の部分に対応する前記色度成分(Q)の時間変化から前記脈波を取得する、
ことを特徴とする請求項13に記載の脈波検出装置。 - 前記皮膚部分特定手段は、予め登録された前記彩度成分(S)の下限値Sloと上限値Shiを使用して絞り込む、
ことを特徴とする請求項14に記載の脈波検出装置。 - 前記皮膚部分特定手段は、
前記予め登録された下限値Sloと上限値Shiを初期値とし、
前記特定した皮膚部分候補から顔領域を推定し、
当該顔領域の画素数が所定の閾値P2未満である場合、前記下限値Sloと上限値Shiの範囲を広げ、
前記広げた後の下限値と上限値とにより、前記皮膚部分候補の絞込みを再度行い、
前記顔領域の画素数が所定の閾値P2以上になるまで前記再度の絞込みを繰り返す、
ことを特徴とする請求項15に記載の脈波検出装置。 - 前記皮膚部分特定手段は、
前記推定した顔領域以外の画素数が所定の閾値P1より多い場合、前記下限値Sloと上限値Shiの範囲を狭め、
前記狭めた後の下限値と上限値とにより、前記皮膚部分候補の絞込みを再度行い、
前記顔領域以外の画素数が所定の閾値P1以下になるまで前記再度の絞込みを繰り返す、
ことを特徴とする請求項16に記載の脈波検出装置。 - 複数の前記フレーム画像に対する色度成分(Q)の時間変化に対するスペクトル密度を求め、当該スペクトル密度の所定周波数領域のピーク値に基づいて、前記予め登録された下限値Sloと上限値Shiを変更する下限上限値変更手段を備え、
前記皮膚部分特定手段は、前記変更後の下限値Sloと上限値Shiを使用して以降のフレーム画像に対する前記皮膚の部分を特定する、
ことを特徴とする請求項15、請求項16、又は、請求項17に記載の脈波検出装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015073963 | 2015-03-31 | ||
JP2015073963 | 2015-03-31 | ||
PCT/JP2016/060507 WO2016159150A1 (ja) | 2015-03-31 | 2016-03-30 | 脈波検出装置、及び脈波検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016159150A1 JPWO2016159150A1 (ja) | 2018-02-22 |
JP6547160B2 true JP6547160B2 (ja) | 2019-07-24 |
Family
ID=57006033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017510146A Active JP6547160B2 (ja) | 2015-03-31 | 2016-03-30 | 脈波検出装置、及び脈波検出プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10445560B2 (ja) |
EP (1) | EP3278721B1 (ja) |
JP (1) | JP6547160B2 (ja) |
CN (1) | CN107427233B (ja) |
WO (1) | WO2016159150A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6872742B2 (ja) * | 2016-06-30 | 2021-05-19 | 学校法人明治大学 | 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム |
JP6817782B2 (ja) * | 2016-10-31 | 2021-01-20 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 脈拍検出装置及び脈拍検出方法 |
JP6767247B2 (ja) * | 2016-11-29 | 2020-10-14 | 株式会社日立製作所 | 生体情報検出装置及び生体情報検出方法 |
CN106897713A (zh) * | 2017-03-13 | 2017-06-27 | 宇龙计算机通信科技(深圳)有限公司 | 一种唤醒移动终端屏幕的方法及移动终端 |
JP6765678B2 (ja) * | 2017-03-30 | 2020-10-07 | 株式会社エクォス・リサーチ | 脈波検出装置および脈波検出プログラム |
JP7212499B2 (ja) * | 2018-10-31 | 2023-01-25 | 株式会社日立製作所 | 生体情報検出装置及び生体情報検出方法 |
WO2020100584A1 (ja) * | 2018-11-13 | 2020-05-22 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
CN109602412A (zh) * | 2018-12-05 | 2019-04-12 | 中国科学技术大学 | 利用面部视频实现心率检测的方法 |
JP7237768B2 (ja) * | 2019-08-02 | 2023-03-13 | 株式会社日立製作所 | 生体情報検出装置 |
JP2021097925A (ja) * | 2019-12-23 | 2021-07-01 | 日本電産モビリティ株式会社 | 生体情報検出装置、生体情報検出方法、および生体情報検出プログラム |
US20210319229A1 (en) * | 2020-04-09 | 2021-10-14 | Sensormatic Electronics, LLC | System and method for determining object distance and/or count in a video stream |
KR102514577B1 (ko) * | 2020-10-07 | 2023-03-29 | 최민성 | 동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 방법 및 장치 |
CN112890792A (zh) * | 2020-11-25 | 2021-06-04 | 合肥工业大学 | 一种基于网络摄像头的云计算心血管健康监护系统及方法 |
EP4064230A1 (en) * | 2021-03-26 | 2022-09-28 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, computer program and storage medium |
US20230353885A1 (en) * | 2022-04-27 | 2023-11-02 | Sonic Star Global Limited | Image processing system and method for processing images |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3620529B2 (ja) | 2002-03-18 | 2005-02-16 | 日本ビクター株式会社 | 映像補正装置及び方法、並びに、映像補正プログラム及びこれを記録した記録媒体 |
EP1748378B1 (en) | 2005-07-26 | 2009-09-16 | Canon Kabushiki Kaisha | Image capturing apparatus and image capturing method |
JP4706415B2 (ja) | 2005-09-27 | 2011-06-22 | カシオ計算機株式会社 | 撮像装置、画像記録装置およびプログラム |
JP5027604B2 (ja) * | 2007-09-21 | 2012-09-19 | 富士通株式会社 | 指先適正押圧状態報知方法及び装置 |
US8615479B2 (en) | 2007-12-13 | 2013-12-24 | The Invention Science Fund I, Llc | Methods and systems for indicating behavior in a population cohort |
JP5181741B2 (ja) | 2008-03-10 | 2013-04-10 | 株式会社デンソー | 生体情報生成装置、生体情報管理システム |
KR100970328B1 (ko) * | 2008-04-04 | 2010-07-15 | 엔에이치엔(주) | 성인물 판단 방법 및 시스템 |
JP2010239499A (ja) * | 2009-03-31 | 2010-10-21 | Brother Ind Ltd | 通信端末装置、通信制御装置、通信端末装置の通信制御方法、通信制御プログラム |
JP5856960B2 (ja) | 2009-10-06 | 2016-02-10 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るための方法及びシステム |
US10452894B2 (en) * | 2012-06-26 | 2019-10-22 | Qualcomm Incorporated | Systems and method for facial verification |
WO2014038077A1 (ja) | 2012-09-07 | 2014-03-13 | 富士通株式会社 | 脈波検出方法、脈波検出装置及び脈波検出プログラム |
KR101937323B1 (ko) | 2012-09-18 | 2019-01-11 | 한국전자통신연구원 | 위장 얼굴 판별 장치 및 방법 |
WO2014045197A1 (en) * | 2012-09-21 | 2014-03-27 | Koninklijke Philips N.V. | Device and method for processing data derivable from remotely detected electromagnetic radiation |
JP6102433B2 (ja) | 2013-03-29 | 2017-03-29 | 富士通株式会社 | 脈波検出プログラム、脈波検出方法および脈波検出装置 |
JP6098304B2 (ja) * | 2013-03-29 | 2017-03-22 | 富士通株式会社 | 脈波検出装置、脈波検出方法及び脈波検出プログラム |
JP6186820B2 (ja) | 2013-04-10 | 2017-08-30 | 株式会社デンソー | 眠気予測装置及び眠気予測システム |
WO2015045554A1 (ja) * | 2013-09-26 | 2015-04-02 | シャープ株式会社 | 生体情報取得装置および生体情報取得方法 |
-
2016
- 2016-03-30 US US15/563,470 patent/US10445560B2/en active Active
- 2016-03-30 JP JP2017510146A patent/JP6547160B2/ja active Active
- 2016-03-30 WO PCT/JP2016/060507 patent/WO2016159150A1/ja active Application Filing
- 2016-03-30 EP EP16773031.6A patent/EP3278721B1/en active Active
- 2016-03-30 CN CN201680019574.0A patent/CN107427233B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US10445560B2 (en) | 2019-10-15 |
CN107427233B (zh) | 2020-10-02 |
EP3278721A4 (en) | 2018-10-17 |
EP3278721A1 (en) | 2018-02-07 |
JPWO2016159150A1 (ja) | 2018-02-22 |
CN107427233A (zh) | 2017-12-01 |
US20180068171A1 (en) | 2018-03-08 |
WO2016159150A1 (ja) | 2016-10-06 |
EP3278721B1 (en) | 2020-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6547160B2 (ja) | 脈波検出装置、及び脈波検出プログラム | |
JP6308161B2 (ja) | 脈波検出装置、及び脈波検出プログラム | |
EP3405105B1 (en) | Method and apparatus for estimating heart rate | |
JP5685598B2 (ja) | 画素値に基づく少なくとも値の変化を表す時間変化する信号の形成 | |
JP6256488B2 (ja) | 信号処理装置、信号処理方法及び信号処理プログラム | |
US20170112382A1 (en) | Pulse-wave detection method, pulse-wave detection device, and computer-readable recording medium | |
JP6102433B2 (ja) | 脈波検出プログラム、脈波検出方法および脈波検出装置 | |
JP6098257B2 (ja) | 信号処理装置、信号処理方法及び信号処理プログラム | |
KR102285999B1 (ko) | 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템 | |
Gupta et al. | Real-time physiological measurement and visualization using a synchronized multi-camera system | |
JP6455761B2 (ja) | 脈波検出装置、及び脈波検出プログラム | |
JP6928219B2 (ja) | 脈拍周期検出装置、脈拍周期検出方法、脈拍周期検出プログラム、及び脈波検出装置 | |
JP6717424B2 (ja) | 心拍推定装置 | |
KR102082292B1 (ko) | 카메라 기반 광용적맥파 추정 | |
US20210186346A1 (en) | Information processing device, non-transitory computer-readable medium, and information processing method | |
CN103908224A (zh) | 图像处理装置和图像处理方法 | |
JP2015116368A (ja) | 脈拍計測装置、脈拍計測方法及び脈拍計測プログラム | |
US20240138692A1 (en) | Method and system for heart rate extraction from rgb images | |
CN111970965A (zh) | 模型设定装置、非接触式血压测定装置、模型设定方法、模型设定程序以及记录介质 | |
JP6201520B2 (ja) | 生理指標を用いる視線分析システムおよび方法 | |
JP7237768B2 (ja) | 生体情報検出装置 | |
JP6488722B2 (ja) | 脈波検出装置、脈波検出方法及び脈波検出プログラム | |
JP7106821B2 (ja) | 生体信号解析装置、生体信号解析方法及びプログラム | |
JP2019058258A (ja) | 心身状態推定装置、心身状態推定方法およびプログラム | |
JP2022031001A (ja) | 心拍測定システム、心拍測定方法、及び心拍測定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170911 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180717 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180918 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190531 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6547160 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |