JP6869205B2 - 生体の拍動を検出する生体情報検出装置、プログラム及び方法 - Google Patents
生体の拍動を検出する生体情報検出装置、プログラム及び方法 Download PDFInfo
- Publication number
- JP6869205B2 JP6869205B2 JP2018093844A JP2018093844A JP6869205B2 JP 6869205 B2 JP6869205 B2 JP 6869205B2 JP 2018093844 A JP2018093844 A JP 2018093844A JP 2018093844 A JP2018093844 A JP 2018093844A JP 6869205 B2 JP6869205 B2 JP 6869205B2
- Authority
- JP
- Japan
- Prior art keywords
- depth
- pulsating
- target part
- depth value
- pulsation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Description
また、計測対象の人物自身やその計測装置自体が、不安定に動く環境下では、その動きがバイタルデータ自体に影響を与えて、正確な計測をすることができない。
デプス画像から、人物の身体における拍動対象部位と非拍動対象部位とを検出する身体部位検出手段と、
拍動対象部位及び非拍動対象部位それぞれについて、デプス値を、時系列に検出するデプス値検出手段と、
拍動対象部位のデプス値の時系列から、非拍動対象部位のデプス値の変位を差し引いて補正するデプス値補正手段と、
補正された拍動対象部位のデプス値の時系列から、拍動有無又は拍動周期を検出する拍動検出手段と
を有し、
デプス画像は、固定されていないデプスカメラによって撮影され、当該デプスカメラ自身の揺れの影響が反映されたものである
ことを特徴とする。
デプスカメラは、人物を撮影するドローンに搭載されたものであることも好ましい。
拍動対象部位及び非拍動対象部位は、人物の身体における関節部位であることも好ましい。
非拍動対象部位は、肩部位であり、
拍動対象部位は、腹部位であることも好ましい。
拍動対象部位及び非拍動対象部位は、ユーザ指定に基づくものである
ことも好ましい。
デプス画像から、人物の身体における拍動対象部位と非拍動対象部位とを検出する身体部位検出手段と、
拍動対象部位及び非拍動対象部位それぞれについて、デプス値を、時系列に検出するデプス値検出手段と、
拍動対象部位のデプス値の時系列から、非拍動対象部位のデプス値の変位を差し引いて補正するデプス値補正手段と、
補正された拍動対象部位のデプス値の時系列から、拍動有無又は拍動周期を検出する拍動検出手段と
してコンピュータを機能させ、
デプス画像は、固定されていないデプスカメラによって撮影され、当該デプスカメラ自身の揺れの影響が反映されたものである
ことを特徴とする。
装置は、
デプス画像から、人物の身体における拍動対象部位と非拍動対象部位とを検出する第1のステップと、
拍動対象部位及び非拍動対象部位それぞれについて、デプス値を、時系列に検出する第2のステップと、
拍動対象部位のデプス値の時系列から、非拍動対象部位のデプス値の変位を差し引いて補正する第3のステップと
補正された拍動対象部位のデプス値の時系列から、拍動有無又は拍動周期を検出する第4のステップと
を実行し、
デプス画像は、固定されていないデプスカメラによって撮影され、当該デプスカメラ自身の揺れの影響が反映されたものである
ことを特徴とする。
端末2はそれぞれ、デプスカメラを搭載しており、人物が映り込むデプス画像を、生体情報検出装置1へ送信する。デプスカメラは、赤外線を照射し、照射光と反射光との位相差によって距離を測定する。前方の数メートル四方程度の範囲について、人物までの距離を一度に測定する。例えば、人物の呼吸によって動く部位の変位は数mm程度であるが、一般的なデプスカメラであってもそのデプス値の変位を十分に計測することができる。
勿論、デプス画像は必ずしも端末2から送信されたものに限られず、例えばデプス画像が記録された記録媒体が、生体情報検出装置1に搭載されたものであってもよい。
また、端末2は、ドローン(小型無人物飛行機)やロボットのような自律的な移動体であってもよい。この場合も、自律的な動きによって、デプス画像が揺れ動く場合がある。
更に、端末2は、例えば自動車の運転手を撮影するために、フロントガラスの上部分に設置されたデプスカメラであってもよい。運転手の拍動を検出することによって、居眠り運転などのを検知することもできる。この場合も、デプスカメラが設置された車両自体や運転手自体が常に揺れ動いている。
更に、端末2は、例えば仕事中の人物を撮影するために設置されたデプスカメラであってもよい。人物の拍動を検出することによって、ストレスやいらだち等を検知することができる。この場合も、人物自体が常に揺れ動いている。
尚、図1のように、本発明の実施形態によれば、デプスカメラを搭載した端末2と、生体情報検出装置1とは、ネットワークを介して通信する別装置として説明する。勿論、他の実施形態として、端末2に、デプスカメラ及び生体情報検出装置1が搭載されたものであってもよい。
ここでは、デプスカメラと被写部分(人物の各部位)との距離が、短くなるほど濃い色で表され、長くなるほど薄い色で表されている。
身体部位検出部11は、デプス画像から、人物の身体における「拍動対象部位」と「非拍動対象部位」とを同時に検出する。拍動対象部位としては、人物における例えば胸部や腹部のように、呼吸や心拍によって周期的に動作する部位とする。一方で、非拍動対象部位は、人物における例えば肩部や腰部のように、呼吸や心拍によって周期的に動作しにくい部位とする。
拍動対象部位及び非拍動対象部位は、ユーザ指定に基づくものであってもよいし、スケルトン画像から検出された関節部位に基づくものであってもよい。
図4は、デプス画像に拍動対象部位及び非拍動対象部位の指定を表す説明図である。
図4(a)によれば、デプス画像上を、オペレータのマウス操作によって人物の部位を指定させる。ここでは、拍動対象部位として「腹部位」部分が指定され、非拍動対象部位として「左肩部位」部分が指定されている。腹部位は、呼吸によって動きやすいのに対し、肩部位は、呼吸によって動きにくい。
図4(b)によれば、ユーザインタフェースとして、予め規定された部位の選択窓が表示されており、オペレータが選択可能となっている。
図5は、スケルトン画像から検出された関節部位を表す説明図である。
スケルトン情報とは、18個の各関節の2次元座標点とその信頼度とを、各フレームで結び付けた2次元骨格の関節データをいう。
デプス値検出部12は、拍動対象部位及び非拍動対象部位それぞれについて、デプス値を、時系列に検出する。
デプス値補正部13は、拍動対象部位(腹部位)のデプス値の時系列から、非拍動対象部位(左肩部位)のデプス値の変位を差し引いて補正する。このように、差し引いて補正することにより、拍動の変位周期だけを取得することができる。尚、この拍動の明確な変位周期を取得できなかった場合には、拍動対象部位である腹部位に拍動自体が存在していないと判断することもできる。
(時刻t1)前時刻t0の左肩部位のデプス値1500mmから、時刻t1の左肩部位のデプス値1500mmへの変位(差分)0mmを、時刻t1の腹部位のデプス値1505mmから差し引いて、時刻t1の腹部位のデプス値1505mmと補正する。
(時刻t2)前時刻t1の左肩部位のデプス値1500mmから、時刻t2の左肩部位のデプス値1502mmへの変位(差分)2mmを、時刻t2の腹部位のデプス値1502mmから差し引いて、時刻t2の腹部位のデプス値1500mmと補正する。
(時刻t3)前時刻t2の左肩部位のデプス値1502mmから、時刻t3の左肩部位のデプス値1505mmへの変位(差分)3mmを、時刻t3の腹部位のデプス値1510mmから差し引いて、時刻t3の腹部位のデプス値1507mmと補正する。
拍動検出部14は、補正された拍動対象部位のデプス値の時系列から、拍動有無又は拍動周期を検出する。
図7(a)は、腹部位(拍動部位)のデプス値の変位周期を表す。
図7(b)は、左肩部位(非拍動部位)のデプス値の変位を表す。
図7(c)は、補正された腹部位(拍動部位)の拍動周期を表す。
図7のように、拍動部位と非拍動部位とのデプス値の変位を、時間経過に応じて記録することによって、腹部位の前後の動きの呼吸数の周期を解析し、心拍数の周期を導出することができる。
また、ドローンやロボットのような自律的な移動体に搭載されたデプスカメラによって、計測対象の人物を撮影したものであってもよい。
更に、自動車のフロントガラスの上部分に設置されたデプスカメラによって、その運転手を撮影したものであってもよい。
更に、仕事中の人物を撮影するために設置されたデプスカメラによって、その人物を撮影したものであってもよい。
11 身体部位検出部
12 デプス値検出部
13 デプス値補正部
14 拍動検出部
2 端末
Claims (7)
- 人物が映り込むデプス画像から、生体の拍動を検出する生体情報検出装置であって、
前記デプス画像から、人物の身体における拍動対象部位と非拍動対象部位とを検出する身体部位検出手段と、
拍動対象部位及び非拍動対象部位それぞれについて、デプス値を、時系列に検出するデプス値検出手段と、
拍動対象部位のデプス値の時系列から、非拍動対象部位のデプス値の変位を差し引いて補正するデプス値補正手段と、
補正された拍動対象部位のデプス値の時系列から、拍動有無又は拍動周期を検出する拍動検出手段と
を有し、
前記デプス画像は、固定されていないデプスカメラによって撮影され、当該デプスカメラ自身の揺れの影響が反映されたものである
ことを特徴とする生体情報検出装置。 - 前記デプスカメラは、人物を撮影するドローンに搭載されたものである
ことを特徴とする請求項1に記載の生体情報検出装置。 - 前記拍動対象部位及び前記非拍動対象部位は、人物の身体における関節部位である
ことを特徴とする請求項1又は2に記載の生体情報検出装置。 - 前記非拍動対象部位は、肩部位であり、
前記拍動対象部位は、腹部位である
ことを特徴とする請求項3に記載の生体情報検出装置。 - 前記拍動対象部位及び前記非拍動対象部位は、ユーザ指定に基づくものである
ことを特徴とする請求項1又は2に記載の生体情報検出装置。 - 人物が映り込むデプス画像から、生体の拍動を検出するようにコンピュータを機能させる生体情報検出プログラムであって、
前記デプス画像から、人物の身体における拍動対象部位と非拍動対象部位とを検出する身体部位検出手段と、
拍動対象部位及び非拍動対象部位それぞれについて、デプス値を、時系列に検出するデプス値検出手段と、
拍動対象部位のデプス値の時系列から、非拍動対象部位のデプス値の変位を差し引いて補正するデプス値補正手段と、
補正された拍動対象部位のデプス値の時系列から、拍動有無又は拍動周期を検出する拍動検出手段と
してコンピュータを機能させ、
前記デプス画像は、固定されていないデプスカメラによって撮影され、当該デプスカメラ自身の揺れの影響が反映されたものである
ことを特徴とする生体情報検出プログラム。 - 人物が映り込むデプス画像から、生体の拍動を検出する装置の生体情報検出方法であって、
前記装置は、
前記デプス画像から、人物の身体における拍動対象部位と非拍動対象部位とを検出する第1のステップと、
拍動対象部位及び非拍動対象部位それぞれについて、デプス値を、時系列に検出する第2のステップと、
拍動対象部位のデプス値の時系列から、非拍動対象部位のデプス値の変位を差し引いて補正する第3のステップと
補正された拍動対象部位のデプス値の時系列から、拍動有無又は拍動周期を検出する第4のステップと
を実行し、
前記デプス画像は、固定されていないデプスカメラによって撮影され、当該デプスカメラ自身の揺れの影響が反映されたものである
ことを特徴とする装置の生体情報検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018093844A JP6869205B2 (ja) | 2018-05-15 | 2018-05-15 | 生体の拍動を検出する生体情報検出装置、プログラム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018093844A JP6869205B2 (ja) | 2018-05-15 | 2018-05-15 | 生体の拍動を検出する生体情報検出装置、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019198418A JP2019198418A (ja) | 2019-11-21 |
JP6869205B2 true JP6869205B2 (ja) | 2021-05-12 |
Family
ID=68612650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018093844A Active JP6869205B2 (ja) | 2018-05-15 | 2018-05-15 | 生体の拍動を検出する生体情報検出装置、プログラム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6869205B2 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015059700A1 (en) * | 2013-10-24 | 2015-04-30 | Breathevision Ltd. | Motion monitor |
JP6737261B2 (ja) * | 2015-03-13 | 2020-08-05 | ノーリツプレシジョン株式会社 | バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラム |
JP6304718B2 (ja) * | 2016-01-04 | 2018-04-04 | みずほ情報総研株式会社 | 呼吸計測システム、呼吸計測システムの動作方法及び呼吸計測プログラム |
CN107550474A (zh) * | 2016-06-30 | 2018-01-09 | 松下知识产权经营株式会社 | 生物体信息检测装置 |
-
2018
- 2018-05-15 JP JP2018093844A patent/JP6869205B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019198418A (ja) | 2019-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3057487B1 (en) | Device and method for obtaining a vital sign of a subject | |
EP3373804B1 (en) | Device, system and method for sensor position guidance | |
KR102200526B1 (ko) | 개방형 api 기반 의료 정보 제공 방법 및 시스템 | |
US20150366456A1 (en) | Pulse wave velocity measurement method | |
US9364157B2 (en) | Apparatus based on image for detecting heart rate activity and method thereof | |
US9504426B2 (en) | Using an adaptive band-pass filter to compensate for motion induced artifacts in a physiological signal extracted from video | |
KR101118654B1 (ko) | 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법 | |
US10984914B2 (en) | CPR assistance device and a method for determining patient chest compression depth | |
EP3247261A1 (en) | Device, system and method for skin detection | |
US11850026B2 (en) | Remote portable vital signs monitoring | |
KR101426750B1 (ko) | 열화상을 이용한 심박수 측정 시스템 | |
CN106255449A (zh) | 具有用于生命体征扫描的多个集成传感器的便携式装置 | |
WO2016087273A1 (en) | Device and method for skin detection | |
US20160267652A1 (en) | Methods and systems for measuring use of an assistive device for ambulation | |
Kempfle et al. | Respiration rate estimation with depth cameras: An evaluation of parameters | |
CN111195115A (zh) | 用于确定受试者位置和生命体征的系统和方法 | |
JP6869205B2 (ja) | 生体の拍動を検出する生体情報検出装置、プログラム及び方法 | |
Sinha et al. | Depth sensor based skeletal tracking evaluation for fall detection systems | |
US20220240865A1 (en) | Video based detection of pulse waveform | |
US11783564B2 (en) | Contactless parameters measurement system and method | |
KR102473744B1 (ko) | 가림 안가림 검사 중 획득한 안구 이미지 분석을 통한 사시진단방법 | |
JP6750193B2 (ja) | 歩行周期の検出方法及び検出装置 | |
Imaduddin et al. | A computationally efficient heart rate measurement system using video cameras | |
KR20220033303A (ko) | 비접촉식 생체신호 측정 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200523 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210312 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6869205 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |