JPWO2020003910A1 - 心拍検出装置、心拍検出方法及びプログラム - Google Patents

心拍検出装置、心拍検出方法及びプログラム Download PDF

Info

Publication number
JPWO2020003910A1
JPWO2020003910A1 JP2020527325A JP2020527325A JPWO2020003910A1 JP WO2020003910 A1 JPWO2020003910 A1 JP WO2020003910A1 JP 2020527325 A JP2020527325 A JP 2020527325A JP 2020527325 A JP2020527325 A JP 2020527325A JP WO2020003910 A1 JPWO2020003910 A1 JP WO2020003910A1
Authority
JP
Japan
Prior art keywords
heart rate
vibration wave
brightness
captured image
delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020527325A
Other languages
English (en)
Inventor
速水　淳
淳 速水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murakami Corp
Original Assignee
Murakami Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murakami Corp filed Critical Murakami Corp
Publication of JPWO2020003910A1 publication Critical patent/JPWO2020003910A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

心拍数の検出精度を高め、心拍数の検出時間を短縮する。心拍検出装置１は、ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像の輝度を用いて心拍数を検出する心拍検出部１６を備え、前記心拍検出部１６は、前記各フレームの撮影画像の輝度の総和を演算し、前記輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形において前記差が小さくなるときのピークの周期により、前記心拍数を演算する。

Description

本発明は、心拍検出装置、心拍検出方法及びプログラムに関する。
従来、ユーザの撮影画像から心拍数を検出し、ストレスを評価することが行われている。ユーザの体表に接触することなく、心拍数を計測できるため、ストレス評価を簡便に行うことができる。
心拍数の検出方法としては、例えば色素成分分離を行った撮影画像の画素平均値の時間変化から心拍間隔データを求め、求めた心拍間隔データを周波数変換することで、脈拍を検出する方法が提案されている（例えば、特許文献１参照。）。
特開２０１７−２９３１８号公報
しかしながら、ユーザが少し動いただけでも撮影画像の輝度は大きく変わる。周波数変換は、ユーザの動きのような長周期成分の影響を受けやすいため、心拍数の検出精度が低下しやすい。十分な検出精度を得るためには、撮影画像のフレーム数を増やさなければならず、データ量及び演算量が増えて心拍数の検出時間が長引いてしまう。
本発明は、心拍数の検出精度を高め、心拍数の検出時間を短縮することを目的とする。
請求項１に記載の発明によれば、
ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像の輝度を用いて心拍数を検出する心拍検出部を備え、
前記心拍検出部は、前記各フレームの撮影画像の輝度の総和を演算し、前記輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形において前記差が小さくなるときのピークの周期により、前記心拍数を演算する、
心拍検出装置が提供される。
上記心拍検出装置によれば、遅延前と遅延後の各振動波の差から、心拍の周期性を有する振動波成分を求めるため、振動波中にユーザの動きに起因する長周期の振動波成分が含まれる場合でも、精度良く心拍数を検出することができる。また、輝度の加算と各振動波の減算の簡易な演算で心拍数を演算できるため、少ない演算量で心拍数を検出することができる。したがって、心拍数の検出時間も短縮することができる。
請求項２に記載の発明によれば、
前記心拍検出部は、前記差の波形が開始した時点から最初の前記ピークが現れる時点までを１周期として、前記心拍数を演算する、
請求項１に記載の心拍検出装置が提供される。
これにより、心拍以外の振動波の影響を減らして心拍の周期を求めることができ、心拍数の検出精度がより向上する
請求項３に記載の発明によれば、
前記心拍検出部により検出された心拍数の信頼度を判定し、前記信頼度を前記心拍数とともに出力する判定部を備える、
請求項１又は２に記載の心拍検出装置が提供される。
これにより、心拍数とともに心拍数の信頼度を提供することができる。
請求項４に記載の発明によれば、
前記輝度が、緑の輝度である、
請求項１〜３のいずれか一項に記載の心拍検出装置が提供される。
これにより、拍動によって量が変動するヘモグロビンに対する感度が向上し、心拍数の検出精度がより向上する。
請求項５に記載の発明によれば、
前記撮影画像にＲＯＩを設定するＲＯＩ設定部を備え、
前記心拍検出部は、前記ＲＯＩ内の輝度の総和を演算する、
請求項１〜４のいずれか一項に記載の心拍検出装置が提供される。
これにより、輝度の総和の演算量を減らすことができ、心拍数の検出時間をより短縮できる。
請求項６に記載の発明によれば、
前記撮影画像は、前記ユーザの顔の撮影画像であり、
前記各フレームの撮影画像において前記顔の特徴点を抽出する特徴点抽出部と、
前記特徴点により前記各フレームの撮影画像の顔の位置を合わせる追従部と、を備える、
請求項１〜５のいずれか一項に記載の心拍検出装置が提供される。
これにより、ユーザの動きに起因するノイズ成分を減らすことができ、心拍数の検出精度がより向上する。
請求項７に記載の発明によれば、
ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像の輝度を用いて心拍数を検出するステップを含み、
前記心拍数を検出するステップは、前記各フレームの撮影画像の輝度の総和を演算し、前記輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形において前記差が小さくなるときのピークの周期により、前記心拍数を演算する、
心拍検出方法が提供される。
上記心拍検出方法によれば、遅延前と遅延後の各振動波の差から、心拍の周期性を有する振動波成分を求めるため、振動波中にユーザの動きに起因する長周期の振動波成分が含まれる場合でも、精度良く心拍数を検出することができる。また、輝度の加算と各振動波の減算の簡易な演算で心拍数を演算できるため、少ない演算量で心拍数を検出することができる。したがって、心拍数の検出時間も短縮することができる。
請求項８に記載の発明によれば、
コンピュータに、ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像の輝度を用いて心拍数を検出するステップを実行させるためのプログラムであって、
前記心拍数を検出するステップでは、前記各フレームの撮影画像の輝度の総和を演算し、前記輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形において前記差が小さくなるときのピークの周期により、前記心拍数を演算する、
プログラムが提供される。
上記プログラムによれば、遅延前と遅延後の各振動波の差から、心拍の周期性を有する振動波成分を求めるため、振動波中にユーザの動きに起因する長周期の振動波成分が含まれる場合でも、精度良く心拍数を検出することができる。また、輝度の加算と各振動波の減算の簡易な演算で心拍数を演算できるため、少ない演算量で心拍数を検出することができる。したがって、心拍数の検出時間も短縮することができる。
本発明によれば、心拍数の検出精度を高め、心拍数の検出時間を短縮することができる。
本発明の実施の形態の心拍検出装置の構成を機能ごとに示すブロック図である。 顔画像から抽出された特徴量の一例を示す図である。 輝度の総和の時間的変化を表す振動波の一例を示すグラフである。 補正後の振動波を示すグラフである。 遅延前の振動波と遅延後の各振動波の一例を示すグラフである。 遅延前の振動波と遅延後の各振動波の差の波形の一例を示すグラフである。 遅延前の振動波と遅延後の振動波の差の波形を示すグラフである。 心拍数の表示例を示すグラフである。 心拍検出装置が、心拍数を検出するときの処理手順を示すフローチャートである。
以下、本発明の心拍検出装置、心拍検出方法及びプログラムの実施の形態について、図面を参照して説明する。
図１は、本発明の一実施形態である心拍検出装置１の構成を機能ごとに示すブロック図である。
図１に示すように、心拍検出装置１は、撮影装置２に接続され、撮影装置２から入力されたユーザの撮影画像から心拍数を検出する。また、心拍検出装置１は、表示装置３に接続され、検出した心拍数を表示装置３に出力する。
（撮影装置）
撮影装置２は、ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像を生成する。本実施形態において、撮影画像は、各画素がＲ（赤）、Ｇ(緑)及びＢ（青）の輝度を有するビットマップ画像である。また、撮影画像は、ユーザの顔の撮影画像である。撮影画像に顔が含まれていると、顔の特徴点の位置を元に各フレーム間で撮影画像の位置合わせが容易になる。
（表示装置）
表示装置３は、心拍検出装置１から出力された心拍数を表示する。表示装置３としては、例えばＬＣＤ（Liquid Crystal Display）、タッチパネル等を使用できる。
（心拍検出装置）
心拍検出装置１は、図１に示すように、顔抽出部１１、特徴点抽出部１２、追従部１３、ＲＯＩ設定部１４、輝度抽出部１５、心拍検出部１６及び判定部１７を備えて、構成されている。
心拍検出装置１の各構成部の処理内容は、ＦＰＧＡ（Field-Programmable Gate Array）、ＬＳＩ（Large Scale Integration）等のハードウェアにより実現することができる。また、各構成部の処理内容は、その処理手順を記述したプログラムを、当該プログラムを記憶する記憶媒体からコンピュータが読み取って実行するソフトウェア処理により、実現することもできる。コンピュータとしては、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサーを使用することができる。記憶媒体としては、ハードディスクやＲＯＭ（Read Only Memory）等を使用することができる。
顔抽出部１１は、撮影装置２から入力された撮影画像から、ユーザの顔の領域を抽出する。顔抽出部１１による顔の認識方法としては、特に限定されず、例えばテンプレートマッチング等の公知の方法を使用できる。
特徴点抽出部１２は、顔抽出部１１により抽出された顔の領域から複数の特徴点を抽出し、各特徴点の特徴量を演算する。使用できる特徴点の抽出方法としては、特に限定されず、例えばＦＡＳＴ、Ｈａｒｒｉｓ等のコーナー特徴量、ＳＵＲＦ、ＫＡＺＥ等の局所特徴量、勾配ヒストグラム等が挙げられる。
追従部１３は、特徴点抽出部１２により抽出された特徴点の位置を元に、各フレームの撮影画像の顔の位置を合わせる。具体的には、追従部１３は、撮影装置２から入力された現在のフレームと直前のフレームとで特徴量の類似度が最も高い特徴点同士の位置が一致するように、現在のフレームの撮影画像を投射変換する。これにより、現在のフレームの顔の位置を直前のフレームの顔の位置に追従させることができる。
ＲＯＩ設定部１４は、追従部１３により顔の位置を合わせた撮影画像に、ＲＯＩ（Region Of Interest）を設定する。ＲＯＩ設定部１４は、ＲＯＩの位置及びサイズを任意に設定できるが、口周辺又は鼻周辺を含む領域をＲＯＩに設定することが好ましい。口周辺又は鼻周辺の領域は、血中のヘモグロビン量の変化が体表面に現れやすく、心拍数の検出が容易になる。撮影画像中の口及び鼻の位置は、テンプレートマッチング等により検出できる。
図２は、撮影画像の一例を示している。
図２に示すように、撮影画像５０から顔の領域５１が抽出され、特徴点が抽出されている。図２において、特徴点は十字形のマーカーで表される。顔の領域５１において鼻と口を含む領域５２がＲＯＩとして設定されている。
輝度抽出部１５は、撮影画像のＲ、Ｇ及びＢの輝度のうち、心拍数の検出に使用する輝度を抽出する。いずれの色の輝度でも心拍を検出することはできるが、輝度抽出部１５は、Ｇの輝度を抽出することが好ましい。Ｇの輝度は、拍動によって量が変化するヘモグロビンに対する感度が高く、心拍数の検出精度が向上しやすい。
心拍検出部１６は、各フレームの撮影画像の輝度の総和を演算し、輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延する。心拍検出部１６は、遅延前の振動波と遅延後の各振動波の差から心拍数を演算する。
心拍検出部１６は、図１に示すように、積分演算部１６１、補正部１６２及び相関演算部１６３を備えている。
積分演算部１６１は、各フレームの撮影画像の輝度の総和を演算する。積分演算部１６１は、撮影画像の全領域の輝度の総和を演算することもできるが、ＲＯＩ設定部１４により設定されたＲＯＩ内の輝度の総和を演算することが好ましい。これにより、演算量を減らすことができ、心拍数の検出時間を短縮できる。
各フレームの撮影画像の撮影時間に対して、各フレームの撮影画像から演算した輝度の総和をプロットすることにより、輝度の時間的変化を表わす振動波が得られる。血中のヘモグロビンの量は、拍動によって変化し、このヘモグロビンの量によって撮影画像の輝度が変化する。そのため、得られた振動波は、心拍の振動波を含む。
図３は、ＲＯＩの輝度の総和の時間的変化を表わす振動波の一例を示している。
図３に示すように、振動波には周期的な振動波成分が含まれている。
補正部１６２は、積分演算部１６１により得られた振動波の補正を行う。補正部１６２は、補正の１つとして振動波をフィルタ処理し、心拍に影響のない振動波成分を除去する。個人差はあるが、一般的に心拍の振動波の周波数は１Ｈｚ付近であり、身体状態によって０．７〜２．０Ｈｚ程度の範囲内で変動がある。補正部１６２は、この範囲付近の周波数の振動波成分、例えば０．１〜２．８Ｈｚの周波数帯域にある振動波成分を抽出することで、心拍に影響がないノイズ成分を除去することができる。フィルタ処理に使用できるフィルタとしては、バンドパスフィルタ、ハイパスフィルタ、ローパスフィルタ等が挙げられる。
また、補正部１６２は、補正の１つとして自動利得制御（ＡＧＣ：Auto Gain Control）を行うことにより、振動波の振幅を一定に調整する。
図４は、図３に示す振動波を補正して得られた振動波を示している。
図４に示すように、補正によってノイズ成分である振動波が除去され、心拍の振動波成分が強調された振動波が得られている。
相関演算部１６３は、補正部１６２により得られた振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差を演算する。具体的には、相関演算部１６３は、補正部１６２により得られた振動波をバッファメモリ等のメモリに保持し、一定時間遅延させた各振動波をリングバッファメモリ等のメモリに保持する。相関演算部１６３は、保持した遅延前の振動波と遅延後の各振動波との差を演算する。
図５Ａは、遅延前の振動波と遅延後の各振動波の一例を示している。
図５Ａに示すように、元の振動波Ｗ０から一定時間ｔをそれぞれｉ倍（ｉは１以上の整数）した時間だけ遅延した各振動波Ｗｉが得られる。例えば、振動波Ｗ１は振動波Ｗ０から一定時間ｔだけ遅延した振動波であり、振動波Ｗ２は振動波Ｗ１からさらに一定時間ｔだけ遅延した振動波、すなわち振動波Ｗ０から時間２ｔだけ遅延した振動波である。
相関演算部１６３は、演算期間Ｔｃ内において、遅延前の振動波Ｗ０と、遅延後の各振動波Ｗｉと、をそれぞれ比較し、その差を算出する。
演算期間Ｔｃは、検出対象とする心拍の周期に応じて決定することができる。例えば、心拍数が３０ＢＰＭ以上の心拍を検出する場合、１周期は約２秒であるため、演算期間Ｔｃを少なくとも２周期以上となる４秒以上に決定することが好ましい。
具体的には、相関演算部１６３は、演算期間Ｔｃ内において、遅延前の振動波Ｗ０及び遅延後の各振動波Ｗｉを、一定のサンプリング間隔でサンプリングする。サンプリング間隔は、各振動波Ｗｉの遅延量と同じ時間である。相関演算部１６３は、下記式に示すように、サンプリングした遅延前の振動波Ｗ０ｊと遅延後の各振動波Ｗｉｊの差の絶対値の総和Ｓｊを算出する。なお、ｊはサンプリングした回数を表し、ｊ＝０〜ｉである。
Ｓｊ＝Σ｛ａｂｓ（Ｗ０ｊ−Ｗｉｊ）｝
上記式において、ａｂｓ（）は、（）内の演算結果の絶対値を出力する関数を表す。Ｗ０ｊは、サンプリングした遅延前の振動波Ｗ０の振幅値を示す。Ｗｉｊは、サンプリングした遅延後の各振動波Ｗｉの振幅値を示す。
図５Ｂは、差の絶対値の総和Ｓｊの波形を示す。
例えば、図５Ｂ中のＳ０、Ｓ１、Ｓ２・・・Ｓｉは、図５Ａに示す振動波Ｗ０〜Ｗｉから、次のように算出される。
S0=abs(W00-W00)+abs(W01-W01)+・・・+abs(W0i-W0i)
S1=abs(W00-W10)+abs(W01-W11)+・・・+abs(W0i-W1i)
S2=abs(W00-W20)+abs(W01-W21)+・・・+abs(W0i-W2i)
・・・
Si=abs(W00-Wi0)+abs(W01-Wi1)+・・・+abs(W0i-Wii)
心拍のように周期性を有する振動波は、一定時間遅延すると元の振動波との差が大きくなるが、さらに遅延して自己の振動波と周期が一致すると、その差が小さくなる。そのため、図５Ｂに示すように、遅延時間と同じサンプリング間隔でＳｊを出力すると、元の振動波Ｗ０、すなわち心拍の振動波の周期を基本周期とした繰り返しの波である振動波Ｗｃを得ることができる。振動波Ｗｃは、元の振動波Ｗ０の自己相関性を表し、値が小さいほど、自己相関性が高い。
元の振動波Ｗ０同士の差は０であるため、その総和Ｓ０も０である。例えば、振動波Ｗ０から心拍の１周期分ずれた波形が振動波Ｗｉであるとすると、振動波Ｗ０と振動波Ｗｉは波形が同じか類似するため、差の絶対値の総和Ｓｉは０か０に近い値となる。図５Ｂに示すように、Ｓ０の次に総和が小さくなるのはＳｉであり、Ｓ０とＳｉ間が心拍の１周期に相当する。
なお、相関演算部１６３では、演算期間Ｔｃの間、遅延した振動波Ｗｉを出力する。
例えば、振動波Ｗ０の遅延時間が１／３２秒であり、演算期間Ｔｃが８秒の場合、相関演算部１６３は、振動波Ｗ１〜Ｗ２５５を出力する。サンプリング間隔は遅延時間と同じ１／３２秒であるので、演算期間Ｔｃの間に２５６回のサンプリングが行われる。
相関演算部１６３は、遅延前の振動波と遅延後の各振動波の差の波形において、差が小さくなるときのピークの周期により、心拍数を演算する。具体的には、相関演算部１６３は、差の波形が開始した時間から差が小さくなるときの最初のピークの時間までを心拍の周期として決定する。相関演算部１６３は、決定した心拍の周期から心拍数を演算して出力する。なお、差の波形において差が小さくなるときの複数のピークが現れるので、相関演算部１６３は、各ピーク間の周期により心拍数を演算してもよいが、上記のように最初のピークによって心拍数を演算した方が心拍数の信頼性が高く、好ましい。
図６は、遅延前の振動波と遅延後の各振動波の差の波形を示している。
図６に示すように、差の波形が開始した時間ｔ１から、差が小さくなるときの最初のピークの時間ｔ２までが、心拍の１周期である。図６の例では、時間差（ｔ２−ｔ１）から、心拍数が６５．７４（ＢＰＭ）という演算結果が得られている。
判定部１７は、心拍検出部１６により検出した心拍数の信頼度を判定する。例えば、判定部１７は、心拍検出部１６により検出した、直近５つの心拍数の分散値を算出する。判定部１７は、分散値が閾値未満であれば高い信頼度に決定し、分散値が閾値以上であれば低い信頼度に決定することができる。信頼度は、複数段階に分けられていてもよい。例えば、判定部１７は、分散値に対して複数の閾値を使用し、信頼度を３段階で判定することもできる。
また、判定部１７は、心拍数が一定範囲内、例えば３０〜１５０（ＢＰＭ）の範囲内にあれば高い信頼度に決定し、一定範囲外にあれば低い信頼度に決定することができる。判定部１７は、ユーザの平均心拍数を演算するか取得して、検出した心拍数が平均心拍数から一定範囲内にあるか否かによって信頼度を決定することもできる。
遅延前の振動波と遅延後の各振動波の差の波形において、心拍の周期の決定に用いられたピークの頂点の値が小さいほど、差の波形は心拍の振動波に近い。よって、判定部１７は、心拍の周期の決定に用いられたピークの頂点の値が一定値より低い場合は高い信頼度に決定し、一定値以上の場合は低い信頼度に決定することもできる。
判定部１７は、判定した信頼度を心拍検出部１６により検出された心拍数とともに出力する。表示装置３において心拍数を表示する際、心拍数を信頼度とともに表示することができる。信頼度に応じた表示形態で心拍数が表示されてもよい。例えば、心拍数を表示する際に信頼度が高い心拍数は黒色で表示し、信頼度が低い心拍数は赤色で表示することができる。
図７は、心拍数の表示例を示している。
図７に示すように、心拍検出装置１によって一定時間ごとに検出された心拍数のプロットが時系列に表示されている。各心拍数のうち、信頼度が高いと判定された心拍数は円のマーカーで表示され、信頼度が低いと判定された心拍数は三角のマーカーで表示されている。
図８は、上記心拍検出装置１において心拍を検出するときの処理手順を示すフローチャートである。
心拍検出装置１では、図８に示すように、撮影装置２から入力したユーザの体表の撮影画像から、顔抽出部１１が顔の領域を抽出する（ステップＳ１）。特徴点抽出部１２は、検出された顔の領域から特徴点を抽出する（ステップＳ２）。その結果、複数の特徴点が抽出されなかった場合（ステップＳ３：ＮＯ）、ステップＳ１の処理に戻る。
複数の特徴点が抽出された場合(ステップＳ３：ＹＥＳ)、追従部１３は、現在のフレームの撮影画像において抽出された各特徴点と、直前のフレームの撮影画像において抽出された各特徴点の類似度を判定する。追従部１３は、類似度が最も高い特徴点の位置が一致するように、現在のフレームの撮影画像を投射変換し、直前のフレームの顔の位置に現在のフレームの顔の位置を追従させる（ステップＳ４）。追従により、撮影画像中の輝度の時間的変化を表わす振動波から、ユーザの動きによるノイズ成分を減らすことができる。
ＲＯＩ設定部１４は、顔の位置を追従させた現在のフレームの撮影画像にＲＯＩを設定する（ステップＳ５）。一方、輝度抽出部１５は、撮影装置２から入力した撮影画像から、Ｇの輝度を抽出する（ステップＳ６）。
心拍検出部１６では、積分演算部１６１が、設定されたＲＯＩにおいてＧの輝度の総和を求めてメモリに保存する。積分演算部１６１は、メモリから一定期間内のＧの輝度の総和を読み出し、読み出した各輝度の総和の時間的変化を表わす振動波を演算する（ステップＳ７）。補正部１６２は、この振動波を補正する（ステップＳ８）。ここで、振動波を演算した撮影画像のフレーム数が一定数に達しておらず、まだ演算期間Ｔｓに対応する振動波が得られてない場合（ステップＳ９：ＮＯ）、ステップＳ２の処理に戻る。
一方、振動波を演算した撮影画像のフレーム数が一定数に達し、演算期間Ｔｓに対応する振動波が得られた場合（ステップＳ９：ＹＥＳ）、相関演算部１６３は、補正処理後の振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形を求める。相関演算部１６３は、差の波形において波形が開始した時点から差が小さくなる最初のピークが現れる時点までを心拍の１周期として、心拍数を演算する（ステップＳ１０）。
判定部１７は、心拍検出部１６により演算された心拍数の信頼度を判定する（ステップＳ１１）。心拍検出部１６により演算された心拍数は、判定部１７により判定された信頼度とともに、表示装置３に出力される。表示装置３では、出力された心拍数が、数値、グラフ等の表示形態で表示される。心拍数の表示形態は、信頼度によって異ならせることができる。
心拍数の測定終了の指示がなければ（ステップＳ１２：ＮＯ）、ステップＳ２に戻る。測定終了が指示された場合は（ステップＳ１２：ＹＥＳ）、本処理を終了する。
以上のように、本実施形態の心拍検出装置１は、ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像の輝度を用いて心拍数を検出する心拍検出部１６を備える。心拍検出部１６は、各フレームの撮影画像の輝度の総和を演算し、輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形において差が小さくなるときのピークの周期により、心拍数を演算する。
上記実施形態によれば、遅延前と遅延後の各振動波の差から、心拍の周期性を有する振動波成分を求めるため、振動波中にユーザの動きに起因する長周期の振動波成分が含まれる場合でも、精度良く心拍数を検出することができる。また、輝度の加算と各振動波の減算の簡易な演算で心拍数を演算できるため、少ない演算量で心拍数を検出することができる。したがって、心拍数の検出時間も短縮することができる。
輝度の時間的変化を表わす振動波に対し、フーリエ変換、ウェーブレット変換等の周波数変換を行うことで心拍数を演算する場合、本実施形態のように２５６ポイント程度のサンプリング数では心拍の周期を求めることは難しい。心拍数の十分な検出精度を得るにはより多くのサンプリング数を必要とする。また、周波数変換は、心拍よりも長周期の振動波成分の影響を受けやすく、分解能が低くなるため、心拍の振動波成分を精度良く抽出することが難しい。
輝度の時間的変化を表わす振動波に対し、自己相関関数を使用して心拍数を演算する場合も、心拍より長周期の振動波成分の影響を受けて、心拍の振動波を精度良く抽出することが難しい。なお、自己相関関数は、一般的に、Ｒ（ｔ、ｓ）＝Ｅ[（Ｘｔ−μ）（Ｘｓ−μ）]／σ２（Ｘｔ及びＸｓはそれぞれ時刻 t及びｓにおける値、μはＸｔの平均、σ２は分散、Ｅは期待値を表わす。）の式で表される。
一方、本実施形態によれば、遅延した各振動波の差により心拍の周期を求めるため、長周期の振動波成分の影響が少なく、心拍の周期を精度良く演算することができる。また、積算や除算、関数を用いた複雑な演算が必要な周波数変換、自己相関関数等に比べて、本実施形態によれば、加算と減算のみで心拍数を検出でき、演算量が少ないため、検出時間を短縮できる。
上記実施形態は本発明の好適な一例であり、これに限定されない。本発明の技術的思想の範囲内で適宜変更可能である。
例えば、心拍数の検出に使用できる撮影画像は、上述したＲ、Ｇ及びＢの輝度を有する撮影画像に限られず、Ｌ＊、ａ＊及びｂ＊等のＲ、Ｇ及びＢ以外の色空間の輝度を有する撮影画像であってもよい。また、輝度抽出部１５は、心拍数の検出に使用する輝度として、Ｒ、Ｇ及びＢの各輝度を重み付け平均して得られた輝度、明度を表わす輝度等を抽出してもよい。本発明によれば、Ｇ以外の輝度であっても、精度良く心拍数を検出することができる。
また、心拍数の検出に用いる撮影画像は、ユーザの体表の一部の撮影画像であれば、顔の撮影画像ではなく、例えば手首や手の甲、首等の顔以外の他の部位の体表の撮影画像であってもよい。
本出願は、２０１８年６月２８日に出願された日本特許出願である特願２０１８−１２２７５４号に基づく優先権を主張し、当該日本特許出願のすべての記載内容を援用する。
１ 心拍検出装置
１１ 顔抽出部
１２ 特徴点抽出部
１３ 追従部
１４ ＲＯＩ設定部
１６ 心拍検出部
１６１ 積分演算部
１６２ 補正部
１６３ 相関演算部
１７ 判定部

Claims (8)

  1. ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像の輝度を用いて心拍数を検出する心拍検出部を備え、
    前記心拍検出部は、前記各フレームの撮影画像の輝度の総和を演算し、前記輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形において前記差が小さくなるときのピークの周期により、前記心拍数を演算する、
    心拍検出装置。
  2. 前記心拍検出部は、前記差の波形が開始した時点から最初の前記ピークが現れる時点までを１周期として、前記心拍数を演算する、
    請求項１に記載の心拍検出装置。
  3. 前記心拍検出部により検出された心拍数の信頼度を判定し、前記信頼度を前記心拍数とともに出力する判定部を備える、
    請求項１又は２に記載の心拍検出装置。
  4. 前記輝度が、緑の輝度である、
    請求項１〜３のいずれか一項に記載の心拍検出装置。
  5. 前記撮影画像にＲＯＩを設定するＲＯＩ設定部を備え、
    前記心拍検出部は、前記ＲＯＩ内の輝度の総和を演算する、
    請求項１〜４のいずれか一項に記載の心拍検出装置。
  6. 前記撮影画像は、前記ユーザの顔の撮影画像であり、
    前記各フレームの撮影画像において前記顔の特徴点を抽出する特徴点抽出部と、
    前記特徴点により前記各フレームの撮影画像の顔の位置を合わせる追従部と、を備える、
    請求項１〜５のいずれか一項に記載の心拍検出装置。
  7. ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像の輝度を用いて心拍数を検出するステップを含み、
    前記心拍数を検出するステップは、前記各フレームの撮影画像の輝度の総和を演算し、前記輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形において前記差が小さくなるときのピークの周期により、前記心拍数を演算する、
    心拍検出方法。
  8. コンピュータに、ユーザの体表の一部の撮影画像であって、時系列で撮影された複数フレームの撮影画像の輝度を用いて心拍数を検出するステップを実行させるためのプログラムであって、
    前記心拍数を検出するステップでは、前記各フレームの撮影画像の輝度の総和を演算し、前記輝度の総和の時間的変化を表わす振動波を一定時間ずつ遅延し、遅延前の振動波と遅延後の各振動波の差の波形において前記差が小さくなるときのピークの周期により、前記心拍数を演算する、
    プログラム。

JP2020527325A 2018-06-28 2019-06-03 心拍検出装置、心拍検出方法及びプログラム Pending JPWO2020003910A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018122754 2018-06-28
JP2018122754 2018-06-28
PCT/JP2019/021961 WO2020003910A1 (ja) 2018-06-28 2019-06-03 心拍検出装置、心拍検出方法及びプログラム

Publications (1)

Publication Number Publication Date
JPWO2020003910A1 true JPWO2020003910A1 (ja) 2021-08-05

Family

ID=68986477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020527325A Pending JPWO2020003910A1 (ja) 2018-06-28 2019-06-03 心拍検出装置、心拍検出方法及びプログラム

Country Status (5)

Country Link
US (1) US20210244287A1 (ja)
JP (1) JPWO2020003910A1 (ja)
CN (1) CN112384135A (ja)
DE (1) DE112019003225T5 (ja)
WO (1) WO2020003910A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113951855A (zh) * 2021-02-01 2022-01-21 南京云思创智信息科技有限公司 基于人脸的非接触式心率测量方法
WO2022201505A1 (ja) * 2021-03-26 2022-09-29 三菱電機株式会社 脈波検出装置及び脈波検出方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017029318A (ja) * 2015-07-30 2017-02-09 国立大学法人 千葉大学 ストレスモニタリング用画像処理方法及びそのプログラム
WO2017060463A1 (en) * 2015-10-08 2017-04-13 Koninklijke Philips N.V. Device, system and method for obtaining vital sign information of a subject
JP2017510324A (ja) * 2014-02-12 2017-04-13 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 反射された及び透過された光に基づき対象のバイタルサインを決定するデバイス、システム及び方法
CN106618542A (zh) * 2015-10-28 2017-05-10 中国科学院上海高等研究院 一种去噪心率信号检测装置及方法
US20170156632A1 (en) * 2015-08-14 2017-06-08 Albert Joseph Swiston Ingestible devices and methods for physiological status monitoring
WO2017199597A1 (ja) * 2016-05-20 2017-11-23 ソニー株式会社 生体情報処理装置、生体情報処理方法、及び情報処理装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140073969A1 (en) * 2012-09-12 2014-03-13 Neurosky, Inc. Mobile cardiac health monitoring
CN105007809B (zh) * 2013-02-26 2017-06-13 株式会社村田制作所 脉搏波传播时间测量装置
JP6486839B2 (ja) * 2013-03-04 2019-03-20 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 速い動きの構造の超音波撮像
JP6191517B2 (ja) * 2014-03-14 2017-09-06 富士通株式会社 検出装置、検出プログラム、及び検出方法
JPWO2016006027A1 (ja) * 2014-07-07 2017-04-27 富士通株式会社 脈波検出方法、脈波検出プログラム及び脈波検出装置
JP6493680B2 (ja) * 2014-10-09 2019-04-03 パナソニックＩｐマネジメント株式会社 非接触血圧測定装置、及び、非接触血圧測定方法
JP6683367B2 (ja) * 2015-03-30 2020-04-22 国立大学法人東北大学 生体情報計測装置、生体情報計測方法及び生体情報計測プログラム
KR101779018B1 (ko) * 2015-11-11 2017-09-26 (주)비스토스 초음파 도플러 태아감시 장치의 심박 검출 신호처리 방법
WO2017085896A1 (ja) * 2015-11-20 2017-05-26 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
CN105989357A (zh) * 2016-01-18 2016-10-05 合肥工业大学 一种基于人脸视频处理的心率检测方法
TW201801671A (zh) * 2016-07-11 2018-01-16 義明科技股份有限公司 心率偵測方法
US20180085014A1 (en) * 2016-09-23 2018-03-29 Panasonic Intellectual Property Management Co., Ltd. Pulse wave measuring apparatus, method for measuring pulse waves, and recording medium
CN107960989B (zh) * 2016-10-20 2022-02-08 松下知识产权经营株式会社 脉搏波计测装置以及脉搏波计测方法
JP2018114266A (ja) * 2017-01-19 2018-07-26 パナソニックＩｐマネジメント株式会社 脈波計測装置、制御方法、及び、プログラム
US10423893B2 (en) * 2017-08-04 2019-09-24 Hannes Bendfeldt Adaptive interface for screen-based interactions
TWI646941B (zh) * 2017-08-09 2019-01-11 緯創資通股份有限公司 生理訊號量測系統及其量測生理訊號之方法
CN112070067B (zh) * 2020-10-12 2023-11-21 乐普（北京）医疗器械股份有限公司 一种光体积描计信号的散点图分类方法和装置
US20240024416A1 (en) * 2020-10-30 2024-01-25 Gemini Therapeutics Sub, Inc. Methods for treating inflammatory ocular diseases with complement factor h

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017510324A (ja) * 2014-02-12 2017-04-13 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 反射された及び透過された光に基づき対象のバイタルサインを決定するデバイス、システム及び方法
JP2017029318A (ja) * 2015-07-30 2017-02-09 国立大学法人 千葉大学 ストレスモニタリング用画像処理方法及びそのプログラム
US20170156632A1 (en) * 2015-08-14 2017-06-08 Albert Joseph Swiston Ingestible devices and methods for physiological status monitoring
WO2017060463A1 (en) * 2015-10-08 2017-04-13 Koninklijke Philips N.V. Device, system and method for obtaining vital sign information of a subject
CN106618542A (zh) * 2015-10-28 2017-05-10 中国科学院上海高等研究院 一种去噪心率信号检测装置及方法
WO2017199597A1 (ja) * 2016-05-20 2017-11-23 ソニー株式会社 生体情報処理装置、生体情報処理方法、及び情報処理装置

Also Published As

Publication number Publication date
CN112384135A (zh) 2021-02-19
DE112019003225T5 (de) 2021-03-11
US20210244287A1 (en) 2021-08-12
WO2020003910A1 (ja) 2020-01-02

Similar Documents

Publication Publication Date Title
US9795306B2 (en) Method of estimating blood pressure based on image
US10292602B2 (en) Blood flow index calculating method, blood flow index calculating apparatus, and recording medium
EP3087915B1 (en) Method and system for noise cleaning of photoplethysmogram signals for estimating blood pressure
JP6349075B2 (ja) 心拍数測定装置及び心拍数測定方法
US20170112382A1 (en) Pulse-wave detection method, pulse-wave detection device, and computer-readable recording medium
JP6052027B2 (ja) 脈波検出装置、脈波検出プログラムおよび脈波検出方法
EP2777485B1 (en) Signal processor, signal processing method, and signal processing program
WO2015121949A1 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
JP6115263B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP6928219B2 (ja) 脈拍周期検出装置、脈拍周期検出方法、脈拍周期検出プログラム、及び脈波検出装置
Rumiński Reliability of pulse measurements in videoplethysmography
JP6393984B2 (ja) 脈拍計測装置、脈拍計測方法及び脈拍計測プログラム
JP6135255B2 (ja) 心拍測定プログラム、心拍測定方法及び心拍測定装置
JP2015211829A (ja) 動脈拍動波伝搬時間のｖｐｇおよびｅｃｇ／ｅｋｇ信号からの判定
JPWO2020054122A1 (ja) 情報処理装置、プログラム及び情報処理方法
JPWO2020003910A1 (ja) 心拍検出装置、心拍検出方法及びプログラム
JP5320837B2 (ja) 脈拍計測装置、脈拍計測プログラムおよび脈拍計測方法
EP3318179B1 (en) Method for measuring respiration rate and heart rate using dual camera of smartphone
CN107405086B (zh) 测定装置、测定方法及程序
JP7124974B2 (ja) 血液量パルス信号検出装置、血液量パルス信号検出方法、及びプログラム
JP6488722B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP6167849B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP7282897B2 (ja) 脈拍数推定方法、装置およびシステム
JP7514521B2 (ja) 心拍測定システム、心拍測定方法、及び心拍測定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230711