WO2022176137A1 - 脈波推定装置及び脈波推定方法 - Google Patents

脈波推定装置及び脈波推定方法 Download PDF

Info

Publication number
WO2022176137A1
WO2022176137A1 PCT/JP2021/006237 JP2021006237W WO2022176137A1 WO 2022176137 A1 WO2022176137 A1 WO 2022176137A1 JP 2021006237 W JP2021006237 W JP 2021006237W WO 2022176137 A1 WO2022176137 A1 WO 2022176137A1
Authority
WO
WIPO (PCT)
Prior art keywords
image frame
unit
pulse wave
tracking
measurement
Prior art date
Application number
PCT/JP2021/006237
Other languages
English (en)
French (fr)
Inventor
遼平 村地
雄大 中村
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112021007128.9T priority Critical patent/DE112021007128T5/de
Priority to PCT/JP2021/006237 priority patent/WO2022176137A1/ja
Priority to JP2023500249A priority patent/JPWO2022176137A1/ja
Publication of WO2022176137A1 publication Critical patent/WO2022176137A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation

Definitions

  • the present disclosure relates to a pulse wave estimation device and a pulse wave estimation method.
  • the biological information measuring apparatus described in Patent Document 1 which measures the condition of a living body, for example, blood pressure, in a non-contact manner, measures the skin region for measuring the blood pressure in each of a plurality of image frames in which the living body is captured. It should be set to the image inside the organ.
  • the biological information measuring device performs facial organ detection processing for detecting the positions of the facial organ within one image frame, for example.
  • the biological information measuring device detects the position of the skin region in the current image frame, instead of performing the above-described facial organ detection processing. Tracking processing is performed by referring to and setting the position of the skin region in the previous image frame.
  • the biological information measuring apparatus performs the reset process, which is the face part detection process described above, for each predetermined number of image frames.
  • An object of the present disclosure is to provide a pulse wave estimation device that solves at least one of the two problems described above.
  • a pulse wave estimation device provides a plurality of continuous images including a first image frame and a second image frame that are mutually consecutive, of a subject whose pulse wave is to be estimated.
  • an acquisition unit that acquires a frame; a detection unit that detects facial organ points indicating positions of facial organs of the subject within the first image frame; a tracking unit for setting a tracking point indicating the position of the facial organ within the image frame; a first setting unit for setting a position of a measurement region in which a luminance value for estimating a wave should be measured; and based on the set tracking points in the second image frame, a second setting unit for setting the position of the measurement area; the set measurement area in the first image frame; and the pixels in the measurement area in the set second image frame.
  • a measurement unit that measures a luminance value
  • an estimating unit for estimating the subject's pulse wave based on the above.
  • the pulse wave estimating device it is possible to avoid a situation in which deviations are accumulated due to the sequential execution of tracking processing. According to the pulse wave estimating device according to the present disclosure, it is also possible to avoid a situation in which an accumulated deviation occurs between image frames before and after reset processing. Therefore, the pulse wave estimating device according to the present disclosure can estimate the subject's pulse wave with higher accuracy than the pulse wave estimating device in which at least one of the two accumulated deviations occurs. .
  • FIG. 4 shows operations of an imaging unit 11 and a detection unit 12 of the embodiment.
  • 4 shows the configuration of a setting unit 13 of the embodiment;
  • 4 shows the operation of the facial feature detection unit 13A of the embodiment;
  • 4 shows the operation of the tracking unit 13B of the embodiment;
  • 1 shows the configuration of a pulse wave estimation device 1 of an embodiment.
  • 4 is a flow chart showing the operation of the pulse wave estimation device 1 of the embodiment;
  • 4 is a time chart showing the operation of the pulse wave estimating device 1 of the embodiment; The operation of the pulse wave estimating device of the comparative example is shown.
  • FIG. 1 is a functional block diagram of the pulse wave estimation device 1 of the embodiment.
  • the pulse wave estimating apparatus 1 of the embodiment includes an imaging unit 11, a detection unit 12, and a setting unit 13 to estimate a pulse wave based on the brightness of pixels in a captured image. , a measuring unit 14 and an estimating unit 15 .
  • the imaging unit 11 corresponds to the "acquisition unit”
  • the measurement unit 14 corresponds to the “measurement unit”
  • the estimation unit 15 corresponds to the "estimation unit”. Correspondence regarding the setting unit 13 will be described later.
  • the detection unit 12 for detecting skin regions does not correspond to the "detection unit” for detecting facial feature points.
  • the detection unit 13A corresponds to the "detection section” and also to the "first setting section”.
  • image frames F1 to Fm may be collectively referred to as image frames F
  • skin regions S1 to Sm may be collectively referred to as skin regions S.
  • FIG. 2 shows operations of the imaging unit 11 and the detection unit 12 of the embodiment.
  • the imaging unit 11 is, for example, a camera, and as shown in FIG. 2, an image G of the subject T whose pulse wave is to be estimated, for example, the upper body of the subject T, particularly the face of the subject T. An image G to be taken is photographed.
  • the image G is a series of image frames F1, F2, F3, . . . , Fm.
  • m is an integer of 2 or more.
  • the image frame F1 and the image frame F2 are before and after each other, and similarly, the image frame F2 and the image frame F3 are before and after each other.
  • the photographing unit 11 outputs a plurality of photographed image frames F1 to Fm to the detecting unit 12.
  • the detection unit 12 detects, for example, the skin area S1 from the image frame F1, as shown in FIG.
  • the skin area S1 is a rectangular area representing the position, shape, size, etc. of the entire face of the subject T in the image frame F1.
  • the detection unit 12 detects other image frames F2, F3, . . . , Fm, skin regions S2, S3, . . . , Sm.
  • both the skin area S1 itself and information indicating the skin area S1 are collectively referred to as the skin area S1.
  • the skin areas S1 to Sm may represent other parts of the subject T, such as the positions of the subject T's neck, shoulders, arms, hands, etc., instead of the face of the subject T described above.
  • the skin regions S1 to Sm are a part of the face of the subject T, for example, the forehead, eyebrows, eyes, nose, mouth, cheeks, and chin of the face of the subject T, instead of the entire face of the subject T described above. It may also represent the position of a portion including one or more of the like.
  • the number of the skin areas S1 to Sm for the entire face of the subject T and a part of the face of the subject T is not limited.
  • the skin regions S1 to Sm may represent only one, for example, the position of the entire face of the subject T, or two, for example, the position of the right cheek of the subject T and The position of the subject T's left cheek, etc. may be represented, and further, three, for example, the position of the subject's T nose, etc., the position of the subject's T mouth, etc., and the position of the subject's T chin, etc. may be represented.
  • the detection unit 12 outputs a plurality of image frames F1 to Fm and a plurality of skin regions S1 to Sm to the setting unit 13.
  • FIG. 3 shows the configuration of the setting unit 13 of the embodiment.
  • the setting unit 13 as shown in FIG. 3, has a facial feature detection unit 13A and a tracking unit 13B.
  • the facial features detection unit 13A corresponds to the "detection section” and the "first setting section”
  • the tracking unit 13B corresponds to the "tracking section” and the "second setting section”.
  • the face detection unit 13A is positioned at the front so as to be able to calculate the luminance difference between two consecutive frames, for example between the image frame F2 and the immediately following image frame F3. Facial feature detection processing is performed on the image frame F2.
  • the tracking unit 13B similar to the face detection unit 13A, enables calculation of the luminance difference between two frames that precede and follow it. In order to be able to calculate the luminance difference between the image frame F1 and the image frame F2 positioned later, a tracking process is performed.
  • the facial feature detection processing and tracking processing are performed on each image frame F2, F3, . . . It is done every time.
  • the facial organ detection unit 13A detects, for example, one or more rectangular measurement regions KR1(1) in the skin region S1 received from the detection unit 12, where the luminance for estimating the pulse wave of the subject T is to be measured. .about.KR1(n) (shown in FIG. 4).
  • n is an integer of 1 or more.
  • FIG. 4 shows the operation of the facial feature detection unit 13A of the embodiment.
  • the facial feature detection unit 13A uses, for example, the Constrained Local Model (CLM), which is a model of a conventionally known facial feature detection method.
  • CLM Constrained Local Model
  • the facial feature detection unit 13A performs facial feature detection processing using the CLM described above. Specifically, as shown in FIG. Coordinate values of facial feature points KK1(1) to KK1(p) are detected.
  • the facial feature points KK1(1) to KK1(p) are feature points for specifying the subject T's face.
  • p is an integer of 2 or more.
  • the facial feature detection unit 13A uses the facial feature points KK1(1) to KK1(p) detected for the skin region S1 as a reference, as shown in FIG. 4 (in the frame on the right). (illustrated in FIG. 4 (left frame)), the coordinate values of the measurement regions KR1(1) to KR1(n) are set.
  • the facial feature detection unit 13A also performs the same processing as that performed on the skin region S1, that is, detects and measures the coordinate values of the facial feature points KK for the skin regions S2 to Sm other than the skin region S1.
  • the coordinate values of the area KR are set.
  • the facial feature detection unit 13A detects the coordinate values of a plurality of facial feature points KK2(1), KK2(2), . Coordinate values of KR2(1), KR2(2), . . . (not shown) are set.
  • FIG. 5 shows the operation of the tracking unit 13B of the embodiment.
  • the tracking unit 13B uses a Kanade-Lucas-Tomasi (KLT) tracker, which is a conventionally known tracking technology, to perform tracking processing between the preceding and succeeding image frames.
  • KLT Kanade-Lucas-Tomasi
  • the tracking unit 13B performs tracking processing based on, for example, the image frame F1, the skin area S1 in the image frame F1, and the image frame F2 following the image frame F1, as shown in FIG. As a result, the tracking unit 13B, as shown in FIG. 5, sets tracking points TR2(1) and TR2(2), which are feature points for specifying the face of the subject T, in the skin region S2 of the image frame F2. ), TR2(3), TR2(4), and so on.
  • the face organ detection unit 13B performs measurement based on tracking points TR2(1), TR2(2), TR2(3), TR2(4), .
  • the facial feature detection unit 13A is based on the facial feature points KK1(1) to KK1(p) (shown in FIG. 4) described above, while tracking is performed.
  • Unit 13B references the tracking points TR2(1), TR2(2), TR2(3), TR2(4), . . . (shown in FIG. 5).
  • the tracking unit 13B also performs the same processing as the processing performed on the skin region S2 for the skin regions S3 to Sm other than the skin region S2, that is, setting the coordinate values of the tracking point TR, and performing the calculation of the measurement region KR. Set coordinates.
  • the setting unit 13 sets the measurement area KR, that is, the measurement areas KR1(1), KR1(2), . . . (illustrated in FIG. 4), KR2(1), KR2(2), . . . (illustrated in FIG. 5), KRm(1), KRm(2), . . . (not shown) is output to the measurement unit 14 .
  • the measurement unit 14 measures the luminance values of pixels included in each measurement region KR between the measurement regions KR of the preceding and succeeding image frames F received from the setting unit 13, and chronologically calculates the difference between the measured luminance values. generates a luminance signal shown in .
  • a difference from the average value of the brightness values of a plurality of pixels included in the measurement region KR2(1) corresponding to the measurement region KR1(1) of the image frame F1 in the frame F2 is calculated.
  • the measurement unit 14 continues to calculate the average value of the luminance values of the plurality of pixels included in the measurement region KR2(1) in the image frame F2, and the measurement region of the image frame F2 in the image frame F3 (not shown). A difference from the average value of luminance values of a plurality of pixels included in a measurement region KR3(1) (not shown) corresponding to KR2(1) is calculated.
  • the measuring unit 14 further continues to measure the average value of the luminance values of the plurality of pixels included in the measurement region KR3(1) in the image frame F3 and the image frame F3 in the image frame F4 (not shown). A difference from the average value of luminance values of a plurality of pixels included in a measurement region KR4(1) (not shown) corresponding to the region KR3(1) is calculated.
  • the measurement unit 14 may use, for example, a variance value instead of the average value described above.
  • the measurement unit 14 also measures the measurement areas KR of the image frame F other than the measurement areas KR1(1), KR2(1), KR3(1), and KR4(1) of the image frames F1, F2, F3, and F4. The same processing as described above is performed.
  • the measuring unit 14 outputs to the estimating unit 15 a luminance signal KS that indicates the pixel difference between the measurement regions KR of the image frames F that precede and follow each other, as shown in FIG.
  • the estimation unit 15 estimates the pulse wave MH based on the luminance signal KS received from the measurement unit 14.
  • the estimation unit 15 further calculates a pulse rate MS based on the estimated pulse wave MH.
  • the estimation unit 15 outputs at least one of the estimated pulse wave MH and the calculated pulse rate MS.
  • FIG. 6 shows the configuration of the pulse wave estimation device 1 of the embodiment.
  • the pulse wave estimation device 1 of the embodiment includes an input unit 1N, a processor 1P, an output unit 1S, a storage medium 1K, and a memory 1M, as shown in FIG. 6, in order to perform the functions described above. .
  • the input unit 1N is composed of, for example, a camera, microphone, keyboard, mouse, and touch panel.
  • Processor 1P is the core of a well-known computer that operates hardware according to software.
  • the output unit 1S is composed of, for example, a liquid crystal monitor, a printer, and a touch panel.
  • the memory 1M is composed of, for example, a DRAM (Dynamic Random Access Memory) and an SRAM (Static Random Access Memory).
  • the storage medium 1K is composed of, for example, a hard disk drive (HDD: Hard Disk Drive), a solid state drive (SSD: Solid State Drive), and a ROM (Read Only Memory).
  • the storage medium 1K stores the program 1PR.
  • the program 1PR is a group of instructions that define the content of processing to be executed by the processor 1P.
  • the processor 1P executes the program 1PR stored in the storage medium 1K using the memory 1M.
  • the functions of the imaging unit 11 to the estimating unit 15 are realized.
  • FIG. 7 is a flow chart showing the operation of the pulse wave estimation device 1 of the embodiment.
  • FIG. 8 is a time chart showing the operation of the pulse wave estimation device 1 of the embodiment. The operation of the pulse wave estimation device 1 will be described below with reference to the flowchart of FIG. 7 and the time chart of FIG.
  • Step ST11 As shown in FIG. 2, the photographing unit 11 photographs an image G of the subject T whose pulse wave is to be estimated, that is, a plurality of image frames F1 to Fm.
  • the photographing unit 11 outputs a plurality of photographed image frames F1 to Fm to the detecting unit 12 .
  • Step ST12 As shown in FIG. 2, the detection unit 12 extracts multiple skin regions S1 to Sm from multiple image frames F1 to Fm. The detection unit 12 sequentially outputs the plurality of image frames F1 to Fm and the plurality of skin regions S1 to Sm to the setting unit 13 .
  • Step ST13 When the image frame F1 is output from the detection unit 12, the setting unit 13 determines that the image frame F1 is the first image frame. , the coordinate values of a plurality of facial feature points KK1 (not shown) are detected in the skin region S1 of the image frame F1. The facial feature detection unit 13A also detects the coordinate values of the measurement area KR1 (KK) in the skin area S1, for example, as shown in FIG. set.
  • Step ST14A When the detection unit 12 outputs the image frame F2 following the image frame F1, the setting unit 13 detects the image frame F2 as the second image frame. 8, tracking processing is performed based on the image frame F1, the skin area S1, and the image frame F2. Thereby, the tracking unit 13B sets a plurality of tracking points TR2 (not shown) in the skin region S2 in the image frame F2. The tracking unit 13B sets the coordinate values of the measurement area KR2 (TR) corresponding to the measurement area KR1 (KK), as shown in FIG. 8, based on the plurality of set tracking points TR2.
  • Step ST14B In the setting section 13, the facial feature detection unit 13A next detects the coordinates of a plurality of facial feature points KK2 (not shown) in the skin region S2 of the image frame F2, as shown in FIG. Detect value.
  • the facial feature detection unit 13A also sets the coordinate values of the measurement area KR2 (KK) in the skin area S2 based on the coordinate values of the plurality of detected facial feature points KK2, as shown in FIG. do.
  • Step ST15A When the image frame F3 is output from the detection unit 12, the setting unit 13 determines that the image frame F3 is the third image frame. 8, tracking is performed based on image frame F2, skin region S2, and image frame F3. Thereby, the tracking unit 13B sets a plurality of tracking points TR3 (not shown) in the skin region S3 in the image frame F3. The tracking unit 13B sets the coordinate values of the measurement area KR3 (TR) that should correspond to the measurement area KR2 (KK) based on the plurality of set tracking points TR3.
  • Step ST15B Next, in the setting section 13, the facial feature detection unit 13A detects the facial feature point KK3 (not shown) in the skin region S3 of the image frame F3, as shown in FIG. 8, similarly to step ST14B. ) are detected.
  • the facial feature detection unit 13A also sets the coordinate values of the measurement area KR3 (KK) in the skin area S3 based on the coordinate values of the detected facial feature points.
  • Step ST16 The measurement unit 14 measures the luminance value of the measurement area KR, specifically, the measurement area KR1 (KK), the measurement area KR2 (TR), the measurement area KR2 (KK), and the measurement area KR3 (TR). ,,,, are measured.
  • the measurement unit 14 calculates the luminance difference KD after the above measurement. For example, the measurement unit 14 calculates the average value of the luminance values of the pixels within the measurement region KR1 (KK) illustrated in FIG. 8 and the luminance value of the pixels within the measurement region KR2 (TR) illustrated in FIG. An average value is calculated, and a difference between both average values, that is, a luminance difference KD(1-2) is calculated. Similarly, the measurement unit 14 calculates, for example, the average luminance value of the pixels in the measurement region KR2 (KK) illustrated in FIG. 8 and the pixels in the measurement region KR3 (TR) illustrated in FIG. is calculated, and the difference between the two average values, that is, the luminance difference KD(2-3) is calculated. The measurement unit 14 similarly calculates the luminance difference KD between the other image frames F3, F4, and so on. The measurement unit 14 outputs a luminance signal KS representing the luminance difference KD(1-2), the luminance difference KD(2-3), .
  • Step ST17 When the luminance signal KS is output from the measuring section 14, the estimating section 15 estimates the pulse wave MH based on the luminance signal KS. The estimation unit 15 also calculates a pulse rate MS based on the estimated pulse wave MH. The estimator 15 outputs at least one of the estimated pulse wave MH and the calculated pulse wave number MS.
  • the facial feature detection unit 13A sets the measurement region KR1 (KK) based on the facial feature point KK1 for the image frame F1. Further, the tracking unit 13B sets the measurement region KR2(TR) based on the tracking point TR2 for the image frame F2 subsequent to the image frame F1, and the facial feature detection unit 13A sets the facial feature points for the image frame F2.
  • a measurement area KR2 (KK) is set based on KK2. Furthermore, the measurement areas KR(KK) and KR(TR) are similarly set for subsequent image frames F3 to Fm.
  • the estimator 15 estimates the pulse wave MH and calculates the pulse wave number MS based on the luminance differences KD(1-2), KD(2-3), .
  • FIG. 9 shows the operation of the pulse wave estimating device of the comparative example.
  • the measurement region KR1 (KK) is set by performing facial organ detection processing only on the first image frame F1, and on the other hand, the subsequent Measurement regions KR2(TR), KR3(TR), . . . are set by performing tracking processing on other image frames F2, F3, .
  • facial feature detection processing is performed on the image frame F1 to detect a plurality of facial feature points KK1 (not shown).
  • a measurement area KR1 (KK) is set in the skin area S1 based on the facial organ point KK1.
  • the image frame F2 following the image frame F1 is subjected to the tracking processing based on the image frame F1, the skin region S1, and the image frame F2 without performing facial organ detection processing.
  • a tracking point TR2 (not shown) is detected, and a measurement region KR2 (TR) is set within the skin region S2 based on the detected tracking point TR2.
  • image frames F3, . . . , F(k ⁇ 1) by continuing the tracking process in the same manner as for the image frame F2, the measurement areas KR3(TR), . . . , KR(k ⁇ 1)(TR).
  • the pulse wave estimating device of the comparative example is set such that the tracking process should be stopped, that is, the tracking process should be reset every k (k is a predetermined positive integer) image frames. It is as a result, in the pulse wave estimation device of the comparative example, the tracking process for the image frame F(k) is stopped, that is, after resetting the tracking process, the same facial feature detection process as performed for the image frame F1 is performed. , facial feature detection processing is performed on the image frame F(k). As a result, a plurality of facial feature points KK(k) (not shown) are detected, and a measurement area KR(k) is detected in the skin area S(k) based on the detected facial feature points KK(k). ) (KK). In the pulse wave estimating device of the comparative example, the measurement area KR ( k+1) (TR), etc. are set.
  • the pulse wave estimation device of the comparative example performs the tracking processing for the image frame F2, the tracking processing for the image frame F3, the tracking processing for the image frame F4 (not shown), and so on. It is done sequentially. By sequentially performing the tracking process, the deviation between the measurement regions KR2(TR) and KR3(TR) and the deviation between the measurement regions KR3(TR) and KR4(TR) are accumulated. .
  • the position of the measurement region KR(k ⁇ 1)(TR) of the image frame F(k ⁇ 1), which is immediately before the image frame F(k) in which the facial feature detection process is performed is the first This results in a situation in which the measurement area KR1 (KK) of the image frame F1 is separated from the measurement area KR1 (KK) by a distance corresponding to the accumulated deviation.
  • the position of the measurement region KR(k)(KK) for the image frame F(k) in which the tracking processing is reset, that is, only the facial feature detection processing is performed is The position is substantially the same as the position of the measurement area KR1 (KK) of the image frame F1 where only the facial features detection process is performed. Therefore, the position of the measurement region KR(k)(KK) for the image frame F(k) and the position of the measurement region KR(k-1)(TR) for the image frame F(k-1) are the above This leads to a situation in which the distance between the position of the measurement region KR1(KK) and the position of the measurement region KR(k-1)(TR) is approximately equal to the distance between them.
  • the pulse wave estimating device 1 of the embodiment basically calculates the , facial feature detection processing and tracking processing. Therefore, the pulse wave estimation device 1 of the embodiment, the position of the measurement region KR (k-1) (TR) of the image frame F (k-1), the measurement region KR1 (KK) of the first image frame F1 It is possible to avoid the situation in which the above-described distance, which is the accumulation of deviations, is generated between the positions of .
  • the pulse wave estimating device 1 of the modified example performs the above-described facial organ detection processing and tracking processing for each image frame F, that is, for each of the image frames F1, F2, F3, .
  • facial feature detection processing and tracking processing may be performed only for each predetermined number of image frames F, and other image frames F may be subjected to only tracking processing.
  • the pulse wave estimating apparatus 1 of the modified example performs, for example, facial organ detection processing on the image frame F1, and then performs only tracking processing on the subsequent image frames F2 and F3.
  • the image frame F4 may be subjected to both the facial feature detection process and the tracking process, the image frames F5 and F6 may be subjected to only the tracking process, and the image frame F7 may be subjected to both the facial feature detection process and the tracking process. .
  • Any component of the embodiment can be modified or any component of the embodiment can be omitted.
  • the pulse wave estimating device and pulse wave estimating method according to the present disclosure can be used, for example, for pulse wave estimation and pulse wave number calculation.
  • 1 pulse wave estimation device 11 imaging unit, 12 detection unit, 13 setting unit, 14 measurement unit, 15 estimation unit, 13A facial organ detection unit, 13B tracking unit, 1N input unit, 1P processor, 1S output unit, 1M memory, 1K storage medium, 1PR program, T subject, G image, F image frame, S skin area, KK face organ point, TR tracking point, KR measurement area, KD luminance difference, KS luminance signal, MH pulse wave, MS pulse rate .

Abstract

脈波推定装置（１）は、対象者（Ｔ）の第１、第２の画像フレーム（Ｆ１）、（Ｆ２）を取得する取得部と、第１の画像フレーム（Ｆ１）内で対象者（Ｔ）の顔器官の位置を示す顔器官点（ＫＫ）を検出する検出部と、第１の画像フレーム（Ｆ１）を参照して、第２の画像フレーム（Ｆ２）内で顔器官の位置を示すトラッキング点（ＴＲ）を設定するトラッキング部と、第１の画像フレーム（Ｆ１）内での顔器官点（ＫＫ）に基づき、第１の画像フレーム（Ｆ１）内に、計測領域（ＫＲ）の位置を設定する第１の設定部と、第２の画像フレーム（Ｆ２）内でのトラッキング点（ＴＲ）に基づき、第２の画像フレーム（Ｆ２）内に、計測領域（ＫＲ）の位置を設定する第２の設定部と、計測領域（ＫＲ）内の画素の輝度値を計測する計測部と、輝度値の差分である輝度差（ＫＤ）に基づき、対象者（Ｔ）の脈波（ＭＨ）を推定する推定部と、を含む。

Description

脈波推定装置及び脈波推定方法
　本開示は、脈波推定装置及び脈波推定方法に関する。
　生体の状況、例えば、血圧を非接触で測定する特許文献１に記載の生体情報計測装置は、前記生体が撮像された複数の画像フレームの各々で、前記血圧を測定するための皮膚領域を顔器官内の画像に設定する必要がある。前記生体情報計測装置は、前記皮膚領域を設定すべく、例えば、一の画像フレーム内で前記顔器官の位置を検出するという顔器官検出処理を行う。前記生体情報計測装置は、他方で、前記一の画像フレームに後続する複数の画像フレームについては、上記した顔器官検出処理を行うことに代えて、現在の画像フレームでの皮膚領域の位置を、一つ前の画像フレームでの皮膚領域の位置を参照して設定するという、トラッキング処理を行う。
　上記したトラッキング処理を挟む前後の画像フレーム間に前記生体の顔器官に動きが生じると、例えば、顔の表情の変化、顔の位置の移動等が生じると、前記顔器官の動きが生じる前である、前記トラッキング処理前の画像フレームでの皮膚領域の位置と、前記顔器官の動きが生じた後である、前記後の画像フレームでの皮膚領域の位置との間に、ずれが生じる。従って、連続する複数の画像フレームにトラッキング処理を順次行うと、上記したずれが蓄積される。前記生体情報計測装置は、当該蓄積されたずれを解消すべく、即ち、リセットすべく、上記した顔器官検出処理であるリセット処理を、予め定められた数の画像フレーム毎に行う。
特開２０１６－１９００２２号公報
　しかしながら、上記した生体情報計測装置では、上記した顔器官検出処理により検出された、一の画像フレームでの皮膚領域の位置と、前記一の画像フレームから上記した予め定められた数の画像フレーム以上に離れることなく後続していることにより前記リセット処理がまだ行われない他の画像フレームにおいて上記したトラッキング処理により検出された皮膚領域の位置との間には、前記一の画像フレーム及び前記他の画像フレーム間で前記トラッキング処理が順次行われることに起因して、上記した蓄積されたずれが生じるという問題があった。
　上記した生体情報測定装置では、また、上記したリセット処理を挟む前後の画像フレーム間で、前記リセット処理が行われる前の画像フレームにおける、前記蓄積されたずれを伴う皮膚領域の位置と、前記リセット処理が行われた後の画像フレームにおける、前記リセット処理の結果としてずれを伴わない皮膚領域の位置との間に、前記蓄積されたずれが生じるという問題もあった。
　本開示の目的は、上記した２つの問題のうち少なくとも一つを解決する脈波推定装置を提供することにある。
　上記した課題を解決すべく、本開示に係る脈波推定装置は、脈波を推定すべき対象者の、相互に前後する第１の画像フレーム及び第２の画像フレームを含む連続する複数の画像フレームを取得する取得部と、前記第１の画像フレーム内で前記対象者の顔器官の位置を示す顔器官点を検出する検出部と、前記第１の画像フレームを参照して、前記第２の画像フレーム内で前記顔器官の位置を示すトラッキング点を設定するトラッキング部と、前記検出された第１の画像フレーム内での顔器官点に基づき、前記第１の画像フレーム内に、前記脈波を推定するための輝度値を計測すべき計測領域の位置を設定する第１の設定部と、前記設定された第２の画像フレーム内でのトラッキング点に基づき、前記第２の画像フレーム内に、前記計測領域の位置を設定する第２の設定部と、前記設定された第１の画像フレーム内の計測領域、及び、前記設定された第２の画像フレーム内の計測領域内の画素の輝度値を計測する計測部と、前記計測された第１の画像フレーム内の計測領域の輝度値と前記計測された第２の画像フレーム内の計測領域の輝度値との差分である輝度差に基づき、前記対象者の脈波を推定する推定部と、を含む。
　本開示に係る脈波推定装置によれば、トラッキング処理が順次行われることに伴い蓄積されたずれが生じるという事態を回避することができる。本開示に係る脈波推定装置によれば、また、リセット処理を挟む前後の画像フレーム間で蓄積されたずれが生じるという事態を回避することができる。従って、本開示に係る脈波推定装置は、上記した２つの蓄積されたずれのうち少なくとも一つが生じる脈波推定装置に比して高い精度で、前記対象者の脈波を推定することができる。
実施形態の脈波推定装置１の機能ブロック図である。 実施形態の撮影部１１及び検出部１２の動作を示す。 実施形態の設定部１３の構成を示す。 実施形態の顔器官検出ユニット１３Ａの動作を示す。 実施形態のトラッキングユニット１３Ｂの動作を示す。 実施形態の脈波推定装置１の構成を示す。 実施形態の脈波推定装置１の動作を示すフローチャートである。 実施形態の脈波推定装置１の動作を示すタイムチャートである。 比較例の脈波推定装置の動作を示す。
　本開示に係る脈波推定装置の実施形態について説明する。
実施形態１．
　〈実施形態〉
　〈実施形態の構成〉
　図１は、実施形態の脈波推定装置１の機能ブロック図である。
　以下、実施形態の脈波推定装置１の機能について、図１を参照して説明する。
　実施形態の脈波推定装置１は、撮影された画像中の画素の輝度に基づき脈波を推定すべく、図１に示されるように、撮影部１１と、検出部１２と、設定部１３と、計測部１４と、推定部１５とを含む。
　撮影部１１は、「取得部」に対応し、計測部１４は、「計測部」に対応し、推定部１５は、「推定部」に対応する。設定部１３についての対応関係は、後述する。
　後述されるように、肌領域を検出する検出部１２は、顔器官点を検出する「検出部」に対応せず、他方で、顔器官検出処理及びトラッキング処理を行う設定部１２内の顔器官検出ユニット１３Ａが、「検出部」に対応し、かつ、「第１の設定部」にも対応する。
　以下では、説明及び理解を容易にすべく、符号に付された添え字が省略された符号を用いて総称することがある。例えば、画像フレームＦ１～Ｆｍを画像フレームＦと総称することがあり、また、肌領域Ｓ１～Ｓｍを肌領域Ｓと総称することがある。
　図２は、実施形態の撮影部１１及び検出部１２の動作を示す。
　撮影部１１は、例えば、カメラであり、図２に示されるように、脈波を推定すべき対象者Ｔの画像Ｇ、例えば、対象者Ｔの上半身、特に、対象者Ｔの顔を中心とする画像Ｇを撮影する。画像Ｇは、図２に示されるように、連続する複数の画像フレームＦ１、Ｆ２、Ｆ３、．．．、Ｆｍを含む。ここで、ｍは、２以上の整数である。
　例えば、画像フレームＦ１と画像フレームＦ２とは、相互に前後し、同様に、画像フレームＦ２と画像フレームＦ３とは、相互に前後する。
　撮影部１１は、撮影された複数の画像フレームＦ１～Ｆｍを検出部１２へ出力する。
　検出部１２は、図２に示されるように、例えば、画像フレームＦ１から、肌領域Ｓ１を検出する。肌領域Ｓ１は、画像フレームＦ１における、前記対象者Ｔの顔の全体の位置、形状、及びサイズ等を表す矩形領域である。
　検出部１２は、画像フレームＦ１から肌領域Ｓ１を検出することと同様に、他の画像フレームＦ２、Ｆ３、．．．、Ｆｍから、肌領域Ｓ２、Ｓ３、．．．、Ｓｍを検出する。
　以下では、説明及び理解を容易にすべく、例えば、肌領域Ｓ１自体、及び肌領域Ｓ１を示す情報の両者を、肌領域Ｓ１により総称する。他の肌領域Ｓ２～Ｓｍについても同様である。
　肌領域Ｓ１～Ｓｍは、上記した対象者Ｔの顔に代えて、対象者Ｔの他の部位、例えば、対象者Ｔの首、肩、腕、手等の位置等を表してもよい。肌領域Ｓ１～Ｓｍは、上記した対象者Ｔの顔の全体に代えて、対象者Ｔの顔の一部分、例えば、対象者Ｔの顔のうち額、眉、眼、鼻、口、頬、顎等の１つ以上を含む一部分の位置等を表してもよい。肌領域Ｓ１～Ｓｍは、上記した、対象者Ｔの顔の全体、及び対象者Ｔの顔の一部分についての個数が限定されない。より詳しくは、肌領域Ｓ１～Ｓｍは、１つ、例えば、対象者Ｔの顔の全体の位置等のみを表してもよく、また、２つ、例えば、対象者Ｔの右頬の位置等及び対象者Ｔの左頬等の位置等を表してもよく、さらに、３つ、例えば、対象者Ｔの鼻の位置等、対象者Ｔの口の位置等、及び対象者Ｔの顎の位置等を表してもよい。
　図１に戻り、検出部１２は、複数の画像フレームＦ１～Ｆｍ、及び、複数の肌領域Ｓ１～Ｓｍを設定部１３へ出力する。
　図３は、実施形態の設定部１３の構成を示す。
　設定部１３は、図３に示されるように、顔器官検出ユニット１３Ａと、トラッキングユニット１３Ｂとを有する。顔器官検出ユニット１３Ａは、「検出部」及び「第１の設定部」に対応し、トラッキングユニット１３Ｂは、「トラッキング部」及び「第２の設定部」に対応する。
　顔検出ユニット１３Ａは、前後する２つのフレーム間での輝度差、例えば、画像フレームＦ２と直後の画像フレームＦ３との間での輝度差を算出することができるようにすべく、前に位置する画像フレームＦ２について、顔器官検出処理を行う。
　トラッキングユニット１３Ｂは、顔検出ユニット１３Ａと同様に、前後する２つのフレーム間での輝度差を算出することができるようにするものの、顔器官検出ユニット１３Ａと相違し、例えば、画像フレームＦ２と直前の画像フレームＦ１との間の輝度差を算出することができるようにすべく、後に位置する画像フレームＦ２について、トラッキング処理を行う。
　上記した、顔器官検出ユニット１３Ａによる顔器官検出処理、及び、トラッキングユニット１３Ｂによるトラッキング処理を要約すれば、顔器官検出処理及びトラッキング処理は、各画像フレームＦ２、Ｆ３、．．．毎に、行われる。
　顔器官検出ユニット１３Ａは、例えば、検出部１２から受け取る肌領域Ｓ１に、対象者Ｔの脈波を推定するための輝度を計測すべき、１つ以上の矩形状である計測領域ＫＲ１（１）～ＫＲ１（ｎ）（図４に図示。）を設定する。ここで、ｎは、１以上の整数である。
　図４は、実施形態の顔器官検出ユニット１３Ａの動作を示す。
　顔器官検出ユニット１３Ａは、例えば、従来知られた顔器官検出方法のモデルである、Ｃｏｎｓｔｒａｉｎｅｄ　Ｌｏｃａｌ　Ｍｏｄｅｌ（ＣＬＭ）を用いる。顔器官検出ユニット１３Ａは、前記したＣＬＭを用いて、顔器官検出処理を行い、具体的には、図４（左側の枠内）に示されるように、例えば、肌領域Ｓ１中で、複数の顔器官点ＫＫ１（１）～ＫＫ１（ｐ）の座標値を検出する。ここで、顔器官点ＫＫ１（１）～ＫＫ１（ｐ）は、対象者Ｔの顔を特定するための特徴点である。ｐは、２以上の整数である。
　前記顔器官検出処理に引き続き、顔器官検出ユニット１３Ａは、図４（右側の枠内）に示されるように、肌領域Ｓ１について検出された顔器官点ＫＫ１（１）～ＫＫ１（ｐ）を基準に（図４（左側の枠内）に図示。）、計測領域ＫＲ１（１）～ＫＲ１（ｎ）の座標値を設定する。
　顔器官検出ユニット１３Ａは、肌領域Ｓ１以外の他の肌領域Ｓ２～Ｓｍについても、肌領域Ｓ１に行う処理と同様の処理、即ち、顔器官点ＫＫの座標値を検出すること、及び、計測領域ＫＲの座標値を設定することを行う。
　顔器官検出ユニット１３Ａは、例えば、肌領域Ｓ２中で、複数の顔器官点ＫＫ２（１）、ＫＫ２（２）、、、、（図示せず。）の座標値を検出し、複数の計測領域ＫＲ２（１）、ＫＲ２（２）、、、、（図示せず。）の座標値を設定する。
　図５は、実施形態のトラッキングユニット１３Ｂの動作を示す。
　トラッキングユニット１３Ｂは、従来知られたトラッキング技術であるＫａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ（ＫＬＴ）トラッカーを用いて、前後の画像フレーム間でトラッキング処理を行う。
　トラッキングユニット１３Ｂは、図５に示されるように、例えば、画像フレームＦ１、当該画像フレームＦ１中の肌領域Ｓ１、及び、前記画像フレームＦ１に引き続く画像フレームＦ２に基づきトラッキング処理を行う。これにより、トラッキングユニット１３Ｂは、図５に示されるように、画像フレームＦ２の肌領域Ｓ２中に、対象者Ｔの顔を特定するための特徴点であるトラッキング点ＴＲ２（１）、ＴＲ２（２）、ＴＲ２（３）、ＴＲ２（４）、、、の座標値を設定する。
　当該トラッキング処理に引き続き、顔器官検出ユニット１３Ｂは、図５に示されるように、トラッキング点ＴＲ２（１）、ＴＲ２（２）、ＴＲ２（３）、ＴＲ２（４）、、、を基準に、計測領域ＫＲ２（１）、ＫＲ２（２）、ＫＲ２（３）、、、の座標値を設定する。
　顔器官検出ユニット１３Ａとトラッキングユニット１３Ｂとを比較すると、顔器官検出ユニット１３Ａは、上述した顔器官点ＫＫ１（１）～ＫＫ１（ｐ）（図４に図示。）を基準にし、他方で、トラッキングユニット１３Ｂは、上述したトラッキング点ＴＲ２（１）、ＴＲ２（２）、ＴＲ２（３）、ＴＲ２（４）、、、（図５に図示。）を基準にする。
　トラッキングユニット１３Ｂは、肌領域Ｓ２以外の他の肌領域Ｓ３～Ｓｍについても、肌領域Ｓ２に行う処理と同様の処理、即ち、トラッキング点ＴＲの座標値を設定すること、及び、計測領域ＫＲの座標値を設定することを行う。
　設定部１３は、図１に示されるように、計測領域ＫＲを、即ち、肌領域Ｓ１～Ｓｍについての計測領域ＫＲ１（１）、ＫＲ１（２）、．．．（図４に図示。）、ＫＲ２（１）、ＫＲ２（２）、．．．（図５に図示。）、ＫＲｍ（１）、ＫＲｍ（２）、．．．（図示せず。）を計測部１４へ出力する。
　図１に戻り、脈波推定装置１の構成の説明を続ける。
　計測部１４は、設定部１３から受け取った、前後画像フレームＦの計測領域ＫＲ間での各計測領域ＫＲに含まれる画素の輝度値を計測し、当該計測された輝度値の差分を時系列的に示す輝度信号を生成する。
　計測部１４は、例えば、図５に図示された画像フレームＦ１、Ｆ２については、例えば、画像フレームＦ１における計測領域ＫＲ１（１）内に含まれる複数の画素の輝度値についての平均値と、画像フレームＦ２における、画像フレームＦ１の計測領域ＫＲ１（１）に対応する計測領域ＫＲ２（１）内に含まれる複数の画素の輝度値についての平均値との差分を算出する。
　計測部１４は、引き続き、画像フレームＦ２における計測領域ＫＲ２（１）内に含まれる複数の画素の輝度値についての平均値と、画像フレームＦ３（図示せず。）における、画像フレームＦ２の計測領域ＫＲ２（１）に対応する計測領域ＫＲ３（１）（図示せず。）内に含まれる複数の画素の輝度値についての平均値との差分を算出する。
　計測部１４は、更に引き続き、画像フレームＦ３における計測領域ＫＲ３（１）内に含まれる複数の画素の輝度値についての平均値と、画像フレームＦ４（図示せず。）における、画像フレームＦ３の計測領域ＫＲ３（１）に対応する計測領域ＫＲ４（１）（図示せず。）内に含まれる複数の画素の輝度値についての平均値との差分を算出する。
　計測部１４は、上記した平均値に代えて、例えば、分散値を用いてもよい。
　計測部１４は、上記した画像フレームＦ１、Ｆ２、Ｆ３、Ｆ４の計測領域ＫＲ１（１）、ＫＲ２（１）、ＫＲ３（１）、ＫＲ４（１）以外の画像フレームＦの計測領域ＫＲについても、上記したと同様の処理を行う。計測部１４は、図１に示されるように、前後する画像フレームＦの計測領域ＫＲ間の画素の差分を示す輝度信号ＫＳを推定部１５へ出力する。
　推定部１５は、計測部１４から受け取る輝度信号ＫＳに基づき、脈波ＭＨを推定する。推定部１５は、さらに、前記推定された脈波ＭＨに基づき脈拍数ＭＳを算出する。推定部１５は、前記推定された脈波ＭＨ、及び、前記算出された脈拍数ＭＳのうちの少なくとも１つを出力する。
　図６は、実施形態の脈波推定装置１の構成を示す。
　実施形態の脈波推定装置１は、上述した機能を果たすべく、図６に示されるように、入力部１Ｎと、プロセッサ１Ｐと、出力部１Ｓと、記憶媒体１Ｋと、メモリ１Ｍと、を含む。
　入力部１Ｎは、例えば、カメラ、マイク、キーボード、マウス、タッチパネルから構成される。プロセッサ１Ｐは、ソフトウェアに従ってハードウェアを動作させる、よく知られたコンピュータの中核である。出力部１Ｓは、例えば、液晶モニター、プリンタ、タッチパネルから構成される。メモリ１Ｍは、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）から構成される。記憶媒体１Ｋは、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）、ＲＯＭ（Read Only Memory）から構成される。
　記憶媒体１Ｋは、プログラム１ＰＲを記憶する。プログラム１ＰＲは、プロセッサ１Ｐが実行すべき処理の内容を規定する命令群である。
　脈波推定装置１における機能と構成との関係については、ハードウェア上で、プロセッサ１Ｐが、記憶媒体１Ｋに記憶されたプログラム１ＰＲを、メモリ１Ｍを用いつつ実行すると共に、必要に応じて、入力部１Ｎ及び出力部１Ｓの動作を制御することにより、撮影部１１～推定部１５の各部の機能を実現する。
　〈実施形態の動作〉
　図７は、実施形態の脈波推定装置１の動作を示すフローチャートである。図８は、実施形態の脈波推定装置１の動作を示すタイムチャートである。以下、脈波推定装置１の動作について、図７のフローチャート及び図８のタイムチャートに沿って説明する。
　以下では、説明及び理解を容易にすべく、計測領域ＫＲに、添え字「（ＫＫ）」、「（ＴＲ）」を付する。添え字「（ＫＫ）」は、顔器官検出処理を意味し、他方で、添え字「（ＴＲ）」は、トラッキング処理を意味する。
　ステップＳＴ１１：撮影部１１は、図２に示されるように、脈波を推定すべき対象者Ｔの画像Ｇ、即ち、複数の画像フレームＦ１～Ｆｍを撮影する。撮影部１１は、撮影された複数の画像フレームＦ１～Ｆｍを検出部１２へ出力する。
　ステップＳＴ１２：検出部１２は、図２に示されるように、複数の画像フレームＦ１～Ｆｍから複数の肌領域Ｓ１～Ｓｍを抽出する。検出部１２は、複数の画像フレームＦ１～Ｆｍ、及び、複数の肌領域Ｓ１～Ｓｍを設定部１３へ順次、出力する。
　ステップＳＴ１３：検出部１２から画像フレームＦ１が出力されると、設定部１３では、画像フレームＦ１が１番めの画像フレームであることから、顔器官検出ユニット１３Ａが、図８に示されるように、画像フレームＦ１の肌領域Ｓ１中で、複数の顔器官点ＫＫ１（図示せず。）の座標値を検出する。顔器官検出ユニット１３Ａは、また、検出された複数の顔器官点ＫＫ１の座標値を基準に、肌領域Ｓ１中に、例えば、図８に示されるように、計測領域ＫＲ１（ＫＫ）の座標値を設定する。
　ステップＳＴ１４Ａ：検出部１２から、画像フレームＦ１に引き続く画像フレームＦ２が出力されると、設定部１３では、画像フレームＦ２が２番めの画像フレームであることから、まず、トラッキングユニット１３Ｂが、図８に示されるように、画像フレームＦ１、肌領域Ｓ１、及び、画像フレームＦ２に基づきトラッキング処理を行う。これにより、トラッキングユニット１３Ｂは、画像フレームＦ２中の肌領域Ｓ２中に、複数のトラッキング点ＴＲ２（図示せず。）を設定する。トラッキングユニット１３Ｂは、設定された複数のトラッキング点ＴＲ２を基準に、図８に示されるように、計測領域ＫＲ１（ＫＫ）に対応すべき計測領域ＫＲ２（ＴＲ）の座標値を設定する。
　ステップＳＴ１４Ｂ：設定部１３では、次に、顔器官検出ユニット１３Ａが、図８に示されるように、画像フレームＦ２の肌領域Ｓ２中で、複数の顔器官点ＫＫ２（図示せず。）の座標値を検出する。顔器官検出ユニット１３Ａは、また、検出された複数の顔器官点ＫＫ２の座標値を基準に、肌領域Ｓ２中に、図８に示されるように、計測領域ＫＲ２（ＫＫ）の座標値を設定する。
　ステップＳＴ１５Ａ：検出部１２から画像フレームＦ３が出力されると、設定部１３では、画像フレームＦ３が３番めの画像フレームであることから、まず、トラッキングユニット１３Ｂが、ステップＳＴ１４Ａと同様に、図８に示されるように、画像フレームＦ２、肌領域Ｓ２、及び、画像フレームＦ３に基づきトラッキングを行う。これにより、トラッキングユニット１３Ｂは、画像フレームＦ３中の肌領域Ｓ３中に、複数のトラッキング点ＴＲ３（図示せず。）を設定する。トラッキングユニット１３Ｂは、設定された複数のトラッキング点ＴＲ３を基準に、計測領域ＫＲ２（ＫＫ）に対応すべき計測領域ＫＲ３（ＴＲ）の座標値を設定する。
　ステップＳＴ１５Ｂ：設定部１３では、次に、顔器官検出ユニット１３Ａが、ステップＳＴ１４Ｂと同様に、図８に示されるように、画像フレームＦ３の肌領域Ｓ３中で、顔器官点ＫＫ３（図示せず。）の座標値を検出する。顔器官検出ユニット１３Ａは、また、検出された顔器官点の座標値を基準に、肌領域Ｓ３中に、計測領域ＫＲ３（ＫＫ）の座標値を設定する。
　後続の画像フレームＦ４、画像フレームＦ６、．．．、画像フレームＦｍについても、上記したステップＳＴ１５Ａ、ＳＴ１５Ｂと同様な処理を行う。
　ステップＳＴ１６：計測部１４は、計測領域ＫＲの輝度値を計測し、具体的には、計測領域ＫＲ１（ＫＫ）、計測領域ＫＲ２（ＴＲ）、計測領域ＫＲ２（ＫＫ）、計測領域ＫＲ３（ＴＲ）、、、、を計測する。
　計測部１４は、上記した計測の後に、輝度差ＫＤを算出する。計測部１４は、例えば、図８に図示された計測領域ＫＲ１（ＫＫ）内の画素の輝度値の平均値、及び、図８に図示された計測領域ＫＲ２（ＴＲ）内の画素の輝度値の平均値を算出し、更に、両平均値間の差分、即ち、輝度差ＫＤ（１－２）を算出する。計測部１４は、同様にして、例えば、図８に図示された計測領域ＫＲ２（ＫＫ）内の画素の輝度値の平均値、及び、図８に図示された計測領域ＫＲ３（ＴＲ）内の画素の輝度値の平均値を算出し、更に、両平均値間の差分、即ち、輝度差ＫＤ（２－３）を算出する。計測部１４は、同様にして、他の画像フレームＦ３、画像フレームＦ４、、、、間の輝度差ＫＤを算出する。計測部１４は、輝度差ＫＤ（１－２）、輝度差ＫＤ（２－３）、、、、を示す輝度信号ＫＳを出力する。
　ステップＳＴ１７：計測部１４から輝度信号ＫＳが出力されると、推定部１５は、輝度信号ＫＳに基づき、脈波ＭＨを推定する。推定部１５は、また、前記推定された脈波ＭＨに基づき脈拍数ＭＳを算出する。推定部１５は、前記推定された脈波ＭＨ、及び、前記算出された脈波数ＭＳのうちの少なくとも１つを出力する。
　〈実施形態の効果〉
　上述したように、実施形態の脈波推定装置１によれば、顔器官検出ユニット１３Ａが、画像フレームＦ１について、顔器官点ＫＫ１に基づき計測領域ＫＲ１（ＫＫ）を設定する。また、トラッキングユニット１３Ｂが、画像フレームＦ１に後続する画像フレームＦ２について、トラッキング点ＴＲ２に基づき計測領域ＫＲ２（ＴＲ）を設定し、かつ、顔器官検出ユニット１３Ａが、画像フレームＦ２について、顔器官点ＫＫ２に基づき計測領域ＫＲ２（ＫＫ）を設定する。さらに、後続の画像フレームＦ３～Ｆｍについても、同様に計測領域ＫＲ（ＫＫ）、ＫＲ（ＴＲ）を設定する。前記した設定の後、計測部１４による計測領域ＫＲ（ＫＫ）、ＫＲ（ＴＲ）内の画素値の計測、及び、前後する計測領域ＫＲ間での前記計測された画素値の輝度差ＫＤの算出を経て、推定部１５が、輝度差ＫＤ（１－２）、ＫＤ（２－３）、、、、に基づき、脈波ＭＨを推定し、また、脈波数ＭＳを算出する。
　これにより、トラッキングが順次行われ続けることに伴い、ずれが蓄積され続けるという事態を回避することができる。また、従来のリセット処理を挟む前後の画像フレーム間で、蓄積されたずれが生じるという事態も回避することができる。
　その結果、計測領域ＫＲ１（ＫＫ）とＫＲ２（ＴＲ）との間の輝度差ＫＤ、ＫＲ２（ＫＫ）とＫＲ３（ＴＲ）との間の輝度差ＫＤ、、、、を、従来に比して高い精度で計測することができる。その結果、対象者Ｔの脈波ＭＨの推定、及び脈波数ＭＳの算出を、従来に比して高い精度で行うことができる。
比較例．
〈比較例〉
　図９は、比較例の脈波推定装置の動作を示す。
　比較例の脈波推定装置では、図９に示されるように、１番めの画像フレームＦ１のみに顔器官検出処理を行うことにより、計測領域ＫＲ１（ＫＫ）を設定し、他方で、後続する他の複数の画像フレームＦ２、Ｆ３、、、、に、顔器官検出処理を行うことなく、トラッキング処理を行うことにより、計測領域ＫＲ２（ＴＲ）、ＫＲ３（ＴＲ）、、、、を設定する。
　より詳しくは、１番めの画像フレームである画像フレームＦ１について、画像フレームＦ１に顔器官検出処理を行うことより、複数の顔器官点ＫＫ１（図示せず。）を検出し、検出された複数の顔器官点ＫＫ１を基準に、肌領域Ｓ１内で計測領域ＫＲ１（ＫＫ）を設定する。
　比較例の脈波推定装置では、画像フレームＦ１に引き続く画像フレームＦ２について、顔器官検出処理を行うことなく、画像フレームＦ１、肌領域Ｓ１、及び画像フレームＦ２に基づきトラッキング処理を行うことにより、複数のトラッキング点ＴＲ２（図示せず。）を検出し、検出されたトラッキング点ＴＲ２を基準に、肌領域Ｓ２内で計測領域ＫＲ２（ＴＲ）を設定する。比較例の脈波推定装置では、画像フレームＦ２に引き続く画像フレームＦ３、．．．、Ｆ（ｋ－１）についても、画像フレームＦ２についてと同様にトラッキング処理を継続することにより、計測領域ＫＲ３（ＴＲ）、．．．、ＫＲ（ｋ－１）（ＴＲ）を設定する。
　比較例の脈波推定装置では、他方で、概ねｋ個（ｋは、予め定められた正の整数）の画像フレーム毎にトラッキング処理を停止すべき、即ち、トラッキング処理をリセットすべき旨が定められている。それにより、比較例の脈波推定装置では、画像フレームＦ（ｋ）については、トラッキング処理を停止させ、即ち、トラッキング処理をリセットした上で、画像フレームＦ１について行った顔器官検出処理と同様に、画像フレームＦ（ｋ）に顔器官検出処理を行う。これにより、複数の顔器官点ＫＫ（ｋ）（図示せず。）を検出し、検出された複数の顔器官点ＫＫ（ｋ）を基準に肌領域Ｓ（ｋ）内で計測領域ＫＲ（ｋ）（ＫＫ）を設定する。比較例の脈波推定装置では、画像フレームＦ（ｋ）に引き続く画像フレームＦ（ｋ＋１）等について、画像フレームＦ１に引き続く画像フレームＦ２等と同様に、トラッキング処理を続けることにより、計測領域ＫＲ（ｋ＋１）（ＴＲ）等を設定する。
　比較例の脈波推定装置では、上述したように、画像フレームＦ１、Ｆ（ｋ）、、、、には顔器官検出処理を行い、他方で、画像フレームＦ１に後続する他の画像フレームＦ２、Ｆ３、、、、及び、画像フレームＦ（ｋ）に後続する画像フレームＦ（ｋ＋１）等には顔器官検出処理を行うことなく、トラッキング処理を行う。これにより、比較例の脈波推定装置では、画像フレームＦ２についてのトラッキング処理、画像フレームＦ３についてのトラッキング処理、画像フレームＦ４（図示せず。）についてトラッキング処理、、、、のようにトラッキング処理が順次行なわれる。トラッキング処理が順次行われることにより、計測領域ＫＲ２（ＴＲ）及び計測領域ＫＲ３（ＴＲ）間のずれ、計測領域ＫＲ３（ＴＲ）及び計測領域ＫＲ４（ＴＲ）間のずれ、、、、が蓄積される。その結果、例えば、顔器官検出処理が行われる画像フレームＦ（ｋ）の直前である画像フレームＦ（ｋ－１）の計測領域ＫＲ（ｋ－１）（ＴＲ）の位置が、１番めの画像フレームＦ１の計測領域ＫＲ１（ＫＫ）の位置と比較して、上記した蓄積されたずれに相当する距離だけ離れるという事態を招く。
　比較例の脈波推定装置では、また、トラッキング処理のリセットが行われる、即ち、顔器官検出処理のみが行われる画像フレームＦ（ｋ）についての計測領域ＫＲ（ｋ）（ＫＫ）の位置は、顔器官検出処理のみが行われる画像フレームＦ１の計測領域ＫＲ１（ＫＫ）の位置と実質的に同一になる。従って、画像フレームＦ（ｋ）についての計測領域ＫＲ（ｋ）（ＫＫ）の位置と、画像フレームＦ（ｋ－１）についての計測領域ＫＲ（ｋ－１）（ＴＲ）の位置とが、上記したような計測領域ＫＲ１（ＫＫ）の位置と計測領域ＫＲ（ｋ－１）（ＴＲ）の位置との間の距離に概ね等しいだけ離れるという事態を招く。
　比較例の脈波推定装置とは対照的に、実施形態の脈波推定装置１は、上述したように、基本的に、画像フレームＦ１、Ｆ２、Ｆ３、、、、の各画像フレームＦ毎に、顔器官検出処理及びトラッキング処理を行う。従って、実施形態の脈波推定装置１は、画像フレームＦ（ｋ－１）の計測領域ＫＲ（ｋ－１）（ＴＲ）の位置と、１番めの画像フレームＦ１の計測領域ＫＲ１（ＫＫ）の位置との間に、上記した、ずれの蓄積である距離が生じるとの事態を回避することができる。同様に、画像フレームＦ（ｋ－１）の計測領域ＫＲ（ｋ－１）（ＴＲ）の位置と、画像フレームＦ（ｋ）の計測領域ＫＲ（ｋ）（ＫＫ）の位置との間にも、上記した距離に概ね等しい距離が生じるとの事態を回避することができる。
変形例．
〈変形例〉
　変形例の脈波推定装置１は、上述した、顔器官検出処理及びトラッキング処理を各画像フレームＦ毎に、即ち、画像フレームＦ１、Ｆ２、Ｆ３、、、、の一つ一つに行うことに代えて、顔器官検出処理及びトラッキング処理を、予め定められた数の画像フレームＦ毎にのみ行い、他の画像フレームＦにはトラッキング処理のみを行うようにしてもよい。変形例の脈波推定装置１は、より詳細には、例えば、画像フレームＦ１に顔器官検出処理を行った後、後続する画像フレームＦについては、画像フレームＦ２、Ｆ３にトラッキング処理のみを行い、画像フレームＦ４に顔器官検出処理及びトラッキング処理の両処理を行い、画像フレームＦ５、Ｆ６にトラッキング処理のみを行い、画像フレームＦ７に顔器官検出処理及びトラッキング処理の両処理を行うようにしてもよい。
　実施形態の任意の構成要素の変形もしくは実施形態の任意の構成要素の省略が可能である。
　本開示に係る脈波推定装置及び脈波推定方法は、例えば、脈波の推定、及び脈波数の算出に利用可能である。
１　脈波推定装置、１１　撮影部、１２　検出部、１３　設定部、１４　計測部、１５　推定部、１３Ａ　顔器官検出ユニット、１３Ｂ　トラッキングユニット、１Ｎ　入力部、１Ｐ　プロセッサ、１Ｓ　出力部、１Ｍ　メモリ、１Ｋ　記憶媒体、１ＰＲ　プログラム、Ｔ　対象者、Ｇ　画像、Ｆ　画像フレーム、Ｓ　肌領域、ＫＫ　顔器官点、ＴＲ　トラッキング点、ＫＲ　計測領域、ＫＤ　輝度差、ＫＳ　輝度信号、ＭＨ　脈波、ＭＳ　脈拍数。

Claims (4)

  1. 　脈波を推定すべき対象者の、相互に前後する第１の画像フレーム及び第２の画像フレームを含む連続する複数の画像フレームを取得する取得部と、
    　前記第１の画像フレーム内で前記対象者の顔器官の位置を示す顔器官点を検出する検出部と、
    　前記第１の画像フレームを参照して、前記第２の画像フレーム内で前記顔器官の位置を示すトラッキング点を設定するトラッキング部と、
    　前記検出された第１の画像フレーム内での顔器官点に基づき、前記第１の画像フレーム内に、前記脈波を推定するための輝度値を計測すべき計測領域の位置を設定する第１の設定部と、
    　前記設定された第２の画像フレーム内でのトラッキング点に基づき、前記第２の画像フレーム内に、前記計測領域の位置を設定する第２の設定部と、
    　前記設定された第１の画像フレーム内の計測領域、及び、前記設定された第２の画像フレーム内の計測領域内の画素の輝度値を計測する計測部と、
    　前記計測された第１の画像フレーム内の計測領域の輝度値と前記計測された第２の画像フレーム内の計測領域の輝度値との差分である輝度差に基づき、前記対象者の脈波を推定する推定部と、
    を含む脈波推定装置。
  2. 　前記検出部及び前記トラッキング部は、それぞれ、前記顔器官点の検出、及び前記トラッキング点の設定を、各画像フレーム毎に行う請求項１記載の脈波推定装置。
  3. 　前記検出部及び前記トラッキング部は、それぞれ、前記顔器官点の抽出、及び前記トラッキング点の設定を、予め定められた数の画像フレーム毎に行う請求項１記載の脈波推定装置。
  4. 　取得部が、脈波を推定すべき対象者の、相互に前後する第１の画像フレーム及び第２の画像フレームを含む連続する複数の画像フレームを取得し、
    　検出部が、前記第１の画像フレーム内で前記対象者の顔器官の位置を示す顔器官点を検出し、
    　トラッキング部が、前記第１の画像フレームを参照して、前記第２の画像フレーム内で前記顔器官の位置を示すトラッキング点を設定し、
    　第１の設定部が、前記検出された第１の画像フレーム内での顔器官点に基づき、前記第１の画像フレーム内に、前記脈波を推定するための輝度値を計測すべき計測領域の位置を設定し、
    　第２の設定部が、前記設定された第２の画像フレーム内でのトラッキング点に基づき、前記第２の画像フレーム内に、前記計測領域の位置を設定し、
    　計測部が、前記設定された第１の画像フレーム内の計測領域、及び、前記設定された第２の画像フレーム内の計測領域内の画素の輝度値を計測し、
    　推定部が、前記計測された第１の画像フレーム内の計測領域の輝度値と前記計測された第２の画像フレーム内の計測領域の輝度値との差分である輝度差に基づき、前記対象者の脈波を推定する、
    脈波推定方法。
PCT/JP2021/006237 2021-02-19 2021-02-19 脈波推定装置及び脈波推定方法 WO2022176137A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112021007128.9T DE112021007128T5 (de) 2021-02-19 2021-02-19 Pulswellen-Schätzvorrichtung und Pulswellen Schätzverfahren
PCT/JP2021/006237 WO2022176137A1 (ja) 2021-02-19 2021-02-19 脈波推定装置及び脈波推定方法
JP2023500249A JPWO2022176137A1 (ja) 2021-02-19 2021-02-19

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/006237 WO2022176137A1 (ja) 2021-02-19 2021-02-19 脈波推定装置及び脈波推定方法

Publications (1)

Publication Number Publication Date
WO2022176137A1 true WO2022176137A1 (ja) 2022-08-25

Family

ID=82930420

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/006237 WO2022176137A1 (ja) 2021-02-19 2021-02-19 脈波推定装置及び脈波推定方法

Country Status (3)

Country Link
JP (1) JPWO2022176137A1 (ja)
DE (1) DE112021007128T5 (ja)
WO (1) WO2022176137A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006027A1 (ja) * 2014-07-07 2016-01-14 富士通株式会社 脈波検出方法、脈波検出プログラム及び脈波検出装置
WO2016158624A1 (ja) * 2015-03-30 2016-10-06 国立大学法人東北大学 生体情報計測装置、生体情報計測方法、生体情報表示装置及び生体情報表示方法
WO2019116996A1 (ja) * 2017-12-15 2019-06-20 シャープ株式会社 血圧測定装置、および、血圧測定方法
JP2019170868A (ja) * 2018-03-29 2019-10-10 株式会社日立製作所 生体情報検出装置および生体情報検出方法
CN111513701A (zh) * 2020-05-26 2020-08-11 上海眼控科技股份有限公司 心率检测方法、装置、计算机设备和可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6683367B2 (ja) 2015-03-30 2020-04-22 国立大学法人東北大学 生体情報計測装置、生体情報計測方法及び生体情報計測プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006027A1 (ja) * 2014-07-07 2016-01-14 富士通株式会社 脈波検出方法、脈波検出プログラム及び脈波検出装置
WO2016158624A1 (ja) * 2015-03-30 2016-10-06 国立大学法人東北大学 生体情報計測装置、生体情報計測方法、生体情報表示装置及び生体情報表示方法
WO2019116996A1 (ja) * 2017-12-15 2019-06-20 シャープ株式会社 血圧測定装置、および、血圧測定方法
JP2019170868A (ja) * 2018-03-29 2019-10-10 株式会社日立製作所 生体情報検出装置および生体情報検出方法
CN111513701A (zh) * 2020-05-26 2020-08-11 上海眼控科技股份有限公司 心率检测方法、装置、计算机设备和可读存储介质

Also Published As

Publication number Publication date
JPWO2022176137A1 (ja) 2022-08-25
DE112021007128T5 (de) 2023-12-14

Similar Documents

Publication Publication Date Title
JP4830650B2 (ja) 追跡装置
JP4585471B2 (ja) 特徴点検出装置及びその方法
CN101243471B (zh) 对用户的运动进行分析的系统和方法
US20180121739A1 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
JP2019530490A5 (ja)
WO2015015869A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP6583734B2 (ja) 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム
JP2009505247A (ja) 複数の観察者の眼のトラッキングとリアルタイム検出のための方法と回路配置
JP2007006427A (ja) 映像監視装置
JP2009104524A (ja) 視線方向計測方法および視線方向計測装置
US9456732B2 (en) Image processing device and image processing method
JP2017129567A5 (ja)
JP2013135341A5 (ja)
JP2023182621A (ja) 光学的測定方法及び光学的測定装置
JP5111934B2 (ja) 監視装置
JP6248780B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
WO2022176137A1 (ja) 脈波推定装置及び脈波推定方法
JP6950644B2 (ja) 注意対象推定装置及び注意対象推定方法
US20120076368A1 (en) Face identification based on facial feature changes
JP2002008041A (ja) 動作検出装置、動作検出方法および情報記憶媒体
JP2018000926A (ja) 動態解析システム
JP2020134242A (ja) 計測方法、計測装置、およびプログラム
KR100930594B1 (ko) 안면 영상 촬영장치 및 그의 안면 특징점 검출 방법
US11363241B2 (en) Surveillance apparatus, surveillance method, and storage medium
JPWO2021039438A5 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21926570

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023500249

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112021007128

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21926570

Country of ref document: EP

Kind code of ref document: A1