WO2023171337A1 - 心拍測定システムおよび心拍測定方法、並びにプログラム - Google Patents

心拍測定システムおよび心拍測定方法、並びにプログラム Download PDF

Info

Publication number
WO2023171337A1
WO2023171337A1 PCT/JP2023/005921 JP2023005921W WO2023171337A1 WO 2023171337 A1 WO2023171337 A1 WO 2023171337A1 JP 2023005921 W JP2023005921 W JP 2023005921W WO 2023171337 A1 WO2023171337 A1 WO 2023171337A1
Authority
WO
WIPO (PCT)
Prior art keywords
heart rate
moving image
imaging
ambient light
rate measurement
Prior art date
Application number
PCT/JP2023/005921
Other languages
English (en)
French (fr)
Inventor
高史 藤本
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023171337A1 publication Critical patent/WO2023171337A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details

Definitions

  • the present disclosure relates to a heart rate measuring system, a heart rate measuring method, and a program, and particularly to a heart rate measuring system, a heart rate measuring method, and a program that can stably perform more accurate heart rate measurements.
  • Patent Document 1 components in a frequency band in which a pulse wave can be obtained are extracted from a luminance signal representing each pixel included in a biological region, and pulse waves are extracted from the luminance signal of the biological region from which the components in the frequency band have been extracted.
  • a pulse wave detection device has been disclosed that controls whether or not to perform detection using brightness information regarding screen display.
  • Patent Document 2 discloses that based on reliability associated with each of a plurality of partial regions of a subject's face in a moving image, pulse wave information is calculated from pixel values obtained from each of the plurality of partial regions.
  • a pulse wave detection device that derives pulse wave information and outputs pulse wave information is disclosed.
  • heart rate measurements have mainly been performed using ambient light as a light source and using reflected light from the face. It has been difficult to eliminate these influences and perform accurate and stable heart rate measurements.
  • the present disclosure has been made in view of this situation, and is intended to enable more accurate heart rate measurement to be performed stably.
  • a heart rate measurement system uses a moving image obtained by imaging a subject with light in at least three or more wavelength ranges, and a wavelength range of environmental light in which the moving image is captured.
  • an ambient light pre-processing unit that acquires ambient light information including at least luminance intensity at each imaging point;
  • a wavelength selection unit that refers to an environmental light map registered for each point and selects a desired wavelength based on the ambient light information at the imaging point where the moving image was captured; and a heart rate calculating section that calculates the heart rate of the subject photographed in the moving image.
  • a heart rate measuring method or program is based on a moving image obtained by imaging a subject with light in at least three or more wavelength ranges, based on the environmental light in which the moving image was imaged.
  • Ambient light information including at least luminance intensity for each wavelength range is acquired, and reference ambient light information, which is the ambient light information obtained by prior measurement of the ambient light at a plurality of imaging points, is provided for each imaging point.
  • reference ambient light information which is the ambient light information obtained by prior measurement of the ambient light at a plurality of imaging points
  • the luminance for each wavelength range of environmental light in which the moving image was imaged is determined.
  • An environmental light map is created in which environmental light information including at least intensity is acquired, and reference environmental light information, which is environmental light information obtained through prior measurement of environmental light at multiple imaging points, is registered for each imaging point.
  • a desired wavelength is selected based on the environmental light information at the imaging point where the moving image was taken, and the heart rate of the subject shown in the moving image is calculated based on the selected wavelength.
  • FIG. 1 is a block diagram showing a configuration example of a first embodiment of a heart rate measurement system to which the present technology is applied.
  • FIG. 3 is a diagram showing an example of an environmental light map.
  • FIG. 3 is a diagram showing an example of a user interface screen.
  • 12 is a flowchart illustrating an example of heart rate measurement processing in the first use case.
  • 12 is a flowchart illustrating an example of heart rate measurement processing in a second use case.
  • 12 is a flowchart illustrating an example of heart rate measurement processing in a third use case.
  • 12 is a flowchart illustrating an example of heart rate measurement processing in a fourth use case.
  • , is a block diagram showing a configuration example of a second embodiment of a heart rate measurement system to which the present technology is applied.
  • 1 is a block diagram showing a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram showing a configuration example of a first embodiment of a heart rate measurement system to which the present technology is applied.
  • the heart rate measurement system 11 includes a mobile camera unit 21, a system control unit 22, and a user terminal 23.
  • the heart rate measurement system 11 can utilize, as the mobile camera unit 21, some functions of robots such as pet robots and cleaning robots that perform known tasks while moving indoors on a daily basis. It can be used by adding a heart rate measurement function to such robots.
  • the mobile camera unit 21 includes an imaging section 31, a moving mechanism 32, and a position information acquisition section 33.
  • the imaging unit 31 includes a multispectral camera capable of detecting light in each of a plurality of wavelength ranges, which are larger than the three wavelength ranges of red, green, and blue necessary to capture a general RGB image. Prepared and configured. Then, the imaging unit 31 acquires a moving image composed of pixel data indicating the luminance value of each wavelength range by capturing an image with light for each of at least three or more wavelength ranges, and the system control unit 31 22.
  • the moving mechanism 32 is composed of, for example, a combination of legs, tires, a motor, etc., and can move the moving camera unit 21 to a desired imaging point according to instructions from the system control unit 22.
  • the position information acquisition unit 33 uses a position sensor that is used in a function such as SLAM (Simultaneous Localization and Mapping) that simultaneously estimates the self-position and creates an environmental map. Then, the position information acquisition unit 33 acquires position information indicating the position of the mobile camera unit 21 and supplies it to the system control unit 22.
  • SLAM Simultaneous Localization and Mapping
  • the system control unit 22 includes an imaging instruction section 41, a signal processing section 42, and a storage section 43.
  • the imaging instruction section 41 includes an ambient light preprocessing section 51, a person detection section 52, and a movement instruction section 53.
  • the ambient light pre-processing section 51 performs ambient light pre-processing to obtain ambient light information indicating the luminance intensity of each wavelength range in the ambient light in the environment in which the moving image supplied from the imaging section 31 to the system control unit 22 was captured. I do. Then, the ambient light preprocessing section 51 supplies the ambient light information acquired by the ambient light preprocessing to the person detection section 52 , the wavelength selection section 55 of the signal processing section 42 , and the storage section 43 .
  • the person detection section 52 When the person detection section 52 detects that a person is captured in the moving image supplied from the imaging section 31 to the system control unit 22, it supplies the moving image to the face detection section 54 of the signal processing section 42. In addition, the person detection unit 52 identifies an imaging point where the user can be imaged with environmental light more suitable for heart rate measurement based on the environmental light information supplied from the environmental light preprocessing unit 51 on an environmental light map ( 2), and notify the movement instruction unit 53 of the imaging point.
  • the movement instruction unit 53 instructs the movement mechanism 32 to move to the imaging point notified by the person detection unit 52 based on the position information of the mobile camera unit 21 supplied from the position information acquisition unit 33 to the system control unit 22. Instruct movement to.
  • the signal processing section 42 includes a face detection section 54, a wavelength selection section 55, and a heart rate calculation section 56.
  • the face detection unit 54 performs face detection processing on the person shown in the video image supplied from the person detection unit 52, detects the face of the person, and creates a face video by cutting out the area where the face is shown. Get the statue.
  • the face detection unit 54 compares the acquired facial moving image with the facial image of the user ID registered in advance for each user to be measured in the heart rate measurement system 11, and detects the person in the facial moving image. Obtain a user ID that identifies the user.
  • the face detection unit 54 supplies the user ID to the wavelength selection unit 55, supplies the face moving image to the heart rate calculation unit 56, and stores the ID-attached face moving image in which the user ID is added to the face moving image in the storage unit 43. supply to.
  • the wavelength selection unit 55 selects the luminance intensity corresponding to the position information of the mobile camera unit 21 supplied from the position information acquisition unit 33 to the storage unit 43 from the environmental light map (see FIG. 2) stored in the storage unit 43. read out. Then, the wavelength selection section 55 refers to the luminance intensity, selects a desired wavelength based on the ambient light information supplied from the ambient light preprocessing section 51, and notifies the heart rate calculation section 56. Note that the wavelength selection method will be described later with reference to FIG. 2. Further, the wavelength selection unit 55 can select a wavelength suitable for each user identified by the user ID supplied from the face detection unit 54.
  • the wavelength selection unit 55 selects a facial moving image optimal for performing heart rate measurement from among a plurality of facial moving images captured under various imaging conditions (imaging points and imaging times) stored in the storage unit 43. The images can be selected and supplied to the heart rate calculation section 56.
  • the heart rate calculation unit 56 calculates the heart rate of the user depicted in the moving image supplied from the face detection unit 54 based on the wavelength selected by the wavelength selection unit 55. For example, the heart rate calculation unit 56 selects pixel data that includes the wavelength notified from the wavelength selection unit 55 out of the pixel data for each of a plurality of wavelength ranges that constitute the face moving image supplied from the face detection unit 54. The heart rate is calculated using the extracted pixel data. Thereby, the heart rate calculation unit 56 measures the heart rate and supplies the heart rate data obtained from the measurement to the storage unit 43.
  • the heart rate calculation unit 56 reads out and acquires a plurality of facial moving images with different imaging conditions (imaging point, imaging time, imaging date) from the storage unit 43 for a specific user identified by the user ID, and acquires them. It is possible to calculate the heart rate of the user shown in the face moving image, and to calculate the trend of the heart rate estimate that changes along the time series.
  • the storage unit 43 stores in the database an environmental light map in which the environmental light information supplied from the ambient light pre-processing unit 51 is registered for each position information supplied from the position information acquisition unit 33. Furthermore, the storage unit 43 stores the ID-attached face moving image supplied from the face detection unit 54 and the heartbeat data supplied from the heart rate calculation unit 56 in association with each other.
  • the user terminal 23 includes a UI data processing section 61 and a display section 62.
  • the user terminal 23 can be a smartphone, a tablet terminal, or the like.
  • the UI data processing unit 61 performs data processing to create a user interface screen, which will be described later with reference to FIG.
  • the screen is supplied to the display unit 62.
  • the display unit 62 displays the user interface screen created by the UI data processing unit 61.
  • the heart rate measurement system 11 configured as described above refers to the ambient light map obtained in advance measurement based on the ambient light information acquired by the ambient light preprocessing section 51, and performs an imaging process that captures a facial moving image.
  • the optimal wavelength for performing heart rate measurements at a location can be selected.
  • the heart rate measurement system 11 can reduce the influence of environmental light and stably perform more accurate heart rate measurements.
  • the environmental light map is a map that analyzes the indoor floor plan where heart rate measurement is performed by the heart rate measurement system 11, detects a place where the ambient light is robust, and stores the relationship between the environmental light and the imaging point in advance. .
  • the heart rate measurement system 11 moves the mobile camera unit 21 to an imaging point where the user can be imaged with environmental light more suitable for heart rate measurement, which is specified by referring to the environmental light map. Images can be captured.
  • the heart rate measurement system 11 can present an imaging time during which the user can be imaged with environmental light more suitable for heart rate measurement by, for example, storing the lighting fluctuation pattern during the day at each imaging location. I can do it.
  • the heart rate measurement system 11 uses, as the mobile camera unit 21, some of the functions of robots such as pet robots and cleaning robots that perform known tasks while moving indoors on a daily basis.
  • the robot can use indoor floor plans already detected by SLAM.
  • a heart rate measurement function can be added to a robot as one of the functions to monitor the health of the family.
  • the heart rate measurement system 11 may use color temperature obtained by detecting indoor illuminance, type of lighting, etc. for each season as the environmental light information. In this way, it may be possible to estimate the color temperature of the illumination that a face facing in a certain direction at a certain time, in a certain place, is under. Furthermore, when capturing a face video based on the color temperature estimation, the heart rate measurement system 11 can now select the optimal spectrum for extracting the heartbeat from the skin color, and the S/N of the heartbeat estimation. It is expected that quality will improve. Furthermore, the heart rate measurement system 11 can identify users using the face detection unit 54, and can also select a wavelength suitable for each user.
  • FIG. 2 shows an example of an environmental light map in which luminance intensity for each time zone and wavelength range is registered in association with two indoor imaging points A and B.
  • there are five time periods (6:00-9:00 , 9:00-12:00 , 12:00-15:00 , 15:00-18:00 , 18:00-21:00)
  • the brightness intensity values are shown for each of eight wavelength ranges (400-450 , 450-500 , 500-550 , 550-600 , 600-650 , 650-700 , 700-750 , 750-800) in 50 nm increments.
  • the brightness intensity values shown in FIG. 2 are provisional values for explaining the processing in the heart rate measurement system 11, and may include values such as weekly averages, monthly averages, and the influence of external light such as the weather. Values expressed in various ways may be used, such as values summarized according to the following.
  • the heart rate measurement system 11 acquires such luminance intensity data through prior measurement and stores it in the storage unit 43. Then, in the heartbeat measurement system 11, by specifying an indoor imaging point and imaging time, it is possible to acquire the luminance intensity for each wavelength expected at the imaging point and imaging time. In other words, the heart rate measurement system 11 can acquire the brightness intensity value for each wavelength range that is expected to be the basis of the environmental light in the user's face moving image captured for heart rate measurement. This makes it possible to level and average the wavelength components by performing processing such as dividing the signal of each wavelength of the heartbeat component using that value, improving the S/N of the heartbeat component included in each wavelength component. is expected.
  • the optimal wavelength from which the heartbeat component obtained from facial moving images is extracted is expected to differ depending on the environment, person, etc., By specifying whether the image is a facial moving image, it becomes an indicator of which wavelength range components should be used to extract the heartbeat component, and the wavelength range can be easily selected.
  • the environmental light has a high luminance intensity value in a wavelength range from 550 nm to 700 nm, and particularly a high luminance intensity value in a wavelength range from 550 nm to 600 nm. Therefore, in terms of probability, it can be expected that a component with good S/N ratio will be extracted from the wavelength range of 550-600 nm among the heartbeat components hidden in each wavelength range of a facial moving image. In this way, it is possible to select the wavelength range from which the heartbeat component is to be obtained, using the luminance intensity of the ambient light as a parameter.
  • the quality of the measurement results is graded and linked to the location and time, thereby making it possible to specify an imaging point and imaging time convenient for heart rate measurement.
  • the user is guided to the optimal imaging point and imaging time based on the brightness intensity and the imaging location and imaging time with good quality of previous measurement results.
  • the imaging point and imaging time can be selected, the quality of facial heart rate measurement results may be higher if the image is taken using the wavelength range from 500 nm to 650 nm at imaging point B. It is preferable to guide and photograph at that time of B.
  • FIG. 3 shows an example of a user interface screen displayed on the display unit 62 of the user terminal 23.
  • the user interface screen 71 shown in FIG. 3 is provided with a status display section 72, a comment display section 73, and a map display section 74.
  • the status display section 72 displays the illuminance at the current position of the mobile camera unit 21, the quality of heartbeat data that can be expected to be obtained when the user's face is imaged at the current position of the mobile camera unit 21, and whether or not imaging is in progress.
  • the status indicating the user ID and the user name associated with the user ID are displayed.
  • the illuminance level of the three levels is 3, which is good
  • the quality level of the three levels is 2, which is good, and shooting is in progress.
  • the user name is Mr. A.
  • the comment display section 73 displays comments to encourage imaging, messages from the heart rate measurement system 11, announcements about the current heart rate measurement value based on past data, and the like.
  • the following messages are displayed: ⁇ I'm going to take a photo, come here!'', a message saying ⁇ The photo shoot has been completed,'' and an announcement saying ⁇ Your heartbeat has been fine since yesterday.'' There is.
  • the map display section 74 displays, for example, an indoor map created by SLAM of the mobile camera unit 21, and areas in the map are colored according to the quality level of illuminance and heart rate data (example shown). (hatch) and border type. Furthermore, the map display section 74 can display the current position of the mobile camera unit 21 and guide the user to the position to take an image.
  • FIG. 4 is a flowchart illustrating an example of heart rate measurement processing in the first use case.
  • step S11 the moving image captured by the imaging section 31 is supplied to the person detection section 52, and when it is detected that a person is included in the moving image, the person detection section 52 sends the moving image to the face detection section 54.
  • the face detection section 54 acquires a face moving image by cutting out a region in which a face is shown in the moving image, and supplies the face moving image to the heart rate calculation section 56 .
  • the wavelength selection unit 55 selects the environment light map stored in the storage unit 43, the position information of the mobile camera unit 21 acquired by the position information acquisition unit 33, and the environment supplied from the environment light preprocessing unit 51. Based on the optical information and the user ID supplied from the face detection unit 54, a wavelength to be used for heart rate measurement is selected and notified to the heart rate calculation unit 56.
  • step S13 the heart rate calculation unit 56 determines the heart rate of the user depicted in the facial moving image supplied from the face detection unit 54 in step S11, based on the wavelength notified from the wavelength selection unit 55 in step S12. Calculate and measure heart rate.
  • the heart rate measurement system 11 aims to reduce the influence of environmental light by selecting the optimal wavelength for performing heart rate measurement at the imaging point where the facial moving image was captured. More accurate heart rate measurement can be performed stably.
  • FIG. 5 is a flowchart illustrating an example of heart rate measurement processing in the second use case.
  • step S21 similarly to step S11 in FIG. 4, capturing of a facial moving image is started.
  • step S22 the person detection unit 52 locates an imaging point where the person can be imaged with ambient light more suitable for heart rate measurement on the environmental light map based on the ambient light information supplied from the ambient light preprocessing unit 51. (see FIG. 2), and notifies the movement instruction unit 53 of the imaging point. In response, the movement instruction unit 53 instructs the movement mechanism 32 to move. Then, when the mobile camera unit 21 moves to the imaging point instructed by the movement instruction section 53, the process proceeds to step S23.
  • steps S23 and S24 similarly to steps S12 and S13 in FIG. 4, a wavelength to be used for heartbeat measurement is selected, and heartbeat measurement is performed based on the selected wavelength.
  • the heart rate measurement system 11 moves the mobile camera unit 21 to an imaging point where the person can be imaged with ambient light more suitable for heart rate measurement, and then measures the heart rate.
  • the optimal wavelength for measurement it is possible to further reduce the influence of environmental light and to stably perform more accurate heart rate measurements.
  • FIG. 6 is a flowchart illustrating an example of heart rate measurement processing in the third use case.
  • step S31 facial moving images captured under various imaging conditions (imaging points and imaging times) are collected and stored in the storage unit 43.
  • step S32 the wavelength selection unit 55 selects the environment light map stored in the storage unit 43, the position information of the mobile camera unit 21 acquired by the position information acquisition unit 33, and the environment supplied from the environment light preprocessing unit 51. Based on the optical information, a facial moving image most suitable for performing heart rate measurement is selected from among the plurality of facial moving images stored in the storage section 43 and supplied to the heart rate calculating section 56 .
  • step S33 the wavelength selection unit 55 uses the position information of the mobile camera unit 21 acquired by the position information acquisition unit 33, the ambient light information supplied from the ambient light pre-processing unit 51, and the information supplied from the face detection unit 54. Based on the user ID, the wavelength used for heart rate measurement is selected and notified to the heart rate calculation unit 56.
  • step S34 the heart rate calculation unit 56 determines the heart rate of the user shown in the facial moving image supplied from the wavelength selection unit 55 in step S32, based on the wavelength notified from the wavelength selection unit 55 in step S33. Calculate and measure heart rate.
  • the heart rate measurement system 11 selects the most suitable facial moving image for heart rate measurement, and also selects the most suitable wavelength for heart rate measurement. By reducing the influence of light, more accurate heart rate measurements can be performed stably.
  • FIG. 7 is a flowchart illustrating an example of heart rate measurement processing in the fourth use case.
  • step S41 the heart rate calculation unit 56 reads out and acquires a plurality of facial moving images with different imaging conditions (imaging point, imaging time, imaging date) from the storage unit 43 for a specific user identified by the user ID. .
  • step S42 the heart rate calculation unit 56 calculates the heart rate of the user captured in the plurality of face moving images acquired in step S41, and trends in the heart rate estimation value that change along the time series. Calculate.
  • the heart rate measurement system 11 is able to observe trends and capture changes in heart rate determined from multiple facial moving images each affected by different environmental light. .
  • FIG. 8 is a block diagram showing a configuration example of a second embodiment of a heart rate measurement system to which the present technology is applied.
  • each block that is common in the configuration of the heartbeat measurement system 11 in FIG. 1 is given the same reference numeral, and detailed explanation thereof will be omitted.
  • the heart rate measurement system 11A includes N fixed camera units 24-1 to 24-N, a system control unit 22A, and a user terminal 23.
  • the fixed camera units 24-1 to 24-N have the same configuration, and are simply referred to as the fixed camera unit 24 when there is no need to distinguish between them.
  • the heart rate measurement system 11 in FIG. 1 includes a mobile camera unit 21 that can move between a plurality of imaging points, whereas the heart rate measurement system 11A includes a fixed camera unit 24 at each of the plurality of imaging points. are arranged and configured in a fixed manner.
  • the fixed camera unit 24 includes an imaging section 31 and a position information storage section 34.
  • the imaging unit 31 is equipped with a multispectral camera, similar to the mobile camera unit 21 in FIG. 1, and can acquire moving images captured using light in at least three or more wavelength ranges.
  • the position information storage section 34 stores position information indicating the fixed position of the fixed camera unit 24 when the fixed camera unit 24 is fixed.
  • the system control unit 22A includes an imaging instruction section 41A, a signal processing section 42, and a storage section 43. It has the same configuration as section 43. Further, the imaging instruction section 41A is configured similarly to the imaging instruction section 41 in FIG. 1 in that it includes an ambient light preprocessing section 51 and a person detection section 52.
  • the fixed camera units 24-1 to 24-N can capture moving images of the user's face at N imaging points, and the heart rate measurement system 11 in FIG. Similarly, it is possible to reduce the influence of environmental light and stably perform more accurate heart rate measurements.
  • FIG. 9 is a block diagram showing a configuration example of an embodiment of a computer in which a program that executes the series of processes described above is installed.
  • the program can be recorded in advance on the hard disk 105 or ROM 103 as a recording medium built into the computer.
  • the program can be stored (recorded) in a removable recording medium 111 driven by the drive 109.
  • a removable recording medium 111 can be provided as so-called package software.
  • examples of the removable recording medium 111 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, and a semiconductor memory.
  • the program can also be downloaded to the computer via a communication network or broadcasting network and installed on the built-in hard disk 105.
  • a program can be transferred wirelessly from a download site to a computer via an artificial satellite for digital satellite broadcasting, or transferred to a computer by wire via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • the computer has a built-in CPU (Central Processing Unit) 102, and an input/output interface 110 is connected to the CPU 102 via a bus 101.
  • CPU Central Processing Unit
  • the CPU 102 executes a program stored in a ROM (Read Only Memory) 103 in accordance with the command. .
  • the CPU 102 loads the program stored in the hard disk 105 into the RAM (Random Access Memory) 104 and executes the program.
  • the CPU 102 performs processing according to the above-described flowchart or processing performed according to the configuration of the above-described block diagram. Then, the CPU 102 outputs the processing result from the output unit 106 or transmits it from the communication unit 108 via the input/output interface 110, or records it on the hard disk 105, as necessary.
  • the input unit 107 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 106 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing that a computer performs according to a program does not necessarily have to be performed chronologically in the order described as a flowchart. That is, the processing that a computer performs according to a program includes processing that is performed in parallel or individually (for example, parallel processing or processing using objects).
  • program may be processed by one computer (processor) or may be processed in a distributed manner by multiple computers. Furthermore, the program may be transferred to a remote computer and executed.
  • a system refers to a collection of multiple components (devices, modules (components), etc.), regardless of whether all the components are located in the same casing. Therefore, multiple devices housed in separate casings and connected via a network, and a single device with multiple modules housed in one casing are both systems. .
  • the configuration described as one device (or processing section) may be divided and configured as a plurality of devices (or processing sections).
  • the configurations described above as a plurality of devices (or processing units) may be configured as one device (or processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) as long as the configuration and operation of the entire system are substantially the same. .
  • the present technology can take a cloud computing configuration in which one function is shared and jointly processed by multiple devices via a network.
  • the above-mentioned program can be executed on any device. In that case, it is only necessary that the device has the necessary functions (functional blocks, etc.) and can obtain the necessary information.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by multiple devices.
  • the multiple processes included in that one step can be executed by one device or can be shared and executed by multiple devices.
  • multiple processes included in one step can be executed as multiple steps.
  • processes described as multiple steps can also be executed together as one step.
  • the processing of the steps described in the program may be executed in chronological order according to the order described in this specification, in parallel, or in a manner in which calls are made. It may also be configured to be executed individually at necessary timings such as at certain times. In other words, the processing of each step may be executed in a different order from the order described above, unless a contradiction occurs. Furthermore, the processing of the step of writing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • Ambient light information that includes at least the luminance intensity for each wavelength range of the ambient light in which the moving image was captured is obtained from a moving image obtained by imaging the subject with light in at least three or more wavelength ranges.
  • an ambient light pre-processing unit to obtain The moving image is captured by referring to an environmental light map in which reference ambient light information, which is the ambient light information obtained by prior measurement of the ambient light at a plurality of imaging locations, is registered for each imaging location.
  • a heart rate measurement system comprising: a heart rate calculation unit that calculates the heart rate of the subject photographed in the moving image based on the selected wavelength.
  • the face of the person to be measured is detected in the moving image, a face moving image is obtained by cutting out the area where the face is shown, and the face is compared with the registered face image.
  • the heart rate measurement system according to (1) above further comprising a face detection unit that identifies a person.
  • a camera unit having an imaging section having a multispectral camera capable of detecting light in each of at least three or more wavelength bands.
  • the heart rate measurement system according to (3) above further comprising: the camera unit having a movement mechanism capable of moving to a desired imaging point.
  • the plurality of camera units are each fixedly arranged at a plurality of imaging points.
  • a movement instruction unit that instructs the moving mechanism to move to an imaging point where the subject can be imaged with environmental light more suitable for heart rate measurement, which is specified by referring to the environmental light map;
  • the heart rate measurement system according to any one of (1) to (6) above, further comprising: calculating a heart rate.
  • the heart rate calculation unit calculates the heart rate of the subject photographed in a plurality of face moving images under different imaging conditions, and calculates a trend change in the estimated heart rate value that changes over time.
  • the heart rate measurement system according to any one of (1) to (7) above.
  • the heart rate measurement system Ambient light information that includes at least the luminance intensity for each wavelength range of the ambient light in which the moving image was captured is obtained from a moving image obtained by imaging the subject with light in at least three or more wavelength ranges.
  • the moving image is captured by referring to an environmental light map in which reference ambient light information, which is the ambient light information obtained by prior measurement of the ambient light at a plurality of imaging locations, is registered for each imaging location. selecting a desired wavelength based on the ambient light information at the imaging point;
  • a heart rate measuring method comprising: calculating a heart rate of the subject photographed in the moving image based on the selected wavelength. (10)
  • Ambient light information that includes at least the luminance intensity for each wavelength range of the ambient light in which the moving image was captured is obtained from a moving image obtained by imaging the subject with light in at least three or more wavelength ranges.
  • the moving image is captured by referring to an environmental light map in which reference ambient light information, which is the ambient light information obtained by prior measurement of the ambient light at a plurality of imaging locations, is registered for each imaging location. selecting a desired wavelength based on the ambient light information at the imaging point;
  • a program for executing heart rate measurement processing the program comprising: calculating a heart rate of the subject photographed in the moving image based on the selected wavelength.
  • 11 Heart rate measurement system 21 Mobile camera unit, 22 System control unit, 23 User terminal, 24-1 to 24-N fixed camera units, 31 Imaging unit, 32 Moving mechanism, 33 Location information acquisition unit, 34 Location information storage unit, 41 Imaging instruction unit, 42 Signal processing unit, 43 Storage unit, 51 Ambient light pre-processing unit, 52 Person detection unit, 53 Movement instruction unit, 54 Face detection unit, 55 Wavelength selection unit, 56 Heart rate calculation unit, 61 UI data Processing section, 62 Display section

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

少なくとも３つ以上の複数の波長域ごとの光で被測定者を撮像することによって得られる動画像から、その動画像が撮像された環境光の波長域ごとの輝度強度を少なくとも含む環境光情報を取得する。また、複数の撮像地点における環境光について事前の測定で得られた環境光情報である参照用の環境光情報が撮像地点ごとに登録されている環境光マップを参照し、動画像が撮像された撮像地点における前記環境光情報に基づいて、所望の波長を選択する。そして、選択された波長に基づいて、動画像に写されている被測定者の心拍数を演算する。

Description

心拍測定システムおよび心拍測定方法、並びにプログラム
　本開示は、心拍測定システムおよび心拍測定方法、並びにプログラムに関し、特に、より正確な心拍測定を安定的に行うことができるようにした心拍測定システムおよび心拍測定方法、並びにプログラムに関する。
　従来、顔が撮像された動画像を画像解析することによって、心拍数を演算により求める技術が開発されている。
　例えば、特許文献１には、生体領域に含まれる各画素を代表する輝度信号から脈波が採り得る周波数帯の成分を抽出し、周波数帯の成分が抽出された生体領域の輝度信号から脈波の検出を実行させるか否かを、画面の表示に関する輝度情報を用いて制御する脈波検出装置が開示されている。
　また、特許文献２には、動画像における被測定者の顔の複数の部分領域の各々に関連づけられた信頼性に基づき、複数の部分領域の各々から取得される画素値から脈波の情報を導出して、脈波の情報を出力する脈波検出装置が開示されている。
特開２０１４－２２１１７２号公報 特開２０１８－１６４５８７号公報
　ところで、従来、主に環境光を光源として、顔からの反射光を用いた心拍測定が行われているが、例えば、日時や場所などで環境光が大きく変化するため、そのような環境光の影響を排除して正確な心拍測定を安定的に行うことは困難であった。
　本開示は、このような状況に鑑みてなされたものであり、より正確な心拍測定を安定的に行うことができるようにするものである。
　本開示の一側面の心拍測定システムは、少なくとも３つ以上の複数の波長域ごとの光で被測定者を撮像することによって得られる動画像から、その動画像が撮像された環境光の波長域ごとの輝度強度を少なくとも含む環境光情報を取得する環境光前処理部と、複数の撮像地点における環境光について事前の測定で得られた前記環境光情報である参照用の環境光情報が前記撮像地点ごとに登録されている環境光マップを参照し、前記動画像が撮像された撮像地点における前記環境光情報に基づいて、所望の波長を選択する波長選択部と、選択された前記波長に基づいて、前記動画像に写されている前記被測定者の心拍数を演算する心拍数演算部とを備える。
　本開示の一側面の心拍測定方法またはプログラムは、少なくとも３つ以上の複数の波長域ごとの光で被測定者を撮像することによって得られる動画像から、その動画像が撮像された環境光の波長域ごとの輝度強度を少なくとも含む環境光情報を取得することと、複数の撮像地点における環境光について事前の測定で得られた前記環境光情報である参照用の環境光情報が前記撮像地点ごとに登録されている環境光マップを参照し、前記動画像が撮像された撮像地点における前記環境光情報に基づいて、所望の波長を選択することと、選択された前記波長に基づいて、前記動画像に写されている前記被測定者の心拍数を演算することとを含む。
　本開示の一側面においては、少なくとも３つ以上の複数の波長域ごとの光で被測定者を撮像することによって得られる動画像から、その動画像が撮像された環境光の波長域ごとの輝度強度を少なくとも含む環境光情報が取得され、複数の撮像地点における環境光について事前の測定で得られた環境光情報である参照用の環境光情報が撮像地点ごとに登録されている環境光マップを参照し、動画像が撮像された撮像地点における環境光情報に基づいて、所望の波長が選択され、選択された波長に基づいて、動画像に写されている被測定者の心拍数が演算される。
本技術を適用した心拍測定システムの第１の実施の形態の構成例を示すブロック図である。 環境光マップの一例を示す図である。 ユーザインタフェース画面の一例を示す図である。 第１のユースケースにおける心拍測定処理の処理例を説明するフローチャートである。 第２のユースケースにおける心拍測定処理の処理例を説明するフローチャートである。 第３のユースケースにおける心拍測定処理の処理例を説明するフローチャートである。 第４のユースケースにおける心拍測定処理の処理例を説明するフローチャートである。 、本技術を適用した心拍測定システムの第２の実施の形態の構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜心拍測定システムの第１の構成例＞
　図１は、本技術を適用した心拍測定システムの第１の実施の形態の構成例を示すブロック図である。
　図１に示すように、心拍測定システム１１は、移動カメラユニット２１、システム制御ユニット２２、およびユーザ端末２３を備えて構成される。例えば、心拍測定システム１１は、ペットロボットや掃除ロボットなどのように日常的に屋内を移動しながら既知のタスクを実行するロボットの一部の機能を移動カメラユニット２１として利用することができ、そのようなロボットに対して心拍測定機能を追加することで利用可能される。
　移動カメラユニット２１は、撮像部３１、移動機構３２、および位置情報取得部３３を備えて構成される。
　撮像部３１は、一般的なＲＧＢ画像を撮像するのに必要な赤色、緑色、および青色の３つの波長域よりも多くの複数の波長域ごとに光を検出することが可能なマルチスペクトルカメラを備えて構成される。そして、撮像部３１は、少なくとも３つ以上の複数の波長域ごとの光で撮像することによって、それぞれの波長域の輝度値を示す画素データにより構成される動画像を取得して、システム制御ユニット２２に供給する。
　移動機構３２は、例えば、脚部やタイヤ、モータなどが組み合わされて構成され、システム制御ユニット２２からの指示に従って、移動カメラユニット２１を所望の撮像地点に移動させることができる。
　位置情報取得部３３には、例えば、SLAM（Simultaneous Localization and Mapping）などのように自己位置の推定および環境地図の作成を同時に行う機能において利用される位置センサが用いられる。そして、位置情報取得部３３は、移動カメラユニット２１の位置を示す位置情報を取得して、システム制御ユニット２２に供給する。
　システム制御ユニット２２は、撮像指示部４１、信号処理部４２、および記憶部４３を備えて構成される。
　撮像指示部４１は、環境光前処理部５１、人物検知部５２、および移動指示部５３を有している。
　環境光前処理部５１は、撮像部３１からシステム制御ユニット２２に供給される動画像が撮像された環境での環境光における波長域ごとの輝度強度を示す環境光情報を取得する環境光前処理を行う。そして、環境光前処理部５１は、環境光前処理によって取得される環境光情報を、人物検知部５２、信号処理部４２の波長選択部５５、および記憶部４３に供給する。
　人物検知部５２は、撮像部３１からシステム制御ユニット２２に供給される動画像に人物が写されていることを検知すると、その動画像を信号処理部４２の顔検出部５４に供給する。また、人物検知部５２は、環境光前処理部５１から供給される環境光情報に基づいて、より心拍測定に適した環境光でユーザを撮像することができる撮像地点を、環境光マップ（図２参照）を参照して特定し、その撮像地点を移動指示部５３に通知することができる。
　移動指示部５３は、位置情報取得部３３からシステム制御ユニット２２に供給される移動カメラユニット２１の位置情報に基づいて、人物検知部５２から通知された撮像地点に移動するように、移動機構３２に対する移動を指示する。
　信号処理部４２は、顔検出部５４、波長選択部５５、および心拍数演算部５６を備えて構成される。
　顔検出部５４は、人物検知部５２から供給される動画像に写されている人物に対する顔検出処理を行って、その人物の顔を検出し、顔が写されている領域を切り出した顔動画像を取得する。また、顔検出部５４は、その取得した顔動画像と、心拍測定システム１１において被測定者となるユーザごとに事前に登録されているユーザＩＤの顔画像とを照合し、顔動画像の人物を識別するユーザＩＤを取得する。そして、顔検出部５４は、ユーザＩＤを波長選択部５５に供給し、顔動画像を心拍数演算部５６に供給し、顔動画像にユーザＩＤを付加したＩＤ付き顔動画像を記憶部４３に供給する。
　波長選択部５５は、位置情報取得部３３から記憶部４３に供給される移動カメラユニット２１の位置情報に対応する輝度強度を、記憶部４３に記憶されている環境光マップ（図２参照）から読み出す。そして、波長選択部５５は、その輝度強度を参照し、環境光前処理部５１から供給される環境光情報に基づいて、所望の波長を選択し、心拍数演算部５６に通知する。なお、波長選択の方法については図２を参照して後述する。また、波長選択部５５は、顔検出部５４から供給されるユーザＩＤによって識別されるユーザごとに、そのユーザに適した波長を選択することができる。
　また、波長選択部５５は、記憶部４３に蓄積されている、様々な撮像条件（撮像地点および撮像時間）で撮像した複数の顔動画像の中から、心拍測定を行うのに最適な顔動画像を選択し、心拍数演算部５６に供給することができる。
　心拍数演算部５６は、波長選択部５５により選択された波長に基づいて、顔検出部５４から供給される動画像に写されているユーザの心拍数を演算する。例えば、心拍数演算部５６は、顔検出部５４から供給される顔動画像を構成する複数の波長域ごとの画素データのうちの、波長選択部５５から通知された波長が含まれる画素データを抽出し、その画素データを用いて心拍数を演算する。これにより、心拍数演算部５６は、心拍測定を行って、その測定により得られる心拍データを記憶部４３に供給する。
　また、心拍数演算部５６は、ユーザＩＤで識別される特定のユーザについて、撮像条件（撮像地点、撮像時間、撮像日）の異なる複数の顔動画像を記憶部４３から読み出して取得し、それらの顔動画像に写されているユーザの心拍数を演算し、それらの時系列に沿って変化する心拍推定値の傾向的変化を算出することができる。
　記憶部４３は、位置情報取得部３３から供給される位置情報ごとに、環境光前処理部５１からから供給される環境光情報が登録された環境光マップをデータベースに記憶する。また、記憶部４３は、顔検出部５４から供給されるＩＤ付き顔動画像と、心拍数演算部５６から供給される心拍データとを対応付けて記憶する。
　ユーザ端末２３は、ＵＩデータ処理部６１、および表示部６２を備えて構成される。例えば、ユーザ端末２３には、スマートフォンやタブレット端末などを利用することができる。
　ＵＩデータ処理部６１は、例えば、記憶部４３に記憶されている環境光マップに基づいて、図３を参照して後述するユーザインタフェース画面を作成するためのデータ処理を行って、作成したユーザインタフェース画面を表示部６２に供給する。
　表示部６２は、ＵＩデータ処理部６１により作成されたユーザインタフェース画面を表示する。
　以上のように構成される心拍測定システム１１は、環境光前処理部５１が取得した環境光情報に基づいて、事前の測定で得られた環境光マップを参照し、顔動画像を撮像した撮像地点において心拍測定を行うのに最適な波長を選択することができる。これにより、心拍測定システム１１は、環境光の影響の低減を図り、より正確な心拍測定を安定的に行うことができる。例えば、環境光マップは、心拍測定システム１１による心拍測定が行われる屋内の間取りを分析して環境光ロバストな場所を検知し、環境光と撮像地点との関係性を予め撮り溜めたものである。
　また、心拍測定システム１１は、環境光マップを参照することにより特定される、より心拍測定に適した環境光でユーザを撮像することができる撮像地点に移動カメラユニット２１を移動させて、顔動画像の撮像を行うことができる。また、心拍測定システム１１は、例えば、それぞれの撮影箇所における日内の照明変動パターンを記憶しておくことで、より心拍測定に適した環境光でユーザを撮像することができる撮像時間を提示することができる。
　例えば、心拍測定システム１１は、ペットロボットや掃除ロボットなどのように日常的に屋内を移動しながら既知のタスクを実行するロボットの一部の機能を移動カメラユニット２１として利用ことで、そのようなロボットが既にSLAMで検出している屋内の間取りを使用することができる。例えば、ロボットに対して、家族の健康を見守る機能の一つとして心拍測定機能を追加することができる。
　そして、心拍測定システム１１は、季節ごとに、屋内の照度や照明の種類などを検知して得られる色温度を環境光情報として用いてもよい。これにより、ある時間の、ある場所の、ある方向に向いている顔にはどのような色温度の照明の下にあるかを推定してもよい。また、心拍測定システム１１は、その色温度推定をベースとして顔動画を撮影する際には、肌の色から心拍抽出するために最適なスペクトルの選定ができるようになり、心拍推定のS/N品質の向上を図ることが期待できる。また、心拍測定システム１１は、顔検出部５４によってユーザを識別することができ、それぞれのユーザに適した波長を選択することもできる。
　図２に示す環境光マップを参照して、心拍測定システム１１における環境光の扱いおよび波長選択の方法について説明する。
　図２には、時間帯および波長域ごとの輝度強度が、屋内の２カ所の撮像地点Ａおよび撮像地点Ｂに対応付けられて登録された環境光マップの一例が示されている。図示する例では、５つの時間帯（6:00-9:00 , 9:00-12:00 , 12:00-15:00 , 15:00-18:00 , 18:00-21:00）における50nm刻みの８つの波長域（400-450 , 450-500 , 500-550 , 550-600 , 600-650 , 650-700 , 700-750 , 750-800）ごとの輝度強度の値が示されている。なお、図２に示す輝度強度の値は、心拍測定システム１１での処理を説明するための仮の値であって、例えば、週平均や月平均などの値や、天気などの外光の影響に応じて纏めた値など、様々な表し方の値を用いてもよい。
　心拍測定システム１１は、このような輝度強度データを事前の測定により取得し、記憶部４３に記憶している。そして、心拍測定システム１１では、屋内における撮像地点および撮像時間を特定することにより、その撮像地点および撮像時間で期待される波長ごとの輝度強度を取得することができる。つまり、心拍測定システム１１は、心拍計測を行うために撮像したユーザの顔動画像における環境光のベースになると期待される波長域ごとの輝度強度の値を取得することができる。これにより、その値を用いて、心拍成分の各波長の信号を割る等の処理を行うことで波長成分のレベリング、平均化処理が可能となり、各波長成分に含まれる心拍成分のS/N向上が見込まれる。
　そして、顔動画像から得られる心拍成分は、環境や人物などにより、抽出する元となる最適波長が異なることが予想されるため、心拍測定システム１１のように、どの地点でどの時刻で撮影された顔動画像かを特定することで、どの波長域の成分を用いて心拍成分を抽出すると良いかの指標となり、波長域の選択を容易に行うことができる。
　例えば、撮像地点Ａにおいて１２時から１５時までの時間帯に顔動画が撮影されたとする。このとき、環境光としては550nmから700nmまでの波長域の輝度強度の値が高く、特に550nmから600nmまでの波長域の輝度強度の値が高い。従って、確率的には、顔動画像の各波長域に埋もれている心拍成分の中でも、550-600nmの波長域の中からS/N的に良好な成分が抽出されることが期待できる。このように環境光の輝度強度をパラメータとして、心拍成分を求める波長域を選択することが可能となる。
　また、波長選択して心拍測定した後、測定結果の品質に優劣をつけて場所および時間に紐付けておくことにより、心拍測定に好都合な撮像地点および撮像時間を特定することもできる。
　また、撮像地点および撮像時間が選択できる状況にある場合には、輝度強度や前回までの測定結果の品質の良かった撮像地点および撮像時間に基づいて、最適な撮像地点および撮像時間にユーザを誘導することもできる。例えば、図２に示すように、撮像地点Ａにおける550nmから700nmまでの波長域を用いて、１２時から１５時までの時間帯のどこかで撮像したとする。この場合、撮像地点および撮像時間を選べるならば、撮像地点Ｂの500nmから650nmまでの波長域を用いて撮像した方が顔心拍の測定結果の品質が高い可能性があるため、ユーザを撮像地点Ｂのその時間に誘導して撮影することが好適である。
　図３には、ユーザ端末２３の表示部６２に表示されるユーザインタフェース画面の一例が示されている。
　図３に示すユーザインタフェース画面７１には、状況表示部７２、コメント表示部７３、および、マップ表示部７４が設けられている。
　状況表示部７２には、移動カメラユニット２１の現在位置における照度、移動カメラユニット２１の現在位置でユーザの顔を撮像したときに得られることが期待できる心拍データの品質、撮影中であるか否かを示す状況、および、ユーザＩＤに対応付けられているユーザ名が表示される。図３に示す例では、３段階のレベルの内の照度のレベルが３で良好であること、３段階のレベルの内の品質のレベルが２で良好であること、撮影中であること、および、ユーザ名がＡさんであることが示されている。
　コメント表示部７３には、撮像を促すためのコメントや、心拍測定システム１１からの伝言、過去のデータから現在の心拍測定値についてのアナウンスなどが表示される。図３に示す例では、“撮影するよ、こっちにきて！”というコメント、“撮影が終了しました”という伝言、および、“昨日から心拍の調子はいいですね”というアナウンスが表示されている。
　マップ表示部７４には、例えば、移動カメラユニット２１のSLAMによって作成された屋内のマップが表示され、そのマップの中に、照度および心拍データの品質のレベルに従った領域が色（図示する例ではハッチング）および枠線の種類によって表されている。また、マップ表示部７４は、移動カメラユニット２１の現在位置を表示して、その場所にユーザを誘導して撮像を行うことができる。
　＜心拍測定処理の処理例＞
　図４乃至図７を参照して、第１乃至第４のユースケースにおける心拍測定処理の処理例について説明する。
　図４は、第１のユースケースにおける心拍測定処理の処理例を説明するフローチャートである。
　ステップＳ１１において、撮像部３１において撮像された動画像が人物検知部５２に供給され、その動画像に人物が写されていることが検知されると、人物検知部５２から顔検出部５４に動画像の供給が開始される。そして、顔検出部５４は、動画像において顔が写されている領域を切り出すことにより顔動画像を取得して、心拍数演算部５６に供給する。
　ステップＳ１２において、波長選択部５５は、記憶部４３に記憶されている環境光マップ、位置情報取得部３３により取得される移動カメラユニット２１の位置情報、環境光前処理部５１から供給される環境光情報、および、顔検出部５４から供給されるユーザＩＤに基づいて、心拍測定に用いる波長を選択し、心拍数演算部５６に通知する。
　ステップＳ１３において、心拍数演算部５６は、ステップＳ１２で波長選択部５５から通知された波長に基づいて、ステップＳ１１で顔検出部５４から供給された顔動画像に写されているユーザの心拍数を演算し、心拍測定を行う。
　このように、心拍測定システム１１は、第１のユースケースにおいて、顔動画像を撮像した撮像地点において心拍測定を行うのに最適な波長を選択することで、環境光の影響の低減を図り、より正確な心拍測定を安定的に行うことができる。
　図５は、第２のユースケースにおける心拍測定処理の処理例を説明するフローチャートである。
　ステップＳ２１において、図４のステップＳ１１と同様に、顔動画像の撮像が開始される。
　ステップＳ２２において、人物検知部５２は、環境光前処理部５１から供給される環境光情報に基づいて、より心拍測定に適した環境光で人物を撮像することができる撮像地点を、環境光マップ（図２参照）を参照して特定し、その撮像地点を移動指示部５３に通知する。これに応じて、移動指示部５３は、移動機構３２に対する移動を指示する。そして、移動カメラユニット２１が、移動指示部５３により指示された撮像地点に移動すると、処理はステップＳ２３に進む。
　ステップＳ２３およびＳ２４において、図４のステップＳ１２およびＳ１３と同様に、心拍測定に用いる波長が選択され、その波長に基づいて心拍測定が行われる。
　このように、心拍測定システム１１は、第２のユースケースにおいて、より心拍測定に適した環境光で人物を撮像することができる撮像地点に移動カメラユニット２１に移動させた上で、心拍測定を行うのに最適な波長を選択することで、さらに環境光の影響の低減を図り、より正確な心拍測定を安定的に行うことができる。
　図６は、第３のユースケースにおける心拍測定処理の処理例を説明するフローチャートである。
　ステップＳ３１において、様々な撮像条件（撮像地点および撮像時間）で撮像した顔動画像を収集して、記憶部４３に蓄積する。
　ステップＳ３２において、波長選択部５５は、記憶部４３に記憶されている環境光マップ、位置情報取得部３３により取得される移動カメラユニット２１の位置情報、環境光前処理部５１から供給される環境光情報に基づいて、記憶部４３に蓄積されている複数の顔動画像の中から、心拍測定を行うのに最適な顔動画像を選択し、心拍数演算部５６に供給する。
　ステップＳ３３において、波長選択部５５は、位置情報取得部３３により取得される移動カメラユニット２１の位置情報、環境光前処理部５１から供給される環境光情報、および、顔検出部５４から供給されるユーザＩＤに基づいて、心拍測定に用いる波長を選択し、心拍数演算部５６に通知する。
　ステップＳ３４において、心拍数演算部５６は、ステップＳ３３で波長選択部５５から通知された波長に基づいて、ステップＳ３２で波長選択部５５から供給された顔動画像に写されているユーザの心拍数を演算し、心拍測定を行う。
　このように、心拍測定システム１１は、第３のユースケースにおいて、心拍測定を行うのに最適な顔動画像を選択するとともに、心拍測定を行うのに最適な波長を選択することで、さらに環境光の影響の低減を図り、より正確な心拍測定を安定的に行うことができる。
　図７は、第４のユースケースにおける心拍測定処理の処理例を説明するフローチャートである。
　ステップＳ４１において、心拍数演算部５６は、ユーザＩＤで識別される特定のユーザについて、撮像条件（撮像地点、撮像時間、撮像日）の異なる複数の顔動画像を記憶部４３から読み出して取得する。
　ステップＳ４２において、心拍数演算部５６は、ステップＳ４１で取得した複数の顔動画像に写されているユーザの心拍数を演算し、それらの時系列に沿って変化する心拍推定値の傾向的変化を算出する。
　このように、心拍測定システム１１は、第４のユースケースにおいて、それぞれ異なる環境光の影響を受けている複数の顔動画像から求められる心拍数を、傾向観察して変化分を捉えることができる。これにより、例えば、健康状態の増悪予測に用いるパラメータを抽出することや、図３のコメント表示部７３に示したような“昨日から心拍の調子はいいですね”というアナウンスを表示することができる。
　＜心拍測定システムの第２の構成例＞
　図８は、本技術を適用した心拍測定システムの第２の実施の形態の構成例を示すブロック図である。なお、図８に示す心拍測定システム１１Ａにおいて、図１の心拍測定システム１１の構成と共通する各ブロックについては、同一の符号を付し、その詳細な説明は省略する。
　図８に示すように、心拍測定システム１１Ａは、Ｎ個の固定カメラユニット２４－１乃至２４－Ｎ、システム制御ユニット２２Ａ、およびユーザ端末２３を備えて構成される。なお、固定カメラユニット２４－１乃至２４－Ｎは、それぞれ同様に構成されており、それらを区別する必要がない場合、単に固定カメラユニット２４と称する。
　即ち、図１の心拍測定システム１１は、複数の撮像地点を移動することが可能な移動カメラユニット２１を備えていたのに対し、心拍測定システム１１Ａは、複数の撮像地点それぞれに固定カメラユニット２４が固定的に配置されて構成される。
　固定カメラユニット２４は、撮像部３１、および位置情報記憶部３４を備えて構成される。
　撮像部３１は、図１の移動カメラユニット２１と同様に、マルチスペクトルカメラを備えており、少なくとも３つ以上の複数の波長域ごとの光で撮像した動画像を取得することができる。
　位置情報記憶部３４には、固定カメラユニット２４を固定する際に、固定カメラユニット２４の固定位置を示す位置情報が記憶される。
　システム制御ユニット２２Ａは、撮像指示部４１Ａ、信号処理部４２、および記憶部４３を備えて構成され、信号処理部４２および記憶部４３は、図１の撮像指示部４１の信号処理部４２および記憶部４３と同様の構成である。また、撮像指示部４１Ａは、環境光前処理部５１および人物検知部５２を備える点で、図１の撮像指示部４１と同様に構成されている。
　このように構成される心拍測定システム１１Ａでは、固定カメラユニット２４－１乃至２４－ＮによってＮ個所の撮像地点で、ユーザの顔動画像を撮像することができ、図１の心拍測定システム１１と同様に、環境光の影響の低減を図り、より正確な心拍測定を安定的に行うことができる。
　＜コンピュータの構成例＞
　次に、上述した一連の処理（心拍測定方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
　CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
　これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
　なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　少なくとも３つ以上の複数の波長域ごとの光で被測定者を撮像することによって得られる動画像から、その動画像が撮像された環境光の波長域ごとの輝度強度を少なくとも含む環境光情報を取得する環境光前処理部と、
　複数の撮像地点における環境光について事前の測定で得られた前記環境光情報である参照用の環境光情報が前記撮像地点ごとに登録されている環境光マップを参照し、前記動画像が撮像された撮像地点における前記環境光情報に基づいて、所望の波長を選択する波長選択部と、
　選択された前記波長に基づいて、前記動画像に写されている前記被測定者の心拍数を演算する心拍数演算部と
　を備える心拍測定システム。
（２）
　前記動画像に写されている前記被測定者の顔を検出し、その顔が写されている領域を切り出した顔動画像を取得して、登録済みの顔画像と照合することで前記被測定者を識別する顔検出部
　をさらに備える上記（１）に記載の心拍測定システム。
（３）
　少なくとも３つ以上の複数の波長域ごとに光を検出することが可能なマルチスペクトルカメラを有する撮像部を有するカメラユニット
　上記（１）または（２）に記載の心拍測定システム。
（４）
　前記カメラユニットが、所望の撮像地点に移動可能な移動機構を有する
　をさらに備える上記（３）に記載の心拍測定システム。
（５）
　複数の前記カメラユニットが、それぞれ複数の撮像地点に固定的に配置されている
　上記（３）に記載の心拍測定システム。
（６）
　前記環境光マップを参照することにより特定される、より心拍測定に適した環境光で前記被測定者を撮像することができる撮像地点に移動するように前記移動機構に対する移動を指示する移動指示部
　をさらに備える上記（４）に記載の心拍測定システム。
（７）
　様々な撮像条件で撮像されて蓄積されている複数の心拍測定を行うのに最適な顔動画像を選択が選択され、前記心拍数演算部は、その動画像に写されている前記被測定者の心拍数を演算する
　をさらに備える上記（１）から（６）までのいずれかに記載の心拍測定システム。
（８）
　前記心拍数演算部は、撮像条件の異なる複数の顔動画像に写されている前記被測定者の心拍数を演算し、それらの時系列に沿って変化する心拍推定値の傾向的変化を算出する
　上記（１）から（７）までのいずれかに記載の心拍測定システム。
（９）
　心拍測定システムが、
　少なくとも３つ以上の複数の波長域ごとの光で被測定者を撮像することによって得られる動画像から、その動画像が撮像された環境光の波長域ごとの輝度強度を少なくとも含む環境光情報を取得することと、
　複数の撮像地点における環境光について事前の測定で得られた前記環境光情報である参照用の環境光情報が前記撮像地点ごとに登録されている環境光マップを参照し、前記動画像が撮像された撮像地点における前記環境光情報に基づいて、所望の波長を選択することと、
　選択された前記波長に基づいて、前記動画像に写されている前記被測定者の心拍数を演算することと
　を含む心拍測定方法。
（１０）
　心拍測定システムのコンピュータに、
　少なくとも３つ以上の複数の波長域ごとの光で被測定者を撮像することによって得られる動画像から、その動画像が撮像された環境光の波長域ごとの輝度強度を少なくとも含む環境光情報を取得することと、
　複数の撮像地点における環境光について事前の測定で得られた前記環境光情報である参照用の環境光情報が前記撮像地点ごとに登録されている環境光マップを参照し、前記動画像が撮像された撮像地点における前記環境光情報に基づいて、所望の波長を選択することと、
　選択された前記波長に基づいて、前記動画像に写されている前記被測定者の心拍数を演算することと
　を含む心拍測定処理を実行させるためのプログラム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　心拍測定システム，　２１　移動カメラユニット，　２２　システム制御ユニット，　２３　ユーザ端末，　２４－１乃至２４－Ｎ　固定カメラユニット，　３１　撮像部，　３２　移動機構，　３３　位置情報取得部，　３４　位置情報記憶部，　４１　撮像指示部，　４２　信号処理部，　４３　記憶部，　５１　環境光前処理部，　５２　人物検知部，　５３　移動指示部，　５４　顔検出部，　５５　波長選択部，　５６　心拍数演算部，　６１　ＵＩデータ処理部，　６２　表示部

Claims (10)

  1. 　少なくとも３つ以上の複数の波長域ごとの光で被測定者を撮像することによって得られる動画像から、その動画像が撮像された環境光の波長域ごとの輝度強度を少なくとも含む環境光情報を取得する環境光前処理部と、
    　複数の撮像地点における環境光について事前の測定で得られた前記環境光情報である参照用の環境光情報が前記撮像地点ごとに登録されている環境光マップを参照し、前記動画像が撮像された撮像地点における前記環境光情報に基づいて、所望の波長を選択する波長選択部と、
    　選択された前記波長に基づいて、前記動画像に写されている前記被測定者の心拍数を演算する心拍数演算部と
    　を備える心拍測定システム。
  2. 　前記動画像に写されている前記被測定者の顔を検出し、その顔が写されている領域を切り出した顔動画像を取得して、登録済みの顔画像と照合することで前記被測定者を識別する顔検出部
    　をさらに備える請求項１に記載の心拍測定システム。
  3. 　少なくとも３つ以上の複数の波長域ごとに光を検出することが可能なマルチスペクトルカメラを有する撮像部を有するカメラユニット
    　をさらに備える請求項１に記載の心拍測定システム。
  4. 　前記カメラユニットが、所望の撮像地点に移動可能な移動機構を有する
    　請求項３に記載の心拍測定システム。
  5. 　複数の前記カメラユニットが、それぞれ複数の撮像地点に固定的に配置されている
    　請求項３に記載の心拍測定システム。
  6. 　前記環境光マップを参照することにより特定される、より心拍測定に適した環境光で前記被測定者を撮像することができる撮像地点に移動するように前記移動機構に対する移動を指示する移動指示部
    　をさらに備える請求項４に記載の心拍測定システム。
  7. 　様々な撮像条件で撮像されて蓄積されている複数の心拍測定を行うのに最適な顔動画像を選択が選択され、前記心拍数演算部は、その動画像に写されている前記被測定者の心拍数を演算する
    　請求項１に記載の心拍測定システム。
  8. 　前記心拍数演算部は、撮像条件の異なる複数の顔動画像に写されている前記被測定者の心拍数を演算し、それらの時系列に沿って変化する心拍推定値の傾向的変化を算出する
    　請求項１に記載の心拍測定システム。
  9. 　心拍測定システムが、
    　少なくとも３つ以上の複数の波長域ごとの光で被測定者を撮像することによって得られる動画像から、その動画像が撮像された環境光の波長域ごとの輝度強度を少なくとも含む環境光情報を取得することと、
    　複数の撮像地点における環境光について事前の測定で得られた前記環境光情報である参照用の環境光情報が前記撮像地点ごとに登録されている環境光マップを参照し、前記動画像が撮像された撮像地点における前記環境光情報に基づいて、所望の波長を選択することと、
    　選択された前記波長に基づいて、前記動画像に写されている前記被測定者の心拍数を演算することと
    　を含む心拍測定方法。
  10. 　心拍測定システムのコンピュータに、
    　少なくとも３つ以上の複数の波長域ごとの光で被測定者を撮像することによって得られる動画像から、その動画像が撮像された環境光の波長域ごとの輝度強度を少なくとも含む環境光情報を取得することと、
    　複数の撮像地点における環境光について事前の測定で得られた前記環境光情報である参照用の環境光情報が前記撮像地点ごとに登録されている環境光マップを参照し、前記動画像が撮像された撮像地点における前記環境光情報に基づいて、所望の波長を選択することと、
    　選択された前記波長に基づいて、前記動画像に写されている前記被測定者の心拍数を演算することと
    　を含む心拍測定処理を実行させるためのプログラム。
PCT/JP2023/005921 2022-03-11 2023-02-20 心拍測定システムおよび心拍測定方法、並びにプログラム WO2023171337A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-038012 2022-03-11
JP2022038012 2022-03-11

Publications (1)

Publication Number Publication Date
WO2023171337A1 true WO2023171337A1 (ja) 2023-09-14

Family

ID=87934965

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/005921 WO2023171337A1 (ja) 2022-03-11 2023-02-20 心拍測定システムおよび心拍測定方法、並びにプログラム

Country Status (1)

Country Link
WO (1) WO2023171337A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019080811A (ja) * 2017-10-31 2019-05-30 株式会社日立製作所 生体情報検出装置および生体情報検出方法
JP2020162871A (ja) * 2019-03-29 2020-10-08 株式会社エクォス・リサーチ 脈拍数検出装置、及び脈拍数検出プログラム
JP2021019940A (ja) * 2019-07-29 2021-02-18 株式会社日立製作所 生体情報抽出装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019080811A (ja) * 2017-10-31 2019-05-30 株式会社日立製作所 生体情報検出装置および生体情報検出方法
JP2020162871A (ja) * 2019-03-29 2020-10-08 株式会社エクォス・リサーチ 脈拍数検出装置、及び脈拍数検出プログラム
JP2021019940A (ja) * 2019-07-29 2021-02-18 株式会社日立製作所 生体情報抽出装置

Similar Documents

Publication Publication Date Title
US8634591B2 (en) Method and system for image analysis
US9687155B2 (en) System, method and application for skin health visualization and quantification
US20210049353A1 (en) Ai-based physical function assessment system
JP6545658B2 (ja) ビリルビンレベルを推定すること
RU2668408C2 (ru) Устройства, системы и способы виртуализации зеркала
CN104662584B (zh) 运动鲁棒的生命信号监测
JP4078334B2 (ja) 画像処理装置および画像処理方法
KR20170132644A (ko) 케어 정보를 획득하기 위한 방법, 케어 정보를 공유하기 위한 방법, 및 그것들을 위한 전자 장치
US20160338603A1 (en) Signal processing device, signal processing method, and computer-readable recording medium
US20110311119A1 (en) Processing images of at least one living being
JP2014534786A (ja) 地図に基づいた制御
TW200820099A (en) Target moving object tracking device
US20210082127A1 (en) Image analysis apparatus, image analysis method, and storage medium to display information representing flow quantity
US8913807B1 (en) System and method for detecting anomalies in a tissue imaged in-vivo
JP7209269B2 (ja) 畜舎監視方法、及び、畜舎監視システム
JPWO2020066456A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN111654643B (zh) 曝光参数确定方法、装置、无人机和计算机可读存储介质
JP4697923B2 (ja) 水中または水面における移動体の計数システムおよび計数方法
WO2023171337A1 (ja) 心拍測定システムおよび心拍測定方法、並びにプログラム
JP6934118B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP4853657B2 (ja) 画像処理装置
US10661176B2 (en) Information processing system and information processing method
WO2020217369A1 (ja) オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及び非一時的なコンピュータ可読媒体
WO2021235355A1 (ja) 画像データ処理装置及び画像データ処理システム
JP7477764B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23766516

Country of ref document: EP

Kind code of ref document: A1