WO2024070917A1 - 端末装置および測定方法 - Google Patents

端末装置および測定方法 Download PDF

Info

Publication number
WO2024070917A1
WO2024070917A1 PCT/JP2023/034416 JP2023034416W WO2024070917A1 WO 2024070917 A1 WO2024070917 A1 WO 2024070917A1 JP 2023034416 W JP2023034416 W JP 2023034416W WO 2024070917 A1 WO2024070917 A1 WO 2024070917A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
measurement
subject
terminal device
person
Prior art date
Application number
PCT/JP2023/034416
Other languages
English (en)
French (fr)
Inventor
弘靖 岩附
幸知 赤木
昌彦 夏目
和利 石川
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2024070917A1 publication Critical patent/WO2024070917A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals

Definitions

  • the present invention relates to a terminal device and a measurement method using the terminal device.
  • Patent Document 1 discloses a method for measuring pulse wave velocity in which two different parts of a human body are simultaneously imaged in a non-contact state, and the pulse wave velocity of the human body is calculated based on the time difference between the pulse waves at the two parts.
  • Patent Document 2 discloses a bioinformation analysis system that outputs bioinformation while suppressing external noise by analyzing a difference signal of a fundamental wave that indicates the time change of a representative color between adjacent regions.
  • the measurement of the biometric information may fail.
  • the person measuring the biometric information must measure the biometric information using a device that comes into contact with the person being measured (such as a blood pressure monitor) instead of the terminal device. This poses the problem that non-contact vital sensing cannot be achieved. Also, switching from one measuring device to another can be a burden on the person measuring the biometric information.
  • One aspect of the present invention is to provide a terminal device that can appropriately perform non-contact vital sensing while reducing the burden on the person measuring and the person being measured.
  • a terminal device includes an imaging device, an acquisition unit that acquires an image of the person being measured captured by the imaging device, and a measurement unit that measures biometric information of the person being measured based on an image of a specific part of the person being measured in the captured image, and the measurement unit performs a process of measuring the biometric information based on a facial image of the person being measured as the image of the specific part of the person being measured, and if measurement of the biometric information based on the facial image fails, the process of measuring the biometric information based on the facial image of the person being measured is switched to a process of measuring the biometric information based on a hand or foot image of the person being measured.
  • a measurement method is a measurement method using a terminal device equipped with an image capture device, and includes a first measurement step in which the terminal device measures biometric information of the person being measured based on a facial image of the person being measured, a determination step in which the terminal device determines whether or not the measurement of the biometric information based on the facial image has failed in the first measurement step, and a second measurement step in which the terminal device measures the biometric information based on a hand image or a foot image of the person being measured if the measurement of the biometric information based on the facial image has failed.
  • non-contact vital sensing can be performed appropriately while reducing the burden on the person measuring and the person being measured.
  • FIG. 2 is a block diagram showing a schematic configuration of a terminal device according to the present embodiment.
  • FIG. FIG. 4 is a diagram showing an example of an image displayed by a display device.
  • FIG. 11 is a diagram showing another example of an image displayed by the display device.
  • 10 is a flowchart illustrating an example of an operation example of the terminal device.
  • FIG. 1 is a block diagram showing a schematic configuration of a terminal device 100 according to the present embodiment.
  • the terminal device 100 includes a control unit 1, an image capturing device 2, an input device 3, a display device 4, a speaker 5 (audio output device), a communication unit 6, and a storage unit 7.
  • the terminal device 100 is a device used to measure the biological information of a subject based on a captured image of the subject (i.e., non-contact). Examples of biological information include, but are not limited to, the blood pressure and pulse of the subject.
  • the terminal device 100 may be any device that has an image acquisition function and an image display function, and may be, for example, a smartphone or a tablet terminal.
  • the person measuring the subject uses the terminal device 100 to measure the biometric information of the subject by continuing to photograph the subject while checking an image including the subject displayed on the screen of the display device 4.
  • a terminal device 100 is used, for example, in a care setting when a caregiver (measurer) measures the biometric information of a person being cared for (person being measured).
  • each function of the terminal device 100 described below can also be realized by installing a program on a general-purpose computer.
  • the above program can also be called application software.
  • the terminal device 100 is a smartphone on which the above program is installed.
  • the control unit 1 controls each unit of the terminal device 100.
  • the photographing device 2 photographs images.
  • the input device 3 accepts input operations for the terminal device 100.
  • the display device 4 has a screen and displays images photographed by the photographing device 2 on the screen.
  • the speaker 5 outputs a predetermined sound based on instructions from the control unit 1.
  • the communication unit 6 transmits and receives various data between an external communication device and the control unit 1.
  • the memory unit 7 stores various data handled by the terminal device 100.
  • the input device 3 may be a touch panel, in which case the input device 3 is configured as one unit with the display device 4.
  • the control unit 1 includes an acquisition unit 11, a measurement unit 12, and an output control unit 13.
  • the acquisition unit 11 acquires the captured image of the subject captured by the imaging device 2 as information for measuring the subject's biometric information.
  • the captured image may be a video or a still image of the subject.
  • the acquisition unit 11 may acquire a video as the captured image when performing a measurement based on changes in the subject, and may acquire a still image as the captured image when performing a measurement not based on changes in the subject.
  • the measurement unit 12 measures the biometric information of the subject based on an image of a specific part of the subject in the captured image (such as a face image, hand image, or foot image).
  • a specific part of the subject in the captured image such as a face image, hand image, or foot image.
  • the measurement unit 12 calculates the biometric information using a judgment table corresponding to the specific part based on image data of the specific part (such as color information).
  • the judgment table includes parameters used in a judgment formula that calculates the biometric information from the image data of the specific part.
  • an external server may measure the biometric information of the subject instead of the measurement unit 12. In this case, the captured image acquired by the acquisition unit 11 is sent to the external server via the communication unit 6.
  • the measurement unit 12 sets a predetermined area in the captured image as a measurement area for measuring biometric information.
  • the measurement unit 12 may recognize a predetermined part (such as a face, hand, or foot) included in the captured image using known technology.
  • the acquisition unit 11 identifies the position, orientation, etc. of the predetermined part included in the captured image. If the position of the predetermined part identified by the acquisition unit 11 is outside the measurement area, the measurement unit 12 does not need to measure the biometric information of the person being measured. If the position of the predetermined part is outside the measurement area, the guide function of the terminal device 100, which will be described later, guides the predetermined part of the person being measured to the measurement area (predetermined position), and fixes the predetermined part of the person being measured within the measurement area. This allows the measurement unit 12 to measure the biometric information of the person being measured based on the image of the predetermined part.
  • the measurement unit 12 also determines whether or not the measurement of the biological information based on the image of the specified part has failed. Specifically, if the measurement result of the biological information is an abnormal value (not within the normal range), the measurement unit 12 determines that the measurement of the biological information has failed.
  • the measurement unit 12 first performs a process (hereinafter referred to as a first measurement process) to measure the biometric information of the subject based on the face image of the subject. If the measurement of the biometric information based on the face image fails, the measurement unit 12 switches from the first measurement process to a process (hereinafter referred to as a second measurement process) to measure the biometric information based on the hand image or foot image of the subject. Specifically, the measurement unit 12 switches the judgment table used to measure the biometric information from the judgment table corresponding to the face to the judgment table corresponding to the hand or foot.
  • a process hereinafter referred to as a first measurement process
  • This switching from the first measurement process to the second measurement process does not require a user instruction (such as an input operation to the input device 3), and is automatically performed when the measurement of the biometric information based on the face image fails.
  • a user instruction such as an input operation to the input device 3
  • causes of failure in the measurement of the biometric information based on the face image include sunburn or makeup on the subject's face.
  • the output control unit 13 displays the captured image on the screen of the display device 4.
  • the output control unit 13 also displays an index image, which guides the position of a specific part of the subject to a specific position, superimposed on the captured image (an image including the subject).
  • the output control unit 13 displays a face index image that guides the position of the subject's face to a specified position, superimposed on the captured image.
  • the face index image may be a human-shaped contour guide including the face and shoulders. If the measurement unit 12 fails to measure the biometric information based on the face image (i.e., when the measurement unit 12 switches from the first measurement process to the second measurement process), the output control unit 13 outputs information to guide the person measuring or the person being measured to take an image of the subject's hand or foot.
  • the output control unit 13 may display a hand index image or foot index image (index image) that guides the position of the subject's hand or foot to a predetermined position, superimposed on the captured image. This guides the person measuring the hand or foot to match the hand index image or foot index image, allowing the person measuring to continue capturing images without causing the hand or foot to deviate from the predetermined position.
  • the hand index image or foot index image may also be a hand or foot contour guide, respectively. By making the hand index image or foot index image a hand or foot contour guide, respectively, the person measuring the person can be made aware that they should not move the terminal device 100 in order to capture the subject's hand or foot image.
  • the index image may be a figure (e.g., a cross mark) that indicates the position of the center of a specific part of the subject when the specific part is aligned with a specific position on the screen of the display device 4.
  • the index image may also be a figure that indicates the positions of features that make up the specific part of the subject (e.g., if the specific part is the face, the nose, mouth, ears, etc.).
  • the output control unit 13 may superimpose an alert image on the captured image to notify the measurement unit 12 that it has switched from the first measurement process to the second measurement process. This makes it possible to notify the person being measured that the measurement based on the facial image has failed and that the first measurement process has been switched to the second measurement process.
  • the output control unit 13 may display an image of a hand or foot as the alert image to notify the person being measured that the second measurement process will begin (see FIG. 3).
  • the output control unit 13 may output to the speaker 5 a sound that guides the subject to turn the palm of the hand in the same direction as the face.
  • the sound may also guide the subject to fix the hand against the face. This allows the subject to be guided to fix the palm in a predetermined position. In this way, the terminal device 100 guides the subject to a state where the palm can be measured based on the direction or position of the face in the first measurement process.
  • the guiding sound can cause the subject to bring the palm of the hand, which is the next measurement target, near the face, which was the previous measurement target. Therefore, the terminal device 100 can easily bring the palm of the hand, which is the next measurement target, within the image capture range of the image capture device 2. Also, the subject can easily take a posture that allows measurement.
  • the audio may guide the person to place the thumb of their right or left hand against their chin and the index finger of their right or left hand against their right or left ear, respectively.
  • the audio may guide the person to place the back of their hand against their nose and spread their fingers apart.
  • the output control unit 13 may also display a text image 61 including text information indicating the status of the measurement superimposed on the captured image (see Figs. 2 and 3).
  • the output control unit 13 may further display a measurement result image 62 indicating the biometric information item to be measured by the measurement unit 12 and the measurement result thereof superimposed on the captured image (see Figs. 2 and 3).
  • FIG. 2 shows an example of an image displayed by the display device 4 (when the measurement unit 12 fails to measure biometric information based on a face image and measures biometric information based on a hand image instead of a face image).
  • Display image P201 in FIG. 2 shows an image displayed by the display device 4 while the first measurement process is being performed.
  • Display image P202 in FIG. 2 shows an image displayed by the display device 4 after the first measurement process has ended and before the second measurement process is started.
  • Display image P203 in FIG. 2 shows an image displayed by the display device 4 while the second measurement process is being performed.
  • the output control unit 13 displays a face index image 51 (a human-shaped outline guide including the face and shoulders) at a predetermined position on the screen of the display device 4.
  • the person measuring the person continues to photograph the person being measured so that the face and shoulders of the person being measured are aligned with the face index image 51.
  • the output control unit 13 displays a hand index image 52 (hand outline guide) at a predetermined position on the screen of the display device 4.
  • a hand index image 52 hand outline guide
  • the output control unit 13 causes the speaker 5 to output a voice message guiding the subject to place the thumb of his/her left hand on his/her chin and the index finger of his/her left hand on his/her left ear (the voice message says "Place your left thumb on your chin and your left index finger on your left ear.”).
  • the subject places the thumb of his/her left hand on his/her chin and the index finger of his/her left ear in accordance with the voice message. This allows the subject to naturally face the palm of his/her hand towards the photographing device 2 and fix the palm in a predetermined position.
  • the person measuring the subject moves the terminal device 100 to adjust the photographing area so that the palm of the subject's hand is aligned with the hand index image 52. This allows the measuring unit 12 to execute the second measurement process because the palm of the subject's hand is fixed within the measurement area.
  • the output control unit 13 displays the hand index image 52 at a predetermined position on the screen of the display device 4.
  • the person taking the photograph continues to photograph the person being measured so that the palm of the person being measured is aligned with the hand index image 52.
  • the terminal device 100 can guide the person being measured to align the palm of the person being measured with the hand index image 52. This allows the person being measured to continue taking pictures without moving their palm from the specified position. Furthermore, by outputting the above-mentioned sound, the terminal device 100 can cause the person being measured to naturally turn their palm towards the photographing device 2 and fix it in the specified position.
  • FIG. 3 shows another example of an image displayed by the display device 4 (when the measurement unit 12 fails to measure biometric information based on a face image and measures biometric information based on a hand image instead of a face image).
  • Display image P301 in FIG. 3 shows an image similar to display image P201 in FIG. 2, which is displayed by the display device 4 during execution of the first measurement process.
  • Display images P302 to P304 in FIG. 3 show images displayed by the display device 4 after the end of the first measurement process and before the start of the second measurement process.
  • Display image P305 in FIG. 3 shows an image similar to display image P203 in FIG. 2, which is displayed by the display device 4 during execution of the second measurement process.
  • the output control unit 13 may display a notification image 63 at a predetermined position on the screen of the display device 4 to notify that the measurement unit 12 has switched from the first measurement process to the second measurement process.
  • the notification image 63 is an animation that repeats a gesture of clenching a fist and a gesture of opening the hand.
  • the output control unit 13 After displaying the notification image 63 for a predetermined time, the output control unit 13 displays the hand index image 52 at a predetermined position on the screen of the display device 4 as shown in the display image P304.
  • the output control unit 13 also outputs to the speaker 5 a voice ("Put the back of your hand against your nose and open your hand") that guides the subject to spread his or her fingers while placing the back of his or her hand against his or her nose.
  • the subject first places the back of his or her hand against his or her nose with the hand closed as shown in the display image P304.
  • the subject opens the hand as shown in the display image P305. This allows the subject to naturally turn the palm of the hand toward the imaging device 2 and fix the palm in the same position as the face.
  • the person measuring the subject moves the terminal device 100 to adjust the imaging area so that the palm of the subject's hand is aligned with the hand index image 52.
  • the palm of the subject's hand is fixed within the measurement area, and the measurement unit 12 can execute the second measurement process.
  • the terminal device 100 can guide the person to align the palm of the person being measured with the hand index image 52 by displaying the hand index image 52. Therefore, the person can continue to take the image without moving the palm from the predetermined position. Furthermore, the terminal device 100 can notify the person to the effect that the measurement unit 12 has failed to measure the biometric information based on the face image and will measure the biometric information based on the hand image instead of the face image by displaying the notification image 63. Furthermore, the terminal device 100 can output the above-mentioned sound to naturally direct the palm of the person being measured toward the image capture device 2 and fix the palm in the same position as the face. Since the palm is fixed in the same position as the face, the person can take the image of the palm of the person being measured without moving the terminal device 100 much when switching from the first measurement process to the second measurement process.
  • the output control unit 13 may display a text image 61 at the top of the screen of the display device 4 and a measurement result image 62 at the bottom of the screen of the display device 4 while the display image is being displayed. Specifically, the output control unit 13 may display text information indicating that the measurement of the bioinformation has not yet been completed (the sentence "Measuring") in the text image 61 until the measurement of the measurement unit 12 is completed. The output control unit 13 may also display information indicating that the measurement results of any of the bioinformation have not yet been obtained in the measurement result image 62 until the measurement of the measurement unit 12 is completed. The output control unit 13 may display the measurement results in the measurement result image 62 one by one, starting with the items of bioinformation for which measurement has been completed.
  • (3. Example of Operation of Terminal Device 100) 4 is a flowchart showing an example of the operation of the terminal device 100. An example of the operation of the terminal device 100 for switching from the first measurement process to the second measurement process will be described below with reference to FIG.
  • the output control unit 13 displays the face index image 51 superimposed on the captured image (S1).
  • the person measuring the person moves the terminal device 100 to adjust the captured area so that the face and shoulders of the person being measured are aligned with the face index image 51. This fixes the face of the person being measured within the measurement area.
  • the acquisition unit 11 acquires a facial image of the subject within the measurement area in the captured image captured by the imaging device 2 as information for measuring the subject's biometric information (S2).
  • the measurement unit 12 measures the subject's biometric information based on the facial image (first measurement step S3). That is, the measurement unit 12 executes the first measurement process.
  • the measurement unit 12 judges whether the measurement of the biometric information based on the face image has failed (judgment step S4). Specifically, the measurement unit 12 judges whether the measurement result obtained by the first measurement process is an abnormal value. If the measurement unit 12 has succeeded in measuring the biometric information based on the face image (No in S4), the output control unit 13 outputs the measurement result of the biometric information measured based on the face image (S8). If the measurement unit 12 has failed to measure the biometric information based on the face image (Yes in S4), the output control unit 13 displays the hand index image 52 superimposed on the captured image (S5).
  • the person measuring the hand index image 52 confirms that it has been displayed and recognizes that the measurement unit 12 has failed to measure the biometric information based on the face image and will measure the biometric information based on the hand image instead of the face image. Then, the person measuring the hand index image 52 moves the terminal device 100 to adjust the captured area so that the palm of the person being measured is aligned with the hand index image 52. This fixes the palm of the person being measured within the measurement area.
  • the output control unit 13 may cause the speaker 5 to output audio that guides the subject to turn his/her palm in the same direction as his/her face.
  • the subject will turn his/her palm in the same direction as his/her face in accordance with the audio.
  • the person measuring the subject can then adjust the shooting area so that the palm of the subject, which is thus facing the shooting device 2, matches the hand index image 52.
  • the acquisition unit 11 acquires an image of the subject's hand within the measurement area in the captured image captured by the imaging device 2 as information for measuring the subject's biometric information (S6).
  • the measurement unit 12 measures the subject's biometric information based on the hand image (second measurement step S7). That is, the measurement unit 12 executes the second measurement process.
  • the output control unit 13 outputs the measurement results of the biometric information measured based on the hand image (S8).
  • the terminal device 100 fails to measure the biometric information based on the face image of the person being measured, it switches from the first measurement process to the second measurement process. Therefore, even if the measurement of the biometric information fails, it is possible to measure the biometric information of the person being measured based on an image of the hand or foot of the person being measured (where there is less chance of failure due to sunburn, makeup, etc.). Therefore, the terminal device 100 can more reliably achieve non-contact vital sensing. It can also reduce the burden on the person measuring. Moreover, the terminal device 100 first attempts to measure the biometric information based on the face image, without having the person being measured assume a specific posture, such as raising their hand and facing the camera. This can prevent unnecessary increases in measurement time.
  • the terminal device 100 performs a measurement based on a hand image or a foot image. This eliminates the need to capture different body parts simultaneously in the captured image, reducing the burden on the person being measured.
  • the above configuration allows non-contact vital sensing to be performed appropriately while reducing the burden on both the person measuring and the person being measured. This effect will contribute to achieving, for example, Goal 3 of the Sustainable Development Goals (SDGs) advocated by the United Nations, "Ensure good health and promote well-being for all.”
  • SDGs Sustainable Development Goals
  • the functions of terminal device 100 are realized by a program for causing a computer to function as the device, and by a program for causing a computer to function as each control block of the device (in particular, each part included in the control unit 1).
  • the device includes a computer having at least one control device (e.g., a processor) and at least one storage device (e.g., a memory) as hardware for executing the program.
  • control device e.g., a processor
  • storage device e.g., a memory
  • the program may be recorded on one or more computer-readable recording media, not on a temporary basis.
  • the recording media may or may not be included in the device. In the latter case, the program may be supplied to the device via any wired or wireless transmission medium.
  • each of the above control blocks can be realized by a logic circuit.
  • a logic circuit for example, an integrated circuit in which a logic circuit that functions as each of the above control blocks is formed is also included in the scope of the present invention.
  • each process described in each of the above embodiments may be executed by AI (Artificial Intelligence).
  • AI Artificial Intelligence
  • the AI may run on the control device, or may run on another device (such as an edge computer or a cloud server).
  • a terminal device comprises an imaging device, an acquisition unit that acquires an image of a person being measured captured by the imaging device, and a measurement unit that measures biometric information of the person being measured based on an image of a specified part of the person being measured in the captured image, wherein the measurement unit performs a process of measuring the biometric information based on a facial image of the person being measured as the image of the specified part, and if measurement of the biometric information based on the facial image fails, the process switches from measuring the biometric information based on the facial image of the person being measured to measuring the biometric information based on a hand or foot image of the person being measured.
  • non-contact vital sensing In a conventional method for measuring a person's biometric information based on a facial image of the person taken by a terminal device (non-contact vital sensing), if the person's face is tanned or wearing makeup, the measurement of the biometric information may fail. In such a case, the person measuring the biometric information must measure the biometric information using a device that comes into contact with the person being measured (such as a blood pressure monitor) instead of the terminal device. This creates the problem that non-contact vital sensing cannot be achieved. Also, switching from one measuring device to another can be a burden on the person measuring the biometric information.
  • the terminal device fails to measure the biometric information based on the face image of the person being measured, it switches from a process of measuring the biometric information based on the face image of the person being measured to a process of measuring the biometric information based on a hand image or foot image of the person being measured. Therefore, even if the measurement of the biometric information fails, it is possible to measure the biometric information of the person being measured based on an image of the hand or foot of the person being measured (where there is less possibility of failure due to sunburn, makeup, etc.). Therefore, the terminal device can achieve non-contact vital sensing more reliably. It can also reduce the burden on the person measuring. Moreover, the terminal device first attempts to measure the biometric information based on the face image without having the person being measured assume a specific posture, such as raising their hand with their palm facing the imaging device. This can prevent unnecessary increases in measurement time.
  • the terminal device performs a measurement based on a hand image or a foot image. This eliminates the need to capture different body parts simultaneously in the captured image, reducing the burden on the person being measured.
  • the terminal device may further include an output control unit that outputs information for guiding the person making the measurement or the person being measured to take a hand image or a foot image of the person being measured, when the measurement unit fails to measure the biometric information based on the face image, in the above-mentioned aspect 1.
  • the person being measured When switching from measurements based on face images to measurements based on hand or foot images, the person being measured must change their posture to include the palm of the hand or the sole of the foot in the captured image.
  • the terminal device outputs information to guide the person measuring or the person being measured to take a hand image or foot image of the person being measured. This allows the person measuring to recognize that the measurement based on the face image has failed and that the measurement process has switched from the measurement process based on the face image to the measurement process based on the hand image or foot image, or allows the person being measured to assume a position that allows them to be measured themselves.
  • the terminal device is the same as in aspect 2 above, and further includes a display device that displays an image including the person being measured. If the measurement unit fails to measure the biometric information based on the face image, the output control unit may display an index image that guides the position of the person being measured to a predetermined position, superimposed on the image including the person being measured.
  • the terminal device displays an index image that guides the position of the subject's hand or foot to a specified position. This allows the subject to be guided to align the position of the hand or foot with the index image, allowing the subject to continue taking images without the hand or foot deviating from the specified position.
  • the index image may be a contour guide of a hand or a foot.
  • the terminal device can make the person being measured aware that they should not move the terminal device in order to capture images of the person being measured's hands or feet.
  • the output control unit may display a notification image superimposed on an image including the person being measured, notifying the user that the process has been switched from measuring the biometric information based on the face image of the person being measured to measuring the biometric information based on a hand image or a foot image of the person being measured.
  • the terminal device can notify the person taking the measurement that the measurement based on the face image has failed and that the measurement process has switched from the measurement process based on the face image to the measurement process based on the hand image or the foot image.
  • the terminal device is the same as in aspect 2 above, and further includes an audio output device. If the measurement unit fails to measure the biometric information based on the face image, the output control unit may cause the audio output device to output audio that guides the subject to turn their palms in the same direction as their face.
  • the terminal device can guide the person being measured to turn their palm toward the imaging device.
  • the audio may guide the subject to place their hands against their face.
  • the terminal device can guide the person being measured to fix the palm of their hand in a specified position.
  • the audio may guide the person being measured to place the thumb of their right or left hand on their chin and the index finger of their right or left hand on their right or left ear, respectively.
  • the terminal device allows the subject to naturally face the palm of their hand toward the imaging device and fix the palm in a specified position.
  • the audio may guide the subject to place the back of his/her hand against his/her nose and spread his/her fingers apart.
  • the terminal device allows the person being measured to naturally turn their palm towards the photographing device and fix the palm in the same position as their face. Because the palm is fixed in the same position as their face, the person being measured can photograph the palm of the person being measured without moving the terminal device much when switching from measurement processing based on a face image to measurement processing based on a hand image or foot image.
  • the measurement method according to aspect 10 of the present invention is a measurement method using a terminal device equipped with an image capture device, and includes a first measurement step in which the terminal device measures biometric information of the person being measured based on a facial image of the person being measured, a determination step in which the terminal device determines whether or not the measurement of the biometric information based on the facial image in the first measurement step has failed, and a second measurement step in which the terminal device measures the biometric information based on a hand image or a foot image of the person being measured if the measurement of the biometric information based on the facial image has failed.
  • the terminal device may be realized by a computer.
  • the control program of the terminal device that causes the computer to operate as each unit (software element) of the terminal device, thereby realizing the terminal device on the computer, and the computer-readable recording medium on which the control program is recorded, also fall within the scope of the present invention.
  • the present invention is not limited to the above-described embodiments, and various modifications are possible within the scope of the claims.
  • the technical scope of the present invention also includes embodiments obtained by appropriately combining the technical means disclosed in the different embodiments.
  • new technical features can be formed by combining the technical means disclosed in the respective embodiments.
  • Control unit 2 Shooting device 4
  • Display device 5 Speaker (audio output unit) 11
  • Measurement unit 13 Output control unit 51 Face index image 52
  • Hand index image 63 Notification image 100 Terminal device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

測定者および被測定者への負担を低減しつつ非接触バイタルセンシングを適切に実行できる端末装置を提供する。端末装置（１００）は、撮影装置（２）と、被測定者の撮影画像を取得する取得部（１１）と、被測定者の生体情報を測定する測定部（１２）と、を備え、測定部は、被測定者の顔画像に基づき生体情報を測定する処理を行い、顔画像に基づく生体情報の測定に失敗した場合、被測定者の顔画像に基づき生体情報を測定する処理から、被測定者の手画像または足画像に基づき生体情報を測定する処理に切り替える。

Description

端末装置および測定方法
　本発明は、端末装置および当該端末装置による測定方法に関する。
　従来、被測定者を撮影した撮影画像に基づき、被測定者の生体情報を検出する技術（非接触バイタルセンシング）が知られている。例えば、特許文献１には、非接触状態で人体の複数の部位の中から互いに異なる２つの部位を同時に撮像し、当該２つの部位における脈波の時間差に基づき、人体の脈波伝播速度を算出する脈波伝播速度の測定方法が開示されている。また、特許文献２には、近接する領域間において代表色の時間変化を示す基本波の差信号を分析することにより、外部ノイズを抑えて生体情報を出力する生体情報分析システムが開示されている。
日本国特許第６０７２８９３号明細書 日本国特許第６３２９６９６号明細書
　しかしながら、上述のような技術において、被測定者の異なる部位を同時に撮影するために、当該異なる部位を撮影画像内に同時に収める必要がある。そのため、被測定者の負担になり得る。
　また、従来、端末装置で撮影した被測定者の顔画像に基づいて被測定者の生体情報を測定する方法において、被測定者の顔が日焼けしていたり化粧をしていたりすると、生体情報の測定に失敗することがある。このような場合、測定者は、端末装置の代わりに、被測定者に接触する機器（血圧計など）を用いて生体情報を測定することとなる。そのため、非接触バイタルセンシングを達成できないといった問題があった。また、測定機器を別の測定機器に切り替えることは、測定者の負担にもなり得る。
　本発明の一態様は、測定者および被測定者への負担を低減しつつ非接触バイタルセンシングを適切に実行できる端末装置を提供することにある。
　上記の課題を解決するために、本発明の一態様に係る端末装置は、撮影装置と、前記撮影装置にて撮影される被測定者の撮影画像を取得する取得部と、前記撮影画像における前記被測定者の所定の部位の画像に基づき、前記被測定者の生体情報を測定する測定部と、を備え、前記測定部は、前記所定の部位の画像として前記被測定者の顔画像に基づき前記生体情報を測定する処理を行い、前記顔画像に基づく前記生体情報の測定に失敗した場合、前記被測定者の顔画像に基づき前記生体情報を測定する処理から、前記被測定者の手画像または足画像に基づき前記生体情報を測定する処理に切り替える。
　また、上記の課題を解決するために、本発明の一態様に係る測定方法は、撮影装置を備える端末装置による測定方法であって、前記端末装置により、被測定者の顔画像に基づき前記被測定者の生体情報を測定する第１測定ステップと、前記端末装置により、前記第１測定ステップにおいて、前記顔画像に基づく前記生体情報の測定に失敗したか否かを判定する判定ステップと、前記顔画像に基づく前記生体情報の測定に失敗した場合、前記端末装置により、前記被測定者の手画像または足画像に基づき前記生体情報を測定する第２測定ステップと、を含む。
　本発明の一態様によれば、測定者および被測定者への負担を低減しつつ非接触バイタルセンシングを適切に実行できる。
本実施形態に係る端末装置の概略構成を示すブロック図である。 表示装置が表示する画像の一例を示す図である。 表示装置が表示する画像の他の例を示す図である。 端末装置の動作例の一例を示すフローチャートである。
　〔実施形態１〕
　（１．端末装置１００の概略構成）
　図１は、本実施形態に係る端末装置１００の概略構成を示すブロック図である。図１に示すように、端末装置１００は、制御部１、撮影装置２、入力装置３、表示装置４、スピーカ５（音声出力装置）、通信部６、および記憶部７を備える。端末装置１００は、被測定者の撮影画像に基づき（すなわち非接触で）被測定者の生体情報を測定するために用いられる装置である。生体情報の項目としては、被測定者の血圧、脈拍等が挙げられるが、これらに限定されない。端末装置１００は、画像の取得機能および画像の表示機能を備えたものであればよく、例えばスマートフォンまたはタブレット端末であってもよい。
　測定者は、端末装置１００を用いて、表示装置４の画面に表示される被測定者を含む画像を確認しつつ被測定者を撮影し続けることで、被測定者の生体情報を測定する。このような端末装置１００は、例えば、介護の現場において、介護者（測定者）が被介護者（被測定者）の生体情報を測定する際に使用される。
　なお、以下説明する端末装置１００の各機能は、汎用のコンピュータにプログラムをインストールすることにより実現することもできる。上記プログラムは、アプリケーションソフトウェアと呼ぶこともできる。以下では、端末装置１００が、上記プログラムをインストールしたスマートフォンである例を説明する。
　制御部１は、端末装置１００の各部を統括して制御する。撮影装置２は、画像を撮影する。入力装置３は、端末装置１００に対する入力操作を受け付ける。表示装置４は、画面を有し、撮影装置２にて撮影される画像を画面上に表示する。スピーカ５は、制御部１の指示に基づき所定の音声を出力する。通信部６は、外部の通信機器と制御部１との間で各種データを送受信する。記憶部７は、端末装置１００にて扱う各種データを格納する。入力装置３はタッチパネルであってもよく、この場合、入力装置３は表示装置４と一体となって構成される。
　制御部１は、取得部１１、測定部１２、および出力制御部１３を備える。
　取得部１１は、撮影装置２にて撮影される被測定者の撮影画像を、被測定者の生体情報を測定するための情報として取得する。撮影画像は、被測定者の動画であってもよく、被測定者の静止画であってもよい。取得部１１は、撮影対象の変化に基づく測定を行う場合には撮影画像として動画を取得し、撮影対象の変化に基づかない測定を行う場合には撮影画像として静止画を取得してもよい。
　測定部１２は、撮影画像における被測定者の所定の部位の画像（顔画像、手画像、または足画像など）に基づき被測定者の生体情報を測定する。所定の部位の画像に基づく生体情報の測定方法については、公知の技術を利用できる。例えば、測定部１２は、所定の部位の画像データ（色味の情報等）に基づき、所定の部位に対応する判定テーブルを用いて生体情報を算出する。当該判定テーブルは、所定の部位の画像データから生体情報を算出する判定式において使用されるパラメータを含む。なお、測定部１２の代わりに外部のサーバが、被測定者の生体情報を測定してもよい。この場合、取得部１１が取得した撮影画像は、通信部６を介して外部のサーバに送信される。
　測定部１２は、撮影画像における所定の領域を、生体情報を測定する測定領域として設定する。ここで、測定部１２は、撮影画像に含まれる所定の部位（顔、手または足など）を公知の技術を利用して認識してもよい。例えば、取得部１１は、撮影画像に含まれる所定の部位の位置、向き等を特定する。測定部１２は、取得部１１が特定した所定の部位の位置が測定領域から外れている場合、被測定者の生体情報を測定しなくてもよい。所定の部位の位置が測定領域から外れている場合、後述する端末装置１００のガイド機能により、被測定者の所定の部位が測定領域（所定の位置）に誘導され、被測定者の所定の部位が測定領域内において固定される。これにより、測定部１２は、当該所定の部位の画像に基づき被測定者の生体情報を測定できる。
　また、測定部１２は、所定の部位の画像に基づく生体情報の測定に失敗したか否かを判定する。具体的には、測定部１２は、生体情報の測定結果が異常値である（正常範囲内でない）場合、生体情報の測定に失敗したと判定する。
　本実施形態において、測定部１２は、まず、被測定者の顔画像に基づき被測定者の生体情報を測定する処理（以下、第１測定処理と称する）を行う。そして、測定部１２は、顔画像に基づく生体情報の測定に失敗した場合、第１測定処理から、被測定者の手画像または足画像に基づき生体情報を測定する処理（以下、第２測定処理と称する）に切り替える。具体的には、測定部１２は、生体情報の測定に用いる判定テーブルを顔に対応する判定テーブルから手または足に対応する判定テーブルに切り替える。このような第１測定処理から第２測定処理への切り替えは、ユーザの指示（入力装置３への入力操作等）を必要とせず、顔画像に基づく生体情報の測定の失敗をトリガとして自動で実行される。顔画像に基づく生体情報の測定に失敗する原因としては、被測定者の顔の日焼けまたは化粧等が挙げられる。
　出力制御部１３は、撮影画像を表示装置４の画面に表示する。また、出力制御部１３は、被測定者の所定の部位の位置を所定の位置に誘導する指標画像を当該撮影画像（被測定者を含む画像）に重畳して表示させる。
　本実施形態において、測定部１２が第１測定処理を行う場合、出力制御部１３は、被測定者の顔の位置を所定の位置に誘導する顔指標画像を撮影画像に重畳して表示させる。顔指標画像は、顔部分および肩部分を含む人型の輪郭ガイドであってもよい。そして、測定部１２が顔画像に基づく生体情報の測定に失敗した場合（すなわち、測定部１２が第１測定処理から第２測定処理に切り替える場合）、出力制御部１３は、測定者が被測定者の手画像または足画像を撮影するように測定者または被測定者を誘導するための情報を出力する。
　例えば、測定部１２が顔画像に基づく生体情報の測定に失敗した場合、出力制御部１３は、被測定者の手または足の位置を所定の位置に誘導する手指標画像または足指標画像（指標画像）を撮影画像に重畳して表示させてもよい。これにより、測定者は、手または足の位置を手指標画像または足指標画像に合わせるように誘導されるため、所定の位置から手または足がずれないように撮影を続けることができる。また、手指標画像または足指標画像はそれぞれ、手または足の輪郭ガイドであってもよい。手指標画像または足指標画像をそれぞれ、手または足の輪郭ガイドとすることで、測定者に対して、被測定者の手画像または足画像の撮影のために、端末装置１００を動かしてはいけないといったことを意識付けることができる。
　なお、指標画像は、被測定者の所定の部位を表示装置４の画面の所定の位置に合わせたときに被測定者の所定の部位の中心となる位置を示す図形（例えばバツ印）であってもよい。また、指標画像は、被測定者の所定の部位を構成するパーツ（例えば所定の部位が顔である場合、鼻・口・耳など）の位置を示す図形であってもよい。
　また、測定部１２が顔画像に基づく生体情報の測定に失敗した場合、出力制御部１３は、測定部１２が第１測定処理から第２測定処理に切り替えた旨を報知する報知画像を撮影画像に重畳して表示させてもよい。これにより、測定者に対して、顔画像に基づく測定に失敗し、第１測定処理から第２測定処理に切り替わったことを報知することができる。例えば、出力制御部１３は、第２測定処理を開始することを測定者に報知するように、報知画像として手または足の画像を表示させてもよい（図３参照）。
　また、測定部１２が顔画像に基づく生体情報の測定に失敗した場合、出力制御部１３は、被測定者が手のひらを顔の向きと同じ向きに向けるように被測定者を誘導する音声をスピーカ５に出力させてもよい。これにより、被測定者は当該音声に従って、自然に測定可能な姿勢をとる（手のひらが撮影装置２の撮影範囲内に入るように手のひらを撮影装置２に向ける）ことができる。また、音声は、前記被測定者が顔に対して手を固定するように前記被測定者を誘導するものであってもよい。これにより、被測定者に対して、手のひらを所定の位置に固定するように誘導することができる。このように、端末装置１００は、被測定者に対して、第１測定処理における顔の向きまたは位置を基準として、手のひらを測定可能な状態に誘導させる。そのため、誘導する音声によって、先の測定対象であった顔の付近に、次の測定対象である手のひらを持って来させることができる。それゆえ、端末装置１００は、次の測定対象である手のひらを容易に撮影装置２の撮影範囲に収めることができる。また、被測定者は簡単に測定可能な姿勢をとるができる。
　例えば、音声は、被測定者が右手または左手の親指を顎に、右手または左手の人差し指をそれぞれ右耳または左耳につけるように被測定者を誘導するものであってもよい。または、音声は、被測定者が手の甲を鼻に当てながら手指を広げるように被測定者を誘導するものであってもよい。
　また、出力制御部１３は、測定に係わる状況を示す文字情報を含む文字画像６１を撮影画像に重畳して表示してもよい（図２，図３参照）。出力制御部１３は、さらに、測定部１２が測定する対象である生体情報項目およびその測定結果を示す測定結果画像６２を撮影画像に重畳して表示してもよい（図２，図３参照）。
　（２．端末装置のガイド機能）
　次に、図２，図３を参照し、顔画像に基づく生体情報の測定に失敗したときに測定者が被測定者の手画像を撮影するように測定者または被測定者を誘導する端末装置１００のガイド機能について説明する。
　図２は、（測定部１２が顔画像に基づく生体情報の測定に失敗し、顔画像の代わりに手画像に基づき生体情報を測定する場合に、）表示装置４が表示する画像の一例を示す図である。図２の表示画像Ｐ２０１は、第１測定処理の実行中に表示装置４が表示する画像を示す。図２の表示画像Ｐ２０２は、第１測定処理の終了後かつ第２測定処理の開始前に表示装置４が表示する画像を示す。図２の表示画像Ｐ２０３は、第２測定処理の実行中に表示装置４が表示する画像を示す。
　表示画像Ｐ２０１に示すように、第１測定処理の実行中、出力制御部１３は、表示装置４の画面の所定の位置に顔指標画像５１（顔部分および肩部分を含む人型の輪郭ガイド）を表示させる。また、測定者は、被測定者の顔部分および肩部分が顔指標画像５１に合うように被測定者を撮影し続ける。
　表示画像Ｐ２０２に示すように、第１測定処理の終了後かつ第２測定処理の開始前に、出力制御部１３は、表示装置４の画面の所定の位置に手指標画像５２（手の輪郭ガイド）を表示させる。測定者は、手指標画像５２が表示されたのを確認して、測定部１２が顔画像に基づく生体情報の測定に失敗し、顔画像の代わりに手画像に基づき生体情報を測定する旨を認識する。
　また、第１測定処理の終了後かつ第２測定処理の開始前に、出力制御部１３は、被測定者が左手の親指を顎に、左手の人差し指を左耳につけるように被測定者を誘導する音声（「左手の親指を顎に、左手の人差し指を左耳にあててください。」との音声）をスピーカ５に出力させる。被測定者は、当該音声に従って、左手の親指を顎に、左手の人差し指を左耳にあてる。これにより、被測定者は、自然に、手のひらを撮影装置２に向け、かつ、手のひらを所定の位置に固定することができる。測定者は、被測定者の手のひらが手指標画像５２に合うように端末装置１００を動かして撮影領域を調整する。これにより、被測定者の手のひらが測定領域内において固定されるため、測定部１２は、第２測定処理を実行できる。
　表示画像Ｐ２０３に示すように、第２測定処理の実行中においても、出力制御部１３は、表示装置４の画面の所定の位置に手指標画像５２を表示させる。また、測定者は、被測定者の手のひらが手指標画像５２に合うように被測定者を撮影し続ける。
　以上のように、端末装置１００は、手指標画像５２を表示することで、測定者に対して被測定者の手のひらを手指標画像５２に合わせるように誘導することができる。そのため、測定者に対して所定の位置から手のひらがずれないように撮影を続けさせることができる。また、端末装置１００は、上述の音声を出力することで、被測定者に対して、自然に、手のひらを撮影装置２に向け、かつ、手のひらを所定の位置に固定させることができる。
　図３は、（測定部１２が顔画像に基づく生体情報の測定に失敗し、顔画像の代わりに手画像に基づき生体情報を測定する場合に、）表示装置４が表示する画像の他の例を示す図である。図３の表示画像Ｐ３０１は、第１測定処理の実行中に表示装置４が表示する、図２の表示画像Ｐ２０１と同様の画像を示す。図３の表示画像Ｐ３０２～Ｐ３０４は、第１測定処理の終了後かつ第２測定処理の開始前に表示装置４が表示する画像を示す。図３の表示画像Ｐ３０５は、第２測定処理の実行中に表示装置４が表示する、図２の表示画像Ｐ２０３と同様の画像を示す。
　表示画像Ｐ３０２、Ｐ３０３に示すように、第１測定処理の終了後かつ第２測定処理の開始前に、出力制御部１３は、測定部１２が第１測定処理から第２測定処理に切り替えた旨を報知する報知画像６３を表示装置４の画面の所定の位置に表示してもよい。図３に示す一例では、報知画像６３は、拳を握るジェスチャと手を開くジェスチャとを繰り返すアニメーションである。測定者は、このような報知画像６３を確認して、測定部１２が顔画像に基づく生体情報の測定に失敗し、顔画像の代わりに手画像に基づき生体情報を測定する旨を認識する。
　出力制御部１３は、報知画像６３を所定時間の間表示させた後、表示画像Ｐ３０４に示すように、表示装置４の画面の所定の位置に手指標画像５２を表示させる。また、出力制御部１３は、被測定者が手の甲を鼻に当てながら手指を広げるように被測定者を誘導する音声（「手の甲を鼻にあてて、手を開いてください。」との音声）をスピーカ５に出力させる。被測定者は、当該音声に従って、まずは表示画像Ｐ３０４に示すように手を閉じた状態で手の甲を鼻にあてる。次に、被測定者は、表示画像Ｐ３０５に示すように手を開く。これにより、被測定者は、自然に、手のひらを撮影装置２に向け、かつ、手のひらを顔位置と同じ位置に固定することができる。測定者は、被測定者の手のひらが手指標画像５２に合うように端末装置１００を動かして撮影領域を調整する。これにより、被測定者の手のひらが測定領域内において固定されるため、測定部１２は、第２測定処理を実行できる。
　以上のように、端末装置１００は、手指標画像５２を表示することで、測定者に対して被測定者の手のひらを手指標画像５２に合わせるように誘導することができる。そのため、測定者に対して所定の位置から手のひらがずれないように撮影を続けさせることができる。また、端末装置１００は、報知画像６３を表示することで、測定者に対して測定部１２が顔画像に基づく生体情報の測定に失敗し、顔画像の代わりに手画像に基づき生体情報を測定する旨を報知することができる。また、端末装置１００は、上述の音声を出力することで、被測定者に対して、自然に、手のひらを撮影装置２に向け、かつ、手のひらを顔位置と同じ位置に固定させることができる。手のひらを顔位置と同じ位置に固定させるため、測定者は、第１測定処理から第２測定処理に切り替わる際に、端末装置１００をほとんど動かすことなく被測定者の手のひらを撮影することができる。
　なお、図２、図３に示すように、出力制御部１３は、表示画像の表示中、表示装置４の画面の上部に文字画像６１を、表示装置４の画面の下部に測定結果画像６２を表示してもよい。具体的には、出力制御部１３は、測定部１２の測定が完了するまで、文字画像６１に、生体情報の測定がまだ完了していない旨の文字情報（「測定しています」との文章）を表示させてもよい。また、出力制御部１３は、測定部１２の測定が完了するまで、測定結果画像６２に、いずれの生体情報の測定結果もまだ得られていない旨の情報を示してもよい。なお、出力制御部１３は、測定が完了した生体情報の項目から逐次、測定結果画像６２に測定結果を表示してもよい。
　（３．端末装置１００の動作例）
　図４は、端末装置１００の動作の一例を示すフローチャートである。端末装置１００が第１測定処理から第２測定処理に切り替えるための動作例を、図４を参照して以下に説明する。
　まず、出力制御部１３は、顔指標画像５１を撮影画像に重畳して表示させる（Ｓ１）。測定者は、被測定者の顔部分および肩部分が顔指標画像５１に合うように端末装置１００を動かして撮影領域を調整する。これにより、被測定者の顔が測定領域内において固定される。
　次に、取得部１１は、撮影装置２にて撮影される撮影画像における測定領域内の被測定者の顔画像を、被測定者の生体情報を測定するための情報として取得する（Ｓ２）。次に、測定部１２は、当該顔画像に基づき被測定者の生体情報を測定する（第１測定ステップＳ３）。すなわち、測定部１２は第１測定処理を実行する。
　次に、測定部１２は、顔画像に基づく生体情報の測定に失敗したか否かを判定する（判定ステップＳ４）。具体的には、測定部１２は、第１測定処理によって得られた測定結果が異常値であるか否かを判定する。測定部１２が顔画像に基づく生体情報の測定に成功した場合（Ｓ４におけるＮｏ）、出力制御部１３は、顔画像に基づいて測定した生体情報の測定結果を出力する（Ｓ８）。測定部１２が顔画像に基づく生体情報の測定に失敗した場合（Ｓ４におけるＹｅｓ）、出力制御部１３は、手指標画像５２を撮影画像に重畳して表示させる（Ｓ５）。測定者は、手指標画像５２が表示されたのを確認して、測定部１２が顔画像に基づく生体情報の測定に失敗し、顔画像の代わりに手画像に基づき生体情報を測定する旨を認識する。そして、測定者は、被測定者の手のひらが手指標画像５２に合うように端末装置１００を動かして撮影領域を調整する。これにより、被測定者の手のひらが測定領域内において固定される。
　なお、出力制御部１３は、Ｓ５において、被測定者が手のひらを顔の向きと同じ向きに向けるように被測定者を誘導する音声をスピーカ５に出力させてもよい。被測定者は、当該音声に従って、手のひらを顔の向きと同じ向きに向ける。測定者は、このようにして撮影装置２に向けられた被測定者の手のひらが手指標画像５２に合うように撮影領域を調整すればよい。
　次に、取得部１１は、撮影装置２にて撮影される撮影画像における測定領域内の被測定者の手画像を、被測定者の生体情報を測定するための情報として取得する（Ｓ６）。次に、測定部１２は、当該手画像に基づき被測定者の生体情報を測定する（第２測定ステップＳ７）。すなわち、測定部１２は第２測定処理を実行する。次に、出力制御部１３は、手画像に基づいて測定した生体情報の測定結果を出力する（Ｓ８）。
　以上の構成によれば、端末装置１００は、被測定者の顔画像に基づく生体情報の測定に失敗した場合、第１測定処理から第２測定処理に切り替える。そのため、生体情報の測定に失敗した場合であっても、（日焼け、化粧等による失敗の可能性が少ない）被測定者の手または足の画像に基づき、被測定者の生体情報を測定することができる。したがって、端末装置１００によって、より確実に非接触バイタルセンシングを達成することができる。また、測定者の負担を低減できる。また、端末装置１００は、まずは被測定者に手を上げてカメラに向ける等の特定の姿勢を取らせること無く、顔画像に基づいて生体情報の測定を試行する。そのため、測定時間の不要な増加を防ぐことができる。
　また、端末装置１００は、顔画像に基づく測定に失敗した場合、手画像または足画像に基づく測定を行う。そのため、異なる部位を撮影画像内に同時に収める必要がなく、被測定者の負担を低減できる。
　以上の構成によれば、測定者および被測定者への負担を低減しつつ非接触バイタルセンシングを適切に実行できる。このような効果は、例えば、国連が提唱する持続可能な開発目標（ＳＤＧｓ）の目標３「すべての人に健康と福祉を」等の達成にも貢献するものである。
　〔ソフトウェアによる実現例〕
　端末装置１００（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部１に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。
　この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
　上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
　また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
　また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。
　〔まとめ〕
　本発明の態様１に係る端末装置は、撮影装置と、前記撮影装置にて撮影される被測定者の撮影画像を取得する取得部と、前記撮影画像における前記被測定者の所定の部位の画像に基づき、前記被測定者の生体情報を測定する測定部と、を備え、前記測定部は、前記所定の部位の画像として前記被測定者の顔画像に基づき前記生体情報を測定する処理を行い、前記顔画像に基づく前記生体情報の測定に失敗した場合、前記被測定者の顔画像に基づき前記生体情報を測定する処理から、前記被測定者の手画像または足画像に基づき前記生体情報を測定する処理に切り替える。
　従来、端末装置で撮影した被測定者の顔画像に基づいて被測定者の生体情報を測定する方法（非接触バイタルセンシング）において、被測定者の顔が日焼けしていたり化粧をしていたりすると、生体情報の測定に失敗することがある。このような場合、測定者は、端末装置の代わりに、被測定者に接触する機器（血圧計など）を用いて生体情報を測定することとなる。そのため、非接触バイタルセンシングを達成できないといった問題があった。また、測定機器を別の測定機器に切り替えることは、測定者の負担にもなり得る。
　上記の構成によれば、端末装置は、被測定者の顔画像に基づく生体情報の測定に失敗した場合、被測定者の顔画像に基づき生体情報を測定する処理から被測定者の手画像または足画像に基づき生体情報を測定する処理に切り替える。そのため、生体情報の測定に失敗した場合であっても、（日焼け、化粧等による失敗の可能性が少ない）被測定者の手または足の画像に基づき、被測定者の生体情報を測定することができる。したがって、当該端末装置によって、より確実に非接触バイタルセンシングを達成することができる。また、測定者の負担を低減できる。また、端末装置は、まずは被測定者に手を上げて手のひらを撮影装置に向ける等の特定の姿勢を取らせること無く、顔画像に基づいて生体情報の測定を試行する。そのため、測定時間の不要な増加を防ぐことができる。
　また、被測定者の異なる部位を同時に撮影して被測定者の生体情報を測定する従来の方法では、異なる部位を同時に撮影するために、異なる部位を撮影画像内に同時に収める必要がある。そのため、被測定者の負担になり得る。
　上記の構成によれば、端末装置は、顔画像に基づく測定に失敗した場合、手画像または足画像に基づく測定を行う。そのため、異なる部位を撮影画像内に同時に収める必要がなく、被測定者の負担を低減できる。
　本発明の態様２に係る端末装置は、上記態様１において、前記測定部が前記顔画像に基づく前記生体情報の測定に失敗した場合、測定者が前記被測定者の手画像または足画像を撮影するように前記測定者または前記被測定者を誘導するための情報を出力する出力制御部をさらに備えてもよい。
　顔画像に基づく測定から手画像または足画像に基づく測定に切り替える場合、手のひらまたは足裏を撮影画像内に収めるために、被測定者が姿勢を変える必要がある。
　上記の構成によれば、端末装置は、測定者が被測定者の手画像または足画像を撮影するように測定者または被測定者を誘導するための情報を出力する。これにより、測定者は、顔画像に基づく測定に失敗し、顔画像に基づく測定処理から手画像または足画像に基づく測定処理に切り替わったことを認識でき、または、被測定者は、自ら測定可能な姿勢をとることができる。
　本発明の態様３に係る端末装置は、上記態様２において、前記被測定者を含む画像を表示する表示装置をさらに備え、前記測定部が前記顔画像に基づく前記生体情報の測定に失敗した場合、前記出力制御部は、前記被測定者の手または足の位置を所定の位置に誘導する指標画像を、前記被測定者を含む画像に重畳して表示させてもよい。
　上記の構成によれば、端末装置は、被測定者の手または足の位置を所定の位置に誘導する指標画像を表示する。これにより、測定者は、手または足の位置を指標画像に合わせるように誘導されるため、所定の位置から手または足がずれないように撮影を続けることができる。
　本発明の態様４に係る端末装置は、上記態様３において、前記指標画像は、手または足の輪郭ガイドであってもよい。
　上記の構成によれば、端末装置は、測定者に対して、被測定者の手画像または足画像の撮影のために、端末装置を動かしてはいけないといったことを意識付けることができる。
　本発明の態様５に係る端末装置は、上記態様４において、前記測定部が前記顔画像に基づく前記生体情報の測定に失敗した場合、前記出力制御部は、前記被測定者の顔画像に基づき前記生体情報を測定する処理から、前記被測定者の手画像または足画像に基づき前記生体情報を測定する処理に切り替えた旨を報知する報知画像を、前記被測定者を含む画像に重畳して表示させてもよい。
　上記の構成によれば、端末装置は、測定者に対して、顔画像に基づく測定に失敗し、顔画像に基づく測定処理から手画像または足画像に基づく測定処理に切り替わったことを報知することができる。
　本発明の態様６に係る端末装置は、上記態様２において、音声出力装置をさらに備え、前記測定部が前記顔画像に基づく前記生体情報の測定に失敗した場合、前記出力制御部は、前記被測定者が手のひらを顔の向きと同じ向きに向けるように前記被測定者を誘導する音声を前記音声出力装置に出力させてもよい。
　上記の構成によれば、端末装置は、被測定者に対して、手のひらを撮影装置に向けるように誘導することができる。
　本発明の態様７に係る端末装置は、上記態様６において、前記音声は、前記被測定者が顔に対して手を固定するように前記被測定者を誘導してもよい。
　上記の構成によれば、端末装置は、被測定者に対して、手のひらを所定の位置に固定するように誘導することができる。
　本発明の態様８に係る端末装置は、上記態様７において、前記音声は、前記被測定者が右手または左手の親指を顎に、右手または左手の人差し指をそれぞれ右耳または左耳につけるように前記被測定者を誘導してもよい。
　上記の構成によれば、端末装置は、被測定者に対して、自然に、手のひらを撮影装置に向け、かつ、手のひらを所定の位置に固定させることができる。
　本発明の態様９に係る端末装置は、上記態様７において、前記音声は、前記被測定者が手の甲を鼻に当てながら手指を広げるように前記被測定者を誘導してもよい。
　上記の構成によれば、端末装置は、被測定者に対して、自然に、手のひらを撮影装置に向け、かつ、手のひらを顔位置と同じ位置に固定させることができる。手のひらを顔位置と同じ位置に固定させるため、測定者は、顔画像に基づく測定処理から手画像または足画像に基づく測定処理に切り替わる際に、端末装置をほとんど動かすことなく被測定者の手のひらを撮影することができる。
　本発明の態様１０に係る測定方法は、撮影装置を備える端末装置による測定方法であって、前記端末装置により、被測定者の顔画像に基づき前記被測定者の生体情報を測定する第１測定ステップと、前記端末装置により、前記第１測定ステップにおいて、前記顔画像に基づく前記生体情報の測定に失敗したか否かを判定する判定ステップと、前記顔画像に基づく前記生体情報の測定に失敗した場合、前記端末装置により、前記被測定者の手画像または足画像に基づき前記生体情報を測定する第２測定ステップと、を含む。
　本発明の各態様に係る端末装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記端末装置が備える各部（ソフトウェア要素）として動作させることにより上記端末装置をコンピュータにて実現させる端末装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
１　制御部
２　撮影装置
４　表示装置
５　スピーカ（音声出力部）
１１　取得部
１２　測定部
１３　出力制御部
５１　顔指標画像
５２　手指標画像
６３　報知画像
１００　端末装置

Claims (11)

  1. 　撮影装置と、
    　前記撮影装置にて撮影される被測定者の撮影画像を取得する取得部と、
    　前記撮影画像における前記被測定者の所定の部位の画像に基づき、前記被測定者の生体情報を測定する測定部と、を備え、
    　前記測定部は、
    　前記所定の部位の画像として前記被測定者の顔画像に基づき前記生体情報を測定する処理を行い、
    　前記顔画像に基づく前記生体情報の測定に失敗した場合、前記被測定者の顔画像に基づき前記生体情報を測定する処理から、前記被測定者の手画像または足画像に基づき前記生体情報を測定する処理に切り替える、端末装置。
  2. 　前記測定部が前記顔画像に基づく前記生体情報の測定に失敗した場合、測定者が前記被測定者の手画像または足画像を撮影するように前記測定者または前記被測定者を誘導するための情報を出力する出力制御部をさらに備える、請求項１に記載の端末装置。
  3. 　前記被測定者を含む画像を表示する表示装置をさらに備え、
    　前記測定部が前記顔画像に基づく前記生体情報の測定に失敗した場合、前記出力制御部は、前記被測定者の手または足の位置を所定の位置に誘導する指標画像を、前記被測定者を含む画像に重畳して表示させる、請求項２に記載の端末装置。
  4. 　前記指標画像は、手または足の輪郭ガイドである、請求項３に記載の端末装置。
  5. 　前記測定部が前記顔画像に基づく前記生体情報の測定に失敗した場合、前記出力制御部は、前記被測定者の顔画像に基づき前記生体情報を測定する処理から、前記被測定者の手画像または足画像に基づき前記生体情報を測定する処理に切り替えた旨を報知する報知画像を、前記被測定者を含む画像に重畳して表示させる、請求項３に記載の端末装置。
  6. 　音声出力装置をさらに備え、
    　前記測定部が前記顔画像に基づく前記生体情報の測定に失敗した場合、前記出力制御部は、前記被測定者が手のひらを顔の向きと同じ向きに向けるように前記被測定者を誘導する音声を前記音声出力装置に出力させる、請求項２に記載の端末装置。
  7. 　前記音声は、前記被測定者が顔に対して手を固定するように前記被測定者を誘導する、請求項６に記載の端末装置。
  8. 　前記音声は、前記被測定者が右手または左手の親指を顎に、右手または左手の人差し指をそれぞれ右耳または左耳につけるように前記被測定者を誘導する、請求項７に記載の端末装置。
  9. 　前記音声は、前記被測定者が手の甲を鼻に当てながら手指を広げるように前記被測定者を誘導する、請求項７に記載の端末装置。
  10. 　撮影装置を備える端末装置による測定方法であって、
    　前記端末装置により、被測定者の顔画像に基づき前記被測定者の生体情報を測定する第１測定ステップと、
    　前記端末装置により、前記第１測定ステップにおいて、前記顔画像に基づく前記生体情報の測定に失敗したか否かを判定する判定ステップと、
    　前記顔画像に基づく前記生体情報の測定に失敗した場合、前記端末装置により、前記被測定者の手画像または足画像に基づき前記生体情報を測定する第２測定ステップと、を含む、測定方法。
  11. 　請求項１に記載の端末装置としてコンピュータを機能させるためのプログラムであって、前記取得部および前記測定部としてコンピュータを機能させるためのプログラム。
PCT/JP2023/034416 2022-09-28 2023-09-22 端末装置および測定方法 WO2024070917A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-155298 2022-09-28
JP2022155298 2022-09-28

Publications (1)

Publication Number Publication Date
WO2024070917A1 true WO2024070917A1 (ja) 2024-04-04

Family

ID=90477721

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/034416 WO2024070917A1 (ja) 2022-09-28 2023-09-22 端末装置および測定方法

Country Status (2)

Country Link
TW (1) TW202414350A (ja)
WO (1) WO2024070917A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003038494A (ja) * 2001-07-30 2003-02-12 Denso Corp 生体情報検出方法
JP2006114018A (ja) * 2004-09-14 2006-04-27 Fuji Photo Film Co Ltd セキュリティシステム
WO2014136310A1 (ja) * 2013-03-08 2014-09-12 富士フイルム株式会社 脈波伝播速度の測定方法及びシステム並びに撮像装置
WO2014155750A1 (ja) * 2013-03-29 2014-10-02 富士通株式会社 血流指標算出方法、血流指標算出プログラム及び血流指標算出装置
WO2015045554A1 (ja) * 2013-09-26 2015-04-02 シャープ株式会社 生体情報取得装置および生体情報取得方法
JP2017023704A (ja) * 2015-07-17 2017-02-02 パナソニックＩｐマネジメント株式会社 注意情報提示装置および注意情報提示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003038494A (ja) * 2001-07-30 2003-02-12 Denso Corp 生体情報検出方法
JP2006114018A (ja) * 2004-09-14 2006-04-27 Fuji Photo Film Co Ltd セキュリティシステム
WO2014136310A1 (ja) * 2013-03-08 2014-09-12 富士フイルム株式会社 脈波伝播速度の測定方法及びシステム並びに撮像装置
WO2014155750A1 (ja) * 2013-03-29 2014-10-02 富士通株式会社 血流指標算出方法、血流指標算出プログラム及び血流指標算出装置
WO2015045554A1 (ja) * 2013-09-26 2015-04-02 シャープ株式会社 生体情報取得装置および生体情報取得方法
JP2017023704A (ja) * 2015-07-17 2017-02-02 パナソニックＩｐマネジメント株式会社 注意情報提示装置および注意情報提示方法

Also Published As

Publication number Publication date
TW202414350A (zh) 2024-04-01

Similar Documents

Publication Publication Date Title
CN108289613B (zh) 用于生理监测的系统、方法和计算机程序产品
EP2772828B1 (en) Individual body discrimination device and individual body discrimination method
KR101978548B1 (ko) 안구 움직임 측정을 통한 어지럼 진단 서버, 방법, 및 이를 기록한 기록매체
WO2014030439A1 (ja) 生体状態観察システム、生体状態観察方法、およびプログラム
US10709328B2 (en) Main module, system and method for self-examination of a user's eye
JPWO2013089072A1 (ja) 情報管理装置、情報管理方法、情報管理システム、聴診器、情報管理プログラム、測定システム、制御プログラムおよび記録媒体
US9888847B2 (en) Ophthalmic examination system
KR20190041818A (ko) 이미지 기반 황달 진단 방법 및 장치
JP2020120908A (ja) 精神状態推定システム、精神状態推定方法、及び、プログラム
CN111712187A (zh) 生命信息显示设备、生命信息显示方法和程序
WO2018123228A1 (ja) 情報処理システム
WO2024070917A1 (ja) 端末装置および測定方法
WO2020250492A1 (ja) 支援装置、支援方法およびプログラム
JP7381139B1 (ja) プログラム、コンピュータ装置及び方法
JP7209954B2 (ja) 眼振解析システム
JP7107958B2 (ja) プログラム、情報処理システム、ストレス評価方法、ストレス評価システム、コンピュータプログラム、記録媒体
JP6116375B2 (ja) 診断支援システム
JP7193080B2 (ja) 情報処理装置、システム、情報処理方法、およびプログラム
JP2022141984A (ja) 血圧監視装置、血圧監視方法、および血圧監視プログラム
JP2014150825A (ja) 生体音収集装置
WO2023171356A1 (ja) 患者モニタリングシステム、患者モニタリング方法、およびプログラム
WO2022038834A1 (ja) バイタルデータ測定制御装置、バイタルデータ測定システム、バイタルデータ測定状態判定方法、バイタルデータ測定状態判定プログラム、および記録媒体
WO2024047738A1 (ja) 検査装置、検査システム、検査方法、及び非一時的なコンピュータ可読媒体
KR20180133081A (ko) 귀 및 문진을 이용한 건강진단 시스템 및 그 방법
WO2023042343A1 (ja) 手指の動きを計測処理する計測処理端末、方法およびコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23872143

Country of ref document: EP

Kind code of ref document: A1