WO2022038834A1 - バイタルデータ測定制御装置、バイタルデータ測定システム、バイタルデータ測定状態判定方法、バイタルデータ測定状態判定プログラム、および記録媒体 - Google Patents

バイタルデータ測定制御装置、バイタルデータ測定システム、バイタルデータ測定状態判定方法、バイタルデータ測定状態判定プログラム、および記録媒体 Download PDF

Info

Publication number
WO2022038834A1
WO2022038834A1 PCT/JP2021/016097 JP2021016097W WO2022038834A1 WO 2022038834 A1 WO2022038834 A1 WO 2022038834A1 JP 2021016097 W JP2021016097 W JP 2021016097W WO 2022038834 A1 WO2022038834 A1 WO 2022038834A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
image data
face
vital data
measurement
Prior art date
Application number
PCT/JP2021/016097
Other languages
English (en)
French (fr)
Inventor
雄希 櫻田
大典 能登
Original Assignee
株式会社村田製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社村田製作所 filed Critical 株式会社村田製作所
Priority to JP2022543275A priority Critical patent/JP7497758B2/ja
Publication of WO2022038834A1 publication Critical patent/WO2022038834A1/ja
Priority to US18/162,787 priority patent/US20230181113A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/684Indicating the position of the sensor on the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • A61B5/022Measuring pressure in heart or blood vessels by applying pressure to close blood vessels, e.g. against the skin; Ophthalmodynamometers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176Recognition of faces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744Displaying an avatar, e.g. an animated cartoon character
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/02Stethoscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013Medical image data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/271Arrangements of electrodes with cords, cables or leads, e.g. single leads or patient cord assemblies

Definitions

  • the present invention relates to a vital data measurement control device, a vital data measurement system, a vital data measurement state determination method, a vital data measurement state determination program, and a recording medium.
  • vital data vital signs: vital signs
  • biological information biological information
  • Patent Document 1 discloses a method for determining a blood pressure measurement state.
  • the user holds a smartphone or tablet and images the user's own face with the camera of the smartphone or tablet, and based on the image data captured, the user's arm with respect to the height of the user's heart.
  • the height of the attached blood pressure monitor it is determined whether or not the user is in the correct measurement posture (measurement state). As a result, it is possible to prevent the user from intentionally making an illegal measurement.
  • this blood pressure measurement state determination method the user's personal authentication by face authentication is performed based on the image data including the user's face captured by the camera of the smartphone or tablet. This makes it possible to prevent blood pressure measurement by another person.
  • a third party wears a blood pressure monitor (device) to measure the blood pressure while performing personal authentication of the user by face authentication based on the image data captured by the camera. It is possible to replace the blood pressure data with the blood pressure data of a third party as the blood pressure data of the user.
  • the pulse of the user is measured by analyzing the pigment information on the body surface in time series from the image data including the user's face captured by the camera, and the pulse is measured from this image data. It is stated that by comparing the pulse with the pulse from the sphygmomanometer, it can be reliably determined that the blood pressure measured by the sphygmomanometer is the blood pressure of the user. However, this method cannot be applied to the measurement of vital data other than blood pressure.
  • the present invention provides a vital data measurement control device, a vital data measurement system, a vital data measurement state determination method, a vital data measurement state determination program, and a recording medium capable of suppressing the replacement of various vital data.
  • the purpose is.
  • the vital data measurement control device is a device that controls the measurement of vital data when the user measures the vital data by using the device for measuring the vital data, and controls the image pickup device.
  • the image processing unit includes a control unit that acquires image data including the user's face and the device, and an image processing unit that authenticates the user's face and the device based on the image data. Determines whether or not the device is attached to the user based on the positional relationship between the user and the device in the image data, and the user and the device are authenticated and said. The period during which the device is determined to be worn by the user is determined to be the correct measurement state in which the correct user is wearing the correct device.
  • Another vital data measurement control device is a device that controls the measurement of vital data when the user measures the vital data by using the device for measuring the vital data, and controls the image pickup device. Based on the user image data and the control unit that acquires the user image data including the user's face and the portion other than the user's face, and the device image data including the user's face and the apparatus. An image processing unit that authenticates the user's face and authenticates the device based on the device image data is provided, and the image processing unit includes a user image data other than the user's face.
  • the device Based on the relationship between the part and the part other than the user's face in the device image data, and the positional relationship between the part other than the user's face in the device image data and the device, the device becomes the user.
  • the correct user attaches the correct device during the period in which it is determined whether or not the device is attached, the user and the device are authenticated, and the device is determined to be attached to the user. It is judged that the measurement state is correct.
  • the vital data measurement system includes the above-mentioned vital data measurement control device and the above-mentioned device for controlling the measurement of vital data when the user measures the vital data using the device for measuring the vital data.
  • the image pickup device and a host device to which vital data is supplied from the vital data measurement control device are provided.
  • the vital data measurement state determination method is a method for determining the measurement state of vital data when a user measures vital data using a device for measuring vital data, and controls an image pickup device. Then, image data including the user's face and the device is acquired, the user's face is authenticated and the device is authenticated based on the image data, and the position of the user and the device in the image data is performed. Based on the relationship, it is determined whether or not the device is attached to the user, and it is determined that the user and the device are authenticated, and that the device is attached to the user. The period is determined to be the correct measurement state with the correct user wearing the correct equipment.
  • Another method for determining the measurement state of vital data is a method for determining the measurement state of vital data when a user measures vital data using a device for measuring vital data, and the image pickup device is used.
  • user image data including the user's face and a part other than the user's face and device image data including the user's face other than the face and the device are acquired, and based on the user image data.
  • the user's face is authenticated, and the device is authenticated based on the device image data.
  • the device Based on the relationship with the device and the positional relationship between the device and a portion other than the user's face in the device image data, it is determined whether or not the device is attached to the user, and the user and the user The period during which the device is authenticated and the device is determined to be worn by the user is determined to be the correct measurement state in which the correct user is wearing the correct device.
  • the vital data measurement state determination program is a program for determining the measurement state of vital data when a user measures vital data using a device for measuring vital data, and is a computer, an image pickup device, and an image pickup device.
  • Another vital data measurement state determination program is a program for determining the measurement state of vital data when a user measures vital data using a device for measuring vital data, and is a program for determining the measurement state of vital data.
  • the device is attached to the user based on the relationship with the part other than the user's face and the positional relationship between the device other than the user's face and the device in the device image data.
  • the correct measurement state in which the correct user is wearing the correct device during the period in which the determination function and the period in which the user and the device are authenticated and the device is determined to be worn by the user are determined.
  • the recording medium according to the present invention is a computer-readable recording medium on which the above-mentioned vital data measurement state determination program is recorded.
  • FIG. 1 is a diagram showing a vital data measurement system according to the present embodiment.
  • the vital data measurement system 1 shown in FIG. 1 includes a vital data measurement device 10 (hereinafter, abbreviated as a device) and a vital data measurement control device 20 (hereinafter, abbreviated as a measurement control device). And a host device 30.
  • the vital data measurement system 1 is used, for example, for a user's telemedicine. In this case, the user owns the device 10 and the measurement control device 20, and the doctor owns the host device 30.
  • the vital data measuring device 10 examples include so-called biometric information sensor devices such as a sphygmomanometer, a pulse meter, an electrocardiograph, a stethoscope, a throat test device, and an ear test device.
  • the device 10 measures the user's vital data under the control of the measurement control device 20.
  • the device 10 transmits the measured vital data to the measurement control device 20.
  • the vital data measurement control device 20 examples include information processing devices such as smartphones, tablets, and PCs.
  • the measurement control device 20 controls the measurement of the vital data by the device 10 and receives the vital data from the device 10. Further, the measurement control device 20 transmits vital data to the host device 30 via the network 5, and receives information (for example, registration information of the device 10) from the host device 30. The details of the measurement control device 20 will be described later.
  • Examples of the host device 30 include information processing devices such as tablets and PCs.
  • the host device 30 receives vital data from the measurement control device 20 via the network 5, and transmits information (for example, registration information of the device 10) to the measurement control device 20.
  • the communication standard between the device 10 and the measurement control device 20 is not particularly limited, and examples thereof include so-called short-range wireless communication standards such as Bluetooth (registered trademark) or Wi-Fi (registered trademark).
  • the communication standard between the measurement control device 20 and the host device 30 is not particularly limited, but is, for example, via an access point AP and a network 5, such as wireless LAN (Local Area Network), LTE (Long Term Evolution), or 3G. Wireless communication standards, or communication standards such as wired LAN can be mentioned.
  • FIG. 2 is a diagram showing a vital data measurement control device according to the present embodiment.
  • the vital data measurement control device 20 shown in FIG. 2 includes a camera (imaging device) 21, a control unit 22, a storage unit 24, an image processing unit 26, an operation unit 28, and a display unit (notification unit) 29.
  • the camera 21 takes an image of the user and the device 10 under the control of the control unit 22, and generates image data including the user's face and the device 10. The camera 21 transmits the image data to the control unit 22.
  • the camera 21 may be a camera built in the measurement control device 20 such as a smartphone, a tablet, or a PC, or a camera externally attached to the measurement control device 20. Since built-in cameras such as smartphones, tablets, and PCs have restrictions on functions such as pan, tilt, zoom, and wide-angle modes, these functions can be improved by using an external camera. This makes it possible to minimize the movement of the camera or the movement of the user in order to capture the object to be imaged.
  • the control unit 22 controls the camera 21 to acquire image data including the user's face and the device 10.
  • the control unit 22 transmits the image data to the image processing unit 26.
  • the control unit 22 may temporarily store the image data in the storage unit 24, or may display the image data in the display unit 29.
  • control unit 22 controls the device 10 and acquires the user's vital data measured by the device 10.
  • the control unit 22 temporarily stores the acquired vital data in the storage unit 24.
  • the control unit 22 transmits the vital data stored in the storage unit 24 to the host device 30.
  • the storage unit 24 temporarily stores vital data. Further, the storage unit 24 stores in advance the feature amount of the user's face for user authentication, which will be described later, as the user's registration information. Further, the storage unit 24 stores in advance the feature amount of the device for device authentication, which will be described later, as device registration information.
  • the image processing unit 26 authenticates the user's face based on the image data. For example, the image processing unit 26 collates the user's face in the image data with the user's registration information stored in advance in the storage unit 24. Further, the image processing unit 26 authenticates the device 10 based on the image data. For example, the image processing unit 26 collates the device 10 in the image data with the feature amount of the device stored in the storage unit 24.
  • the image processing unit 26 determines whether or not the device 10 is attached to the user based on the image data. For example, the image processing unit 26 determines whether or not the device 10 is attached to the user based on the positional relationship between the user and the device 10 in the image data.
  • the image processing unit 26 is in a correct measurement state in which the correct user is wearing the correct device 10 during the period in which the user and the device 10 are authenticated and the device 10 is determined to be worn by the user. Judge that there is.
  • the storage unit 24 described above stores a program (application) or data executed by the control unit 22 and the image processing unit 26.
  • the storage unit 24 is composed of a recording medium such as a ROM (ReadOnlyMemory), an HDD (HardDiskDrive), an SSD (SolidStateDrive), or a detachable memory card.
  • the control unit 22 and the image processing unit 26 described above are composed of arithmetic processors such as a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and an FPGA (Field-Programmable Gate Array), for example.
  • Various functions of the control unit 22 and the image processing unit 26 are realized, for example, by executing a program (application) stored in the storage unit 24.
  • the program (application) may be provided via a network, or may be provided on a computer-readable storage medium 40 such as a CD-ROM (Compact Disc Read only memory) or a DVD (Digital Versatile Disc). It may be recorded and provided. Examples of the recording medium include non-transitory tangible media.
  • the operation unit 28 is an operation unit operated by the user.
  • the operation unit 28 is composed of, for example, a keyboard or mouse having physical operation buttons, a touch panel having virtual operation buttons, or the like.
  • the display unit 29 is a notification unit that notifies the user of information.
  • the display unit 29 is composed of, for example, a liquid crystal display or an organic EL display.
  • the notification unit is not limited to this, and may be a speaker that notifies by sound such as a buzzer, a light emitting element such as an LED that notifies by light such as light emission, blinking, or color.
  • FIG. 3 is a flowchart of a vital data measurement state determination operation by the vital data measurement control device according to the first embodiment
  • FIGS. 4 to 6 are diagrams showing an example of image data.
  • the user operates the operation unit 28 of the vital data measurement control device 20 to start the measurement of vital data. Then, as shown in FIG. 3, the vital data measurement control device 20 performs user authentication, device authentication, and determination of the measurement state.
  • control unit 22 controls the camera 21 to take an image of the user's face and the device 10, and acquires image data including the user's face and the device 10 (step S11).
  • the control unit 22 transmits the acquired image data to the image processing unit 26.
  • the control unit 22 may temporarily store the image data in the storage unit 24, and the image processing unit 26 may acquire the image data stored in the storage unit 24. Further, the control unit 22 may display the image data on the display unit 29.
  • the image processing unit 26 authenticates the user's face based on the image data (step S12).
  • the storage unit 24 stores the feature amount of the user's face in advance as the user's registration information.
  • the feature amount of the user's face may be image data obtained by preliminarily capturing the user himself / herself with a camera, or may be image data obtained by preliminarily capturing a photograph issued by a public institution such as a license or a passport. good.
  • the image processing unit 26 collates the user's face in the image data with the user registration information stored in advance in the storage unit 24 to determine whether or not the user's face in the image data is the registered user's face. Authenticate.
  • control unit 22 may control the pan and tilt of the camera 21 so that the user's face and the device 10 are arranged at appropriate positions in the image data. This makes it possible to minimize the movement of the camera or the movement of the user in order to capture the object to be imaged.
  • control unit 22 may control the zoom and wide-angle mode of the camera 21 so that the user's face and the device 10 are arranged at appropriate positions in the image data. This makes it possible to minimize the movement of the camera or the movement of the user in order to capture the object to be imaged.
  • control unit 22 may perform zoom-up control of the camera 21 so as to enlarge the user's face. At this time, the above-mentioned user's face authentication may be performed. This makes it possible to improve the accuracy of the user's face authentication. Further, the control unit 22 may perform zoom-out control or wide-angle mode control of the camera 21 so as to include the user's face and the device 10. At this time, the device 10 described later may be authenticated.
  • the image processing unit 26 authenticates the device 10 based on the image data (step S13).
  • the storage unit 24 stores the feature amounts of a plurality of devices in advance as device registration information.
  • the feature amount of the device include the shape of each type of device, identification information such as a serial number or QR code (registered trademark) for each device, and the like.
  • the feature amount of the device may be acquired from, for example, the host device 30.
  • the image processing unit 26 has the shape or identification information (serial number or QR code, etc.) of the device 10 in the image data, and the device registration information (device shape, serial number, QR code, etc.) stored in advance in the storage unit 24. By collating with the identification information), it is authenticated whether or not the device 10 in the image data is a registered device.
  • the storage unit 24 associates the feature amounts of the plurality of devices with the identification information and stores them in advance as the registration information of the devices.
  • the feature amount of the device include a shape for each type of device, a QR code for each device, and the like
  • examples of the device identification information include a serial number for each device.
  • the user inputs identification information such as the serial number of the device to be used at the time of measurement.
  • the image processing unit 26 collates the input identification information with the device registration information (identification information) stored in advance in the storage unit 24, so that the device type can be selected from among a plurality of types of devices. Can be identified.
  • the mounting position of the device can be specified from the type of the device. As a result, the authentication accuracy of the subsequent device can be improved.
  • the image processing unit 26 collates the shape or QR code of the device in the image data with the device registration information stored in advance in the storage unit 24 and corresponding to the specified device type. Thereby, it is authenticated whether or not the device 10 in the image data is a registered device.
  • the image processing unit 26 determines whether or not the device 10 is attached to the user based on the positional relationship between the user and the device 10 in the image data (S14).
  • the image processing unit 26 determines that the correct user is wearing the correct device and is in the correct measurement state (S15).
  • the image processing unit 26 can be used by the correct user. It is determined that the measurement state is not correct with the correct equipment attached (S16).
  • the measurement control device 20 repeatedly continues the operations of steps S11 to S16 described above, and the correct user is in the period during which the user and the device 10 are authenticated and the device 10 is determined to be attached to the user. Is determined to be in the correct measurement state with the correct equipment installed.
  • the control unit 22 of the measurement control device 20 may execute the measurement of the user's vital data by the device 10 in parallel with the determination of the period of the correct measurement state described above.
  • the vital data measured by the device 10 includes information regarding the measurement time
  • the determination information for the period of the correct measurement state includes information regarding the determination time. Then, based on the above-mentioned period of the correct measurement state (judgment time) and the measurement time of the vital data, the vital data measured during the period of the correct measurement state (judgment time) is judged to be highly reliable data. Can be done.
  • control unit 22 of the measurement control device 20 executes the measurement of the user's vital data by the device 10 during the period determined to be the correct measurement state according to the determination of the period of the correct measurement state described above, and is correct.
  • the measurement of the user's vital data by the device 10 may not be performed except during the period determined to be the measurement state. For example, as shown in FIG. 6, when the device 10 is removed from the image data (NO in S13), the measurement of the vital data is terminated.
  • the vital data measurement control device 20 and the vital data measurement state determination method of the present embodiment -Based on the image data, the user's face is authenticated and the device 10 is authenticated. -Based on the positional relationship between the user and the device 10 in the image data, it is determined whether or not the device 10 is attached to the user. -The period during which the user and the device 10 are authenticated and the device 10 is determined to be worn by the user is determined to be the correct measurement state in which the correct user is wearing the correct device 10. This makes it possible to determine the vital data measured during the period in which the correct user is wearing the correct device 10 and is in the correct measurement state. In other words, it is possible to determine the replacement vital data measured during the period when the correct user is wearing the correct device and the measurement state is not correct. As a result, it is possible to suppress the replacement of various vital data.
  • control unit 22 may control the pan, tilt, zoom, or wide-angle mode of the camera 21 so as to follow the movement of the user. According to this, the user's face and the device 10 are less likely to come off from the image data, and the replacement of vital data can be further suppressed.
  • control unit 22 may cause the display unit (notification unit) 29 to notify the user to move to an appropriate position (for example, the arrow and the message in FIG. 7). According to this, the user's face and the device 10 are less likely to come off from the image data, and the replacement of vital data can be further suppressed.
  • control unit 22 may cause the display unit (notification unit) 29 to notify the user of the correct mounting position of the device (for example, the arrow in FIG. 8). According to this, the user can mount the device 10 in the correct position, and the measurement state becomes more correct.
  • the image processing unit 26 may further determine whether or not the mounting position of the device 10 is correct. According to this, the accuracy of the measurement data can be improved.
  • the image processing unit 26 may determine whether or not the posture of the user is correct.
  • the image processing unit 26 includes the type of device 10 in the image data, the positional relationship between the user's face and parts other than the face (for example, the positional relationship between the face, shoulders, elbows, and hands in FIG. 9), and the user's body. Based on the movement per unit time as a whole, it is determined whether or not the measurement state is correct, which is a resting posture according to the type of device. According to this, the accuracy of the measurement data can be improved.
  • the configuration of the vital data measurement system 1 and the vital data measurement control device 20 according to the second embodiment is the same as the configuration of the vital data measurement system 1 and the vital data measurement control device 20 according to the first embodiment shown in FIGS. 1 and 2. It is the same.
  • the functions and operations of the control unit 22 and the image processing unit 26 in the vital data measurement control device 20 are different from those in the first embodiment.
  • the control unit 22 controls the camera 21 to acquire user image data including a user's face and a portion other than the user's face, and device image data including a portion other than the user's face and the device.
  • the control unit 22 transmits the user image data and the device image data to the image processing unit 26.
  • the control unit 22 may display the user image data and the device image data on the display unit 29 in order.
  • the image processing unit 26 authenticates the user's face based on the user image data. For example, the image processing unit 26 collates the user's face in the user image data with the user's registration information stored in advance in the storage unit 24. Further, the image processing unit 26 authenticates the device 10 based on the device image data. For example, the image processing unit 26 collates the device 10 in the device image data with the feature amount of the device stored in the storage unit 24.
  • the image processing unit 26 relates to the relationship between the part other than the user's face in the user image data and the part other than the user's face in the device image data, and the part other than the user's face in the device image data and the device 10. Based on the positional relationship of, it is determined whether or not the device 10 is attached to the user.
  • the image processing unit 26 is in a correct measurement state in which the correct user is wearing the correct device 10 during the period in which the user and the device 10 are authenticated and the device 10 is determined to be worn by the user. Judge that there is.
  • the control unit 22 controls the camera 21 to include the first user image data including the user's face and the first part other than the user's face, and the n-1 part and the n-1 part other than the user's face.
  • the nth user image data including the nth part of the user and the device image data including the nth part of the user and the device are acquired (n is an integer of 2 or more, that is, the number of the user image data, that is, (image). Number of data-1).).
  • the control unit 22 transmits the first user image data, the nth user image data, and the device image data to the image processing unit 26.
  • the control unit 22 may display the first user image data, the nth user image data, and the device image data on the display unit 29 in order.
  • the image processing unit 26 authenticates the user's face based on the first user image data. For example, the image processing unit 26 collates the user's face in the first user image data with the user's registration information stored in advance in the storage unit 24. Further, the image processing unit 26 authenticates the device 10 based on the device image data. For example, the image processing unit 26 collates the device 10 in the device image data with the feature amount of the device stored in the storage unit 24.
  • the image processing unit 26 describes the relationship between the first part other than the user's face in the first user image data and the user's n-1 part in the nth user image data, and the user's first part in the nth user image data.
  • the device 10 is attached to the user based on the relationship between the n site and the user's nth site in the device image data, and the positional relationship between the device 10 and the nth site other than the user's face in the device image data. It is determined whether or not it is present.
  • the image processing unit 26 is in a correct measurement state in which the correct user is wearing the correct device 10 during the period in which the user and the device 10 are authenticated and the device 10 is determined to be worn by the user. Judge that there is.
  • FIG. 10 is a flowchart of a determination operation of a measurement state of vital data by the vital data measurement control device according to the second embodiment
  • FIG. 11 is a diagram showing an example of user image data and device image data.
  • the user operates the operation unit 28 of the vital data measurement control device 20 to start the measurement of vital data. Then, as shown in FIG. 10, the vital data measurement control device 20 performs user authentication, device authentication, and determination of the measurement state.
  • control unit 22 controls the camera 21 to image the user's face and acquire the first user image data including the user's face (step S11).
  • the control unit 22 transmits the acquired first user image data to the image processing unit 26. Further, the control unit 22 may display the first user image data on the display unit 29.
  • the image processing unit 26 authenticates the user's face based on the first user image data (step S12). For example, as shown in FIG. 11, the image processing unit 26 collates the user's face in the first user image data with the user registration information stored in advance in the storage unit 24, thereby collating the user in the first user image data. Authenticates whether or not the face of the registered user is the face of the registered user.
  • the image processing unit 26 authenticates the device 10 based on the first user image data in the same manner as described above (step S13). If the device can be authenticated, the process proceeds to step S14 in the same manner as described above.
  • the image processing unit 26 identifies the first portion (neck in FIG. 11) other than the user's face based on the first user image data (step S21).
  • the control unit 22 moves and controls the camera 21 to image the user's first part (neck in FIG. 11), and the user's first part (neck) is imaged.
  • the second user image data including the part (neck in FIG. 11) is acquired (step S22).
  • the control unit 22 transmits the acquired second user image data to the image processing unit 26. Further, the control unit 22 may display the second user image data on the display unit 29.
  • the image processing unit 26 is based on the relationship between the user's first part (neck in FIG. 11) in the first user image data and the user's first part (neck in FIG. 11) in the second user image data. 2 It is identified whether the first part (neck in FIG. 11) in the user image data is the part of the user whose face has been authenticated (step S23).
  • step S13 When the first part (neck in FIG. 11) in the second user image data is identified as the part of the user whose face has been authenticated, the process returns to step S13, and the image processing unit 26 uses the second user as described above.
  • the device is authenticated based on the image data (step S13). If the device can be authenticated, the process proceeds to step S14 in the same manner as described above.
  • the device 10 may not be included in the second user image data. In that case, the operations of steps S21 to S23 and step S13 are repeated. That is, the image processing unit 26 identifies the second part (shoulder in FIG. 11) other than the first part (neck in FIG. 11) of the user based on the second user image data (step S21).
  • control unit 22 moves and controls the camera 21 to image the user's second part (shoulder in FIG. 11) and the device, and the user Acquire device image data including the second portion (shoulder in FIG. 11) and the device (step S22).
  • the control unit 22 transmits the acquired device image data to the image processing unit 26. Further, the control unit 22 may display the device image data on the display unit 29.
  • the image processing unit 26 is based on the relationship between the user's second part (shoulder in FIG. 11) in the second user image data and the user's second part (shoulder in FIG. 11) in the device image data.
  • the second part (shoulder in FIG. 11) in the above is the part of the user whose face has been authenticated (step S23).
  • step S13 When the second part (shoulder in FIG. 11) in the device image data is identified as the part of the user whose face has been authenticated, the process returns to step S13, and the image processing unit 26 is based on the device image data as described above. Then, the device is authenticated (step S13).
  • the image processing unit 26 has device shape or identification information (serial number or QR code, etc.) in device image data and device registration information (device shape, serial number, QR code, etc.) stored in advance in the storage unit 24. By collating with the identification information), it is authenticated whether or not the device 10 in the device image data is a registered device.
  • device shape or identification information serial number or QR code, etc.
  • device registration information device shape, serial number, QR code, etc.
  • the image processing unit 26 first collates the identification information input by the user with the device registration information (identification information) stored in advance in the storage unit 24, so that the device is selected from among a plurality of types of devices. Identify the type of.
  • the mounting position of the device can be specified from the type of the device. As a result, the authentication accuracy of the subsequent device can be improved.
  • the image processing unit 26 collates the shape or QR code of the device in the device image data with the device registration information stored in advance in the storage unit 24 and corresponding to the specified device type. By doing so, it is authenticated whether or not the device in the device image data is a registered device. If the device can be authenticated, the process proceeds to step S14 in the same manner as described above.
  • step S21 when the user's part (for example, hand, toe) cannot be identified, the process proceeds to step S16.
  • the image processing unit 26 determines whether or not the device 10 is attached to the user based on the positional relationship between the user and the device 10 in the device image data (as described above). S14).
  • the image processing unit 26 determines that the correct user is wearing the correct device and is in the correct measurement state (S15).
  • the image processing unit 26 determines that the correct user is not in the correct measurement state wearing the correct device (S16).
  • the measurement control device 20 repeatedly continues the operations of steps S11 to S16 and steps S21 to S23 described above, and it is determined that the user and the device 10 are authenticated and the device 10 is attached to the user. The period is determined to be the correct measurement state with the correct user wearing the correct equipment.
  • the measurement control device 20 may repeatedly continue the operations of steps S13 to S16 and steps S21 to S23 based only on the device image data.
  • the control unit 22 of the measurement control device 20 may execute the measurement of the user's vital data by the device 10 in parallel with the determination of the period of the correct measurement state described above.
  • the vital data measured by the device 10 includes information regarding the measurement time
  • the determination information for the period of the correct measurement state includes information regarding the determination time. Then, based on the above-mentioned period of the correct measurement state (judgment time) and the measurement time of the vital data, the vital data measured during the period of the correct measurement state (judgment time) is judged to be highly reliable data. Can be done.
  • control unit 22 of the measurement control device 20 executes the measurement of the user's vital data by the device 10 during the period determined to be the correct measurement state according to the determination of the period of the correct measurement state described above, and is correct.
  • the measurement of the user's vital data by the device 10 may not be performed except during the period determined to be the measurement state.
  • the vital data measurement control device 20 and the vital data measurement state determination method of the second embodiment have the same advantages as the vital data measurement control device 20 and the vital data measurement state determination method of the first embodiment described above. Can be obtained.
  • control unit 22 controls the pan, tilt, zoom, or wide-angle mode of the camera 21 so as to follow the movement of the user, as in the modification 1 of the first embodiment described above. You may. According to this, the user's face and the device 10 are less likely to come off from the image data, and the replacement of vital data can be further suppressed.
  • control unit 22 notifies the display unit (notification unit) 29 to notify the user to move to an appropriate position. You may let me. According to this, the user's face and the device 10 are less likely to come off from the image data, and the replacement of vital data can be further suppressed.
  • control unit 22 may cause the display unit (notification unit) 29 to notify the user of the correct mounting position of the device. .. According to this, the user can mount the device 10 in the correct position, and the measurement state becomes more correct.
  • the image processing unit 26 further determines whether or not the mounting position of the device 10 is correct. May be determined. According to this, the accuracy of the measurement data can be improved.
  • the image processing unit 26 determines whether or not the posture of the user is correct. You may go.
  • the image processing unit 26 is based on the type of the device 10 in the device image data, the positional relationship between the user's face and parts other than the face in the user image data and the device image data, and the movement of the entire user's body per unit time. Therefore, it is determined whether or not the measurement state is correct, which is a quiet posture according to the type of device. According to this, the accuracy of the measurement data can be improved.
  • the present invention is not limited to the above-described embodiments, and various modifications, modifications, and combinations are possible.
  • the vital data measurement control device 20 and the vital data measurement system 1 that acquire one type of vital data measured by one type of vital data measurement device 10 are exemplified.
  • the present invention is not limited to this, and is also applicable to a vital data measurement control device and a vital data measurement system that simultaneously acquire a plurality of types of vital data measured by a plurality of types of vital data measuring devices.
  • the present invention is also applicable to a 12-lead electrocardiogram, as shown in FIG.
  • the correct user is wearing the correct plurality of devices (six electrodes on the chest and four electrodes on the limbs) based on the user image data and the device image data. It can be determined that the measurement state is correct.
  • control unit 22 and the image processing unit 26 are provided in the vital data measurement control device 20, but some of the functions of the control unit 22 and the image processing unit 26 are hosted devices on the doctor side. May be prepared for. This allows physicians to control the measurement of vital data for real-time online practice.
  • the vital data measuring device 10 used for telemedicine and the vital data measuring state determination method are exemplified, but the present invention is not limited to this and can be applied to various fields.
  • the present invention is not limited to this and can be applied to various fields.
  • it can also be applied to the field of medical insurance or life insurance.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Pathology (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Psychiatry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

種々のバイタルデータのすり替えを抑制することが可能なバイタルデータ測定制御装置を提供する。バイタルデータ測定制御装置(20)は、バイタルデータを測定する機器(10)を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定を制御する装置であって、カメラ(21)を制御して、ユーザの顔および機器を含む画像データを取得する制御部(22)と、画像データに基づいて、ユーザの顔の認証および機器(10)の認証を行う画像処理部(26)と、を備え、画像処理部(26)は、画像データにおけるユーザと機器(10)との位置関係に基づいて、機器(10)がユーザに装着されているか否かの判定を行い、ユーザおよび機器(10)が認証されており、かつ、機器(10)がユーザに装着されていると判定されている期間を、正しいユーザが正しい機器(10)を装着している正しい測定状態であると判定する。

Description

バイタルデータ測定制御装置、バイタルデータ測定システム、バイタルデータ測定状態判定方法、バイタルデータ測定状態判定プログラム、および記録媒体
 本発明は、バイタルデータ測定制御装置、バイタルデータ測定システム、バイタルデータ測定状態判定方法、バイタルデータ測定状態判定プログラム、および記録媒体に関する。
 例えば遠隔診療において、患者(ユーザ)自身が自宅で測定したバイタルデータ(バイタルサイン:Vital sign、生体情報:biometric information)(体温、脈拍、血圧、肺音等)を、医師が患者の診断の補助情報として利用することが知られている。このような技術では、測定されたバイタルデータが、ユーザ本人のデータであることを証明することが要求される。
 特許文献1には、血圧の測定状態判定方法が開示されている。この血圧の測定状態判定方法では、ユーザがスマートフォンまたはタブレットを持ってスマートフォンまたはタブレットのカメラでユーザ自身の顔を撮像し、撮像された画像データに基づいてユーザの心臓の高さに対するユーザの腕に装着された血圧計の高さを推定することにより、ユーザが正しい測定姿勢(測定状態)であるか否かを判定する。これにより、ユーザが意図的に不正な測定をすることを抑止することができるとしている。
 そして、上述した証明方法に関し、この血圧の測定状態判定方法では、スマートフォンまたはタブレットのカメラを用いて撮像されたユーザの顔を含む画像データに基づいて、顔認証によるユーザの個人認証を行う。これにより、別人による血圧測定を防止できるとしている。
特開2018-23768号公報
 しかし、上述した血圧の測定状態判定方法では、カメラで撮像された画像データに基づいて顔認証によるユーザの個人認証を行いつつ、第三者が血圧計(機器)を装着して血圧を測定することが可能であり、第三者の血圧データをユーザの血圧データとする血圧データのすり替えが可能である。
 この点に関し、特許文献1には、カメラで撮像されたユーザの顔を含む画像データから体表面の色素情報を時系列に分析することによってユーザの脈拍を測定し、この画像データから測定された脈拍と血圧計からの脈拍とを比較することにより、血圧計により測定された血圧がユーザの血圧であることを確実に判定することができる、と記載されている。しかし、この方法は、血圧以外のバイタルデータの測定には適用できない。
 そこで、本発明は、種々のバイタルデータのすり替えを抑制することが可能なバイタルデータ測定制御装置、バイタルデータ測定システム、バイタルデータ測定状態判定方法、バイタルデータ測定状態判定プログラム、および記録媒体を提供することを目的とする。
 本発明に係るバイタルデータ測定制御装置は、バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定を制御する装置であって、撮像装置を制御して、前記ユーザの顔および前記機器を含む画像データを取得する制御部と、前記画像データに基づいて、前記ユーザの顔の認証および前記機器の認証を行う画像処理部と、を備え、前記画像処理部は、前記画像データにおける前記ユーザと前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行い、前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する。
 本発明に係る別のバイタルデータ測定制御装置は、バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定を制御する装置であって、撮像装置を制御して、前記ユーザの顔および前記ユーザの顔以外の部位を含むユーザ画像データと、前記ユーザの顔以外の部位および前記機器を含む機器画像データとを取得する制御部と、前記ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行う画像処理部と、を備え、前記画像処理部は、前記ユーザ画像データにおける前記ユーザの顔以外の部位と前記機器画像データにおける前記ユーザの顔以外の部位との関連性、および、前記機器画像データにおける前記ユーザの顔以外の部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行い、前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する。
 本発明に係るバイタルデータ測定システムは、バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定を制御する、上記のバイタルデータ測定制御装置と、前記機器と、前記撮像装置と、前記バイタルデータ測定制御装置からバイタルデータが供給されるホスト装置と、を備える。
 本発明に係るバイタルデータ測定状態判定方法は、バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定状態を判定する方法であって、撮像装置を制御して、前記ユーザの顔および前記機器を含む画像データを取得し、前記画像データに基づいて、前記ユーザの顔の認証および前記機器の認証を行い、前記画像データにおける前記ユーザと前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行い、前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する。
 本発明に係る別のバイタルデータ測定状態判定方法は、バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定状態を判定する方法であって、撮像装置を制御して、前記ユーザの顔および前記ユーザの顔以外の部位を含むユーザ画像データと、前記ユーザの顔以外の部位および前記機器を含む機器画像データとを取得し、前記ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行い、前記ユーザ画像データにおける前記ユーザの顔以外の部位と前記機器画像データにおける前記ユーザの顔以外の部位との関連性、および、前記機器画像データにおける前記ユーザの顔以外の部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行い、前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する。
 本発明に係るバイタルデータ測定状態判定プログラムは、バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定状態を判定するプログラムであって、コンピュータに、撮像装置を制御して、前記ユーザの顔および前記機器を含む画像データを取得する機能と、前記画像データに基づいて、前記ユーザの顔の認証および前記機器の認証を行う機能と、前記画像データにおける前記ユーザと前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行う機能と、前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する機能と、を実行させる。
 本発明に係る別のバイタルデータ測定状態判定プログラムは、バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定状態を判定するプログラムであって、コンピュータに、撮像装置を制御して、前記ユーザの顔および前記ユーザの顔以外の部位を含むユーザ画像データと、前記ユーザの顔以外の部位および前記機器を含む機器画像データとを取得する機能と、前記ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行う機能と、前記ユーザ画像データにおける前記ユーザの顔以外の部位と前記機器画像データにおける前記ユーザの顔以外の部位との関連性、および、前記機器画像データにおける前記ユーザの顔以外の部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行う機能と、前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する機能と、を実行させる。
 本発明に係る記録媒体は、上記のバイタルデータ測定状態判定プログラムを記録したコンピュータ読み取り可能な記録媒体である。
 本発明によれば、種々のバイタルデータのすり替えを抑制することができる。
本実施形態に係るバイタルデータ測定システムを示す図である。 本実施形態に係るバイタルデータ測定制御装置を示す図である。 第1実施形態に係るバイタルデータ測定状態判定動作のフローチャートである。 画像データの一例を示す図である。 画像データの一例を示す図である。 画像データの一例を示す図である。 ユーザに移動を促す通知の一例を示す図である。 機器の取り付け位置の通知の一例を示す図である。 正しい姿勢である画像データの一例を示す図である。 第2実施形態に係るバイタルデータ測定状態判定動作のフローチャートである。 ユーザ画像データおよび機器画像データの一例を示す図である。 ユーザ画像データおよび機器画像データの一例を示す図である。
 以下、添付の図面を参照して本発明の実施形態の一例について説明する。なお、各図面において同一または相当の部分に対しては同一の符号を附すこととする。
(第1実施形態)
<バイタルデータ測定システム>
 図1は、本実施形態に係るバイタルデータ測定システムを示す図である。図1に示すバイタルデータ測定システム1は、バイタルデータ測定機器10(以下では、省略して機器とも称する。)と、バイタルデータ測定制御装置20(以下では、省略して測定制御装置とも称する。)と、ホスト装置30とを備える。バイタルデータ測定システム1は、例えばユーザの遠隔診療に利用される。この場合、ユーザが機器10および測定制御装置20を所有し、医師がホスト装置30を所有する。
 バイタルデータ測定機器10としては、血圧計、脈拍計、心電計、聴診器、喉検査機器、耳検査機器等の所謂生体情報センサデバイスが挙げられる。機器10は、測定制御装置20の制御により、ユーザのバイタルデータの測定を行う。機器10は、測定したバイタルデータを測定制御装置20に送信する。
 バイタルデータ測定制御装置20としては、スマートフォン、タブレット、PC等の情報処理装置が挙げられる。測定制御装置20は、ユーザがバイタルデータの測定を行う際に、機器10によるバイタルデータの測定を制御して、機器10からバイタルデータを受信する。また、測定制御装置20は、ネットワーク5を介してホスト装置30にバイタルデータを送信し、ホスト装置30から情報(例えば、機器10の登録情報)を受信する。測定制御装置20の詳細については後述する。
 ホスト装置30としては、タブレット、PC等の情報処理装置が挙げられる。ホスト装置30は、ネットワーク5を介して測定制御装置20からバイタルデータを受信し、測定制御装置20に情報(例えば、機器10の登録情報)を送信する。
 機器10と測定制御装置20との通信規格としては、特に限定されないが、Bluetooth(登録商標)またはWi-Fi(登録商標)等の所謂近距離の無線通信規格が挙げられる。また、測定制御装置20とホスト装置30との通信規格としては、特に限定されないが、例えばアクセスポイントAPおよびネットワーク5を介して、無線LAN(Local Area Network)、LTE(Long Term Evolution)または3G等の無線通信規格、或いは有線LAN等の通信規格が挙げられる。
<<バイタルデータ測定制御装置>>
 以下では、バイタルデータ測定制御装置20について詳細に説明する。図2は、本実施形態に係るバイタルデータ測定制御装置を示す図である。図2に示すバイタルデータ測定制御装置20は、カメラ(撮像装置)21、制御部22、記憶部24、画像処理部26、操作部28と、表示部(通知部)29とを備える。
 カメラ21は、制御部22の制御により、ユーザおよび機器10を撮像し、ユーザの顔および機器10を含む画像データを生成する。カメラ21は、画像データを制御部22に送信する。
 カメラ21としては、スマートフォン、タブレット、PC等の測定制御装置20に内蔵されたカメラであってもよいし、測定制御装置20に外付けされたカメラであってもよい。スマートフォン、タブレット、PC等の内臓カメラでは、パン、チルト、ズームまたは広角モード等の機能に制限があるため、外付けカメラを用いることにより、これらの機能を向上することができる。これにより、撮像したい対象を撮像するために、カメラの移動またはユーザの移動を最小限に抑制することができる。
 制御部22は、カメラ21を制御して、ユーザの顔および機器10を含む画像データを取得する。制御部22は、画像データを画像処理部26に送信する。なお、制御部22は、画像データを記憶部24に一旦記憶してもよいし、或いは表示部29に表示させてもよい。
 また、制御部22は、機器10を制御して、機器10によって測定されたユーザのバイタルデータを取得する。制御部22は、取得したバイタルデータを記憶部24に一旦記憶する。制御部22は、記憶部24に記憶されたバイタルデータをホスト装置30に送信する。
 記憶部24は、バイタルデータを一時記憶する。また、記憶部24は、後述するユーザ認証のためのユーザの顔の特徴量を、ユーザの登録情報として予め記憶する。また、記憶部24は、後述する機器認証のための機器の特徴量を、機器の登録情報として予め記憶する。
 画像処理部26は、画像データに基づいて、ユーザの顔の認証を行う。例えば、画像処理部26は、画像データにおけるユーザの顔と、記憶部24に予め記憶されたユーザの登録情報との照合を行う。また、画像処理部26は、画像データに基づいて機器10の認証を行う。例えば、画像処理部26は、画像データにおける機器10と、記憶部24に記憶された機器の特徴量との照合を行う。
 また、画像処理部26は、画像データに基づいて、機器10がユーザに装着されているか否かの判定を行う。例えば、画像処理部26は、画像データにおけるユーザと機器10との位置関係に基づいて、機器10がユーザに装着されているか否かの判定を行う。
 画像処理部26は、ユーザおよび機器10が認証されており、かつ、機器10がユーザに装着されていると判定されている期間を、正しいユーザが正しい機器10を装着している正しい測定状態であると判定する。
 上述した記憶部24は、制御部22および画像処理部26により実行されるプログラム(アプリケーション)またはデータを記憶する。記憶部24は、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、または着脱可能なメモリカード等の記録媒体で構成される。
 上述した制御部22および画像処理部26は、例えば、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field-Programmable Gate Array)等の演算プロセッサで構成される。制御部22および画像処理部26の各種機能は、例えば記憶部24に格納されたプログラム(アプリケーション)を実行することで実現される。プログラム(アプリケーション)は、ネットワークを介して提供されてもよいし、CD-ROM(Compact Disc Read only memory)またはDVD(Digital Versatile Disc)等のコンピュータ読み取り可能な記録媒体(computer readable storage medium)40に記録されて提供されてもよい。記録媒体としては、一時的でない有形の媒体(non-transitory tangible media)が挙げられる。
 操作部28は、ユーザが操作を行う操作部である。操作部28は、例えば物理的な操作ボタンを有するキーボードまたはマウス等、或いは仮想的な操作ボタンを有するタッチパネル等、で構成される。
 表示部29は、ユーザに情報を通知する通知部である。表示部29は、例えば液晶ディスプレイまたは有機ELディスプレイで構成される。なお、通知部はこれに限定されず、ブザー等の音で通知するスピーカ、発光、点滅または色等の光で通知するLED等の発光素子、等であってもよい。
 次に、図3~図6を参照して、上述したバイタルデータ測定制御装置20によるバイタルデータの測定状態の判定動作について説明する。図3は、第1実施形態に係るバイタルデータ測定制御装置によるバイタルデータの測定状態の判定動作のフローチャートであり、図4~6は、画像データの一例を示す図である。
 ユーザは、バイタルデータ測定制御装置20の操作部28を操作して、バイタルデータの測定を開始する。すると、図3に示すように、バイタルデータ測定制御装置20は、ユーザの認証、機器の認証、および測定状態の判定を行う。
 まず、制御部22は、カメラ21を制御して、ユーザの顔および機器10を撮像し、ユーザの顔および機器10を含む画像データを取得する(ステップS11)。制御部22は、取得した画像データを画像処理部26に送信する。なお、制御部22は、画像データを記憶部24に一旦記憶させ、画像処理部26は、記憶部24に記憶された画像データを取得してもよい。また、制御部22は、画像データを表示部29に表示させてもよい。
 次に、図4に示すように、画像処理部26は、画像データに基づいて、ユーザの顔の認証を行う(ステップS12)。
 例えば、記憶部24は、ユーザの顔の特徴量を、ユーザの登録情報として予め記憶する。ユーザの顔の特徴量は、予めカメラでユーザ自身を撮像した画像データであってもよいし、免許証、パスポートなどの公的機関が発行する写真を予めカメラで撮像した画像データであってもよい。画像処理部26は、画像データにおけるユーザの顔と、記憶部24に予め記憶されたユーザ登録情報とを照合することにより、画像データにおけるユーザの顔が登録されたユーザの顔であるか否かの認証を行う。
 このとき、制御部22は、画像データにおいてユーザの顔および機器10が適切な位置に配置されるように、カメラ21のパンおよびチルトの制御を行ってもよい。これにより、撮像したい対象を撮像するために、カメラの移動またはユーザの移動を最小限に抑制することができる。
 また、図5に示すように、制御部22は、画像データにおいてユーザの顔および機器10が適切な位置に配置されるように、カメラ21のズームおよび広角モードの制御を行ってもよい。これにより、撮像したい対象を撮像するために、カメラの移動またはユーザの移動を最小限に抑制することができる。
 例えば、制御部22は、ユーザの顔を拡大するように、カメラ21のズームアップ制御を行ってもよい。このとき、上述したユーザの顔の認証を行ってもよい。これにより、ユーザの顔の認証の精度を向上させることができる。また、制御部22は、ユーザの顔および機器10を含むように、カメラ21のズームアウト制御または広角モード制御を行ってもよい。このとき、後述する機器10の認証を行ってもよい。
 ユーザの顔の認証ができた場合、画像処理部26は、画像データに基づいて、機器10の認証を行う(ステップS13)。
 例えば、記憶部24は、複数の機器の特徴量を、機器の登録情報として予め記憶する。機器の特徴量としては、機器の種類ごとの形状、機器ごとのシリアル番号またはQRコード(登録商標)等の識別情報等が挙げられる。機器の特徴量は、例えばホスト装置30から取得されればよい。画像処理部26は、画像データにおける機器10の形状または識別情報(シリアル番号またはQRコード等)と、記憶部24に予め記憶された機器登録情報(機器の形状、またはシリアル番号またはQRコード等の識別情報)とを照合することにより、画像データにおける機器10が登録された機器であるか否かの認証を行う。
 或いは、記憶部24は、複数の機器の特徴量と識別情報とを関連付けて、機器の登録情報として予め記憶する。機器の特徴量としては、機器の種類ごとの形状、機器ごとのQRコード等が挙げられ、機器の識別情報としては、機器ごとのシリアル番号等が挙げられる。まず、ユーザは、測定時に、使用する機器のシリアル番号等の識別情報を入力する。これにより、画像処理部26は、入力された識別情報と、記憶部24に予め記憶された機器登録情報(識別情報)とを照合することにより、複数の種類の機器の中から機器の種類を特定することができる。また、機器の種類から機器の取り付け位置をも特定することができる。その結果、その後の機器の認証精度を高めることができる。
 その後、画像処理部26は、画像データにおける機器の形状またはQRコードと、記憶部24に予め記憶された機器登録情報であって、特定された機器の種類に対応する機器登録情報とを照合することにより、画像データにおける機器10が登録された機器であるかの認証を行う。
 機器10の認証ができた場合、画像処理部26は、画像データにおけるユーザと機器10との位置関係に基づいて、機器10がユーザに装着されているか否かの判定を行う(S14)。
 機器10がユーザに装着されていると判定された場合、画像処理部26は、正しいユーザが正しい機器を装着している正しい測定状態であると判定する(S15)。
 一方、ステップS12においてユーザの顔の認証ができない場合、ステップS13において機器10の認証ができない場合、または、ステップS14において機器10がユーザに装着されていない場合、画像処理部26は、正しいユーザが正しい機器を装着している正しい測定状態でないと判定する(S16)。
 測定制御装置20は、上述したステップS11~S16の動作を繰り返し継続し、ユーザおよび機器10が認証されており、かつ、機器10がユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する。
 測定制御装置20の制御部22は、上述した正しい測定状態の期間の判定と並行して、機器10によるユーザのバイタルデータの測定を実行してもよい。この場合、例えば、機器10によって測定されたバイタルデータは測定時間に関する情報を含み、正しい測定状態の期間の判定情報は判定時間に関する情報を含む。そして、上述した正しい測定状態の期間(判定時間)とバイタルデータの測定時間とに基づいて、正しい測定状態の期間(判定時間)に測定されたバイタルデータを、信頼性が高いデータと判断することができる。
 或いは、測定制御装置20の制御部22は、上述した正しい測定状態の期間の判定に応じて、正しい測定状態であると判定された期間に機器10によるユーザのバイタルデータの測定を実行し、正しい測定状態であると判定された期間以外では機器10によるユーザのバイタルデータの測定を実行しないようにしてもよい。例えば、図6に示すように、画像データから機器10が外れた場合(S13においてNO)、バイタルデータの測定を終了する。
 以上説明したように、本実施形態のバイタルデータ測定制御装置20およびバイタルデータ測定状態判定方法によれば、
・画像データに基づいて、ユーザの顔の認証および機器10の認証を行い、
・画像データにおけるユーザと機器10との位置関係に基づいて、機器10がユーザに装着されているか否かの判定を行い、
・ユーザおよび機器10が認証されており、かつ、機器10がユーザに装着されていると判定されている期間を、正しいユーザが正しい機器10を装着している正しい測定状態であると判定する。
これにより、正しいユーザが正しい機器10を装着している正しい測定状態である期間に測定されたバイタルデータを判別することができる。換言すれば、正しいユーザが正しい機器を装着している正しい測定状態でない期間に測定されたすり替えバイタルデータを判別することができる。その結果、種々のバイタルデータのすり替えを抑制することができる。
(変形例1)
 なお、上述したステップS11~S16の動作を繰り返し行う際、制御部22は、ユーザの動きに追従するように、カメラ21のパン、チルト、ズームまたは広角モードの制御を行ってもよい。これによれば、ユーザの顔および機器10が画像データから外れ難くなり、バイタルデータのすり替えをより抑制することができる。
(変形例2)
 また、制御部22は、表示部(通知部)29に、適切な位置に移動するようユーザに促す通知を行わせてもよい(例えば、図7の矢印およびメッセージ)。これによれば、ユーザの顔および機器10が画像データから外れ難くなり、バイタルデータのすり替えをより抑制することができる。
(変形例3)
 また、制御部22は、表示部(通知部)29に、機器の正しい取り付け位置をユーザに通知させてもよい(例えば、図8の矢印)。これによれば、ユーザは機器10を正しい位置に装着でき、より正しい測定状態となる。
(変形例4)
 また、上述したステップS14における正しい測定状態の判定において、画像処理部26は、更に、機器10の取り付け位置が正しいか否かの判定を行ってもよい。これによれば、測定データの精度を向上することができる。
(変形例5)
 また、上述したステップS14における正しい測定状態の判定において、画像処理部26は、ユーザの姿勢が正しいか否かの判定を行ってもよい。例えば、画像処理部26は、画像データにおける、機器10の種類、ユーザの顔および顔以外の部位の位置関係(例えば、図9の顔、肩、肘、手の位置関係)、およびユーザの体全体の単位時間当たりの動きに基づいて、機器の種類に応じた安静な姿勢である正しい測定状態であるか否かを判定する。これによれば、測定データの精度を向上することができる。
(第2実施形態)
 上述した第1実施形態では、ユーザの顔および機器10が1つの画像データに含まれる形態について説明した。しかし、遠隔診療の分野では、機器10の取り付け位置、ユーザと測定制御装置20との距離の制限、カメラ21の機能(例えば、パン、チルト、ズームおよび広角モード)の制限等により、ユーザの顔と機器10とを1つの画像データに収めることが困難であることがある。第2実施形態では、ユーザの顔と機器とが異なる画像データに含まれる形態について説明する。
 第2実施形態に係るバイタルデータ測定システム1およびバイタルデータ測定制御装置20の構成は、図1および図2に示す第1実施形態に係るバイタルデータ測定システム1およびバイタルデータ測定制御装置20の構成と同一である。なお、第2実施形態では、バイタルデータ測定制御装置20における制御部22および画像処理部26の機能および動作が、第1実施形態と異なる。
<<2つの画像データの場合>>
 制御部22は、カメラ21を制御して、ユーザの顔およびユーザの顔以外の部位を含むユーザ画像データと、ユーザの顔以外の部位および機器を含む機器画像データとを取得する。制御部22は、ユーザ画像データおよび機器画像データを画像処理部26に送信する。なお、制御部22は、ユーザ画像データおよび機器画像データを順に表示部29に表示させてもよい。
 画像処理部26は、ユーザ画像データに基づいて、ユーザの顔の認証を行う。例えば、画像処理部26は、ユーザ画像データにおけるユーザの顔と、記憶部24に予め記憶されたユーザの登録情報との照合を行う。また、画像処理部26は、機器画像データに基づいて機器10の認証を行う。例えば、画像処理部26は、機器画像データにおける機器10と、記憶部24に記憶された機器の特徴量との照合を行う。
 また、画像処理部26は、ユーザ画像データにおけるユーザの顔以外の部位と機器画像データにおけるユーザの顔以外の部位との関連性、および、機器画像データにおけるユーザの顔以外の部位と機器10との位置関係に基づいて、機器10がユーザに装着されているか否かの判定を行う。
 画像処理部26は、ユーザおよび機器10が認証されており、かつ、機器10がユーザに装着されていると判定されている期間を、正しいユーザが正しい機器10を装着している正しい測定状態であると判定する。
<<3つ以上の画像データの場合>>
 制御部22は、カメラ21を制御して、ユーザの顔およびユーザの顔以外の第1部位を含む第1ユーザ画像データと、ユーザの顔以外の第n-1部位および第n-1部位以外の第n部位を含む第nユーザ画像データと、ユーザの第n部位および機器を含む機器画像データとを取得する(nは、2以上の整数であって、ユーザ画像データの数、すなわち(画像データの数-1)である。)。制御部22は、第1ユーザ画像データ、第nユーザ画像データおよび機器画像データを画像処理部26に送信する。なお、制御部22は、第1ユーザ画像データ、第nユーザ画像データおよび機器画像データを順に表示部29に表示させてもよい。
 画像処理部26は、第1ユーザ画像データに基づいて、ユーザの顔の認証を行う。例えば、画像処理部26は、第1ユーザ画像データにおけるユーザの顔と、記憶部24に予め記憶されたユーザの登録情報との照合を行う。また、画像処理部26は、機器画像データに基づいて機器10の認証を行う。例えば、画像処理部26は、機器画像データにおける機器10と、記憶部24に記憶された機器の特徴量との照合を行う。
 また、画像処理部26は、第1ユーザ画像データにおけるユーザの顔以外の第1部位と第nユーザ画像データにおけるユーザの第n-1部位との関連性、第nユーザ画像データにおけるユーザの第n部位と機器画像データにおけるユーザの第n部位との関連性、および、機器画像データにおけるユーザの顔以外の第n部位と機器10との位置関係に基づいて、機器10がユーザに装着されているか否かの判定を行う。
 画像処理部26は、ユーザおよび機器10が認証されており、かつ、機器10がユーザに装着されていると判定されている期間を、正しいユーザが正しい機器10を装着している正しい測定状態であると判定する。
 次に、図10~図11を参照して、第2実施形態に係るバイタルデータ測定制御装置20によるバイタルデータの測定状態の判定動作について説明する。図10は、第2実施形態に係るバイタルデータ測定制御装置によるバイタルデータの測定状態の判定動作のフローチャートであり、図11は、ユーザ画像データおよび機器画像データの一例を示す図である。
 ユーザは、バイタルデータ測定制御装置20の操作部28を操作して、バイタルデータの測定を開始する。すると、図10に示すように、バイタルデータ測定制御装置20は、ユーザの認証、機器の認証、および測定状態の判定を行う。
 まず、上述同様に、制御部22は、カメラ21を制御して、ユーザの顔を撮像し、ユーザの顔を含む第1ユーザ画像データを取得する(ステップS11)。制御部22は、取得した第1ユーザ画像データを画像処理部26に送信する。また、制御部22は、第1ユーザ画像データを表示部29に表示させてもよい。
 次に、上述同様に、画像処理部26は、第1ユーザ画像データに基づいて、ユーザの顔の認証を行う(ステップS12)。例えば、図11に示すように、画像処理部26は、第1ユーザ画像データにおけるユーザの顔と、記憶部24に予め記憶したユーザ登録情報とを照合することにより、第1ユーザ画像データにおけるユーザの顔が登録されたユーザの顔であるか否かの認証を行う。
 ユーザの顔の認証ができた場合、上述同様に、画像処理部26は、第1ユーザ画像データに基づいて、機器10の認証を行う(ステップS13)。機器の認証ができた場合、上述同様に、ステップS14に進む。
 一方、機器の認証ができない場合、第1ユーザ画像データに機器10が含まれない可能性がある。その場合、画像処理部26は、第1ユーザ画像データに基づいて、ユーザの顔以外の第1部位(図11では首)の識別を行う(ステップS21)。
 ユーザの第1部位(図11では首)の識別ができた場合、制御部22は、カメラ21を移動制御して、ユーザの第1部位(図11では首)を撮像し、ユーザの第1部位(図11では首)を含む第2ユーザ画像データを取得する(ステップS22)。制御部22は、取得した第2ユーザ画像データを画像処理部26に送信する。また、制御部22は、第2ユーザ画像データを表示部29に表示させてもよい。
 画像処理部26は、第1ユーザ画像データにおけるユーザの第1部位(図11では首)と第2ユーザ画像データにおけるユーザの第1部位(図11では首)との関連性に基づいて、第2ユーザ画像データにおける第1部位(図11では首)が、顔認証されたユーザの部位であるかを識別する(ステップS23)。
 第2ユーザ画像データにおける第1部位(図11では首)が、顔認証されたユーザの部位であると識別された場合、ステップS13に戻り、上述同様に、画像処理部26は、第2ユーザ画像データに基づいて、機器の認証を行う(ステップS13)。機器の認証ができた場合、上述同様に、ステップS14に進む。
 一方、機器の認証ができない場合、第2ユーザ画像データに機器10が含まれない可能性がある。その場合、ステップS21~S23およびステップS13の動作を繰り返す。すなわち、画像処理部26は、第2ユーザ画像データに基づいて、ユーザの第1部位(図11では首)以外の第2部位(図11では肩)の識別を行う(ステップS21)。
 ユーザの第2部位(図11では肩)の識別ができた場合、制御部22は、カメラ21を移動制御して、ユーザの第2部位(図11では肩)および機器を撮像し、ユーザの第2部位(図11では肩)および機器を含む機器画像データを取得する(ステップS22)。制御部22は、取得した機器画像データを画像処理部26に送信する。また、制御部22は、機器画像データを表示部29に表示させてもよい。
 画像処理部26は、第2ユーザ画像データにおけるユーザの第2部位(図11では肩)と機器画像データにおけるユーザの第2部位(図11では肩)との関連性に基づいて、機器画像データにおける第2部位(図11では肩)が、顔認証されたユーザの部位であるかを識別する(ステップS23)。
 機器画像データにおける第2部位(図11では肩)が、顔認証されたユーザの部位であると識別された場合、ステップS13に戻り、上述同様に、画像処理部26は、機器画像データに基づいて、機器の認証を行う(ステップS13)。
 例えば、画像処理部26は、機器画像データにおける機器の形状または識別情報(シリアル番号またはQRコード等)と、記憶部24に予め記憶した機器登録情報(機器の形状、またはシリアル番号またはQRコード等の識別情報)とを照合することにより、機器画像データにおける機器10が登録された機器であるかの認証を行う。
 或いは、画像処理部26は、まず、ユーザによって入力された識別情報と、記憶部24に予め記憶された機器登録情報(識別情報)とを照合することにより、複数の種類の機器の中から機器の種類を特定する。また、機器の種類から機器の取り付け位置をも特定することができる。その結果、その後の機器の認証精度を高めることができる。その後、画像処理部26は、機器画像データにおける機器の形状またはQRコードと、記憶部24に予め記憶された機器登録情報であって、特定された機器の種類に対応する機器登録情報とを照合することにより、機器画像データにおける機器が登録された機器であるかの認証を行う。機器の認証ができた場合、上述同様に、ステップS14に進む。
 一方、また機器の認証ができない場合、今回の画像データにも機器が含まれない可能性がある。その場合、ステップS21~S23およびステップS13の動作を繰り返す。このように、ユーザの顔から手先または足先に向けて撮像領域を移動しながら撮像した複数の画像データにおいて、ユーザの部位の関連性に基づいてユーザの顔の認証を継承しながら、機器の認証を行う。そして、ステップS21において、ユーザの部位(例えば、手先、足先)の識別が行われなくなるとステップS16に進む。
 機器の認証ができた場合、画像処理部26は、上述同様に、機器画像データにおけるユーザと機器10との位置関係に基づいて、機器10がユーザに装着されているか否かの判定を行う(S14)。
 機器10がユーザに装着されていると判定された場合、画像処理部26は、正しいユーザが正しい機器を装着している正しい測定状態であると判定する(S15)。
 一方、ステップS12においてユーザの顔の認証ができない場合、ステップS21においてユーザの顔以外の部位の識別ができなくなった場合、ステップS23においてユーザの顔以外の部位が顔認証されたユーザの部位であると識別されない場合、または、ステップS14において機器がユーザに装着されていない場合、画像処理部26は、正しいユーザが正しい機器を装着している正しい測定状態でないと判定する(S16)。
 測定制御装置20は、上述したステップS11~S16およびステップS21~S23の動作を繰り返し継続し、ユーザおよび機器10が認証されており、かつ、機器10がユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する。
 或いは、測定制御装置20は、機器画像データのみに基づいて、ステップS13~S16およびステップS21~S23の動作を繰り返し継続するようにしてもよい。
 測定制御装置20の制御部22は、上述した正しい測定状態の期間の判定と並行して、機器10によるユーザのバイタルデータの測定を実行してもよい。この場合、例えば、機器10によって測定されたバイタルデータは測定時間に関する情報を含み、正しい測定状態の期間の判定情報は判定時間に関する情報を含む。そして、上述した正しい測定状態の期間(判定時間)とバイタルデータの測定時間とに基づいて、正しい測定状態の期間(判定時間)に測定されたバイタルデータを、信頼性が高いデータと判断することができる。
 或いは、測定制御装置20の制御部22は、上述した正しい測定状態の期間の判定に応じて、正しい測定状態であると判定された期間に機器10によるユーザのバイタルデータの測定を実行し、正しい測定状態であると判定された期間以外では機器10によるユーザのバイタルデータの測定を実行しないようにしてもよい。
 以上説明したように、第2実施形態のバイタルデータ測定制御装置20およびバイタルデータ測定状態判定方法でも、上述した第1実施形態のバイタルデータ測定制御装置20およびバイタルデータ測定状態判定方法と同様の利点を得ることができる。
(変形例6)
 この第2実施形態でも、上述した第1実施形態の変形例1と同様に、制御部22は、ユーザの動きに追従するように、カメラ21のパン、チルト、ズームまたは広角モードの制御を行ってもよい。これによれば、ユーザの顔および機器10が画像データから外れ難くなり、バイタルデータのすり替えをより抑制することができる。
(変形例7)
 また、この第2実施形態でも、上述した第1実施形態の変形例2と同様に、制御部22は、表示部(通知部)29に、適切な位置に移動するようユーザに促す通知を行わせてもよい。これによれば、ユーザの顔および機器10が画像データから外れ難くなり、バイタルデータのすり替えをより抑制することができる。
(変形例8)
 また、この第2実施形態でも、上述した第1実施形態の変形例3と同様に、制御部22は、表示部(通知部)29に、機器の正しい取り付け位置をユーザに通知させてもよい。これによれば、ユーザは機器10を正しい位置に装着でき、より正しい測定状態となる。
(変形例9)
 また、この第2実施形態でも、上述した第1実施形態の変形例4と同様に、ステップS14における正しい測定状態の判定において、画像処理部26は、更に、機器10の取り付け位置が正しいか否かの判定を行ってもよい。これによれば、測定データの精度を向上することができる。
(変形例10)
 また、この第2実施形態でも、上述した第1実施形態の変形例5と同様に、ステップS14における正しい測定状態の判定において、画像処理部26は、ユーザの姿勢が正しいか否かの判定を行ってもよい。例えば、画像処理部26は、機器画像データにおける機器10の種類、ユーザ画像データおよび機器画像データにおけるユーザの顔および顔以外の部位の位置関係、およびユーザの体全体の単位時間当たりの動きに基づいて、機器の種類に応じた安静な姿勢である正しい測定状態であるか否かを判定する。これによれば、測定データの精度を向上することができる。
 以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、種々の変更、変形および組み合わせが可能である。例えば、上述した実施形態では、1種類のバイタルデータ測定機器10によって測定された1種類のバイタルデータを取得するバイタルデータ測定制御装置20およびバイタルデータ測定システム1を例示した。しかし、本発明はこれに限定されず、複数種類のバイタルデータ測定機器によって測定された複数種類のバイタルデータを同時に取得するバイタルデータ測定制御装置およびバイタルデータ測定システムにも適用可能である。
 例えば、本発明は、図12に示すように、12誘導心電にも適用可能である。例えば第2実施形態を適用することにより、ユーザ画像データと機器画像データとに基づいて、正しいユーザが、正しい複数の機器(胸の6つの電極および手足首の4つの電極)を装着している正しい測定状態であることを判別することができる。
 また、上述した実施形態では、制御部22および画像処理部26の機能がバイタルデータ測定制御装置20に備えられたが、制御部22および画像処理部26の機能の一部が医師側のホスト装置に備えられてもよい。これにより、リアルタイムでのオンライン診療の場合、医師がバイタルデータの測定を制御することが可能となる。
 また、上述した実施形態では、遠隔医療に用いられるバイタルデータ測定機器10およびバイタルデータ測定状態判定方法を例示したが、本発明はこれに限定されず、種々の分野に適用可能である。例えば、特許文献1に記載のように、医療保険または生命保険の分野にも適用可能である。
 1 バイタルデータ測定システム
 5 ネットワーク
 10 バイタルデータ測定機器
 20 バイタルデータ測定制御装置
 21 カメラ(撮像装置)
 22 制御部
 24 記憶部
 26 画像処理部
 28 操作部
 29 表示部(通知部)
 30 ホスト装置
 40 記録媒体
 AP アクセスポイント

Claims (20)

  1.  バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定を制御する装置であって、
     撮像装置を制御して、前記ユーザの顔および前記機器を含む画像データを取得する制御部と、
     前記画像データに基づいて、前記ユーザの顔の認証および前記機器の認証を行う画像処理部と、
    を備え、
     前記画像処理部は、
      前記画像データにおける前記ユーザと前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行い、
      前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する、
    バイタルデータ測定制御装置。
  2.  バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定を制御する装置であって、
     撮像装置を制御して、前記ユーザの顔および前記ユーザの顔以外の部位を含むユーザ画像データと、前記ユーザの顔以外の部位および前記機器を含む機器画像データとを取得する制御部と、
     前記ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行う画像処理部と、
    を備え、
     前記画像処理部は、
      前記ユーザ画像データにおける前記ユーザの顔以外の部位と前記機器画像データにおける前記ユーザの顔以外の部位との関連性、および、前記機器画像データにおける前記ユーザの顔以外の部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行い、
      前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する、
    バイタルデータ測定制御装置。
  3.  前記制御部は、前記ユーザの顔および前記ユーザの顔以外の第1部位を含む第1ユーザ画像データと、前記ユーザの顔以外の第n-1部位および前記第n-1部位以外の第n部位を含む第nユーザ画像データと、前記ユーザの前記第n部位および前記機器を含む機器画像データとを取得し、前記nは2以上の整数であり、
     前記画像処理部は、
      前記第1ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行い、
      前記第1ユーザ画像データにおける前記ユーザの顔以外の第1部位と前記第nユーザ画像データにおける前記ユーザの第n-1部位との関連性、前記第nユーザ画像データにおける前記ユーザの第n部位と前記機器画像データにおける前記ユーザの第n部位との関連性、および、前記機器画像データにおける前記ユーザの第n部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行う、
    請求項2に記載のバイタルデータ測定制御装置。
  4.  前記画像処理部は、前記画像データにおける、前記機器の種類、前記ユーザの顔および顔以外の部位の位置関係、および前記ユーザの体全体の単位時間当たりの動きに基づいて、前記機器の種類に応じた安静な姿勢である正しい測定状態であるか否かを判定する、請求項1に記載のバイタルデータ測定制御装置。
  5.  前記画像処理部は、前記機器画像データにおける前記機器の種類、前記ユーザ画像データおよび前記機器画像データにおける前記ユーザの顔および顔以外の部位の位置関係、および前記ユーザの体全体の単位時間当たりの動きに基づいて、前記機器の種類に応じた安静な姿勢である正しい測定状態であるか否かを判定する、請求項2または3に記載のバイタルデータ測定制御装置。
  6.  前記制御部は、前記ユーザの動きに追従するように、前記撮像装置のパンおよびチルトの制御を行う、請求項1~5のいずれか1項に記載のバイタルデータ測定制御装置。
  7.  前記ユーザに移動を促す通知を行う通知部を更に備える、請求項1~5のいずれか1項に記載のバイタルデータ測定制御装置。
  8.  前記機器の取り付け位置を前記ユーザに通知する通知部を更に備える、請求項1~5のいずれか1項に記載のバイタルデータ測定制御装置。
  9.  複数の前記機器の特徴量を登録情報として予め記憶する記憶部を更に備え、
     前記画像処理部は、前記機器の特徴量に基づいて、前記機器の認証を行う、
    請求項1~8のいずれか1項に記載のバイタルデータ測定制御装置。
  10.  前記記憶部は、複数の前記機器の特徴量と識別情報とを関連付けて前記登録情報として予め記憶し、
     前記画像処理部は、前記ユーザによって入力された前記機器の識別情報に対応する前記機器の特徴量に基づいて、前記機器の認証を行う、
    請求項9に記載のバイタルデータ測定制御装置。
  11.  前記制御部は、前記正しい測定状態の期間の判定と並行して、前記機器による前記ユーザのバイタルデータの測定を実行する、請求項1~10のいずれか1項に記載のバイタルデータ測定制御装置。
  12.  前記制御部は、前記正しい測定状態の期間の判定に応じて、前記正しい測定状態であると判定された期間に前記機器による前記ユーザのバイタルデータの測定を実行し、前記正しい測定状態であると判定された期間以外では前記機器による前記ユーザのバイタルデータの測定を実行しない、請求項1~10のいずれか1項に記載のバイタルデータ測定制御装置。
  13.  バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定を制御する、請求項1~12のいずれか1項に記載のバイタルデータ測定制御装置と、
     前記機器と、
     前記撮像装置と、
     前記バイタルデータ測定制御装置からバイタルデータが供給されるホスト装置と、
    を備えるバイタルデータ測定システム。
  14.  バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定状態を判定する方法であって、
     撮像装置を制御して、前記ユーザの顔および前記機器を含む画像データを取得し、
     前記画像データに基づいて、前記ユーザの顔の認証および前記機器の認証を行い、
     前記画像データにおける前記ユーザと前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行い、
     前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する、
    バイタルデータ測定状態判定方法。
  15.  バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定状態を判定する方法であって、
     撮像装置を制御して、前記ユーザの顔および前記ユーザの顔以外の部位を含むユーザ画像データと、前記ユーザの顔以外の部位および前記機器を含む機器画像データとを取得し、
     前記ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行い、
     前記ユーザ画像データにおける前記ユーザの顔以外の部位と前記機器画像データにおける前記ユーザの顔以外の部位との関連性、および、前記機器画像データにおける前記ユーザの顔以外の部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行い、
     前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する、
    バイタルデータ測定状態判定方法。
  16.  前記ユーザの顔および前記ユーザの顔以外の第1部位を含む第1ユーザ画像データと、前記ユーザの顔以外の第n-1部位および前記第n-1部位以外の第n部位を含む第nユーザ画像データと、前記ユーザの前記第n部位および前記機器を含む機器画像データとを取得し、前記nは2以上の整数であり、
     前記第1ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行い、
     前記第1ユーザ画像データにおける前記ユーザの顔以外の第1部位と前記第nユーザ画像データにおける前記ユーザの第n-1部位との関連性、前記第nユーザ画像データにおける前記ユーザの第n部位と前記機器画像データにおける前記ユーザの第n部位との関連性、および、前記機器画像データにおける前記ユーザの第n部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行う、
    請求項15に記載のバイタルデータ測定状態判定方法。
  17.  バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定状態を判定するプログラムであって、
     コンピュータに、
     撮像装置を制御して、前記ユーザの顔および前記機器を含む画像データを取得する機能と、
     前記画像データに基づいて、前記ユーザの顔の認証および前記機器の認証を行う機能と、
     前記画像データにおける前記ユーザと前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行う機能と、
     前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する機能と、
    を実行させるためのバイタルデータ測定状態判定プログラム。
  18.  バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定状態を判定するプログラムであって、
     コンピュータに、
     撮像装置を制御して、前記ユーザの顔および前記ユーザの顔以外の部位を含むユーザ画像データと、前記ユーザの顔以外の部位および前記機器を含む機器画像データとを取得する機能と、
     前記ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行う機能と、
     前記ユーザ画像データにおける前記ユーザの顔以外の部位と前記機器画像データにおける前記ユーザの顔以外の部位との関連性、および、前記機器画像データにおける前記ユーザの顔以外の部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行う機能と、
     前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する機能と、
    を実行させるためのバイタルデータ測定状態判定プログラム。
  19.  コンピュータに、
     前記ユーザの顔および前記ユーザの顔以外の第1部位を含む第1ユーザ画像データと、前記ユーザの顔以外の第n-1部位および前記第n-1部位以外の第n部位を含む第nユーザ画像データと、前記ユーザの前記第n部位および前記機器を含む機器画像データとを取得する機能と、ここで前記nは2以上の整数であり、
     前記第1ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行う機能、
     前記第1ユーザ画像データにおける前記ユーザの顔以外の第1部位と前記第nユーザ画像データにおける前記ユーザの第n-1部位との関連性、前記第nユーザ画像データにおける前記ユーザの第n部位と前記機器画像データにおける前記ユーザの第n部位との関連性、および、前記機器画像データにおける前記ユーザの第n部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行う機能と、
    を更に実行させるための、請求項18に記載のバイタルデータ測定状態判定プログラム。
  20.  請求項17~19のいずれか1項に記載のバイタルデータ測定状態判定プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2021/016097 2020-08-20 2021-04-20 バイタルデータ測定制御装置、バイタルデータ測定システム、バイタルデータ測定状態判定方法、バイタルデータ測定状態判定プログラム、および記録媒体 WO2022038834A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022543275A JP7497758B2 (ja) 2020-08-20 2021-04-20 バイタルデータ測定制御装置、バイタルデータ測定システム、バイタルデータ測定状態判定方法、バイタルデータ測定状態判定プログラム、および記録媒体
US18/162,787 US20230181113A1 (en) 2020-08-20 2023-02-01 System and method for vital-data measurement

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020139078 2020-08-20
JP2020-139078 2020-08-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/162,787 Continuation US20230181113A1 (en) 2020-08-20 2023-02-01 System and method for vital-data measurement

Publications (1)

Publication Number Publication Date
WO2022038834A1 true WO2022038834A1 (ja) 2022-02-24

Family

ID=80322710

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/016097 WO2022038834A1 (ja) 2020-08-20 2021-04-20 バイタルデータ測定制御装置、バイタルデータ測定システム、バイタルデータ測定状態判定方法、バイタルデータ測定状態判定プログラム、および記録媒体

Country Status (3)

Country Link
US (1) US20230181113A1 (ja)
JP (1) JP7497758B2 (ja)
WO (1) WO2022038834A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309562A (ja) * 2005-04-28 2006-11-09 Hitachi Omron Terminal Solutions Corp 生体情報登録装置
JP2009247733A (ja) * 2008-04-09 2009-10-29 Omron Healthcare Co Ltd 電子血圧計
JP4430128B1 (ja) * 2009-06-22 2010-03-10 株式会社メイエレック アルコール検査装置
US20110305376A1 (en) * 2010-06-14 2011-12-15 Siemens Medical Solutions Usa, Inc. Automatic Patient and Device Recognition and Association System
JP2017219934A (ja) * 2016-06-03 2017-12-14 日本電信電話株式会社 同一性判定システム
JP2018109802A (ja) * 2016-12-28 2018-07-12 オムロンヘルスケア株式会社 端末装置
JP2019121206A (ja) * 2018-01-09 2019-07-22 株式会社キャピタルメディカ 患者情報管理システム、患者情報管理方法、情報処理装置、情報処理プログラム、通信端末、通信端末の制御プログラム、および、アプリケーションプログラム
CN110522409A (zh) * 2018-05-24 2019-12-03 浙江清华柔性电子技术研究院 可穿戴设备的固定位置的确定方法及固定装置
JP2021026430A (ja) * 2019-08-02 2021-02-22 株式会社タニタ 生体情報測定システム、不正測定判定方法、及び不正測定判定プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309562A (ja) * 2005-04-28 2006-11-09 Hitachi Omron Terminal Solutions Corp 生体情報登録装置
JP2009247733A (ja) * 2008-04-09 2009-10-29 Omron Healthcare Co Ltd 電子血圧計
JP4430128B1 (ja) * 2009-06-22 2010-03-10 株式会社メイエレック アルコール検査装置
US20110305376A1 (en) * 2010-06-14 2011-12-15 Siemens Medical Solutions Usa, Inc. Automatic Patient and Device Recognition and Association System
JP2017219934A (ja) * 2016-06-03 2017-12-14 日本電信電話株式会社 同一性判定システム
JP2018109802A (ja) * 2016-12-28 2018-07-12 オムロンヘルスケア株式会社 端末装置
JP2019121206A (ja) * 2018-01-09 2019-07-22 株式会社キャピタルメディカ 患者情報管理システム、患者情報管理方法、情報処理装置、情報処理プログラム、通信端末、通信端末の制御プログラム、および、アプリケーションプログラム
CN110522409A (zh) * 2018-05-24 2019-12-03 浙江清华柔性电子技术研究院 可穿戴设备的固定位置的确定方法及固定装置
JP2021026430A (ja) * 2019-08-02 2021-02-22 株式会社タニタ 生体情報測定システム、不正測定判定方法、及び不正測定判定プログラム

Also Published As

Publication number Publication date
JP7497758B2 (ja) 2024-06-11
JPWO2022038834A1 (ja) 2022-02-24
US20230181113A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
JP6878628B2 (ja) 生理学的モニタのためのシステム、方法、及びコンピュータプログラム製品
Hegde et al. Autotriage-an open source edge computing raspberry pi-based clinical screening system
US20180178061A1 (en) Rehabilitation compliance devices
US20160364549A1 (en) System and method for patient behavior and health monitoring
JP7073763B2 (ja) 情報処理システム、情報処理方法、電子機器、サーバ装置及び情報処理プログラム
JP2018023768A (ja) 被測定者特定方法、被測定者特定システム、血圧の測定状態判定方法、血圧の測定状態判定装置及び血圧の測定状態判定プログラム
Bae et al. Prospective validation of smartphone-based heart rate and respiratory rate measurement algorithms
Daou et al. Patient vital signs monitoring via android application
US20190014996A1 (en) Smart medical diagnosis system
WO2022038834A1 (ja) バイタルデータ測定制御装置、バイタルデータ測定システム、バイタルデータ測定状態判定方法、バイタルデータ測定状態判定プログラム、および記録媒体
Tiwari et al. Revolutionizing healthcare: the power of IoT in health monitoring
JP6765999B2 (ja) 血圧関連情報表示装置および方法
Raja Fingerprint-based smart medical emergency first aid kit using IoT
US20160228067A1 (en) System and method for intelligent monitoring of patient vital signs
JP2016186771A (ja) 健康管理システム
US11164481B2 (en) Method and electronic apparatus for displaying reference locations for locating ECG pads and recording medium using the method
US12039764B2 (en) Multimodal diagnosis system, method and apparatus
TWI771077B (zh) 穿戴式身體音訊擷取裝置及相應監控系統
US20230060676A1 (en) Multimodal diagnosis system, method and apparatus
KR20120031757A (ko) 질병 자가 진단 시스템
WO2023145446A1 (ja) 情報処理装置、情報処理方法、並びにプログラム
US20230277069A1 (en) Heart Rate and Respiratory Rate Measurements from Imagery
WO2024070917A1 (ja) 端末装置および測定方法
US20220400989A1 (en) Treatment and diagnoses of disease and maladies using remote monitoring, data analytics, and therapies
Orton et al. Non-invasive respiratory rate detection using thermal imaging and facial recognition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21857986

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022543275

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21857986

Country of ref document: EP

Kind code of ref document: A1