WO2023053260A1 - 情報処理システム、情報処理装置、情報処理方法、プログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

情報処理システム、情報処理装置、情報処理方法、プログラムが格納された非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2023053260A1
WO2023053260A1 PCT/JP2021/035831 JP2021035831W WO2023053260A1 WO 2023053260 A1 WO2023053260 A1 WO 2023053260A1 JP 2021035831 W JP2021035831 W JP 2021035831W WO 2023053260 A1 WO2023053260 A1 WO 2023053260A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
subject
information processing
reliability
instruction
Prior art date
Application number
PCT/JP2021/035831
Other languages
English (en)
French (fr)
Inventor
祥史 大西
浩一 二瓶
孝法 岩井
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023550839A priority Critical patent/JPWO2023053260A5/ja
Priority to PCT/JP2021/035831 priority patent/WO2023053260A1/ja
Priority to US18/294,589 priority patent/US20240346853A1/en
Publication of WO2023053260A1 publication Critical patent/WO2023053260A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/63—Static or dynamic means for assisting the user to position a body part for biometric acquisition by static guides
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Definitions

  • the present disclosure relates to an information processing system, an information processing device, an information processing method, and a non-transitory computer-readable medium storing a program.
  • Patent Literature 1 discloses a remote medical examination device in which a doctor conducts an interview with a patient by video call and auscultation using an electronic stethoscope.
  • the display on the doctor's side is switched between an inquiry mode and an auscultation mode based on the state information of the electronic stethoscope.
  • the inquiry mode and the auscultation mode are switched depending on whether the electronic stethoscope is on/off or during measurement.
  • the doctor's display shows a large image of the patient's face and affected area in inquiry mode, and an image that includes the patient's entire chest in auscultation mode, making it easy to understand which part of the patient is being auscultated. are doing.
  • the object of the present disclosure is an information processing system, an information processing device, an information processing method, and a non-transitory computer-readable program that can consider the reliability of biological information measured from a video of a subject. It is to provide a medium.
  • An information processing system includes acquisition means for acquiring video data including a subject, calculation means for calculating reliability of biometric information of the subject measured from the video data, and based on the reliability, and an instruction means for outputting, to the subject, instruction information for adjusting the situation of the subject.
  • An information processing apparatus includes acquisition means for acquiring video data including a subject, calculation means for calculating reliability of biometric information of the subject measured from the video data, and based on the reliability, and control means for controlling the target person to output instruction information for adjusting the condition of the target person.
  • An information processing method acquires video data including a subject, calculates the reliability of biological information of the subject measured from the video data, and based on the reliability, to output instruction information for adjusting the condition of the subject.
  • a non-transitory computer-readable medium includes a process of acquiring video data including a subject, a process of calculating the reliability of biometric information of the subject measured from the video data, and the reliability Based on the above, a program is stored which causes a computer to execute a process of outputting instruction information for adjusting the condition of the subject to the subject.
  • an information processing system an information processing device, an information processing method, and a non-temporary computer storing a program that can consider the reliability of biological information measured from a video of a subject A readable medium can be provided.
  • FIG. 1 is a block diagram showing the configuration of an information processing system according to an embodiment
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system including an information processing device according to an embodiment
  • FIG. 3 is a block diagram showing an example of the configuration of a doctor-side terminal in FIG. 2
  • FIG. 3 is a block diagram showing an example of the configuration of a patient-side terminal in FIG. 2
  • FIG. It is a figure explaining an example of the display content of the doctor side terminal. It is a figure explaining an example of the display content of a patient side terminal.
  • 4 is a sequence diagram illustrating an example of the flow of information processing according to the embodiment
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system including an information processing device according to an embodiment
  • FIG. 3 is a block diagram showing an example of the configuration of a doctor-side terminal in FIG. 2
  • FIG. is a block diagram showing an example of the configuration of a patient-side terminal in FIG. 2
  • FIG. It is
  • Embodiments transmit image data of a subject via a network between a facility that provides medical services and a facility that has a subject who receives medical service at a remote location, It is related to medical service provision technology that experts such as diagnose.
  • FIG. 1 is a block diagram showing the configuration of an information processing system 100 according to an embodiment.
  • the information processing system 100 includes acquisition means 101 , calculation means 102 and instruction means 103 .
  • Acquisition means 101 acquires video data including a target person.
  • Calculation means 102 calculates the reliability of the biometric information of the subject measured from the image data acquired by the acquisition means 101 .
  • the instruction means 103 outputs instruction information for adjusting the subject's situation to the subject based on the reliability calculated by the calculation means 102 .
  • FIG. 2 is a diagram showing a configuration example of an information processing system 100 including the information processing device 1 according to the embodiment.
  • the information processing system 100 includes a doctor-side terminal 10 and a patient-side terminal 20 .
  • FIG. 3 is a block diagram showing an example of the configuration of the doctor-side terminal 10 of FIG. In addition to the hardware configuration of the doctor-side terminal 10, FIG. 3 shows logical functional blocks implemented in the information processing apparatus 1.
  • FIG. 4 is a block diagram showing an example of the configuration of the patient terminal 20 of FIG. 2.
  • FIG. 4 shows the hardware configuration of the patient-side terminal 20 as well as logical functional blocks implemented within the arithmetic unit 7 .
  • the information processing system 100 supports telemedicine (online medical care, home medical care), in which the subject receiving the medical service receives various services from the medical service provider while staying at home.
  • medical service providers include doctors, nurses, physical therapists, caregivers, and the like.
  • Telemedicine also includes medical practices in a narrow sense such as treatment and treatment performed by doctors, etc., as well as medical practices in a broad sense such as rehabilitation performed by physical therapists, health management performed by caregivers, and medication management.
  • the medical service provider will be referred to as a "physician”.
  • the subjects who receive medical services are, for example, patients, those undergoing medical examinations (examinees), and those receiving care (care recipients). For the sake of simplicity, we refer to those who receive medical services as “patients”.
  • Facilities that provide medical services are, for example, hospitals, clinics, nursing homes, and the like. For the sake of simplicity, facilities that provide medical services are referred to as “hospitals”.
  • the doctor's terminal 10 and the patient's terminal 20 are connected by a network N and perform two-way communication in real time.
  • the network N is a communication network such as the Internet or a dedicated line.
  • a closed network is formed by a VPN (Virtual Private Network) or the like.
  • the doctor-side terminal 10 is installed in the hospital, and the patient-side terminal 20 is installed in the patient's home in a remote location.
  • the doctor-side terminal 10 and the patient-side terminal 20 may be a personal computer, a server machine, a tablet terminal capable of input/output using a touch panel, a smart phone, or the like.
  • the doctor side terminal 10 and the patient side terminal 20 may be dedicated devices, or may be realized by installing a dedicated application in a general-purpose information terminal.
  • a doctor at the hospital can use the doctor-side terminal 10 to communicate in real time with a patient who uses the patient-side terminal 20 at a remote location.
  • a doctor makes a diagnosis based on images transmitted from the patient's home.
  • the doctor-side terminal 10 can acquire biological information of the patient from the image of the patient.
  • Biological information is information about a living body that can be measured from a person's image, and includes, for example, heart rate, blood pressure, oxygen saturation, and the like.
  • the doctor-side terminal 10 can obtain biological information, for example, based on information indicating changes in the state of the patient's body surface in a video image of the patient's body surface.
  • information indicating the state change of the body surface is the color change of the body surface based on the patient's blood flow.
  • Each frame of image data obtained by photographing a patient includes changes in the color of the patient's body surface.
  • the doctor-side terminal 10 can measure the heart rate based on the color change of the patient's body surface.
  • SpO 2 Percutaneous arterial oxygen saturation
  • the necessary information is provided to the patient in consideration of the reliability of the patient's correct information.
  • the doctor-side terminal 10 includes an information processing device 1, a display device 11, an imaging device 12, a storage device 13, an input device 14, a communication device 15, an audio input device 16, an audio output device 17, a zoom instruction It includes devices 18 which are interconnected by a bus 19 .
  • the information processing device 1 is, for example, an arithmetic processing device such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the information processing device 1 includes an acquisition unit 2, a measurement unit 3, a calculation unit 4, a control unit 5, and a determination unit 6 as logical functional blocks.
  • the acquisition unit 2, the calculation unit 4, and the control unit 5 correspond to acquisition means, calculation means, and control means described in claims.
  • the acquisition unit 2 acquires video data including the patient.
  • Video data including the patient is transmitted from the patient terminal 20 via the network, for example.
  • the image data including the patient may be stored in a database (not shown) connected to a network. In this case, the acquisition unit 2 can access the database and acquire the video data.
  • the measurement unit 3 measures the biological information of the patient from the video data including the patient. In the following description, an example of measuring heart rate as biological information will be described.
  • the measuring unit 3 detects the patient's facial area from the video data as a skin-colored area representing the body surface, and measures the heart rate based on the temporal color change of the facial area.
  • the calculation unit 4 calculates the reliability of the patient's biological information measured from the video data.
  • the calculator 4 can calculate the reliability of the measured biological information based on the patient's motion information included in the patient's video data.
  • the heart rate is measured from the face area of the patient's video data as described above, when the patient moves his or her face, the angle between the light source and the face changes, causing the color of the face to change.
  • the reliability of the measured heart rate decreases.
  • the calculation unit 4 obtains facial movement (motion information) by, for example, tracking the coordinates of each part of the patient's face, such as the eyes, nose, and contour of the face. If the reliability of the heart rate is low and the facial movement is small, it can be determined that the reliability of the measured heart rate is high.
  • control unit 5 controls to output instruction information for adjusting the patient's situation to the patient. That is, the control unit 5 generates instruction information that guides the patient's own movement so that the doctor can obtain the patient's biological information with higher reliability.
  • the control unit 5 can generate an instruction "Don't move your face" so that the patient does not move his face.
  • the calculation unit 4 calculates the reliability of the measured biological information based on the patient's motion information, but it is not limited to this.
  • the calculator 4 can calculate the reliability based on the size of the patient's face area in the video data. For example, when measuring the heart rate, the measurement unit 3 uses the patient's face area included in the image data, so the image data must include a face area of a predetermined size or larger.
  • the calculation unit 4 can determine that the reliability is low.
  • the control unit 5 can generate an instruction to the patient to "bring your face closer to the camera.” By generating instruction information according to the reliability of measured biometric information in this way, it is possible to guide the patient's behavior and obtain biometric information with a higher degree of reliability.
  • the calculation unit 4 can determine that the reliability is low. At this time, the control unit 5 can generate an instruction to the patient, "Please brighten the room.”
  • the instruction information for adjusting the patient's condition includes the above-mentioned “instruction to stop the face”, “instruction to bring the face closer”, and “instruction to adjust the brightness”, as well as “instruction to focus", "instruction to measure This includes instructions for improving the reliability of biometric information such as "instructions to project images" and instructions necessary for medical examination.
  • the determination unit 6 acquires patient-related information included in the image data, and determines biological information to be measured based on one or more combinations of the related information.
  • Related information includes medical record information, medical interview information, ability information indicating the ability of daily living activities such as ADL (Activities of Daily Living), information indicating records of prescription, nursing care, rehabilitation, etc. Contains family information. These pieces of information may be stored and managed in an external management server.
  • the determination unit 6 accesses the management server to acquire medical record information, and if the medical record information describes "heavy breathing", determines that the biological information to be measured is "oxygen saturation". can be done. Note that the determination unit 6 may determine a plurality of pieces of biological information to be measured based on one or more combinations of related information.
  • the determining unit 6 may determine not to subject predetermined biological information to measurement based on one or more combinations of related information. For example, predetermined biological information to be measured is set for each clinical department, and items not included in the predetermined biological information can be excluded from measurement targets. For example, if the patient is seeing a dermatologist, the determining unit 6 determines that even if the medical record information states that "breathing is heavy," the biometric information (for example, , oxygen saturation) can be determined not to be measured.
  • the biometric information for example, oxygen saturation
  • the display device 11 is an LCD (Liquid Crystal Display) or the like, and displays various information.
  • FIG. 5 is a diagram for explaining an example of the display contents of the doctor's terminal. As shown in FIG. 5, the display device 11 has an image display area 111, an information display area 112, a measurement button 113, and a zoom button 114.
  • FIG. 5 is a diagram for explaining an example of the display contents of the doctor's terminal. As shown in FIG. 5, the display device 11 has an image display area 111, an information display area 112, a measurement button 113, and a zoom button 114.
  • the image of the patient transmitted from the patient terminal 20 is displayed in the image display area 111 .
  • the information display area 112 displays biological information measured from the patient's video data and its reliability. If the reliability is low, the doctor can click the measurement button 113 to restart the measurement of the biological information by the measurement unit 3 after the instruction information for adjusting the condition of the subject is output.
  • the display device 11 serves as notification means for notifying the doctor, who is the user of the doctor-side terminal 10, of the reliability.
  • the notification means is not particularly limited as long as it can notify the doctor of the reliability, such as sound, notification sound pattern, light emission pattern, vibration pattern, or the like.
  • the information display area 112 may display chart information (for example, chronic disease, medical history, examination information, etc.), interview information, and the like.
  • the doctor-side terminal 10 may further include a voice analysis unit, and the information display area 112 may display information related to the voice-recognized content of the conversation between the doctor and the patient.
  • the biological information measured by the measuring unit 3 is determined from the patient's voice information "I have a headache", and predetermined vital signs (blood pressure, heart rate, etc.) can be displayed.
  • the information display area 112 may display disease name candidates according to the symptoms by utilizing the voice recognition result of the conversation between the doctor and the patient. Further, after narrowing down the name of the disease from the symptoms, the information display area 112 may display recommendation information as to what kind of questions should be asked in order to determine the name of the disease.
  • the photographing device 12 is, for example, a video camera, and can photograph a doctor using the doctor-side terminal 10.
  • the imaging device 12 images a doctor in a predetermined imaging range (imaging angle of view) at a predetermined imaging rate, and generates moving image data composed of a plurality of time-series image data.
  • the storage device 13 is a non-volatile storage device such as a HDD (Hard Disk Drive), SSD (Solid State Drive), or flash memory.
  • the storage device 13 stores a program that implements each function of the components included in the information processing device 1 . By the information processing device 1 executing this program, each function of the constituent elements included in the information processing device 1 is realized.
  • the storage device 13 may include memories such as RAM (Random Access Memory) and ROM (Read Only Memory). When executing the programs, the information processing apparatus 1 may execute the programs after reading them onto the memory, or may execute them without reading them onto the memory. Further, the storage device 13 stores information held by components included in the information processing device 1, such as information necessary for the measurement unit 3 to measure biological information and information necessary for the calculation unit 4 to calculate reliability. It also plays a role in storing information.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the input device 14 is a device that receives operation input from the doctor who is the user of the doctor-side terminal 10, and is, for example, a keyboard, a mouse, and the like.
  • the display device 11 and the input device 14 may be integrated and implemented as a touch panel. By clicking the measurement button 113 using the input device 14, the doctor can decide to start and end the measurement of biological information.
  • the control unit 5 changes the instruction information to the patient according to the input to the input device 14 (start and end of measurement of biological information).
  • the control unit 5 when the doctor inputs to start measuring the heart rate, the control unit 5 outputs information to the patient terminal 20 stating, “Start measuring the heart rate. Face the camera.” can be done. Further, when the doctor inputs the end of the measurement of the biological information, the control unit 5 can output information to the patient side terminal 20 that "the measurement is finished". As a result, the behavior of the doctor can be notified to the patient at a remote location, and the patient can grasp when to move and when to move. Thus, according to the embodiment, it is possible to support smooth communication between a doctor and a patient in online medical care.
  • the communication device 15 transmits and receives data to and from an external patient terminal 20, for example, via a wireless transmission line.
  • the communication device 15 transmits video data including a doctor to the patient terminal 20 and receives video data including a patient from the patient terminal 20 .
  • the communication device 15 receives this information from the management server.
  • the voice input device 16 is, for example, a microphone, and collects the voice uttered by the doctor as voice data.
  • Video data is generated by synthesizing the moving image data generated by the imaging device 12 and the audio data collected by the audio input device 16 .
  • the information display area 112 can perform voice recognition of the doctor's voice data collected by the voice input device 16 and the voice information included in the video data including the patient, and display using the results.
  • the audio output device 17 is, for example, a speaker, and reproduces the audio contained in the patient's video data transmitted from the patient-side terminal 20 .
  • the zoom instruction device 18 outputs to the patient terminal 20 a zoom instruction for controlling the zoom of an imaging device 22 (described later) that generates image data of the patient.
  • Zoom means changing the angle of view to telephoto or wide angle. For example, by changing the zoom state (focal length) of the optical system of the imaging device 22, the affected area of the patient can be magnified.
  • the zoom instruction device 18 can output a zoom instruction to the patient-side terminal 20 so as to enlarge the affected area.
  • a doctor can manually input a region to be enlarged to the zoom instruction device 18 by clicking the zoom button 114 using the input device 14 .
  • the face recognition technology may be used to automatically enlarge the face region.
  • the zoom instruction device 18 extracts the patient's face area from the video data including the patient, and generates a zoom instruction so that the face area has a predetermined size.
  • control unit 5 can change instruction information to be provided to the patient according to the zoom state of the imaging device 22 .
  • the control unit 5 sends to the patient-side terminal 20 "Examine the right index finger. Please do not.” can be output to guide the patient's movement.
  • the control unit 5 outputs to the patient-side terminal 20 information for canceling the instruction to guide the movement of the patient, saying, "The examination has been completed. Thank you for your hard work.” can be done.
  • the patient-side terminal 20 includes an arithmetic device 7, a display device 21, an imaging device 22, a storage device 23, an input device 24, a communication device 25, an audio input device 26, an audio output device 27, and a zoom control device. 28 , which are interconnected by a bus 29 .
  • the display device 21, the imaging device 22, the storage device 23, the input device 24, the communication device 25, the audio input device 26, and the audio output device 27 are the display device 11, the imaging device 12, the storage device 13, the input device 14, the storage device 13, and the audio output device 27, respectively. Since general functions are the same as those of the communication device 15, the voice input device 16, and the voice output device 17, description thereof will be omitted as appropriate.
  • the arithmetic device 7 is, for example, an arithmetic processing device such as a CPU or GPU. Arithmetic device 7 includes indicator 8 as a logical functional block.
  • the instruction unit 8 outputs instruction information for adjusting the condition of the patient from the doctor-side terminal 10 .
  • the instruction unit 8 can cause the display device 21 to be described later to display the instruction information, and can cause the audio output device 27 to reproduce the instruction information by voice.
  • the display device 21 is an LCD or the like, and displays various information.
  • FIG. 6 is a diagram for explaining an example of display contents of the patient terminal.
  • the display device 21 has an image display area 211 and an information display area 212 .
  • image display area 211 image data including a doctor transmitted from the doctor-side terminal 10 is displayed.
  • the information display area 212 displays instruction information for the patient.
  • the control unit 5 instructs the patient not to move his/her face, "Don't move your face.”
  • Generate instructions with The instruction unit 8 receives the instruction "Please do not move your face” and causes the information display area 212 to display it. By displaying the instruction information in this way, it becomes possible to guide the adjustment of the patient's own situation and to measure biological information with high reliability.
  • the instruction information for adjusting the patient's condition displayed in the information display area 212 includes, in addition to the above-described instruction to stop the face, an instruction to bring the face closer, an instruction to focus, and an instruction to adjust the brightness according to the biological information to be measured. Instructions for adjustment, etc. are included.
  • the information display area 212 displays a display notifying the patient that the heart rate will be measured in advance. It can be performed.
  • the information display area 212 can perform display for notifying the patient of the site to be zoomed when a zoom instruction is output from the zoom instruction device 18 . The patient can know what is being measured from this notification, and can avoid moving his/her own body parts necessary for the measurement as much as possible.
  • control unit 5 can change the instruction information provided to the patient according to the zoom status of the imaging device 22.
  • the information display area 212 displays where the patient's affected area is zoomed up. Further, when the doctor finishes visual inspection and zooms out the patient's affected area, the information display area 212 displays the end of the examination.
  • the output of the instruction information is not limited to the example in which the instruction unit 8 causes the display device 21 to display the instruction information.
  • the instruction unit 8 may cause the audio output device 27 to output the instruction information by voice.
  • the instruction unit 8 can also output instruction information in the form of notification sounds, light, and vibration patterns.
  • the photographing device 22 is, for example, a video camera, and can photograph the patient using the patient-side terminal 20.
  • the imaging device 22 images a patient in a predetermined imaging range (imaging angle of view) at a predetermined imaging rate, and generates moving image data composed of a plurality of time-series image data.
  • the storage device 23 is a nonvolatile storage device such as an HDD, SSD, or flash memory.
  • the storage device 23 stores a program that implements the function of the instruction section 8 provided in the arithmetic device 7 .
  • the function of the instruction unit 8 is realized by the arithmetic unit 7 executing this program.
  • the storage device 23 may include memories such as RAM and ROM.
  • the storage device 13 also serves to store data and the like necessary for the instruction unit 8 to output instruction information.
  • the input device 24 is a device that receives operation input from the patient who is the user of the patient-side terminal 20, and is, for example, a keyboard, mouse, and the like.
  • the display device 21 and the input device 24 may be integrated and implemented as a touch panel.
  • the communication device 25 transmits and receives data to and from the external doctor's terminal 10 via, for example, a wireless transmission line.
  • data including doctors and video data including patients are transmitted via the communication device 25 .
  • the voice input device 26 is, for example, a microphone, and collects voices uttered by the patient.
  • Video data is generated by synthesizing the moving image data generated by the imaging device 22 and the audio information collected by the audio input device 26 . That is, this video data includes patient's movement information and audio information.
  • the audio output device 27 is, for example, a speaker, and reproduces the audio contained in the doctor's video data transmitted from the doctor-side terminal 10 . Further, when the instruction information for adjusting the patient's condition is output by voice, the audio output device 27 can reproduce the instruction information by voice.
  • the zoom control device 28 controls the zooming of the imaging device 22 in response to a zoom instruction from the doctor's terminal 10 .
  • the zoom state of the imaging device 22 is changed under the control of the zoom control device 28 to magnify a predetermined portion of the patient.
  • FIG. 7 is a sequence diagram illustrating an example of the flow of information processing according to the embodiment.
  • the patient terminal 20 transmits video data including the patient to the doctor terminal 10 (S10).
  • the acquisition unit 2 of the doctor-side terminal 10 acquires video data including the patient (S11).
  • the measurement unit 3 measures biological information of the patient from the video data including the patient (S12).
  • the determining unit 6 may acquire relevant information related to the patient included in the image data and determine the biological information to be measured based on one or more combinations of the relevant information. good.
  • the calculation unit 4 calculates the reliability of the patient's biological information measured from the video data (S13). After that, the control unit 5 generates instruction information for adjusting the patient's condition based on the calculated reliability (S14), and transmits it to the patient-side terminal 20 (S15).
  • the instruction unit 8 of the patient-side terminal 20 acquires the instruction information, for example, displays the instruction information on the display device 21 and outputs it (S16).
  • the embodiment it is possible to provide the patient with instruction information for adjusting the patient's condition according to the reliability of the measured biological information. As a result, the patient is guided according to the instruction information, the measured biometric information can be improved, and the medical service can be improved.
  • the information processing device 1 can be realized as a server installed in a data center or the like. Image data including the patient from the patient-side terminal 20 is transmitted to the server, and the server executes the above-described process of generating instruction information for adjusting the patient's condition.
  • each functional block that performs various processes described in the drawings can be configured with a processor, memory, and other circuits. Moreover, it is also possible to implement the above-described processing by causing a processor to execute a program. Therefore, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and are not limited to either one.
  • Non-transitory computer readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic recording media (e.g., flexible discs, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R/W, semiconductor memory (eg mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may also be delivered to the computer on various types of transitory computer readable medium. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer-readable media can deliver the program to the computer via wired channels, such as wires and optical fibers, or wireless channels.
  • (Appendix 1) Acquisition means for acquiring video data including a target person; a calculating means for calculating the reliability of the subject's biometric information measured from the video data; an instruction means for outputting instruction information for adjusting the subject's situation to the subject based on the reliability; comprising Information processing system.
  • (Appendix 2) a photographing means for photographing the subject and generating the video data; zoom control means for controlling zooming of the photographing means; further comprising The instruction means changes the instruction information according to the zoom status of the photographing means.
  • the information processing system according to appendix 1. (Appendix 3) including input means for accepting input for starting and/or ending the measurement of the biological information; The instruction means changes the instruction information according to an input to the input means.
  • Appendix 4 Further comprising notification means for notifying the user of the reliability, The information processing system according to any one of Appendices 1 to 3.
  • Appendix 5 further comprising determining means for acquiring relevant information related to the subject contained in the image data and determining biological information to be measured based on the relevant information;
  • Appendix 6) including a first terminal that performs two-way communication and a second terminal, The first terminal comprises a first display means for displaying the image of the subject and the reliability, The second terminal comprises second display means for displaying the instruction information, The information processing system according to any one of Appendices 1 to 5.
  • (Appendix 7) Acquisition means for acquiring video data including a target person; a calculating means for calculating the reliability of the subject's biometric information measured from the video data; Control means for controlling the subject to output instruction information for adjusting the situation of the subject based on the reliability; comprising Information processing equipment.
  • the acquiring means acquires the image data generated by photographing the target person by a photographing means connected via a network; further comprising zoom instruction means for outputting a zoom instruction so as to control zooming of the photographing means; The control means changes the instruction information according to the zoom status of the photographing means.
  • the information processing device according to appendix 7.
  • Appendix 9 further comprising an input means for receiving an input for starting and/or ending the measurement of the biological information;
  • the control means changes the instruction information according to an input to the input means.
  • the information processing device according to appendix 7 or 8.
  • Appendix 10 Further comprising notification means for notifying the user of the reliability,
  • the information processing apparatus according to any one of Appendices 7 to 9.
  • Appendix 11 further comprising determining means for acquiring relevant information related to the subject contained in the image data and determining biological information to be measured based on the relevant information;
  • the information processing apparatus according to any one of Appendices 7 to 10.
  • the control means displays the image and the reliability of the subject on a first display unit of the first terminal among the first terminal performing two-way communication and the second terminal, and displays the image of the subject and the reliability on the second terminal. 2 control to display the instruction information on the display unit;
  • the information processing apparatus according to any one of Appendices 7 to 11.
  • (Appendix 13) Acquire video data including the target person, calculating the reliability of the subject's biometric information measured from the video data; Based on the reliability, outputting instruction information to the subject to adjust the subject's situation; Information processing methods.
  • (Appendix 14) controlling the zoom of a photographing means for photographing the subject and generating the video data; changing the instruction information according to the zoom status of the photographing means;
  • the information processing method according to appendix 13. (Appendix 15) changing the instruction information according to an input to an input means for accepting an input to start and/or end the measurement of the biological information; 15.
  • the information processing method according to appendix 13 or 14. (Appendix 16) notifying the user of the reliability; 16.
  • (Appendix 17) Acquiring relevant information related to the subject contained in the video data, and determining biological information to be measured based on the relevant information; 17.
  • Appendix 18 A first terminal that performs two-way communication and a second terminal, wherein the first display unit of the first terminal displays the image of the target person and the reliability level, and the second display unit of the second terminal displays the to display instructional information, 18.
  • the information processing method according to any one of Appendices 13 to 17.
  • (Appendix 19) A process of acquiring video data including a target person; a process of calculating the reliability of the subject's biometric information measured from the video data; a process of outputting instruction information for adjusting the subject's situation to the subject based on the reliability; A non-transitory computer-readable medium that stores a program that causes a computer to execute (Appendix 20) a process of controlling the zoom of a photographing means for photographing the target person and generating the video data; a process of changing the instruction information according to the zoom status of the photographing means; further causes the computer to execute A non-transitory computer-readable medium storing the program according to appendix 19.
  • Appendix 21 causing a computer to execute a process of changing the instruction information according to an input to an input means for accepting an input to start and/or end the measurement of the biological information;
  • a non-transitory computer-readable medium storing the program according to appendix 19 or 20.
  • Appendix 22 causing the computer to further execute a process of notifying the user of the reliability;
  • a non-transitory computer-readable medium storing the program according to any one of appendices 19 to 21.
  • (Appendix 23) Acquiring relevant information related to the subject contained in the video data, and causing the computer to further execute a process of determining biological information to be measured based on the relevant information;
  • (Appendix 24) A first terminal that performs two-way communication and a second terminal, wherein the first display unit of the first terminal displays the image of the target person and the reliability level, and the second display unit of the second terminal displays the causing the computer to further execute processing for displaying instruction information;
  • a non-transitory computer-readable medium storing the program according to any one of appendices 19 to 23.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本開示に係る情報処理システム（１００）は、対象者を含む映像データを取得する取得手段（１０１）と、映像データから測定した対象者の生体情報の信頼度を算出する算出手段（１０２）と、信頼度に基づいて、対象者に対して、該対象者の状況を調整する指示情報を出力する指示手段（１０３）とを備えるものである。対象者を撮影して映像データを生成する撮影手段と、撮影手段のズームを制御するズーム制御手段をさらに含み、指示手段（１０３）は、撮影手段のズーム状況に応じて指示情報を変更してもよい。

Description

情報処理システム、情報処理装置、情報処理方法、プログラムが格納された非一時的なコンピュータ可読媒体
　本開示は、情報処理システム、情報処理装置、情報処理方法、プログラムが格納された非一時的なコンピュータ可読媒体に関する。
　特許文献１には、医師による患者とのビデオ通話による問診と、電子聴診器を用いた聴診とを行う、遠隔診察を行う装置が開示されている。この装置では、電子聴診器の状態情報に基づいて医師側のディスプレイの表示を問診モードと聴診モードとで切り替えている。
　問診モードと聴診モードとは、電子聴診器のオン／オフ又は測定中であるか否かに応じて切り替えられる。医師側のディスプレイには、問診モードに患者の顔や患部が大きく表示され、また、聴診モードに患者の胸部の全体を含む画像が表示され、患者のどの位置が聴診されているかを把握しやすくしている。
特開２０２０－０８１３６４号公報
　患者の映像に基づき医師が診断を行う医療サービス提供システムでは、患者の映像から測定される生体情報の信頼度が低いと誤診につながる恐れがあり、医療サービスの質の低下が懸念される。特許文献１では、問診モードと聴診モードとで医師側のディスプレイの表示を切り替えているのみであり、測定された情報の信頼度については考慮されていない。
　本開示の目的は、対象者の映像から測定される生体情報の信頼度を考慮することが可能な、情報処理システム、情報処理装置、情報処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することにある。
　一態様に係る情報処理システムは、対象者を含む映像データを取得する取得手段と、前記映像データから測定した前記対象者の生体情報の信頼度を算出する算出手段と、前記信頼度に基づいて、前記対象者に対して、該対象者の状況を調整する指示情報を出力する指示手段とを備えるものである。
　一態様に係る情報処理装置は、対象者を含む映像データを取得する取得手段と、前記映像データから測定した前記対象者の生体情報の信頼度を算出する算出手段と、前記信頼度に基づいて、前記対象者に対して、該対象者の状況を調整する指示情報を出力するように制御する制御手段とを備えるものである。
　一態様に係る情報処理方法は、対象者を含む映像データを取得し、前記映像データから測定した前記対象者の生体情報の信頼度を算出し、前記信頼度に基づいて、前記対象者に対して、該対象者の状況を調整する指示情報を出力する。
　一態様に係る非一時的なコンピュータ可読媒体は、対象者を含む映像データを取得する処理と、前記映像データから測定した前記対象者の生体情報の信頼度を算出する処理と、前記信頼度に基づいて、前記対象者に対して、該対象者の状況を調整する指示情報を出力する処理とをコンピュータに実行させるプログラムが格納されたものである。
　上述の態様によれば、対象者の映像から測定される生体情報の信頼度を考慮することが可能な、情報処理システム、情報処理装置、情報処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
実施形態に係る情報処理システムの構成を示すブロック図である。 実施形態に係る情報処理装置を含む情報処理システムの構成例を示す図である。 図２の医師側端末の構成の一例を示すブロック図である。 図２の患者側端末の構成の一例を示すブロック図である。 医師側端末の表示内容の一例を説明する図である。 患者側端末の表示内容の一例を説明する図である。 実施形態に係る情報処理の流れの一例を説明するシーケンス図である。
　以下、図面を参照して本開示の実施形態について説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化がなされている。また、以下の各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。また、以下で示す具体的な数値などは、本開示の理解を容易とするための例示にすぎず、これに限定されるものではない。
　実施形態は、医療サービスを提供する施設と遠隔地にある医療サービスを受ける対象者がいる施設との間で、ネットワークを介して対象者の映像データを伝送し、対象者の映像に基づいて医師等の専門家が診断を行う、医療サービス提供技術に関する。
　図１は、実施形態に係る情報処理システム１００の構成を示すブロック図である。図１に示すように、情報処理システム１００は、取得手段１０１、算出手段１０２、指示手段１０３を備える。取得手段１０１は、対象者を含む映像データを取得する。算出手段１０２は、取得手段１０１で取得した映像データから測定した対象者の生体情報の信頼度を算出する。指示手段１０３は、算出手段１０２で算出された信頼度に基づいて、対象者に対して、該対象者の状況を調整する指示情報を出力する。
　このように、対象者の映像から測定される生体情報の信頼度を考慮して、対象者の状況を調整する指示情報を出力することで、対象者自身が指示情報を参照して状況を調整することができる。このようにして対象者の状況が調整された状態で、対象者の映像から生体情報を測定することで、対象者の生体情報の信頼度を改善することが可能となり、医療サービスの向上を図ることが可能となる。
　次に、図２～４を参照して、実施形態に係る情報処理システム１００の具体的な例について説明する。図２は、実施形態に係る情報処理装置１を含む情報処理システム１００の構成例を示す図である。図２に示すように、情報処理システム１００は、医師側端末１０、患者側端末２０を含む。
　図３は、図２の医師側端末１０の構成の一例を示すブロック図である。図３では、医師側端末１０のハードウェア構成のほか、情報処理装置１内に実現される論理的な機能ブロックが示されている。図４は、図２の患者側端末２０の構成の一例を示すブロック図である。図４では、患者側端末２０のハードウェア構成のほか、演算装置７内に実現される論理的な機能ブロックが示されている。
　情報処理システム１００は、医療サービスを受ける対象者が自宅に在宅したまま、医療サービス提供者から各種サービスの提供を受ける、遠隔診療（オンライン診療、在宅診療）を支援するものである。ここで、医療サービス提供者には、医師、看護師、理学療法士、介護士等が含まれる。また、遠隔診療には、医師等が行う治療や処置といった狭義の医療行為の他、理学療法士が行うリハビリテーション、介護士が行う健康管理、服薬管理等の広義の医療行為も含まれる。説明を簡単にするため、医療サービス提供者を「医師」と記載する。
　医療サービスを受ける対象者は、例えば、患者、健康診断を受ける者（被健診者）、介護を受ける者（被介護者）等である。説明を簡単にするため、医療サービスを受ける対象者を「患者」と記載する。また、医療サービスを提供する施設は、例えば、病院、診療所、介護施設等である。説明を簡単にするため、医療サービスを提供する施設を「病院」と記載する。
　医師側端末１０と患者側端末２０とは、ネットワークＮで接続され、リアルタイムで双方向通信を行う。ここで、ネットワークＮは、インターネット、専用線等の通信ネットワークである。インターネットの場合、ＶＰＮ（Virtual Private Network）等で閉域網が形成されていることが好ましい。
　医師側端末１０は病院に設置され、患者側端末２０は遠隔地にある患者宅に設置される。医師側端末１０、患者側端末２０は、パーソナルコンピュータ、サーバマシン、タッチパネルによる入出力が可能なタブレット端末、スマートフォン等であり得る。医師側端末１０、患者側端末２０は専用機であってもよく、汎用の情報端末に専用のアプリケーションをインストールすることにより実現されてもよい。病院にいる医師は、医師側端末１０を用いて、遠隔地にいる患者側端末２０を使用する患者との間でリアルタイムなやり取りを行うことができる。
　このような情報処理システム１００を用いた遠隔診療では、医師は、患者宅から伝送された映像に基づいて診断を行う。医師側端末１０は、患者を撮影した映像から、当該患者の生体情報を取得することができる。生体情報とは、人の映像から測定可能な生体に関する情報であり、例えば、心拍数、血圧値、酸素飽和度等があげられる。
　医師側端末１０は、例えば、患者の体表が映った映像中の体表の状態変化を示す情報に基づき、生体情報を得ることができる。体表の状態変化を示す情報の一例として、例えば、患者の血液の流れに基づく体表の色の変化がある。患者を撮影した映像データの各フレームには、患者の体表の色の変化が含まれる。医師側端末１０では、患者の体表の色の変化に基づき、心拍数を測定することができる。
　経皮的動脈血酸素飽和度（ＳｐＯ２）は、血中のヘモグロビンが酸素とどのくらい結合しているかをパーセントで表したものである。顔などの体表に光を当てたときの反射光強度は、血管内のヘモグロビン量の変動により時間的に変化する。医師側端末１０は、映像を解析することでＳｐＯ２を推定することができる。
　このような生体情報の測定中に、例えば、患者が顔を速く動かすなど、患者が撮影装置に対して移動してしまうと、患者を撮影した映像データから測定される生体情報の精度が低くなってしまう。実施の形態では、患者の正対情報の信頼度を考慮して、患者に対して必要な情報を提供する。
　図３に示すように、医師側端末１０は、情報処理装置１、表示装置１１、撮影装置１２、記憶装置１３、入力装置１４、通信装置１５、音声入力装置１６、音声出力装置１７、ズーム指示装置１８を含み、これらはバス１９により相互に接続されている。情報処理装置１は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の演算処理装置である。
　情報処理装置１は、論理的な機能ブロックとしての取得部２、測定部３、算出部４、制御部５、決定部６を備える。取得部２、算出部４、制御部５は、特許請求の範囲に記載の取得手段、算出手段、制御手段に対応する。
　取得部２は、患者を含む映像データを取得する。患者を含む映像データは、例えば、患者側端末２０からネットワークを介して伝送される。患者を含む映像データは、ネットワークに接続された、図示しないデータベースに格納されたものであってもよい。この場合、取得部２は、該データベースにアクセスして映像データを取得することができる。
　測定部３は、患者を含む映像データから、該患者の生体情報を測定する。以下の説明では、生体情報として心拍数を測定する例について説明する。測定部３は、映像データから患者の顔領域を、体表を示す皮膚色領域として検出し、該顔領域の時間的な色の変化に基づいて、心拍数を測定する。
　算出部４は、映像データから測定した患者の生体情報の信頼度を算出する。例えば、算出部４は、患者の映像データに含まれる患者の動作情報に基づいて、測定した生体情報の信頼度を算出することができる。
　上記のように患者の映像データの顔領域から心拍数を測定している場合、患者が顔を動かすと、光源と顔の角度が変わるため顔の色が変化する。このように患者の動作によって体表の色が変化すると、測定結果の心拍数の信頼度が低下する。
　算出部４は、例えば、患者の顔の目、鼻、顔の輪郭等の各部位の座標を追跡することで、顔の動き（動作情報）を求め、顔の動きが大きい場合は測定された心拍数の信頼度が低く、顔の動きが小さい場合は測定された心拍数の信頼度が高いと判断することができる。
　制御部５は、信頼度に基づいて、患者に対して該患者の状況を調整する指示情報を出力するように制御する。すなわち、制御部５は、医者がより信頼度が高い患者の生体情報を得られるように、患者自身の動作を誘導する指示情報を生成する。
　上述の通り、心拍数を測定する場合、患者が顔を動かすと測定結果に影響を及ぼす。このため、制御部５は、患者の動作情報に基づいて算出した信頼度が低い場合、患者が顔を動かさないように、「顔を動かさないでください」との指示を生成することができる。
　上述の例では、算出部４は、患者の動作情報に基づいて、測定される生体情報の信頼度を算出したが、これに限定されない。例えば、算出部４は、映像データ中の患者の顔領域のサイズに基づいて、信頼度を算出することも可能である。例えば、心拍数を測定する場合、測定部３は、映像データに含まれる患者の顔領域を用いて測定するため、映像データには所定のサイズ以上の顔領域が含まれている必要がある。
　映像データ中の患者の顔が所定のサイズよりも小さい場合、算出部４は信頼度が低いと判断することができる。このとき、制御部５は、患者に「顔をカメラに近づけてください」との指示を生成することができる。このように、測定される生体情報の信頼度に応じて指示情報を生成することで、患者の行動を誘導することができ、より信頼度の高い生体情報を得ることが可能となる。
　また、患者がいる部屋が暗く、顔領域の色変化が取得できない場合、算出部４は信頼度が低いと判断することができる。このとき、制御部５は、患者に対して、「部屋を明るくしてください」との指示を生成することができる。患者の状況を調整する指示情報には、上述の「顔を停止させる指示」、「顔を近づける指示」、「明るさを調整する指示」の他、「ピントを合わせる指示」、「測定部位を映す指示」等、生体情報の信頼度を改善するための指示や診察に必要な指示が含まれる。
　決定部６は、映像データに含まれる患者に関連する関連情報を取得して、関連情報の１つ又は１つ以上の組合せに基づいて、測定する生体情報を決定する。関連情報には、カルテ情報、問診情報、ＡＤＬ（Activities of Daily Living）等の日常生活動作の能力を示す能力情報、処方、介護、リハビリ等の記録を示す情報、患者が診察を受けている診療科の情報が含まれる。これらの情報は、外部の管理サーバに保存され、管理されていてもよい。
　例えば、決定部６は、管理サーバにアクセスしてカルテ情報を取得し、該カルテ情報に「呼吸が荒い」ことが記載されていた場合、測定する生体情報を「酸素飽和度」と決定することができる。なお、決定部６は、関連情報の１つ又は１つ以上の組合せに基づいて、複数の生体情報を測定対象として決定してもよい。
　また、決定部６は、関連情報の１つ又は１つ以上の組合せに基づいて、所定の生体情報を測定対象としないことを決定してもよい。例えば、診療科毎に測定すべき所定の生体情報が設定されており、この所定の生体情報に含まれないものを測定対象から除外することができる。一例をあげると、患者が皮膚科にかかっている場合、決定部６は、カルテ情報に「呼吸が荒い」ことが記載されていたとしても、皮膚科の診療には必要のない生体情報（例えば、酸素飽和度）の測定を行わないと判断することができる。
　表示装置１１は、ＬＣＤ（Liquid Crystal Display）等であり、各種情報を表示する。図５は、医師側端末の表示内容の一例を説明する図である。図５に示すように、表示装置１１は、映像表示領域１１１、情報表示領域１１２、測定ボタン１１３、ズームボタン１１４を有する。
　映像表示領域１１１には、患者側端末２０から伝送される患者の映像が表示される。情報表示領域１１２には、患者の映像データから測定された生体情報と、その信頼度が表示される。信頼度が低い場合、対象者の状況を調整する指示情報が出力された後に、医師は、測定ボタン１１３をクリックして、測定部３による生体情報の測定を再度開始することができる。
　すなわち、実施の形態では、表示装置１１が、医師側端末１０の使用者である医者に該信頼度を通知する通知手段となる。なお、通知手段としては、音声や、報知音パターン、発光パターン、振動パターン等、医者に信頼度を通知できるものであれば特に限定されない。
　なお、情報表示領域１１２には、カルテ情報（例えば、持病、病歴、検査情報等）、問診情報等が表示されてもよい。また、医師側端末１０は、音声解析部をさらに備え、情報表示領域１１２には、医者と患者との会話を音声認識した内容と関連する情報が表示されてもよい。例えば、患者の「頭が痛い」との音声情報から、測定部３により測定される生体情報が決定され、所定のバイタルサイン（血圧値や心拍数等）を表示することができる。
　また、情報表示領域１１２は、医師と患者との会話の音声認識結果を活用して、症状に応じた病名の候補を表示してもよい。また、症状から病名を絞り込んだ後、病名を確定するために、情報表示領域１１２はどのような質問したらいいかのリコメンド情報を表示してもよい。
　撮影装置１２は、例えばビデオカメラであり、医師側端末１０を使用する医師を撮影することができる。撮影装置１２は、所定の撮影範囲（撮影画角）を所定の撮影レートで医者を撮影して、時系列の複数の画像データによって構成される動画データを生成する。
　記憶装置１３は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリ等の不揮発性記憶装置である。記憶装置１３は、情報処理装置１が備える構成要素の各機能を実現するプログラムを記憶している。情報処理装置１がこのプログラムを実行することで、情報処理装置１が備える構成要素の各機能が実現される。
　記憶装置１３は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリを含んでいてもよい。情報処理装置１は、上記プログラムを実行する際、これらのプログラムをメモリ上に読み出してから実行しても良いし、メモリ上に読み出さずに実行しても良い。また、記憶装置１３は、情報処理装置１が備える構成要素が保持する情報、例えば、測定部３が生体情報を測定するために必要な情報や算出部４が信頼度を算出するために必要な情報を記憶する役割も果たす。
　入力装置１４は、医師側端末１０の使用者である医師の操作入力を受け付ける装置であり、例えば、キーボード、マウス等である。表示装置１１と入力装置１４とが一体化され、タッチパネルとして実現されてもよい。医師は、入力装置１４を用いて、測定ボタン１１３をクリックすることで、生体情報の測定の開始及び終了を決定することができる。
　上述のように実施の形態では、病院にいる医師と遠隔地にいる患者との間で、オンラインで診療を行うため、生体情報を測定される対象である患者は、医師が決定する測定の開始及び終了のタイミングを知ることが難しかった。そこで、制御部５は、入力装置１４への入力（生体情報の測定の開始及び終了）に応じて、患者への指示情報を変更することが好ましい。
　例えば、医師が心拍数の測定の開始を入力したとき、制御部５は、患者側端末２０へ「心拍数の測定を開始します。カメラに正対してください。」との情報を出力することができる。また、医師が生体情報の測定の終了を入力したとき、制御部５は、患者側端末２０へ「測定が終了しました」との情報を出力することができる。これにより、医師の挙動を遠隔地にいる患者に知らせることができ、患者は、どのタイミングで動いてはいけないのか、どのタイミングで動いてもよいかということを把握することができる。このように、実施の形態によれば、オンライン診療における、医師と患者の円滑なコミュニケーションを支援することが可能となる。
　通信装置１５は、例えば、無線伝送路を介して外部の患者側端末２０との間でデータを送受信する。例えば、通信装置１５は、医者を含む映像データを患者側端末２０へ送信し、患者を含む映像データを患者側端末２０から受信する。また、上述した各種演算に必要な情報が外部の管理サーバに保存されている場合は、通信装置１５はこれらの情報を管理サーバから受信する。
　音声入力装置１６は、例えばマイクであり、医者が発した音声を、音声データとして収集する。撮影装置１２により生成された動画データと音声入力装置１６により収集された音声データを合成することで、映像データが生成される。
　情報表示領域１１２は、音声入力装置１６により収集された医師の音声データと、患者を含む映像データに含まれる音声情報を音声認識して、その結果を活用した表示を行うことも可能である。音声出力装置１７は、例えばスピーカーであり、患者側端末２０から伝送された患者の映像データに含まれる音声を再生する。
　ズーム指示装置１８は、患者の映像データを生成する後述する撮影装置２２のズームを制御するためのズーム指示を患者側端末２０へ出力する。ズームとは画角を望遠又は広角に変化させることをいう。例えば、撮影装置２２の光学系のズーム状態（焦点距離）を変化させることで、患者の患部を拡大することができる。
　医師が視診したい患者の異常部位（患部）を拡大する場合、ズーム指示装置１８は患者側端末２０へ当該患部を拡大するようにズーム指示を出力することができる。ズーム指示装置１８への拡大したい部位の入力は、医師が手動で、入力装置１４を用いてズームボタン１１４をクリックすることで行うことができる。また、例えば、心拍数を測定する場合等、特定の顔領域を拡大したい場合には、顔認識技術を用いて自動で顔領域を拡大してもよい。この場合、ズーム指示装置１８は、患者を含む映像データから患者の顔領域を抽出し、当該顔領域が所定の大きさとなるように、ズーム指示を生成する。
　また、制御部５は、撮影装置２２のズーム状況に応じて、患者へ提供する指示情報を変更することができる。例えば、医師が患者の患部である右手人差し指をズームアップする操作入力をしたとき、制御部５は、患者側端末２０へ「右手人差し指を診察します。当該部位をカメラに向けて、出来るだけ動かさないでください。」との患者の動作を誘導する指示情報を出力することができる。また、医師がズームアウト操作をしたときには、制御部５は、患者側端末２０へ「診察が終了しました。お疲れ様でした。」と、患者の動作を誘導する指示を解除する情報を出力することができる。
　次に、患者側端末２０について説明する。図４に示すように、患者側端末２０は、演算装置７、表示装置２１、撮影装置２２、記憶装置２３、入力装置２４、通信装置２５、音声入力装置２６、音声出力装置２７、ズーム制御装置２８を含み、これらはバス２９により相互に接続されている。
　なお、表示装置２１、撮影装置２２、記憶装置２３、入力装置２４、通信装置２５、音声入力装置２６、音声出力装置２７は、それぞれ表示装置１１、撮影装置１２、記憶装置１３、入力装置１４、通信装置１５、音声入力装置１６、音声出力装置１７と一般的な機能は同一であるため、適宜説明を省略する。
　演算装置７は、例えばＣＰＵやＧＰＵ等の演算処理装置である。演算装置７は、論理的な機能ブロックとしての指示部８を備える。指示部８は、医師側端末１０からの患者自身の状況を調整する指示情報を出力する。指示部８は、例えば、後述する表示装置２１に指示情報を表示させたり、音声出力装置２７に指示情報を音声で再生させたりすることができる。
　表示装置２１は、ＬＣＤ等であり、各種情報を表示する。図６は、患者側端末の表示内容の一例を説明する図である。表示装置２１は、映像表示領域２１１、情報表示領域２１２を有する。映像表示領域２１１には、医師側端末１０から伝送される医者を含む映像データが表示される。
　情報表示領域２１２には、患者への指示情報が表示される。上述したように、心拍数を測定する場合において、患者の動作情報に基づいて算出した信頼度が低いとき、制御部５は、患者が顔を動かさないように、「顔を動かさないでください」との指示を生成する。指示部８は、この「顔を動かさないでください」との指示情を受信し、情報表示領域２１２に表示させる。このように、指示情報を表示することで、患者自身の状況の調整を誘導し、信頼度が高い生体情報を測定することが可能となる。
　情報表示領域２１２に表示させる、患者の状況を調整する指示情報には、上述の顔を停止させる指示の他、測定する生体情報に応じて、顔を近づける指示、ピントを合わせる指示、明るさを調整する指示等が含まれる。
　また、例えば、関連情報に基づいて、患者の映像に基づいて心拍数の測定を行うことが決定された場合、情報表示領域２１２は、心拍数の測定を行うことを事前に患者に通知する表示を行うことができる。また、情報表示領域２１２は、ズーム指示装置１８からズーム指示が出力された場合に、ズームされる部位がどこであるか患者に通知する表示を行うことができる。患者は、この通知から何を測定しているかがわかり、測定に必要な自身の身体部位をなるべく動かさないようにすることができる。
　上述の通り、制御部５は、撮影装置２２のズーム状況に応じて、患者へ提供する指示情報を変更することができる。医師による視診のため患者の患部がズームアップされる場合、情報表示領域２１２には、ズームアップされる患者の患部がどこであるかが表示される。また、医師による視診が終了して患者の患部がズームアウトされる場合、情報表示領域２１２には診察の終了が表示される。
　なお、指示情報の出力は、指示部８が表示装置２１へ表示させることで指示情報を出力する例に限定されない。例えば、指示部８は、音声出力装置２７に音声で指示情報を出力させてもよい。また、指示部８は、報知音や光、振動のパターンで指示情報を出力することも可能である。
　撮影装置２２は、例えばビデオカメラであり、患者側端末２０を使用する患者を撮影することができる。撮影装置２２は、所定の撮影範囲（撮影画角）を所定の撮影レートで患者を撮影して、時系列の複数の画像データによって構成される動画データを生成する。
　記憶装置２３は、例えばＨＤＤ、ＳＳＤ、又はフラッシュメモリ等の不揮発性記憶装置である。記憶装置２３は、演算装置７が備える指示部８の機能を実現するプログラムを記憶している。演算装置７がこのプログラムを実行することで、指示部８の機能が実現される。また、記憶装置１３と同様に、記憶装置２３は、ＲＡＭやＲＯＭ等のメモリを含んでいてもよい。記憶装置１３は、指示部８が指示情報を出力する処理を行うために必要なデータ等を記憶する役割も果たす。
　入力装置２４は、患者側端末２０の使用者である患者の操作入力を受け付ける装置であり、例えば、キーボード、マウス等である。表示装置２１と入力装置２４とが一体化され、タッチパネルとして実現されてもよい。
　通信装置２５は、例えば無線伝送路を介して外部の医師側端末１０との間でデータを送受信する。例えば、医者を含む映像データ、患者を含む映像データは通信装置２５を介して伝送される。
　音声入力装置２６は、例えばマイクであり、患者が発した音声を収集する。撮影装置２２により生成された動画データと音声入力装置２６により収集された音声情報を合成することで、映像データが生成される。すなわち、この映像データには、患者の動作情報と音声情報とが含まれる。音声出力装置２７は、例えばスピーカーであり、医師側端末１０から伝送された医者の映像データに含まれる音声を再生する。また、患者の状況を調整する指示情報が音声で出力される場合には、音声出力装置２７は該指示情報を音声で再生することができる。
　ズーム制御装置２８は、医師側端末１０からズーム指示に応じて、撮影装置２２のズームを制御する。ズーム制御装置２８の制御により撮影装置２２のズーム状態が変更され、患者の所定の部位が拡大される。
　ここで、図７を参照して、実施形態に係る情報処理方法について説明する。図７は、実施形態に係る情報処理の流れの一例を説明するシーケンス図である。まず、患者側端末２０は、医師側端末１０に患者を含む映像データを送信する（Ｓ１０）。医師側端末１０の取得部２は、患者を含む映像データを取得する（Ｓ１１）。
　そして、測定部３は、患者を含む映像データから、該患者の生体情報を測定する（Ｓ１２）。なお、このとき、決定部６が、映像データに含まれる患者に関連する関連情報を取得して、関連情報の１つ又は１つ以上の組合せに基づいて、測定する生体情報を決定してもよい。
　算出部４は、映像データから測定した患者の生体情報の信頼度を算出する（Ｓ１３）。その後、制御部５は、算出された信頼度に基づいて、患者の状況を調整する指示情報を生成して（Ｓ１４）、患者側端末２０へ送信する（Ｓ１５）。患者側端末２０の指示部８は、該指示情報取得し、例えば、表示装置２１にこの指示情報を表示させて出力する（Ｓ１６）。
　以上説明したように、実施の形態によれば、測定される生体情報の信頼度に応じて、患者の状況を調整する指示情報を、患者に提供することができる。これにより、患者が指示情報に従って誘導され、測定される生体情報の改善することができ、医療サービスへの向上を図ることが可能となる。
　なお、図３に示す例では、情報処理システム１００が情報処理装置１を含む例を示したが、この構成に限定されるものではない。例えば、情報処理装置１は、データセンター等に設置されたサーバとして実現することも可能である。患者側端末２０からの患者を含む画像データは該サーバに送信され、サーバが上述した患者の状況を調整する指示情報を生成する処理を実行する。
　なお、図面に記載された様々な処理を行う各機能ブロックは、ハードウェア的には、プロセッサ、メモリ、その他の回路で構成することができる。また、上述した処理を、プロセッサにプログラムを実行させることにより実現することも可能である。従って、これらの機能ブロックは、ハードウェアのみ、ソフトウェアのみ、又はそれらの組合せによっていろいろな形で実現でき、いずれかに限定されるものではない。
　上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、実施の形態を参照して本開示を説明したが、本開示は上述した実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
　また、上述した実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　　　（付記１）
　対象者を含む映像データを取得する取得手段と、
　前記映像データから測定した前記対象者の生体情報の信頼度を算出する算出手段と、
　前記信頼度に基づいて、前記対象者に対して、該対象者の状況を調整する指示情報を出力する指示手段と、
　を備える、
　情報処理システム。
　　　（付記２）
　前記対象者を撮影して、前記映像データを生成する撮影手段と、
　前記撮影手段のズームを制御するズーム制御手段と、
　をさらに含み、
　前記指示手段は、前記撮影手段のズーム状況に応じて、前記指示情報を変更する、
　付記１に記載の情報処理システム。
　　　（付記３）
　前記生体情報の測定の開始及び／又は終了の入力を受け付ける入力手段を含み、
　前記指示手段は、前記入力手段への入力に応じて、前記指示情報を変更する、
　付記１又は２に記載の情報処理システム。
　　　（付記４）
　前記信頼度を使用者に通知する通知手段をさらに備える、
　付記１～３のいずれか１項に記載の情報処理システム。
　　　（付記５）
　前記映像データに含まれる前記対象者に関連する関連情報を取得し、該関連情報に基づいて測定する生体情報を決定する決定手段をさらに含む、
　付記１～４のいずれか１項に記載の情報処理システム。
　　　（付記６）
　双方向通信を行う第１端末と、第２端末とを含み、
　前記第１端末は、前記対象者の映像及び前記信頼度を表示する第１表示手段を備え、
　前記第２端末は、前記指示情報を表示する第２表示手段を備える、
　付記１～５のいずれか１項に記載の情報処理システム。
　　　（付記７）
　対象者を含む映像データを取得する取得手段と、
　前記映像データから測定した前記対象者の生体情報の信頼度を算出する算出手段と、
　前記信頼度に基づいて、前記対象者に対して、該対象者の状況を調整する指示情報を出力するように制御する制御手段と、
　を備える、
　情報処理装置。
　　　（付記８）
　前記取得手段は、ネットワークを介して接続された撮影手段によって前記対象者を撮影して生成された前記映像データを取得し、
　前記撮影手段のズームを制御するようにズーム指示を出力するズーム指示手段をさらに含み、
　前記制御手段は、前記撮影手段のズーム状況に応じて、前記指示情報を変更する、
　付記７に記載の情報処理装置。
　　　（付記９）
　前記生体情報の測定の開始及び／又は終了の入力を受け付ける入力手段をさらに含み、
　前記制御手段は、前記入力手段への入力に応じて、前記指示情報を変更する、
　付記７又は８に記載の情報処理装置。
　　　（付記１０）
　前記信頼度を使用者に通知する通知手段をさらに含む、
　付記７～９のいずれか１項に記載の情報処理装置。
　　　（付記１１）
　前記映像データに含まれる前記対象者に関連する関連情報を取得し、該関連情報に基づいて測定する生体情報を決定する決定手段をさらに含む、
　付記７～１０のいずれか１項に記載の情報処理装置。
　　　（付記１２）
　前記制御手段は、双方向通信を行う第１端末と、第２端末のうち、前記第１端末の第１表示部に前記対象者の映像及び前記信頼度を表示させ、前記第２端末の第２表示部に前記指示情報を表示させるように制御する、
　付記７～１１のいずれか１項に記載の情報処理装置。
　　　（付記１３）
　対象者を含む映像データを取得し、
　前記映像データから測定した前記対象者の生体情報の信頼度を算出し、
　前記信頼度に基づいて、前記対象者に対して、該対象者の状況を調整する指示情報を出力する、
　情報処理方法。
　　　（付記１４）
　前記対象者を撮影して前記映像データを生成する撮影手段のズームを制御し、
　前記撮影手段のズーム状況に応じて、前記指示情報を変更する、
　付記１３に記載の情報処理方法。
　　　（付記１５）
　前記生体情報の測定の開始及び／又は終了の入力を受け付ける入力手段への入力に応じて、前記指示情報を変更する、
　付記１３又は１４に記載の情報処理方法。
　　　（付記１６）
　前記信頼度を使用者に通知する、
　付記１３～１５のいずれか１項に記載の情報処理方法。
　　　（付記１７）
　前記映像データに含まれる前記対象者に関連する関連情報を取得し、該関連情報に基づいて測定する生体情報を決定する、
　付記１３～１６のいずれか１項に記載の情報処理方法。
　　　（付記１８）
　双方向通信を行う第１端末と、第２端末のうち、前記第１端末の第１表示部に前記対象者の映像及び前記信頼度を表示させ、前記第２端末の第２表示部に前記指示情報を表示させる、
　付記１３～１７のいずれか１項に記載の情報処理方法。
　　　（付記１９）
　対象者を含む映像データを取得する処理と、
　前記映像データから測定した前記対象者の生体情報の信頼度を算出する処理と、
　前記信頼度に基づいて、前記対象者に対して、該対象者の状況を調整する指示情報を出力する処理と、
　をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
　　　（付記２０）
　前記対象者を撮影して前記映像データを生成する撮影手段のズームを制御する処理と、
　前記撮影手段のズーム状況に応じて、前記指示情報を変更する処理と、
　をさらにコンピュータに実行させる、
　付記１９に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
　　　（付記２１）
　前記生体情報の測定の開始及び／又は終了の入力を受け付ける入力手段への入力に応じて、前記指示情報を変更する処理とさらにコンピュータに実行させる、
　付記１９又は２０に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
　　　（付記２２）
　前記信頼度を使用者に通知する処理をさらにコンピュータに実行させる、
　付記１９～２１のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
　　　（付記２３）
　前記映像データに含まれる前記対象者に関連する関連情報を取得し、該関連情報に基づいて測定する生体情報を決定する処理をさらにコンピュータに実行させる、
　付記１９～２２のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
　　　（付記２４）
　双方向通信を行う第１端末と、第２端末のうち、前記第１端末の第１表示部に前記対象者の映像及び前記信頼度を表示させ、前記第２端末の第２表示部に前記指示情報を表示させる処理をさらにコンピュータに実行させる、
　付記１９～２３のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
　１　情報処理装置
　２　取得部
　３　測定部
　４　算出部
　５　制御部
　６　決定部
　７　演算装置
　８　指示部
　１０　医師側端末
　１１　表示装置
　１２　撮影装置
　１３　記憶装置
　１４　入力装置
　１５　通信装置
　１６　音声入力装置
　１７　音声出力装置
　１８　ズーム指示装置
　１９　バス
　２０　患者側端末
　２１　表示装置
　２２　撮影装置
　２３　記憶装置
　２４　入力装置
　２５　通信装置
　２６　音声入力装置
　２７　音声出力装置
　２８　ズーム制御装置
　２９　バス
　１００　情報処理システム
　１０１　取得手段
　１０２　算出手段
　１０３　指示手段
　１１１　映像表示領域
　１１２　情報表示領域
　１１３　測定ボタン
　１１４　ズームボタン
　２１１　映像表示領域
　２１２　情報表示領域
　Ｎ　ネットワーク

Claims (24)

  1. 　対象者を含む映像データを取得する取得手段と、
    　前記映像データから測定した前記対象者の生体情報の信頼度を算出する算出手段と、
    　前記信頼度に基づいて、前記対象者に対して、該対象者の状況を調整する指示情報を出力する指示手段と、
    　を備える、
    　情報処理システム。
  2. 　前記対象者を撮影して、前記映像データを生成する撮影手段と、
    　前記撮影手段のズームを制御するズーム制御手段と、
    　をさらに含み、
    　前記指示手段は、前記撮影手段のズーム状況に応じて、前記指示情報を変更する、
    　請求項１に記載の情報処理システム。
  3. 　前記生体情報の測定の開始及び／又は終了の入力を受け付ける入力手段を含み、
    　前記指示手段は、前記入力手段への入力に応じて、前記指示情報を変更する、
    　請求項１又は２に記載の情報処理システム。
  4. 　前記信頼度を使用者に通知する通知手段をさらに備える、
    　請求項１～３のいずれか１項に記載の情報処理システム。
  5. 　前記映像データに含まれる前記対象者に関連する関連情報を取得し、該関連情報に基づいて測定する生体情報を決定する決定手段をさらに含む、
    　請求項１～４のいずれか１項に記載の情報処理システム。
  6. 　双方向通信を行う第１端末と、第２端末とを含み、
    　前記第１端末は、前記対象者の映像及び前記信頼度を表示する第１表示手段を備え、
    　前記第２端末は、前記指示情報を表示する第２表示手段を備える、
    　請求項１～５のいずれか１項に記載の情報処理システム。
  7. 　対象者を含む映像データを取得する取得手段と、
    　前記映像データから測定した前記対象者の生体情報の信頼度を算出する算出手段と、
    　前記信頼度に基づいて、前記対象者に対して、該対象者の状況を調整する指示情報を出力するように制御する制御手段と、
    　を備える、
    　情報処理装置。
  8. 　前記取得手段は、ネットワークを介して接続された撮影手段によって前記対象者を撮影して生成された前記映像データを取得し、
    　前記撮影手段のズームを制御するようにズーム指示を出力するズーム指示手段をさらに含み、
    　前記制御手段は、前記撮影手段のズーム状況に応じて、前記指示情報を変更する、
    　請求項７に記載の情報処理装置。
  9. 　前記生体情報の測定の開始及び／又は終了の入力を受け付ける入力手段をさらに含み、
    　前記制御手段は、前記入力手段への入力に応じて、前記指示情報を変更する、
    　請求項７又は８に記載の情報処理装置。
  10. 　前記信頼度を使用者に通知する通知手段をさらに含む、
    　請求項７～９のいずれか１項に記載の情報処理装置。
  11. 　前記映像データに含まれる前記対象者に関連する関連情報を取得し、該関連情報に基づいて測定する生体情報を決定する決定手段をさらに含む、
    　請求項７～１０のいずれか１項に記載の情報処理装置。
  12. 　前記制御手段は、双方向通信を行う第１端末と、第２端末のうち、前記第１端末の第１表示部に前記対象者の映像及び前記信頼度を表示させ、前記第２端末の第２表示部に前記指示情報を表示させるように制御する、
    　請求項７～１１のいずれか１項に記載の情報処理装置。
  13. 　対象者を含む映像データを取得し、
    　前記映像データから測定した前記対象者の生体情報の信頼度を算出し、
    　前記信頼度に基づいて、前記対象者に対して、該対象者の状況を調整する指示情報を出力する、
    　情報処理方法。
  14. 　前記対象者を撮影して前記映像データを生成する撮影手段のズームを制御し、
    　前記撮影手段のズーム状況に応じて、前記指示情報を変更する、
    　請求項１３に記載の情報処理方法。
  15. 　前記生体情報の測定の開始及び／又は終了の入力を受け付ける入力手段への入力に応じて、前記指示情報を変更する、
    　請求項１３又は１４に記載の情報処理方法。
  16. 　前記信頼度を使用者に通知する、
    　請求項１３～１５のいずれか１項に記載の情報処理方法。
  17. 　前記映像データに含まれる前記対象者に関連する関連情報を取得し、該関連情報に基づいて測定する生体情報を決定する、
    　請求項１３～１６のいずれか１項に記載の情報処理方法。
  18. 　双方向通信を行う第１端末と、第２端末のうち、前記第１端末の第１表示部に前記対象者の映像及び前記信頼度を表示させ、前記第２端末の第２表示部に前記指示情報を表示させる、
    　請求項１３～１７のいずれか１項に記載の情報処理方法。
  19. 　対象者を含む映像データを取得する処理と、
    　前記映像データから測定した前記対象者の生体情報の信頼度を算出する処理と、
    　前記信頼度に基づいて、前記対象者に対して、該対象者の状況を調整する指示情報を出力する処理と、
    　をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
  20. 　前記対象者を撮影して前記映像データを生成する撮影手段のズームを制御する処理と、
    　前記撮影手段のズーム状況に応じて、前記指示情報を変更する処理と、
    　をさらにコンピュータに実行させる、
    　請求項１９に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
  21. 　前記生体情報の測定の開始及び／又は終了の入力を受け付ける入力手段への入力に応じて、前記指示情報を変更する処理とさらにコンピュータに実行させる、
    　請求項１９又は２０に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
  22. 　前記信頼度を使用者に通知する処理をさらにコンピュータに実行させる、
    　請求項１９～２１のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
  23. 　前記映像データに含まれる前記対象者に関連する関連情報を取得し、該関連情報に基づいて測定する生体情報を決定する処理をさらにコンピュータに実行させる、
    　請求項１９～２２のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
  24. 　双方向通信を行う第１端末と、第２端末のうち、前記第１端末の第１表示部に前記対象者の映像及び前記信頼度を表示させ、前記第２端末の第２表示部に前記指示情報を表示させる処理をさらにコンピュータに実行させる、
    　請求項１９～２３のいずれか１項に記載のプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2021/035831 2021-09-29 2021-09-29 情報処理システム、情報処理装置、情報処理方法、プログラムが格納された非一時的なコンピュータ可読媒体 WO2023053260A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023550839A JPWO2023053260A5 (ja) 2021-09-29 情報処理システム、情報処理装置、情報処理方法、プログラム
PCT/JP2021/035831 WO2023053260A1 (ja) 2021-09-29 2021-09-29 情報処理システム、情報処理装置、情報処理方法、プログラムが格納された非一時的なコンピュータ可読媒体
US18/294,589 US20240346853A1 (en) 2021-09-29 2021-09-29 Information processing system, information processing apparatus, information processing method, and non-transitory computer readable medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/035831 WO2023053260A1 (ja) 2021-09-29 2021-09-29 情報処理システム、情報処理装置、情報処理方法、プログラムが格納された非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2023053260A1 true WO2023053260A1 (ja) 2023-04-06

Family

ID=85781567

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035831 WO2023053260A1 (ja) 2021-09-29 2021-09-29 情報処理システム、情報処理装置、情報処理方法、プログラムが格納された非一時的なコンピュータ可読媒体

Country Status (2)

Country Link
US (1) US20240346853A1 (ja)
WO (1) WO2023053260A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010022689A (ja) * 2008-07-23 2010-02-04 Omron Healthcare Co Ltd 生体情報管理システム及び測定器
JP2013119014A (ja) * 2011-12-08 2013-06-17 Sharp Corp 情報端末装置、遠隔測定システム、情報端末装置の制御方法、制御プログラムおよび記録媒体
JP2013183810A (ja) * 2012-03-06 2013-09-19 Terumo Corp 情報処理システム及び装置及び情報処理装置の制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP2018023768A (ja) * 2016-07-28 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 被測定者特定方法、被測定者特定システム、血圧の測定状態判定方法、血圧の測定状態判定装置及び血圧の測定状態判定プログラム
JP2020113004A (ja) * 2019-01-10 2020-07-27 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報処理装置、電子カルテ作成方法および電子カルテ作成プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010022689A (ja) * 2008-07-23 2010-02-04 Omron Healthcare Co Ltd 生体情報管理システム及び測定器
JP2013119014A (ja) * 2011-12-08 2013-06-17 Sharp Corp 情報端末装置、遠隔測定システム、情報端末装置の制御方法、制御プログラムおよび記録媒体
JP2013183810A (ja) * 2012-03-06 2013-09-19 Terumo Corp 情報処理システム及び装置及び情報処理装置の制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP2018023768A (ja) * 2016-07-28 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 被測定者特定方法、被測定者特定システム、血圧の測定状態判定方法、血圧の測定状態判定装置及び血圧の測定状態判定プログラム
JP2020113004A (ja) * 2019-01-10 2020-07-27 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報処理装置、電子カルテ作成方法および電子カルテ作成プログラム

Also Published As

Publication number Publication date
JPWO2023053260A1 (ja) 2023-04-06
US20240346853A1 (en) 2024-10-17

Similar Documents

Publication Publication Date Title
US20170007126A1 (en) System for conducting a remote physical examination
US9841811B2 (en) Visually directed human-computer interaction for medical applications
US9596991B2 (en) Self-examination apparatus and method for self-examination
US20200375467A1 (en) Telemedicine application of video analysis and motion augmentation
US12114958B2 (en) Integrated medical device and home based system to measure and report vital patient physiological data via telemedicine
JP2020199072A (ja) 脳卒中判定装置、方法およびプログラム
Muraco Improved medical photography: key tips for creating images of lasting value
CN113454615A (zh) 用于医疗保健通信的系统和方法
WO2023053260A1 (ja) 情報処理システム、情報処理装置、情報処理方法、プログラムが格納された非一時的なコンピュータ可読媒体
KR20120049697A (ko) 원격진료장치 및 원격진료방법
WO2023053267A1 (ja) 情報処理システム、情報処理装置、情報処理方法、プログラムが格納された非一時的なコンピュータ可読媒体
JP2023103774A (ja) 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム
WO2023053257A1 (ja) 情報処理システム、情報処理装置、情報処理方法、プログラムが格納された非一時的なコンピュータ可読媒体
Burdick et al. Using multisensory haptic integration to improve monitoring in the intensive care unit
JP2021163104A (ja) 診療補助プログラムおよび診療補助システム
JP6885663B2 (ja) 情報処理装置及び方法、並びにプログラム
JP2023071244A (ja) 臨床支援システム、及び臨床支援装置
SK500292024U1 (sk) Zariadenie na domácu diagnostiku ochorení
JP2024059558A (ja) 医用情報処理装置、医用情報処理方法および医用情報処理プログラム
JP2023071818A (ja) 臨床支援システム、及び臨床支援装置
JP2024091373A (ja) 施術の監査システム
JP2023055668A (ja) オンライン診察システム、患者側装置、および医師側装置
JP2024091326A (ja) 施術の監査システム
JP2023137981A (ja) 行動判定装置、行動判定方法、プログラム及び記録媒体
JP2024091285A (ja) 施術の監査システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21959307

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18294589

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023550839

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21959307

Country of ref document: EP

Kind code of ref document: A1