WO2022085480A1 - 表示制御方法、遠隔医療システム、およびプログラム - Google Patents

表示制御方法、遠隔医療システム、およびプログラム Download PDF

Info

Publication number
WO2022085480A1
WO2022085480A1 PCT/JP2021/037273 JP2021037273W WO2022085480A1 WO 2022085480 A1 WO2022085480 A1 WO 2022085480A1 JP 2021037273 W JP2021037273 W JP 2021037273W WO 2022085480 A1 WO2022085480 A1 WO 2022085480A1
Authority
WO
WIPO (PCT)
Prior art keywords
patient
drug
display
control method
display control
Prior art date
Application number
PCT/JP2021/037273
Other languages
English (en)
French (fr)
Inventor
孝佳 平井
康之 加藤
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2022085480A1 publication Critical patent/WO2022085480A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00—Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/04—Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients

Definitions

  • the present disclosure relates to display control methods, telemedicine systems, and programs, and in particular to display control methods, telemedicine systems, and programs that allow patients to more reliably control drug use.
  • the treatment is basically based on the premise that the patient is taking the prescribed medicine as instructed by the doctor or pharmacist. Many medicines exert their effects when taken continuously. Therefore, it is important to manage medication to control whether the patient is taking the medicine as instructed, whether the medicine is taken in the wrong way, and whether the patient is in poor physical condition due to taking the medicine. Therefore, a system for managing medication has been proposed.
  • Patent Document 1 discloses a drug dosing system that generates drug dosing management data by imaging a prescription and notifies an electronic device carried by a patient when it is time to take the drug.
  • This disclosure has been made in view of such circumstances, and is intended to more reliably control the use of drugs by patients.
  • the display control method of the present disclosure is a display in which a telemedicine system detects a drug usage status by a patient and controls the display of a character that supports the patient's use of the drug based on the detected usage status. It is a control method.
  • the telemedicine system of the present disclosure has a detection unit that detects the usage status of a drug by a patient, and a display control unit that controls the display of a character that supports the use of the drug by the patient based on the detected usage status. It is a telemedicine system equipped with.
  • the program of the present disclosure causes a computer to perform a process of detecting a drug usage status by a patient and controlling the display of a character that supports the patient's use of the drug based on the detected usage status. It is a program of.
  • the usage status of the drug by the patient is detected, and the display of the character supporting the use of the drug by the patient is controlled based on the detected usage status.
  • Patent Document 1 discloses a drug dosing system that notifies a patient of the timing of taking a drug. However, in the configuration disclosed in Patent Document 1, it was not known whether the patient actually took the drug. In addition, the inducing power to encourage the patient to take the medicine was low only by notifying the timing of taking the medicine.
  • the patient's emotions are detected by detecting the drug usage status by the patient and changing the facial expression and movement of the character imitating the medical staff according to the detected usage status. To increase the inducing power to encourage the use of medicines.
  • the drug (also referred to as a drug) includes any of an internal drug, an external drug, and an injectable drug, and the use of the drug is the taking of the internal drug (also referred to as the drug), the use of the external drug or the injectable drug.
  • Shall include.
  • an example in which a patient takes an internal medicine will be mainly described, but an example in which a patient uses an external medicine or an injectable medicine is also realized by the same configuration and treatment.
  • medical staff are those who engage in medical care and provide medical care for patients, and are not necessarily limited to doctors and pharmacists.
  • medical professionals include nurses, dentists, public health nurses, and the like.
  • the patient is treated by a medical professional, and it does not matter whether or not he / she has a disease.
  • FIG. 1 is a block diagram showing a configuration example of a telemedicine system 1 to which the technique according to the present disclosure is applied.
  • the telemedicine system 1 includes a patient terminal 10, a medical staff terminal 20, and a server 30.
  • the patient terminal 10, the medical staff terminal 20, and the server 30 are connected to each other via the network NW.
  • the telemedicine system 1 realizes patient medication management by communicating with each other between the server 30 and the patient terminal 10 and exchanging various data. Further, in the telemedicine system 1, the server 30 and the medical staff terminal 20 communicate with each other, so that the server 30 acquires data related to the drug. Telemedicine (medical treatment in a remote place) may be performed by communicating with each other between the patient terminal 10 and the medical staff terminal 20.
  • the medication management function is realized by the patient terminal 10, but the medication management function may be realized by the server 30 or the medical staff terminal 20.
  • the patient terminal 10 is an information processing device used by a patient, and is composed of, for example, a computer, a TV, or a smartphone.
  • the patient terminal 10 is arranged in a space where the patient receives medication management (hereinafter referred to as a patient space).
  • the space for the patient is not particularly limited, and is assumed to be, for example, a room at the patient's home, a room at the accommodation facility where the patient is staying, a store, various facilities, a car, or outdoors.
  • the patient terminal 10 is provided with a sensor for detecting the patient's medication status. Sensors include, for example, cameras and ToF (Time of Flight) sensors.
  • the medical staff terminal 20 is an information processing device used by a medical staff, and is composed of, for example, a computer, a TV, or a smartphone.
  • the medical staff terminal 20 is a space different from the patient space, and is arranged in a space where the medical staff performs telemedicine (hereinafter referred to as a medical staff space).
  • the space for medical staff is not particularly limited, and for example, a medical examination room of a medical institution, a room of a medical staff's home, or the like is assumed.
  • the server 30 is an information processing device to which a client terminal (for example, a patient terminal 10 and a medical staff terminal 20) can be connected, and is configured by, for example, a computer.
  • the server 30 performs various processes on the data acquired from the medical staff terminal 20 and transmits the data to the patient terminal 10.
  • the patient terminal 10 and the medical staff terminal 20 communicate indirectly via the server 30 without directly communicating with each other. This prevents the patient's personal information, medical information, and the like from being inadvertently left on the patient terminal 10 and the medical staff terminal 20.
  • FIG. 2 is a block diagram showing a functional configuration example of the patient terminal 10.
  • the patient terminal 10 includes a CPU (Central Processing Unit) 101, a memory 102, a storage 103, an operation unit 104, a display unit 105, a speaker 106, an image pickup unit 107, a microphone 108, a communication unit 109, an external I / F 110, and a drive 111. And a sensor unit 112 is provided.
  • the CPU 101 to the sensor unit 112 are connected to the bus and perform necessary communication with each other.
  • the CPU 101 performs various processes by executing a program installed in the memory 102 or the storage 103.
  • the memory 102 is composed of, for example, a volatile memory, and temporarily stores a program executed by the CPU 101 and necessary data.
  • the storage 103 is composed of, for example, a hard disk or a non-volatile memory, and stores a program executed by the CPU 101 and necessary data.
  • the operation unit 104 is composed of physical keys (including a keyboard), a mouse, a touch panel, and the like.
  • the operation unit 104 outputs an operation signal corresponding to the operation on the bus according to the operation of the user.
  • the display unit 105 is composed of a display device such as an LCD (Liquid Crystal Display) or an OLED (Organic Electro-Luminescence Display), and displays an image according to the data supplied from the bus.
  • a display device such as an LCD (Liquid Crystal Display) or an OLED (Organic Electro-Luminescence Display), and displays an image according to the data supplied from the bus.
  • the touch panel as the operation unit 104 is composed of a transparent member and can be integrally configured with the display unit 105.
  • the user for example, the patient
  • the user can input information in a form of operating an icon, a button, or the like displayed on the display unit 105.
  • the speaker 106 outputs audio according to the data supplied from the bus.
  • the image pickup unit 107 is configured by, for example, a digital camera.
  • the image pickup unit 107 captures an image (still image, moving image) (senses light) and outputs the corresponding image data on the bus.
  • the microphone 108 collects sound (senses the sound) and outputs the corresponding sound data on the bus.
  • the communication unit 109 includes a communication circuit, an antenna, and the like, and communicates with the server 30 and the like via the network NW.
  • the external I / F (interface) 110 is an interface for exchanging data with various external devices.
  • the drive 111 can be attached to and detached from the removable media 111A such as a memory card, and drives the removable media 111A mounted therein.
  • the sensor unit 112 includes a sensor other than the image pickup unit 107 that senses light and the microphone 108 that senses sound, that is, a sensor that senses a physical quantity different from that of the image pickup unit 107 and the microphone 108.
  • the sensor unit 112 is configured to include a ToF sensor.
  • the type and number of physical quantities sensed by the sensor unit 112 are arbitrary. For example, physical quantities such as temperature, humidity, illuminance, acceleration, angular velocity, and geomagnetism are assumed.
  • the sensor unit 112 outputs sensor data indicating the sensed physical quantity on the bus.
  • the program executed by the CPU 101 (for example, the patient application) can be recorded in advance in the storage 103 as a recording medium built in the CPU 101.
  • the program can be stored (recorded) in the removable media 111A, provided as so-called package software, and installed on the patient terminal 10 from the removable media 111A.
  • the program can be downloaded from the server 30 or the like via the network NW and the communication unit 109 and installed on the patient terminal 10.
  • the CPU 101 can function as a detection unit 121, a data processing unit 122, and an output control unit 123 by executing a program installed in the patient terminal 10.
  • the detection unit 121 detects the behavior and state of the patient based on the outputs of the image pickup unit 107, the microphone 108, and the sensor unit 112 that sense the patient. For example, the detection unit 121 detects the medication status of the patient.
  • the data processing unit 122 processes various data used for the medication management process. For example, the data processing unit 122 acquires drug information about the drug taken by the patient from the server 30. Further, the data processing unit 122 generates data for processing the medication management or acquires it from the server 30 according to the behavior or state of the patient (patient's medication status) detected by the detection unit 121. .. Further, the data processing unit 122 performs various processes on the data acquired from the server 30 and the medical staff terminal 20 as needed.
  • the output control unit 123 has the functions of a display control unit that controls the display of an image by the display unit 105 and an audio output control unit that controls the output of audio from the speaker 106.
  • the output control unit 123 is a character that supports the patient's medication (patient's use of the drug) based on the patient's behavior or state (patient's medication status) detected by the output control unit 123. Control the display of.
  • the character is a CG image that imitates a human being.
  • FIG. 3 is a diagram showing an example of the appearance of the patient terminal 10 and the display layout of the display unit.
  • the display unit 105 is installed on the main body unit 151, and the image pickup unit 107 is installed on the display unit 105.
  • the main body section 151 incorporates, for example, the CPU 101, the memory 102, the storage 103, the communication section 109, the external I / F 110, the drive 111, the sensor section 112, and the like shown in FIG.
  • the screen of the display unit 105 is divided into, for example, display areas 161, 162, 163.
  • a character C1 which is a CG image imitating a human being, specifically, a medical professional, is displayed.
  • An image of a medical professional captured by the medical professional terminal 20 may be displayed in the display area 161.
  • a text indicating the voice of the character C1 is displayed.
  • a text or the like indicating the voice of the medical staff U2 voice-recognized by the medical staff terminal 20 may be displayed.
  • the patient is treated by the character C1.
  • step S1 the server 30 acquires drug information about the drug used by the patient from the medical staff terminal 20.
  • the server 30 may acquire drug information by reading, for example, the contents of a prescription transmitted by facsimile from a medical professional by OCR (Optical Character Recognition).
  • OCR Optical Character Recognition
  • the server 30 may read, for example, the contents of the prescription sent by mail by OCR.
  • the drug information may be acquired from the patient terminal 10 instead of from the medical staff terminal 20.
  • the drug information may be acquired from the patient terminal 10 by reading the two-dimensional code or the like described on the prescription by the patient terminal 10. Further, drug information may be acquired from the patient terminal 10 by the electronic medicine notebook application installed in the patient terminal 10.
  • the drug information acquired by the server 30 is acquired by the data processing unit 122 of the patient terminal 10 as needed.
  • step S2 the CPU 101 (output control unit 123) of the patient terminal 10 causes the display unit 105 to display the start screen.
  • the display of the start screen may be started when it is time for the patient to take the drug based on the drug information from the server 30, or the server 30 instructs the patient terminal 10 to start the start screen. It may be started by.
  • the display of the start screen may be started by setting the patient to start the application for the patient at a predetermined time before the time when the patient takes the drug.
  • FIG. 5 is a diagram showing an example of the start screen.
  • Character D1 is displayed in the display area 161.
  • Character D1 is preferably real.
  • Character D1 is preferably a 3DCG model that imitates, for example, medical staff.
  • the character D1 is a 3DCG model imitating a male doctor.
  • the 3DCG model according to the patient information for example, age, gender, nationality, conversation language, etc.
  • the patient information for example, age, gender, nationality, conversation language, etc.
  • the 3DCG model according to the patient information (for example, age, gender, nationality, conversation language, etc.) regarding the patient U may be displayed as the character D1.
  • patient information for example, age, gender, nationality, conversation language, etc.
  • a 3DCG model of an American medical staff in his fifties will be displayed. This is because patient U can easily feel a sense of security for a partner with the same attributes as himself / herself.
  • it is preferable that a 3DCG model older than the patient U is displayed.
  • the 3DCG model that seems to be the least discriminatory to the patient U may be displayed.
  • the image capture image P1 in which the patient U imaged by the image pickup unit 107 is displayed is displayed in the display area 162, and the text indicating the voice of the character D1 is displayed in the display area 163.
  • the voice corresponding to the text displayed in the display area 163 is output as the spoken voice of the character D1.
  • the voice corresponding to the text displayed in the display area 163 is output from the speaker 106 as the spoken voice of the character.
  • a text such as "How are you doing today?" Is displayed in the display area 163 as shown in the example of FIG. If the patient terminal 10 is started up for the second time or later on that day, a text such as "How is your condition compared to the previous one?" Is displayed in the display area 163.
  • step S2 the CPU 101 (output control unit 123) of the patient terminal 10 causes the display unit 105 to display the patient status selection screen.
  • FIG. 6 is a diagram showing an example of a patient state selection screen.
  • buttons for the text displayed in the display area 163 are displayed instead of the captured image P1 displayed in the display area 162 of the start screen of FIG. Specifically, in the display area 162, one of "bad”, “fair”, and “good” is used as an answer to the text "How are you doing today?" Displayed in the display area 163. A button to select is displayed.
  • step S4 the CPU 101 of the patient terminal 10 determines whether or not the patient U is in a bad condition.
  • step S5 when the "bad" button is selected on the patient status selection screen, it is determined that the patient U is not in good condition in step S4, and the process proceeds to step S5.
  • step S5 the patient terminal 10 shifts to the medical examination mode by AI (Artificial Intelligence).
  • AI Artificial Intelligence
  • the interview mode is executed by a preset interview model.
  • the interview model may be generated by machine learning.
  • FIG. 7 is a diagram showing an example of a medical examination mode screen displayed in the medical examination mode.
  • the captured image P1 showing the patient U and the option "bad” selected by the patient U are displayed. .. Further, in the display area 163, a text asking the patient U about the symptom is displayed as "Is it sick? What kind of symptom is it?". The patient U can answer about his / her symptom by operating the operation unit 104 or inputting an utterance to the microphone 108.
  • the character D1 utters, "It seems that the symptom is likely to be resolved by taking the medicine," and the patient.
  • the terminal 10 shifts to the medication management mode described later.
  • the character D1 asks the patient U, "Do you want telemedicine?", And if the patient desires telemedicine, the patient terminal 10 becomes a remote medical staff terminal 20. You may connect and transition to a state where you can start telemedicine.
  • the patient U can be given the option of "telemedicine", “go to the hospital", and "call an ambulance". Presented as.
  • “Telemedicine” or “Go to hospital” the patient terminal 10 may shift to a reservation mode for making a reservation for a doctor who can perform telemedicine or a nearby hospital.
  • step S4 when the "good" button is selected on the patient status selection screen, it is determined in step S4 that the patient U is not in a bad condition (that is, good), and the process proceeds to step S6.
  • step S6 the patient terminal 10 shifts to the medication management mode.
  • FIG. 8 is a diagram showing an example of a medication management mode transition screen displayed when transitioning to the medication management mode.
  • the captured image P1 showing the patient U and the option “good” selected by the patient U are displayed.
  • a text is displayed to urge patient U to take the medicine, such as "It seems to be in good condition and above all. Let's take medicine today without being alert.”
  • the patient terminal 10 executes the medication management mode process described later.
  • the state of the patient may be estimated from the image captured by the image pickup unit 107. Further, whether or not the state of the patient U selected by the button as an option is appropriate is determined based on the state of the patient U estimated from the image captured by the image pickup unit 107. good. For example, even though the "good" button is selected by the patient U, it is determined from the captured image that the complexion of the patient U is worse than the past complexion or the voice of the patient U is different from the past voice. In that case, the same process as when the "OK" button is selected is executed.
  • the medication management mode processing executed after the medication management mode transition screen is displayed will be described with reference to the flowcharts of FIGS. 9 and 10.
  • the medication management mode processing is executed by the CPU 101 of the patient terminal 10.
  • step S11 the output control unit 123 causes the display unit 105 to display the medication management mode activation screen.
  • FIG. 11 is a diagram showing an example of a medication management mode activation screen.
  • character N2 is displayed in the display area 161 instead of the above-mentioned character D1.
  • Character D1 is a 3DCG model that imitates a male doctor
  • character N2 is a 3DCG model that imitates a female nurse. This is because the patient U tends to demand "expert dignity" from the character to be examined, while it tends to demand "friendliness" from the character who manages medication. In this way, the impression received by the patient U is different between the character D1 who performs the medical examination and the character N2 who manages the medication.
  • the image P1 in which the patient U imaged by the image pickup unit 107 is shown is displayed in the display area 162, and the display area 163 says, "Let's take medicine today.” , A text indicating the spoken voice of the character N2 is displayed.
  • step S12 the output control unit 123 causes the display unit 105 to display the drug information presentation screen.
  • FIG. 12 is a diagram showing an example of a drug information presentation screen at the time of starting the patient terminal 10 for the first time on that day.
  • the name of the drug to be taken by the patient U on that day, a photograph (image), a dosage and administration, and the like are displayed.
  • the drug information acquired from the server 30 is displayed in the display area 162.
  • drug information regarding the capsule M1 and the tablet M2 is displayed.
  • a text indicating the utterance voice of the character N2 such as "This is a drug that needs to be taken today" is displayed.
  • the drug information presentation screen of FIG. 12 is displayed for a predetermined time
  • the drug information presentation screen shown in FIG. 13 is displayed on the display unit 105.
  • the display of the drug information presentation screen in FIG. 12 may be omitted if the patient terminal 10 is activated for the second time or later on that day.
  • the image of the drug that the patient U should take from now on is displayed in the display area 162.
  • the image of the drug displayed in the display area 162 is displayed by acquiring the name of the drug from the drug information and acquiring the image associated with the acquired name of the drug from the database provided in the server 30. ..
  • an image of the capsule M1 is displayed.
  • step S13 the output control unit 123 causes the display unit 105 to display the medication method example screen.
  • FIG. 14 is a diagram showing an example of a medication method example screen.
  • an exemplary image illustrating the medication method to be taken by the patient U from now on is displayed in the display area 162.
  • an image of a person who drinks the capsule M1 together with water in a glass is displayed in the display area 162.
  • a text indicating the utterance voice of the character N2 such as "Please drink the medicine and water together in this way" is displayed in the display area 163.
  • an exemplary image exemplifying the method of taking an internal medicine such as capsule M1 is displayed, but when the medicine to be used by the patient U is an external medicine such as an ointment, the external medicine is used.
  • An exemplary image exemplifying how to paint is displayed.
  • the data processing unit 122 may acquire the patient's symptom (for example, the condition of the cut) as the patient information from the server 30 and generate an exemplary image according to the patient's symptom.
  • the data processing unit 122 obtains that the patient's right arm has a cut to generate an exemplary image of a person who is applying a predetermined ointment to the right arm.
  • the data processing unit 122 may read the corresponding exemplary image from the server 30 from the image group generated in advance.
  • step S14 the output control unit 123 causes the display unit 105 to display the drug presentation request screen.
  • FIG. 15 is a diagram showing an example of a drug presentation request screen.
  • the display area 162 displays an image of the drug that the patient U should take from now on, as well as an image P1 in which the patient U imaged by the image pickup unit 107 is shown.
  • an image of the capsule M1 is displayed as an image of the drug that the patient U should take from now on.
  • a text indicating the utterance voice of the character N2 such as "Please raise the drug to be taken so that I can see it" is displayed.
  • the drug presentation request screen is a screen in which the patient U requests the patient U to present the drug to be taken.
  • the detection unit 121 detects the drug presented by the patient U in the image captured by the image pickup unit 107.
  • step S15 the detection unit 121 determines whether or not the correct drug has been detected. If it is determined that the correct drug has not been detected, that is, if the detected drug does not match the drug that patient U should take, the process returns to step S14. Steps S14 and S15 are repeated until the detected drug and the drug to be taken by the patient U match.
  • step S16 the process proceeds to step S16 (FIG. 10).
  • step S15 may be skipped.
  • step S16 of FIG. 10 the output control unit 123 causes the display unit 105 to display the medication guidance screen.
  • FIG. 16 is a diagram showing an example of a medication guidance screen.
  • the captured image showing the patient U taking the medication is displayed in large size in the display area 162.
  • the medication guidance screen is a screen that guides patient U to take the drug.
  • the detection unit 121 detects the medication status of the patient U based on the image captured by the image pickup unit 107 (displayed in the display area 162) and the output of the sensor unit 112. At this time, the detection unit 121 detects the medication status by machine learning based on the outputs of the image pickup unit 107 and the sensor unit 112. Specifically, the detection unit 121 detects the medication status by performing at least one of the skeleton estimation and the facial expression estimation of the patient U. For example, when it is detected that the skeleton representing the hand has moved to the mouth while the mouth of the patient U is open, it is determined that the drug has been taken. In this way, the detection unit 121 detects the number or amount of the drug taken by the patient U.
  • the medication status may be detected based on the sensing result of the image pickup unit 107 that senses the patient U or a sensor other than the sensor unit 112, or the input of the patient U himself / herself.
  • the medication status may be detected by detecting whether or not the necessary medicine has been taken out by a sensor provided in the container for storing the medicine.
  • the display unit 105 displays an option for selecting "whether or not the drug has been taken", and the patient U is made to select the option, whereby the medication status is detected. May be.
  • the output control unit 123 controls the display of the character N2 based on the detected medication status in step S18. Specifically, the output control unit 123 changes the display of the character N2 based on the number or amount of the drug taken by the patient U.
  • FIG. 17 is a diagram illustrating the display of the character N2 according to the medication status.
  • the facial expression of the character N2 is made a weak smile, and the character N2 is made to perform an action to encourage the patient U to take the medicine. ..
  • the facial expression of the character N2 is made a weak smile and the character N2 is encouraged to take the remaining medicine. Make the action work.
  • the facial expression of the character N2 is made a strong smile, and the character N2 is made to perform the action of complimenting the patient U.
  • the movement and spoken voice of the character N2 may be changed according to the patient's age and preference. For example, when a patient aged 5 to under 10 takes a prescribed number (amount) of medicine, a voice saying "Good luck! Is output, and a prescribed number (amount) of a patient aged 10 or over is output. If you take medicine, make sure that the voice that says "You did your best" is output.
  • step S19 the data processing unit 122 determines whether or not the remaining number (remaining amount) of the drug to be taken is 0 based on the detected medication status (the number or amount of the drug taken by the patient U). To judge. If it is determined that the remaining number (remaining amount) of the drug to be taken is not 0, that is, if the drug to be taken remains, the process proceeds to step S20.
  • step S20 the output control unit 123 causes the display unit 105 to display the remaining number (remaining amount) of the drug to be taken.
  • FIG. 18 is a diagram showing an example of displaying the remaining number of drugs on the screen of the display unit 105.
  • the number of medicines taken by the patient U (medicines taken) and the remaining number of medicines to be taken (medicines to be taken) are displayed.
  • the number of medicines taken is one
  • the remaining number of medicines to be taken is two.
  • the number of drugs already taken and the remaining number of drugs to be taken are displayed. This prevents patient U from forgetting how many more medicines he has to take.
  • the number of drugs taken by patient U is counted based on the above-mentioned skeletal estimation. Therefore, it is preferable to request the patient U not to take a plurality of drugs in one action.
  • step S20 the process returns to step S16, and the processes of steps S16 to S19 are repeated until the remaining number (remaining amount) of the drug to be taken becomes 0. Then, in step S19, when it is determined that the remaining number (remaining amount) of the drug to be taken is 0, that is, when all the drugs to be taken have been taken, the process ends.
  • step S18 the screen shown in FIG. 19 is displayed on the display unit 105.
  • the character N2 that performs the operation of complimenting the patient U is displayed in the display area 161.
  • a text indicating the utterance voice of the character N2, such as "You have drank properly !!" is displayed.
  • the patient's medication status is detected, and the facial expression and movement of the character's face are changed according to the detected medication status to appeal to the patient's emotions and induce the patient to take the medication. Can be enhanced. This makes it possible to more reliably control the use of the drug by the patient.
  • the characters D1 and N2 displayed on the display unit 105 are assumed to be predetermined characters, but the character may be selectable by the patient U. Further, the character may be selected based on information such as a hospital where the patient U has received telemedicine, a hospital set by the patient U, or a pharmacy where the drug is prescribed. Further, the character may be automatically generated based on the information of the patient or the information of the medical institution. For example, a machine learning model such as GAN (Generative Adversarial Network) is used to generate a character suitable for a patient or a medical institution. Further, the motion and facial expression of the character may be automatically generated by the machine learning model based on the patient's information and motion, and the information of the medical institution.
  • GAN Geneative Adversarial Network
  • the process according to the present disclosure is assumed to be executed by the patient terminal 10, but at least a part thereof may be executed by the medical staff terminal 20 or the server 30.
  • the configuration of the medical professional terminal 20 and the server 30 capable of executing at least a part of the processing according to the present disclosure will be described.
  • FIG. 20 is a block diagram showing a functional configuration example of the terminal 20 for medical professionals.
  • the medical terminal 20 includes a CPU 201, a memory 202, a storage 203, an operation unit 204, a display unit 205, a speaker 206, an image pickup unit 207, a microphone 208, a communication unit 209, an external I / F 210, a drive 211, and a sensor unit 212.
  • the CPU 201 to the sensor unit 212 are connected to the bus and perform necessary communication with each other.
  • the CPU 201 to the sensor unit 212 are configured in the same manner as the CPU 101 to the sensor unit 112 in FIG. 2, respectively.
  • a program executed by the CPU 201 (for example, a medical staff application) is recorded in advance in the storage 203 as a recording medium built in the medical staff terminal 20. Can be kept.
  • the program can be stored (recorded) in the removable media 211A, provided as package software, and installed on the medical staff terminal 20 from the removable media 211A.
  • the program can be downloaded from the server 30 or the like via the network NW and the communication unit 209, and installed on the medical staff terminal 20.
  • the CPU 201 can function as a detection unit 221, a data processing unit 222, and an output control unit 223 by executing a program installed in the medical staff terminal 20.
  • the detection unit 221, the data processing unit 222, and the output control unit 223 have the same functions as the detection unit 121, the data processing unit 122, and the output control unit 123, which are realized by the CPU 101 of the patient terminal 10 of FIG. Have.
  • FIG. 21 is a block diagram showing a functional configuration example of the server 30.
  • the server 30 includes a CPU 301, a memory 302, a storage 303, an operation unit 304, a display unit 305, a speaker 306, a communication unit 307, an external I / F 308, and a drive 309.
  • the CPU 301 to the drive 309 are connected to the bus and perform necessary communication with each other.
  • the CPU 301 to the drive 309 are configured in the same manner as the CPU 101 to the speaker 106 in FIG. 2 and the communication unit 109 to the drive 111, respectively.
  • the program executed by the CPU 301 can be recorded in advance in the storage 303 as a recording medium built in the server 30, similarly to the patient terminal 10.
  • the program can be stored (recorded) in the removable media 309A, provided as package software, and installed on the server 30 from the removable media 309A.
  • the program can be downloaded from another server (not shown) or the like and installed on the server 30 via the network NW and the communication unit 307.
  • the CPU 301 can function as a detection unit 321, a data processing unit 322, and an output control unit 323 by executing a program installed in the server 30.
  • the detection unit 321, the data processing unit 322, and the output control unit 323 also have the same functions as the detection unit 121, the data processing unit 122, and the output control unit 123 realized by the CPU 101 of the patient terminal 10 of FIG. Has.
  • the processing performed by the computer (CPU) according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, processing by parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the technique according to the present disclosure can be configured as cloud computing in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • Telemedicine system Detects drug usage by patients and detects A display control method for controlling the display of a character that supports the use of the drug by the patient based on the detected usage status.
  • the display control method according to (1) wherein the character is a CG (Computer Graphics) image imitating a human being.
  • the display control method according to (2) wherein the human includes a medical professional.
  • (4) Detecting the number or amount of the drug used by the patient, The display control method according to (3), wherein the display of the character is changed based on the number or amount of the detected drug.
  • the display control method according to any one of (1) to (13), which detects the usage status based on the output of the sensor that senses the patient.
  • the usage status is detected by performing at least one of skeleton estimation and facial expression estimation.
  • the drug includes any of an internal drug, an external drug, and an injectable drug.
  • a detector that detects the drug usage status by the patient A telemedicine system including a display control unit that controls the display of a character that supports the use of the drug by the patient based on the detected usage status. (20) On the computer Detects drug usage by patients and detects A program for executing a process for controlling the display of a character that supports the use of the drug by the patient based on the detected usage status.
  • 1 remote medical system 10 patient terminal, 20 medical terminal, 30 server, 101 CPU, 121 detection unit, 122 data processing unit, 123 output control unit, 201 CPU, 221 detection unit, 222 data processing unit, 223 output Control unit, 301 CPU, 321 detection unit, 322 data processing unit, 323 output control unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medicinal Chemistry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本開示は、患者による薬剤の使用をより確実に管理することができるようにする表示制御方法、遠隔医療システム、およびプログラムに関する。 患者による薬剤の使用状況を検知し、検知された前記使用状況に基づいて、前記患者による前記薬剤の使用をサポートするキャラクタの表示を制御する。本開示は、遠隔医療システムの表示制御方法に適用することができる。

Description

表示制御方法、遠隔医療システム、およびプログラム
　本開示は、表示制御方法、遠隔医療システム、およびプログラムに関し、特に、患者による薬剤の使用をより確実に管理できるようにする表示制御方法、遠隔医療システム、およびプログラムに関する。
　治療行為は、基本的に、患者が処方された薬を医師または薬剤師の指示通りに服用していることを前提としている。薬の中には、継続して服用することでその効果を発揮する薬も多くある。そのため、患者が薬を指示通りに服用しているどうか、服用の仕方を間違っていないかどうか、薬の服用による体調不良が起きていないかどうかなどを管理する服薬管理が重要である。そこで、服薬管理を行うためのシステムが提案されている。
　特許文献１には、処方箋を撮像することで薬剤の服用管理データを生成し、服用タイミングになると患者の携行する電子機器に通知する薬剤服用システムが開示されている。
特開２０１８－１０１４４１号公報
　しかしながら、単に服用タイミングを通知するだけでは、実際に患者が薬剤を服用したかどうかはわからなかった。
　本開示は、このような状況に鑑みてなされたものであり、患者による薬剤の使用をより確実に管理するようにするものである。
　本開示の表示制御方法は、遠隔医療システムが、患者による薬剤の使用状況を検知し、検知された前記使用状況に基づいて、前記患者による前記薬剤の使用をサポートするキャラクタの表示を制御する表示制御方法である。
　本開示の遠隔医療システムは、患者による薬剤の使用状況を検知する検知部と、検知された前記使用状況に基づいて、前記患者による前記薬剤の使用をサポートするキャラクタの表示を制御する表示制御部とを備える遠隔医療システムである。
　本開示のプログラムは、コンピュータに、患者による薬剤の使用状況を検知し、検知された前記使用状況に基づいて、前記患者による前記薬剤の使用をサポートするキャラクタの表示を制御する処理を実行させるためのプログラムである。
　本開示においては、患者による薬剤の使用状況が検知され、検知された前記使用状況に基づいて、前記患者による前記薬剤の使用をサポートするキャラクタの表示が制御される。
本開示に係る技術を適用した遠隔医療システムの構成例を示すブロック図である。 患者用端末の機能構成例を示すブロック図である。 患者用端末の外観と表示部の表示レイアウトの例を示す図である。 キャラクタによる診療処理の流れについて説明するフローチャートである。 スタート画面の例を示す図である。 患者状態選択画面の例を示す図である。 問診モード画面の例を示す図である。 服薬管理モード遷移画面の例を示す図である。 服薬管理モード処理の流れについて説明するフローチャートである。 服薬管理モード処理の流れについて説明するフローチャートである。 服薬管理モード起動画面の例を示す図である。 薬剤情報提示画面の例を示す図である。 薬剤情報提示画面の例を示す図である。 服薬方法例示画面の例を示す図である。 薬剤提示要求画面の例を示す図である。 服薬誘導画面の例を示す図である。 服薬状況に応じたキャラクタの表示について説明する図である。 薬剤の残数の表示例を示す図である。 キャラクタの動作の表示例を示す図である。 医療者用端末の機能構成例を示すブロック図である。 サーバの機能構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．背景
　２．遠隔医療システムの構成
　３．患者用端末の構成
　４．キャラクタによる診療処理の流れ
　５．服薬管理モード処理の流れ
　６．医療者用端末の構成
　７．サーバの構成
　８．その他
＜１．背景＞
　従来、一般的に行われる治療行為では、医療スタッフ（医師や薬剤師）が、患者に対して処方された薬の内容や使用方法を説明する。このとき、治療行為は、基本的に、患者が処方された薬を医師または薬剤師の指示通りに服用していることを前提としている。薬の中には、継続して服用することでその効果を発揮する薬も多くある。そのため、患者が医療スタッフの説明した通りに薬を服用しているどうかを管理することが重要である。また、薬の服用による体調不良が起きていないかどうかも管理できることが好ましい。
　特許文献１には、薬の服用タイミングを患者に通知する薬剤服用システムが開示されている。しかしながら、特許文献１に開示されている構成では、実際に患者が薬を服用したかどうかはわからなかった。また、服用タイミングを通知するだけでは、患者に薬の服用を促す誘導力が低かった。
　また、遠隔医療においては、薬の説明が、紙面での説明や電話での説明になることも多く、患者が薬の使用方法を正しく理解することが難しい状況に陥りやすい。さらに、遠隔医療においては、薬の使用率が下がることも懸念される。
　そこで、本開示に係る技術においては、患者による薬の使用状況を検知し、検知された使用状況に応じて、医療スタッフを模したキャラクタの顔の表情や動作を変化させることで、患者の感情に訴えかけ、薬の使用を促す誘導力を高めることを実現する。
　本実施の形態において、薬（薬剤ともいう）は、内服薬、外用薬、および注射薬のいずれかを含むものとし、薬剤の使用は、内服薬の服用（服薬ともいう）、外用薬や注射薬の使用を含むものとする。以下においては、主に、患者が内服薬を服用する例について説明するが、患者が外用薬や注射薬を使用する例も、同様の構成および処理により実現される。
　また、医療スタッフ（医療者）は、医療に従事し、患者の診療などを行う者であり、必ずしも医師や薬剤師に限られない。例えば、医療者には、看護師、歯科医師、保健師なども含まれる。また、患者とは、医療者の診療を受けるものであり、疾患を有しているか否かは問わない。
＜２．遠隔医療システムの構成＞
　図１は、本開示に係る技術を適用した遠隔医療システム１の構成例を示すブロック図である。
　遠隔医療システム１は、患者用端末１０、医療者用端末２０、およびサーバ３０を備える。患者用端末１０、医療者用端末２０、およびサーバ３０は、ネットワークＮＷを介して、相互に接続されている。
　遠隔医療システム１は、サーバ３０と患者用端末１０とが相互に通信を行い、各種のデータの授受を行うことにより、患者の服薬管理を実現する。また、遠隔医療システム１においては、サーバ３０と医療者用端末２０とが相互に通信を行うことで、サーバ３０が薬剤に関するデータを取得する。患者用端末１０と医療者用端末２０とが相互に通信を行うことで、遠隔医療（遠隔地における診療）が行われてもよい。
　以下においては、患者用端末１０により服薬管理の機能が実現されるものとするが、サーバ３０や医療者用端末２０により服薬管理の機能が実現されてもよい。
　患者用端末１０は、患者が使用する情報処理装置であり、例えば、コンピュータ、ＴＶ、またはスマートフォンにより構成される。患者用端末１０は、患者が服薬管理を受ける空間（以下、患者用空間という）に配置される。患者用空間は、特に限定されず、例えば、患者の自宅の部屋、患者が滞在している宿泊施設の部屋、店舗内、各種の施設内、車内、屋外などが想定される。患者用端末１０には、患者の服薬状況を検知するためのセンサが設けられる。センサは、例えばカメラやＴｏＦ（Time of Flight）センサなどを含む。
　医療者用端末２０は、医療者が使用する情報処理装置であり、例えば、コンピュータ、ＴＶ、またはスマートフォンにより構成される。医療者用端末２０は、患者用空間と異なる空間であり、医療者が遠隔医療を行う空間（以下、医療者用空間という）に配置される。医療者用空間は、特に限定されず、例えば、医療機関の診察室、医療者の自宅の部屋などが想定される。
　サーバ３０は、クライアント端末（例えば、患者用端末１０と医療者用端末２０）が接続可能な情報処理装置であり、例えば、コンピュータにより構成される。サーバ３０は、医療者用端末２０から取得したデータに対して各種の処理を行い、患者用端末１０に送信する。
　患者用端末１０と医療者用端末２０とは、直接通信せずに、サーバ３０を介して間接的に通信することが好ましい。これにより、患者の個人情報や医療情報などが、患者用端末１０や医療者用端末２０に不用意に残されることが防止される。
＜３．患者用端末の構成＞
　図２は、患者用端末１０の機能構成例を示すブロック図である。
　患者用端末１０は、ＣＰＵ（Central Processing Unit）１０１、メモリ１０２、ストレージ１０３、操作部１０４、表示部１０５、スピーカ１０６、撮像部１０７、マイク１０８、通信部１０９、外部Ｉ／Ｆ１１０、ドライブ１１１、およびセンサ部１１２を備える。ＣＰＵ１０１乃至センサ部１１２は、バスに接続されており、相互に必要な通信を行う。
　ＣＰＵ１０１は、メモリ１０２やストレージ１０３にインストールされたプログラムを実行することで、各種の処理を行う。
　メモリ１０２は、例えば、揮発性メモリなどで構成され、ＣＰＵ１０１が実行するプログラムや、必要なデータを一時記憶する。
　ストレージ１０３は、例えば、ハードディスクや不揮発性メモリで構成され、ＣＰＵ１０１が実行するプログラムや、必要なデータを記憶する。
　操作部１０４は、物理的なキー（キーボードを含む）や、マウス、タッチパネルなどで構成される。操作部１０４は、ユーザの操作に応じて、その操作に対応する操作信号を、バス上に出力する。
　表示部１０５は、例えば、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electro-Luminescence Display）などの表示デバイスで構成され、バスから供給されるデータに応じて、画像を表示する。
　ここで、操作部１０４としてのタッチパネルは、透明な部材で構成され、表示部１０５と一体的に構成することができる。これにより、ユーザ（例えば、患者）は、表示部１０５に表示されたアイコンやボタンなどを操作するような形で、情報を入力することができる。
　スピーカ１０６は、バスから供給されるデータに応じて、音声を出力する。
　撮像部１０７は、例えば、デジタルカメラにより構成される。撮像部１０７は、画像（静止画、動画）を撮像し（光をセンシングし）、対応する画像データを、バス上に出力する。
　マイク１０８は、音を収集し（音をセンシングし）、対応する音データを、バス上に出力する。
　通信部１０９は、通信回路およびアンテナなどを含み、ネットワークＮＷを介して、サーバ３０などとの通信を行う。
　外部Ｉ／Ｆ（インタフェース）１１０は、各種の外部の装置との間で、データをやりとりするためのインタフェースである。
　ドライブ１１１は、例えば、メモリカードなどのリムーバブルメディア１１１Ａの着脱が可能になっており、そこに装着されたリムーバブルメディア１１１Ａを駆動する。
　センサ部１１２は、光をセンシングする撮像部１０７、および、音をセンシングするマイク１０８以外のセンサ、すなわち、撮像部１０７およびマイク１０８とは異なる物理量をセンシングするセンサを備える。例えば、センサ部１１２は、ＴｏＦセンサを含むように構成される。センサ部１１２がセンシングする物理量の種類および数は、任意である。例えば、温度、湿度、照度、加速度、角速度、地磁気などの物理量が想定される。センサ部１１２は、センシングした物理量を示すセンサデータを、バス上に出力する。
　以上のように構成される患者用端末１０において、ＣＰＵ１０１が実行するプログラム（例えば、患者用アプリケーション）は、ＣＰＵ１０１に内蔵されている記録媒体としてのストレージ１０３にあらかじめ記録しておくことができる。
　また、プログラムは、リムーバブルメディア１１１Ａに格納（記録）して、いわゆるパッケージソフトウエアとして提供し、リムーバブルメディア１１１Ａから患者用端末１０にインストールすることができる。
　その他、プログラムは、ネットワークＮＷおよび通信部１０９を介して、サーバ３０などからダウンロードし、患者用端末１０にインストールすることができる。
　ＣＰＵ１０１は、患者用端末１０にインストールされたプログラムを実行することにより、検知部１２１、データ処理部１２２、および、出力制御部１２３として機能することができる。
　検知部１２１は、患者をセンシングする撮像部１０７やマイク１０８、センサ部１１２の出力に基づいて、患者の行動や状態などを検知する。例えば、検知部１２１は、患者の服薬状況を検知する。
　データ処理部１２２は、服薬管理の処理に用いる各種のデータの処理を行う。例えば、データ処理部１２２は、患者が服用する薬剤に関する薬剤情報をサーバ３０から取得する。また、データ処理部１２２は、検知部１２１により検知された患者の行動や状態（患者の服薬状況）に応じて、服薬管理の処理のためのデータを生成したり、サーバ３０から取得したりする。さらに、データ処理部１２２は、必要に応じて、サーバ３０や医療者用端末２０から取得したデータに対して各種の処理を行う。
　出力制御部１２３は、表示部１０５による画像の表示を制御する表示制御部と、スピーカ１０６からの音声の出力を制御する音声出力制御部の機能を有する。例えば、出力制御部１２３は、出力制御部１２３は、検知部１２１により検知された患者の行動や状態（患者の服薬状況）に基づいて、患者の服薬（患者による薬剤の使用）をサポートするキャラクタの表示を制御する。キャラクタは、人間を模したＣＧ画像とされる。
　図３は、患者用端末１０の外観と表示部の表示レイアウトの例を示す図である。
　図３の例では、本体部１５１の上に表示部１０５が設置され、表示部１０５の上に撮像部１０７が設置されている。本体部１５１は、例えば、図２のＣＰＵ１０１、メモリ１０２、ストレージ１０３、通信部１０９、外部Ｉ／Ｆ１１０、ドライブ１１１、およびセンサ部１１２などを内蔵する。
　表示部１０５の画面は、例えば、表示領域１６１，１６２，１６３に分かれる。
　表示領域１６１には、人間、具体的には、医療者を模したＣＧ画像であるキャラクタＣ１が表示される。表示領域１６１には、医療者用端末２０により撮像された医療者の画像などが表示されてもよい。
　表示領域１６２には、例えば、撮像部１０７により撮像された患者Ｕが映る撮像画像Ｐ１や、患者Ｕにより選択される選択肢などが表示される。
　表示領域１６３には、例えば、キャラクタＣ１の音声を示すテキストが表示される。表示領域１６３に、医療者用端末２０により音声認識された医療者Ｕ２の音声を示すテキストなどが表示されてもよい。
　本開示に係る技術を適用した遠隔医療システム１においては、上述したように、患者用端末１０にキャラクタＣ１を表示させることで、キャラクタＣ１による患者の診療を行う。
＜４．キャラクタによる診療処理の流れ＞
　ここで、図４のフローチャートを参照して、遠隔医療システム１におけるキャラクタによる診療処理について説明する。
　ステップＳ１において、サーバ３０は、患者が使用している薬剤に関する薬剤情報を、医療者用端末２０から取得する。
　このとき、サーバ３０は、例えば医療者からファクシミリで送信されてきた処方箋の内容を、ＯＣＲ（Optical Character Recognition）により読み取ることで、薬剤情報を取得してもよい。サーバ３０は、例えば郵送されてきた処方箋の内容をＯＣＲにより読み取ってもよい。
　薬剤情報は、医療者用端末２０からではなく、患者用端末１０から取得されてもよい。例えば、処方箋に記載されている二次元コードなどが患者用端末１０により読み取られることで、薬剤情報が患者用端末１０から取得されてもよい。さらに、患者用端末１０にインストールされている電子お薬手帳アプリケーションにより、薬剤情報が患者用端末１０から取得されてもよい。
　サーバ３０により取得された薬剤情報は、必要に応じて、患者用端末１０のデータ処理部１２２に取得される。
　ステップＳ２において、患者用端末１０のＣＰＵ１０１（出力制御部１２３）は、表示部１０５に、スタート画面を表示させる。スタート画面の表示は、サーバ３０からの薬剤情報に基づいて、患者が薬剤を服用する時刻になったときに開始されてもよいし、サーバ３０から患者用端末１０にスタート画面の起動が指示されることで開始されてもよい。また、患者が薬剤を服用する時刻の所定時間前になると患者用アプリケーションが起動するように、患者により設定されることで、スタート画面の表示が開始されてもよい。
　図５は、スタート画面の例を示す図である。
　スタート画面において、表示領域１６１には、キャラクタＤ１が表示される。キャラクタＤ１は、リアルであることが好ましい。キャラクタＤ１は、例えば医療スタッフを模した３ＤＣＧモデルであることが好ましい。図５の例では、キャラクタＤ１は、男性医師を模した３ＤＣＧモデルとされる。
　このとき、キャラクタＤ１として、患者Ｕに関する患者情報（例えば、年齢、性別、国籍、会話言語など）に応じた３ＤＣＧモデルが表示されるようにしてもよい。例えば、患者Ｕが３０代の米国人である場合、５０代の米国人の医療スタッフの３ＤＣＧモデルが表示されるようにする。これは、患者Ｕが、自分と同じ属性の相手に対して安心感を覚えやすいことによる。この際、患者Ｕよりも年齢の高い３ＤＣＧモデルが表示されることが好ましい。また逆に、先入観を排除するために、患者Ｕにとって最も差別を感じないと思われる３ＤＣＧモデルが表示されるようにしてもよい。
　スタート画面において、表示領域１６２には、撮像部１０７により撮像された患者Ｕが映る撮像画像Ｐ１が表示され、表示領域１６３には、キャラクタＤ１の音声を示すテキストが表示される。スピーカ１０６からは、表示領域１６３に表示されるテキストに対応する音声が、キャラクタＤ１の発話音声として出力される。以降においても、同様にして、表示領域１６３に表示されるテキストに対応する音声が、キャラクタの発話音声としてスピーカ１０６から出力される。
　患者用端末１０のその日初めての起動時であれば、表示領域１６３には、図５の例のように「今日の調子はどうですか？」といったテキストが表示される。患者用端末１０のその日２回目以降の起動時であれば、表示領域１６３には、「先ほどと比べて調子はどうですか？」といったテキストが表示される。
　スタート画面が表示された後、ステップＳ２において、患者用端末１０のＣＰＵ１０１（出力制御部１２３）は、表示部１０５に、患者状態選択画面を表示させる。
　図６は、患者状態選択画面の例を示す図である。
　患者状態選択画面においては、図５のスタート画面の表示領域１６２に表示されていた撮像画像Ｐ１に代えて、表示領域１６３に表示されているテキストに対する選択肢が表示されている。具体的には、表示領域１６２には、表示領域１６３に表示されている「今日の調子はどうですか？」といったテキストに対する回答として、「わるい」、「まあまあ」、および「よい」のいずれかを選択するためのボタンが表示されている。
　患者状態選択画面の表示領域１６３においていずれかのボタンが選択されると、ステップＳ４において、患者用端末１０のＣＰＵ１０１は、患者Ｕの調子が悪いか否かを判定する。
　すなわち、患者状態選択画面において「わるい」のボタンが選択された場合、ステップＳ４においては、患者Ｕの調子が悪いと判定され、処理はステップＳ５に進む。
　ステップＳ５において、患者用端末１０は、ＡＩ（Artificial Intelligence）による問診モードに遷移する。問診モードは、あらかじめ設定された問診モデルによって実行される。問診モデルは機械学習により生成されてもよい。
　図７は、問診モードにおいて表示される問診モード画面の例を示す図である。
　問診モード画面においては、図６の患者状態選択画面の表示領域１６２に表示されていた選択肢に代えて、患者Ｕが映る撮像画像Ｐ１と、患者Ｕが選択した選択肢「わるい」が表示されている。また、表示領域１６３には、「調子が悪いですか。それはどのような症状ですか？」と、患者Ｕにその症状を問う旨のテキストが表示される。患者Ｕは、操作部１０４に対する操作、または、マイク１０８に対する発話入力により、自身の症状について回答することができる。
　問診モードの結果、例えば服薬することで緩和される症状であった場合には、「その症状は薬を飲めば解消される可能性が高いと思われます」などとキャラクタＤ１が発話し、患者用端末１０は、後述する服薬管理モードに遷移する。このとき、キャラクタＤ１が患者Ｕに対して「遠隔診療を希望しますか？」などと問いかけ、患者が遠隔診療を希望した場合には、患者用端末１０が遠隔地の医療者用端末２０に接続して、遠隔診療を開始できる状態に遷移してもよい。
　問診モードの結果、新たな薬剤やさらなる診察が必要と思われる症状であった場合には、患者Ｕに対して「遠隔診療を行う」、「病院に行く」、および「救急車を呼ぶ」を選択肢として提示する。「遠隔診療を行う」または「病院に行く」が選択された場合、患者用端末１０が、遠隔診療が可能な医師や、近隣の病院の予約を行うための予約モードに遷移してもよい。
　一方、患者状態選択画面において「よい」のボタンが選択された場合、ステップＳ４においては、患者Ｕの調子が悪くない（すなわち良い）と判定され、処理はステップＳ６に進む。
　ステップＳ６において、患者用端末１０は、服薬管理モードに遷移する。
　図８は、服薬管理モードに遷移する際に表示される服薬管理モード遷移画面の例を示す図である。
　服薬管理モード遷移画面においては、図６の患者状態選択画面の表示領域１６２に表示されていた選択肢に代えて、患者Ｕが映る撮像画像Ｐ１と、患者Ｕが選択した選択肢「よい」が表示されている。また、表示領域１６３には、「調子が良いようで何よりです。油断せずに今日もお薬を飲みましょう。」といった、患者Ｕに服薬を促す旨のテキストが表示される。
　服薬管理モード遷移画面が表示された後、患者用端末１０は、後述する服薬管理モード処理を実行する。
　なお、図６の患者状態選択画面において「まあまあ」のボタンが選択された場合、問診モードには遷移せず、患者に対して「お薬を飲めそうですか？」といった質問とともに、回答としての「はい」および「いいえ」を選択肢として提示する。「はい」が選択された場合、患者用端末１０は、服薬管理モードに遷移する。「いいえ」が選択された場合、患者に対して「遠隔診療を行う」、「病院に行く」、および「救急車を呼ぶ」が選択肢として提示されるようにする。
　また、図６の患者状態選択画面において、選択肢としてのボタンにより患者Ｕの状態が選択される代わりに、撮像部１０７により撮像された撮像画像から患者の状態が推定されるようにしてもよい。さらに、選択肢としてのボタンにより選択された患者Ｕの状態が適当であるか否かが、撮像部１０７により撮像された撮像画像から推定された患者Ｕの状態に基づいて判定されるようにしてもよい。例えば、患者Ｕにより「よい」のボタンが選択されているのに、撮像画像から、患者Ｕの顔色が過去の顔色より悪かったり、患者Ｕの声色が過去の声色と差異があると判定される場合には、「まあまあ」のボタンが選択された場合と同様の処理が実行されるようにする。
＜５．服薬管理モード処理の流れ＞
　図９および図１０のフローチャートを参照して、服薬管理モード遷移画面が表示された後に実行される服薬管理モード処理について説明する。服薬管理モード処理は、患者用端末１０のＣＰＵ１０１によって実行される。
　ステップＳ１１において、出力制御部１２３は、表示部１０５に、服薬管理モード起動画面を表示させる。
　図１１は、服薬管理モード起動画面の例を示す図である。
　服薬管理モード起動画面において、表示領域１６１には、上述のキャラクタＤ１に代えてキャラクタＮ２が表示される。キャラクタＤ１が男性医師を模した３ＤＣＧモデルであったのに対し、キャラクタＮ２は、女性看護師を模した３ＤＣＧモデルとされる。これは、患者Ｕには、診察を行うキャラクタに対しては「専門家の威厳」を求める傾向がある一方、服薬管理を行うキャラクタに対しては「親近感」を求める傾向があることによる。このようにして、診察を行うキャラクタＤ１と服薬管理を行うキャラクタＮ２とで、患者Ｕが受け取る印象を異ならせている。
　服薬管理モード起動画面において、表示領域１６２には、撮像部１０７により撮像された患者Ｕが映る撮像画像Ｐ１が表示され、表示領域１６３には、「それでは今日もお薬を飲みましょう。」といった、キャラクタＮ２の発話音声を示すテキストが表示される。
　ステップＳ１２において、出力制御部１２３は、表示部１０５に、薬剤情報提示画面を表示させる。
　図１２は、患者用端末１０のその日初めての起動時における薬剤情報提示画面の例を示す図である。
　図１２の薬剤情報提示画面において、表示領域１６２には、患者Ｕがその日に服用すべき薬剤の名前、写真（画像）、および用法・用量などが表示される。表示領域１６２には、サーバ３０から取得された薬剤情報が表示される。図１２の例では、カプセル剤Ｍ１と錠剤Ｍ２に関する薬剤情報が表示されている。
　図１２の薬剤情報提示画面において、表示領域１６３には、「今日飲む必要があるお薬です。」といった、キャラクタＮ２の発話音声を示すテキストが表示される。
　図１２の薬剤情報提示画面が所定時間だけ表示された後、表示部１０５には、図１３に示される薬剤情報提示画面が表示される。なお、患者用端末１０のその日２回目以降の起動時であれば、図１２の薬剤情報提示画面の表示は省略されてもよい。
　図１３の薬剤情報提示画面において、表示領域１６２には、患者Ｕが今から服用すべき薬剤の画像が表示される。表示領域１６２に表示される薬剤の画像は、薬剤情報から薬剤の名前が取得され、サーバ３０が備えるデータベースから、取得された薬剤の名前に対応付けられた画像が取得されることで表示される。図１３の例では、カプセル剤Ｍ１の画像が表示されている。
　図１３の薬剤情報提示画面において、表示領域１６３には、「今から、このお薬を２粒飲みましょう。」といった、キャラクタＮ２の発話音声を示すテキストが表示される。
　ステップＳ１３において、出力制御部１２３は、表示部１０５に、服薬方法例示画面を表示させる。
　図１４は、服薬方法例示画面の例を示す図である。
　服薬方法例示画面において、表示領域１６２には、患者Ｕが今から服用すべき薬剤の服用方法を例示する例示画像が表示される。図１４の例では、表示領域１６２に、カプセル剤Ｍ１をグラスに入った水とともに飲む人物の画像が表示されている。
　服薬方法例示画面において、表示領域１６３には、「このように、お薬とお水を一緒に飲んでください。」といった、キャラクタＮ２の発話音声を示すテキストが表示される。
　この例では、カプセル剤Ｍ１のような内服薬の服薬方法を例示する例示画像が表示されるものとしたが、患者Ｕが使用すべき薬剤が塗り薬のような外用薬である場合、その外用薬の塗り方を例示する例示画像が表示される。このとき、データ処理部１２２が、患者情報として患者の症状（例えば切り傷の具合）をサーバ３０から取得し、その患者の症状に応じた例示画像を生成してもよい。例えば、データ処理部１２２が、患者の右腕に切り傷があることを取得することで、右腕に所定の塗り薬を塗っている人物の例示画像を生成する。また、データ処理部１２２が、あらかじめ生成された画像群から該当する例示画像をサーバ３０から読み出すようにしてもよい。
　ステップＳ１４において、出力制御部１２３は、表示部１０５に、薬剤提示要求画面を表示させる。
　図１５は、薬剤提示要求画面の例を示す図である。
　薬剤提示要求画面において、表示領域１６２には、患者Ｕが今から服用すべき薬剤の画像とともに、撮像部１０７により撮像された患者Ｕが映る撮像画像Ｐ１が表示される。図１５の例では、患者Ｕが今から服用すべき薬剤の画像として、カプセル剤Ｍ１の画像が表示されている。
　薬剤提示要求画面において、表示領域１６３には、「これから飲む薬を私が見えるように掲げてください。」といった、キャラクタＮ２の発話音声を示すテキストが表示される。
　このように、薬剤提示要求画面は、患者Ｕが服用すべき薬剤の提示を患者Ｕに要求する画面である。検知部１２１は、撮像部１０７により撮像された画像において、患者Ｕにより提示された薬剤を検知する。
　すなわち、ステップＳ１５において、検知部１２１は、正しい薬剤が検知されたか否かを判定する。正しい薬剤が検知されなかったと判定された場合、すなわち、検知された薬剤と、患者Ｕが服用すべき薬剤が一致しない場合、処理はステップＳ１４に戻る。検知された薬剤と、患者Ｕが服用すべき薬剤が一致するまで、ステップＳ１４，Ｓ１５が繰り返される。
　一方、正しい薬剤が検知されたと判定された場合、すなわち、検知された薬剤と、患者Ｕが服用すべき薬剤が一致した場合、処理はステップＳ１６（図１０）に進む。
　なお、多くの患者は、服用すべき薬剤が目の前に提示されていれば、間違えて服用する可能性が低いことから、例えば表示領域１６２に設けられたスキップボタンＳｂが押下されるなどにより、ステップＳ１５の判定処理がスキップされてもよい。
　図１０のステップＳ１６において、出力制御部１２３は、表示部１０５に、服薬誘導画面を表示させる。
　図１６は、服薬誘導画面の例を示す図である。
　服薬誘導画面において、表示領域１６２には、薬剤を服用する患者Ｕが映る撮像画像が大きく表示される。
　図１６の服薬誘導画面において、表示領域１６３には、「まず、１錠飲みましょう。」といった、キャラクタＮ２の発話音声を示すテキストが表示される。
　このように、服薬誘導画面は、患者Ｕに薬剤を服用するように誘導する画面である。
　ステップＳ１７において、検知部１２１は、撮像部１０７により撮像された（表示領域１６２に表示されている）撮像画像やセンサ部１１２の出力に基づいて、患者Ｕの服薬状況を検知する。このとき、検知部１２１は、撮像部１０７やセンサ部１１２の出力に基づいた機械学習により服薬状況を検知する。具体的には、検知部１２１は、患者Ｕの骨格推定と表情推定の少なくともいずれかを行うことで、服薬状況を検知する。例えば、患者Ｕの口が開いている状態で、手を表す骨格が口元に移動したことが検出されると、薬剤を服用したと判定される。このようにして、検知部１２１は、患者Ｕにより服用された薬剤の数または量を検知する。
　服薬状況の検知は、患者Ｕをセンシングする撮像部１０７やセンサ部１１２以外の他のセンサによるセンシング結果や、患者Ｕ自身の入力に基づいて行われてもよい。例えば、薬を保管する容器に設けられたセンサにより、必要な薬剤が取り出されたか否かが検出されることで、服薬状況が検知されてもよい。また、キャラクタＮ２により服薬を促された後に、表示部１０５に「薬を飲んだか否か」を選択するための選択肢を表示し、患者Ｕにその選択肢を選択させることで、服薬状況が検知されてもよい。
　ステップＳ１７において服薬状況が検知されると、ステップＳ１８において、出力制御部１２３は、検知された服薬状況に基づいて、キャラクタＮ２の表示を制御する。具体的には、出力制御部１２３は、患者Ｕにより服用された薬剤の数または量に基づいて、キャラクタＮ２の表示を変化させる。
　図１７は、服薬状況に応じたキャラクタＮ２の表示について説明する図である。
　服薬状況として、薬を（全く）飲んでいないことが検知されている場合には、キャラクタＮ２の顔の表情を弱い笑顔とし、キャラクタＮ２に、薬を飲むように患者Ｕを励ます動作を行わせる。
　服薬状況として、薬を飲んだが飲む薬が残っていることが検知されている場合には、キャラクタＮ２の顔の表情を弱い笑顔とし、キャラクタＮ２に、残りの薬を飲むように患者Ｕを励ます動作を行わせる。
　服薬状況として、規定数（量）の薬を飲んだことが検知されている場合には、キャラクタＮ２の顔の表情を強い笑顔とし、キャラクタＮ２に、患者Ｕをほめる動作を行わせる。
　服薬状況に応じてキャラクタＮ２の顔の表情や動作を変化させるとともに、キャラクタＮ２により出力される発話音声や、その発話音声に対応して表示されるテキストを変化させるようにもできる。例えば、患者が薬を飲んでいない状態が所定時間続いた場合には、薬を飲むように患者Ｕを励ます動作とともに、「がんばってお薬を飲んで病気を治しましょう」などと、患者Ｕを励ます内容の発話音声が出力されるようにする。また、患者が規定数（量）の薬を飲んだ場合には、患者Ｕをほめる動作とともに、「ちゃんと飲めましたね」などと、患者Ｕをほめる内容の発話音声が出力されるようにする。
　また、患者の年齢や嗜好を含む患者情報を取得することで、患者の年齢や嗜好に応じて、キャラクタＮ２の動作や発話音声を変化させてもよい。例えば、５歳以上１０歳未満の患者が規定数（量）の薬を飲んだ場合には、「よくがんばったね！」という発話音声が出力され、１０歳以上の患者が規定数（量）の薬を飲んだ場合には、「よくがんばりましたね」という発話音声が出力されるようにする。
　ステップＳ１９において、データ処理部１２２は、検知された服薬状況（患者Ｕにより服用された薬剤の数または量）に基づいて、服薬すべき薬剤の残数（残量）が０であるか否かを判定する。服薬すべき薬剤の残数（残量）が０でないと判定された場合、すなわち、服薬すべき薬剤が残っている場合、処理はステップＳ２０に進む。
　ステップＳ２０において、出力制御部１２３は、表示部１０５に、服薬すべき薬剤の残数（残量）を表示させる。
　図１８は、表示部１０５の画面における、薬剤の残数の表示例を示す図である。
　図１８の画面において、表示領域１６３には、患者Ｕが飲んだ薬（服薬した薬）の数と、飲む薬（服薬すべき薬）の残数が表示される。図１８の例では、飲んだ薬の数が１つで、飲む薬の残数が２つとされている。このように、１回に服用する薬剤が複数ある場合や、１回に服用する薬剤の種類が複数ある場合には、既に飲んだ薬剤の数や、飲むべき薬剤の残数が表示される。これにより、患者Ｕが、あといくつの薬を飲まなければならないかを忘れることを防ぐことができる。
　なお、患者Ｕが服薬した薬剤の数は、上述した骨格推定に基づいてカウントされる。したがって、患者Ｕに対して、一度の動作で複数の薬剤を服薬しないように要請することが好ましい。
　ステップＳ２０の後、処理はステップＳ１６に戻り、服薬すべき薬剤の残数（残量）が０になるまで、ステップＳ１６乃至Ｓ１９の処理が繰り返される。そして、ステップＳ１９において、服薬すべき薬剤の残数（残量）が０であると判定された場合、すなわち、服薬すべき薬剤が全て服薬された場合、処理は終了する。
　この場合、ステップＳ１８においては、図１９に示される画面が表示部１０５に表示される。図１９の画面において、表示領域１６１には、患者Ｕをほめる動作を行うキャラクタＮ２が表示される。表示領域１６３には、「ちゃんと飲めましたね！！」といった、キャラクタＮ２の発話音声を示すテキストが表示される。
　以上の処理によれば、患者の服薬状況を検知し、検知された服薬状況に応じて、キャラクタの顔の表情や動作を変化させることで、患者の感情に訴えかけ、服薬を促す誘導力を高めることができる。これにより、患者による薬剤の使用をより確実に管理することが可能となる。
　以上の処理では、表示部１０５に表示されるキャラクタＤ１やキャラクタＮ２は、あらかじめ決められたキャラクタであるものとしたが、患者Ｕによりキャラクタが選択可能とされてもよい。また、患者Ｕが遠隔診療を受診した病院や、患者Ｕが設定した病院、または薬剤が処方された薬局などの情報に基づいて、キャラクタが選択されてもよい。さらに、患者の情報や医療機関の情報に基づいて、キャラクタが自動生成されてもよい。例えば、ＧＡＮ（Generative Adversarial Network）などの機械学習モデルにより、患者や医療機関に合わせたキャラクタが生成されるようにする。また、キャラクタの動作や表情が、患者の情報や動作、医療機関の情報に基づいて、機械学習モデルにより自動生成されてもよい。
　以上において、本開示に係る処理は、患者用端末１０により実行されるものとしたが、その少なくとも一部が、医療者用端末２０やサーバ３０により実行されてもよい。以下においては、本開示に係る処理の少なくとも一部を実行可能な医療者用端末２０とサーバ３０の構成について説明する。
＜６．医療者用端末の構成＞
　図２０は、医療者用端末２０の機能構成例を示すブロック図である。
　医療者用端末２０は、ＣＰＵ２０１、メモリ２０２、ストレージ２０３、操作部２０４、表示部２０５、スピーカ２０６、撮像部２０７、マイク２０８、通信部２０９、外部Ｉ／Ｆ２１０、ドライブ２１１、およびセンサ部２１２を備える。ＣＰＵ２０１乃至センサ部２１２は、バスに接続されており、相互に必要な通信を行う。
　ＣＰＵ２０１乃至センサ部２１２は、図２のＣＰＵ１０１乃至センサ部１１２とそれぞれ同様に構成される。
　医療者用端末２０では、患者用端末１０と同様に、ＣＰＵ２０１が実行するプログラム（例えば、医療者用アプリケーション）は、医療者用端末２０に内蔵されている記録媒体としてのストレージ２０３にあらかじめ記録しておくことができる。
　また、プログラムは、リムーバブルメディア２１１Ａに格納（記録）して、パッケージソフトウエアとして提供し、リムーバブルメディア２１１Ａから医療者用端末２０にインストールすることができる。
　その他、プログラムは、ネットワークＮＷおよび通信部２０９を介して、サーバ３０などからダウンロードし、医療者用端末２０にインストールすることができる。
　ＣＰＵ２０１は、医療者用端末２０にインストールされたプログラムを実行することにより、検知部２２１、データ処理部２２２、および出力制御部２２３として機能することができる。検知部２２１、データ処理部２２２、および出力制御部２２３は、図２の患者用端末１０のＣＰＵ１０１により実現される検知部１２１、データ処理部１２２、および出力制御部１２３と、それぞれ同様の機能を有する。
　このような構成により、遠隔医療システム１において、本開示に係る処理の少なくとも一部が、医療者用端末２０によっても実行可能となる。
＜７．サーバの構成＞
　図２１は、サーバ３０の機能構成例を示すブロック図である。
　サーバ３０は、ＣＰＵ３０１、メモリ３０２、ストレージ３０３、操作部３０４、表示部３０５、スピーカ３０６、通信部３０７、外部Ｉ／Ｆ３０８、およびドライブ３０９を備える。ＣＰＵ３０１乃至ドライブ３０９は、バスに接続されており、相互に必要な通信を行う。
　ＣＰＵ３０１乃至ドライブ３０９は、図２のＣＰＵ１０１乃至スピーカ１０６、および通信部１０９乃至ドライブ１１１とそれぞれ同様に構成される。
　サーバ３０では、患者用端末１０と同様に、ＣＰＵ３０１が実行するプログラムは、サーバ３０に内蔵されている記録媒体としてのストレージ３０３にあらかじめ記録しておくことができる。
　また、プログラムは、リムーバブルメディア３０９Ａに格納（記録）して、パッケージソフトウエアとして提供し、リムーバブルメディア３０９Ａからサーバ３０にインストールすることができる。
　その他、プログラムは、ネットワークＮＷおよび通信部３０７を介して、他のサーバ（不図示）などからダウンロードし、サーバ３０にインストールすることができる。
　ＣＰＵ３０１は、サーバ３０にインストールされたプログラムを実行することにより、検知部３２１、データ処理部３２２、および出力制御部３２３として機能することができる。検知部３２１、データ処理部３２２、および出力制御部３２３もまた、図２の患者用端末１０のＣＰＵ１０１により実現される検知部１２１、データ処理部１２２、および出力制御部１２３と、それぞれ同様の機能を有する。
　このような構成により、遠隔医療システム１において、本開示に係る処理の少なくとも一部が、サーバ３０によっても実行可能となる。
＜８．その他＞
　本明細書において、コンピュータ（ＣＰＵ）がプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示に係る実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　さらに、例えば、本開示に係る技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本開示は以下のような構成をとることができる。
（１）
　遠隔医療システムが、
　患者による薬剤の使用状況を検知し、
　検知された前記使用状況に基づいて、前記患者による前記薬剤の使用をサポートするキャラクタの表示を制御する
　表示制御方法。
（２）
　前記キャラクタは、人間を模したＣＧ（Computer Graphics）画像である
　（１）に記載の表示制御方法。
（３）
　前記人間は、医療者を含む
　（２）に記載の表示制御方法。
（４）
　前記患者により使用された前記薬剤の数または量を検知し、
　検知された前記薬剤の数または量に基づいて、前記キャラクタの表示を変化させる
　（３）に記載の表示制御方法。
（５）
　検知された前記薬剤の数または量に基づいて、前記キャラクタの顔の表情を変化させる
　（４）に記載の表示制御方法。
（６）
　検知された前記薬剤の数または量に基づいて、前記キャラクタの動作を変化させる
　（４）または（５）に記載の表示制御方法。
（７）
　検知された前記薬剤の数または量に基づいて、前記キャラクタにより出力される音声を変化させる
　（４）乃至（６）のいずれかに記載の表示制御方法。
（８）
　検知された前記薬剤の数または量に基づいて、前記患者が使用すべき前記薬剤の残数または残量の表示をさらに制御する
　（４）乃至（７）のいずれかに記載の表示制御方法。
（９）
　前記患者が前記薬剤を使用する時刻になったとき、前記キャラクタの表示を開始する
　（１）乃至（８）のいずれかに記載の表示制御方法。
（１０）
　前記患者による前記薬剤の使用を誘導する前に、前記患者が使用すべき前記薬剤の画像の表示を制御する
　（１）乃至（９）のいずれかに記載の表示制御方法。
（１１）
　前記患者による前記薬剤の使用を誘導する前に、前記薬剤の使用方法の例示画像の表示を制御する
　（１０）に記載の表示制御方法。
（１２）
　前記患者による前記薬剤の使用時に、前記患者が使用すべき前記薬剤の提示を前記患者に要求する要求画面の表示を制御し、
　前記患者により提示された前記薬剤を検知する
　（１０）に記載の表示制御方法。
（１３）
　検知された前記薬剤と、前記患者が使用すべき前記薬剤が一致するまで、前記要求画面の表示を繰り返す
　（１２）に記載の表示制御方法。
（１４）
　前記患者をセンシングするセンサの出力に基づいて、前記使用状況を検知する
　（１）乃至（１３）のいずれかに記載の表示制御方法。
（１５）
　前記センサは、カメラまたはＴｏＦセンサである
　（１４）に記載の表示制御方法。
（１６）
　前記センサの出力に基づいた機械学習により、前記使用状況を検知する
　（１４）または（１５）に記載の表示制御方法。
（１７）
　骨格推定および表情推定の少なくともいずれかを行うことで、前記使用状況を検知する
　（１６）に記載の表示制御方法。
（１８）
　前記薬剤は、内服薬、外用薬、および注射薬のいずれかを含む
　（１）乃至（１７）のいずれかに記載の表示制御方法。
（１９）
　患者による薬剤の使用状況を検知する検知部と、
　検知された前記使用状況に基づいて、前記患者による前記薬剤の使用をサポートするキャラクタの表示を制御する表示制御部と
　を備える遠隔医療システム。
（２０）
　コンピュータに、
　患者による薬剤の使用状況を検知し、
　検知された前記使用状況に基づいて、前記患者による前記薬剤の使用をサポートするキャラクタの表示を制御する
　処理を実行させるためのプログラム。
　１　遠隔医療システム，　１０　患者用端末，　２０　医療者用端末，　３０　サーバ，　１０１　ＣＰＵ，　１２１　検知部，　１２２　データ処理部，　１２３　出力制御部，　２０１　ＣＰＵ，　２２１　検知部，　２２２　データ処理部，　２２３　出力制御部，　３０１　ＣＰＵ，　３２１　検知部，　３２２　データ処理部，　３２３　出力制御部

Claims (20)

  1. 　遠隔医療システムが、
    　患者による薬剤の使用状況を検知し、
    　検知された前記使用状況に基づいて、前記患者による前記薬剤の使用をサポートするキャラクタの表示を制御する
    　表示制御方法。
  2. 　前記キャラクタは、人間を模したＣＧ（Computer Graphics）画像である
    　請求項１に記載の表示制御方法。
  3. 　前記人間は、医療者を含む
    　請求項２に記載の表示制御方法。
  4. 　前記患者により使用された前記薬剤の数または量を検知し、
    　検知された前記薬剤の数または量に基づいて、前記キャラクタの表示を変化させる
    　請求項３に記載の表示制御方法。
  5. 　検知された前記薬剤の数または量に基づいて、前記キャラクタの顔の表情を変化させる
    　請求項４に記載の表示制御方法。
  6. 　検知された前記薬剤の数または量に基づいて、前記キャラクタの動作を変化させる
    　請求項４に記載の表示制御方法。
  7. 　検知された前記薬剤の数または量に基づいて、前記キャラクタにより出力される音声を変化させる
    　請求項４に記載の表示制御方法。
  8. 　検知された前記薬剤の数または量に基づいて、前記患者が使用すべき前記薬剤の残数または残量の表示をさらに制御する
    　請求項４に記載の表示制御方法。
  9. 　前記患者が前記薬剤を使用する時刻になったとき、前記キャラクタの表示を開始する
    　請求項１に記載の表示制御方法。
  10. 　前記患者による前記薬剤の使用を誘導する前に、前記患者が使用すべき前記薬剤の画像の表示を制御する
    　請求項１に記載の表示制御方法。
  11. 　前記患者による前記薬剤の使用を誘導する前に、前記薬剤の使用方法の例示画像の表示を制御する
    　請求項１０に記載の表示制御方法。
  12. 　前記患者による前記薬剤の使用時に、前記患者が使用すべき前記薬剤の提示を前記患者に要求する要求画面の表示を制御し、
    　前記患者により提示された前記薬剤を検知する
    　請求項１０に記載の表示制御方法。
  13. 　検知された前記薬剤と、前記患者が使用すべき前記薬剤が一致するまで、前記要求画面の表示を繰り返す
    　請求項１２に記載の表示制御方法。
  14. 　前記患者をセンシングするセンサの出力に基づいて、前記使用状況を検知する
    　請求項１に記載の表示制御方法。
  15. 　前記センサは、カメラまたはＴｏＦセンサである
    　請求項１４に記載の表示制御方法。
  16. 　前記センサの出力に基づいた機械学習により、前記使用状況を検知する
    　請求項１４に記載の表示制御方法。
  17. 　骨格推定および表情推定の少なくともいずれかを行うことで、前記使用状況を検知する
    　請求項１６に記載の表示制御方法。
  18. 　前記薬剤は、内服薬、外用薬、および注射薬のいずれかを含む
    　請求項１に記載の表示制御方法。
  19. 　患者による薬剤の使用状況を検知する検知部と、
    　検知された前記使用状況に基づいて、前記患者による前記薬剤の使用をサポートするキャラクタの表示を制御する表示制御部と
    　を備える遠隔医療システム。
  20. 　コンピュータに、
    　患者による薬剤の使用状況を検知し、
    　検知された前記使用状況に基づいて、前記患者による前記薬剤の使用をサポートするキャラクタの表示を制御する
    　処理を実行させるためのプログラム。
PCT/JP2021/037273 2020-10-23 2021-10-08 表示制御方法、遠隔医療システム、およびプログラム WO2022085480A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-178035 2020-10-23
JP2020178035 2020-10-23

Publications (1)

Publication Number Publication Date
WO2022085480A1 true WO2022085480A1 (ja) 2022-04-28

Family

ID=81290387

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/037273 WO2022085480A1 (ja) 2020-10-23 2021-10-08 表示制御方法、遠隔医療システム、およびプログラム

Country Status (1)

Country Link
WO (1) WO2022085480A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016168243A (ja) * 2015-03-13 2016-09-23 三菱電機インフォメーションシステムズ株式会社 薬品管理装置及び薬品管理プログラム
JP2020058622A (ja) * 2018-10-10 2020-04-16 オリンパス株式会社 服薬管理システム，情報端末装置，服薬管理装置，服薬管理方法
JP2020135145A (ja) * 2019-02-14 2020-08-31 コニカミノルタ株式会社 見守り装置、見守りシステム、および見守りプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016168243A (ja) * 2015-03-13 2016-09-23 三菱電機インフォメーションシステムズ株式会社 薬品管理装置及び薬品管理プログラム
JP2020058622A (ja) * 2018-10-10 2020-04-16 オリンパス株式会社 服薬管理システム，情報端末装置，服薬管理装置，服薬管理方法
JP2020135145A (ja) * 2019-02-14 2020-08-31 コニカミノルタ株式会社 見守り装置、見守りシステム、および見守りプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Mitsubishi Tanabe Pharma Digital Medicine 1st game-like continuous promotion of diabetic application", MIX ONLINE, 13 February 2019 (2019-02-13), XP055923534, Retrieved from the Internet <URL:https://www.mixonline.jp/tabid55.html?artid=67003> [retrieved on 20220520] *
TODA, TAKESHI: "Development of Interactive Communication System for Supporting Outpatient Medical Treatment with Considering User Experience", HUMAN INTERFACE : THE TRANSACTION OF HUMAN INTERFACE SOCIETY, HUMAN INTERFACE SOCIETY, JP, vol. 12, no. 3, 25 August 2010 (2010-08-25), JP , pages 11 (209) - 20 (218), XP009505157, ISSN: 1344-7262 *

Similar Documents

Publication Publication Date Title
JP7288735B2 (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
US8448846B2 (en) Medication recording device
JP7373101B2 (ja) 患者プロファイル情報システム、患者プロファイル情報システムの制御方法、プログラム、及び記録媒体
JP6725739B1 (ja) 情報処理装置、情報処理方法及びプログラム
US7259731B2 (en) Medical overlay mirror
US10950333B2 (en) Medication management
US7692606B2 (en) Medical overlay mirror
TWM564220U (zh) 智慧型用藥資訊服務系統
TWI749621B (zh) 用藥提醒與回報系統及其實施方法
JP2021136018A (ja) 支援装置、支援システム、支援方法及びプログラム
WO2022085480A1 (ja) 表示制御方法、遠隔医療システム、およびプログラム
KR20070048760A (ko) 의학적 오버레이 미러
JP2004206578A (ja) 薬歴簿システム
WO2021152750A1 (ja) 服薬管理システム
US10304563B1 (en) Medication management
JP7467392B2 (ja) 情報提供装置、作業者端末及びコンピュータープログラム
WO2022123790A1 (ja) 服薬指導情報提供システムおよび服薬指導情報提供プログラム
Strickler et al. Educating older adults to avoid harmful self-medication
JP7186943B1 (ja) 動画を用いた服薬指導システム
Taghian et al. Towards an Augmented Reality Goggles Integrated with a Mobile-Based Medication Adherence System
JP2023153691A (ja) 医療支援システム、医療支援方法、及び医療支援プログラム
WO2023018732A1 (en) System and method using ai medication assistant and remote patient monitoring (rpm) devices
JP2024036848A (ja) 皮膚炎治療の支援装置、皮膚炎治療の支援方法、及び皮膚炎治療の支援アプリケーション
JP2022022129A (ja) 指導支援装置、指導支援システム、及びプログラム
JP2018185813A (ja) 情報処理システム、端末装置、サーバ、媒体、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21882621

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21882621

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP