WO2024201646A1 - 画像処理装置、画像処理方法及び記憶媒体 - Google Patents

画像処理装置、画像処理方法及び記憶媒体 Download PDF

Info

Publication number
WO2024201646A1
WO2024201646A1 PCT/JP2023/012154 JP2023012154W WO2024201646A1 WO 2024201646 A1 WO2024201646 A1 WO 2024201646A1 JP 2023012154 W JP2023012154 W JP 2023012154W WO 2024201646 A1 WO2024201646 A1 WO 2024201646A1
Authority
WO
WIPO (PCT)
Prior art keywords
medication
subject
pupil
image processing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/012154
Other languages
English (en)
French (fr)
Inventor
旭美 梅松
祥史 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2023/012154 priority Critical patent/WO2024201646A1/ja
Priority to JP2025509277A priority patent/JPWO2024201646A5/ja
Publication of WO2024201646A1 publication Critical patent/WO2024201646A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data

Definitions

  • This disclosure relates to the technical fields of image processing devices, image processing methods, and storage media that perform processing related to determining medication effects using images.
  • Patent Document 1 discloses a system that detects the area of the subject's pupils based on video signals from two cameras and analyzes the pupil area, pupil diameter, and pupil position.
  • one of the objectives of the present disclosure is to provide an image processing device, an image processing method, and a storage medium that can suitably generate information regarding the effectiveness of a subject's medication from an image of the subject.
  • a medication information acquisition means for acquiring medication information regarding a drug used by a subject; an imaging timing decision means for deciding an imaging timing of the subject by the imaging means based on the medication information; a pupil information generating means for generating pupil information regarding the pupil of the subject based on the image generated by the photographing means at the photographing timing;
  • the image processing device has the following features.
  • One aspect of the image processing method includes: The computer Obtaining medication information regarding medications used by the subject; determining a timing for photographing the subject by an imaging means based on the medication information; generating pupil information regarding the pupil of the subject based on the image generated by the imaging means at the imaging timing; It is an image processing method.
  • the "computer” includes any electronic device (or a processor included in the electronic device), and may be configured from multiple electronic devices.
  • One aspect of the storage medium is Obtaining medication information regarding medications used by the subject; determining a timing for photographing the subject by an imaging means based on the medication information;
  • the storage medium stores a program for causing a computer to execute a process for generating pupil information relating to the pupil of the subject based on the image generated by the imaging means at the imaging timing.
  • FIG. 13 is a block diagram of an image processing device according to a third embodiment. 13 is an example of a flowchart executed by the image processing apparatus in the third embodiment.
  • FIG. 1 shows a schematic configuration of a medication effect determination system 100 according to the first embodiment.
  • the medication effect determination system 100 is a system for simply determining the effectiveness of a drug used by a subject 6 (also called “medication effect") based on an image of the subject 6's face captured by a visible light camera, and mainly includes an image processing device 1, an input device 2, an output device 3, a storage device 4, and a measuring device 5 including a camera (photographing device) 51.
  • the medication effect determination system 100 may be used by the subject 6 for the purpose of self-care, or may be used by the subject 6 under the instruction or request of a medical professional.
  • the medication effect determination system 100 may be used, for example, to confirm the medication effect, adjust the dosage and medication interval, etc.
  • “medication” is not limited to oral intake of a drug by the subject 6, but also includes dermal intake.
  • the image processing device 1 measures the pupils of the subject 6 after medication based on the facial images of the subject 6 generated by the camera 51 (including video, which is a sequence of a predetermined number of images obtained in time series; the same applies below), and based on the pupil measurement results, judges the effectiveness of the medication and notifies information related to the results of the judgment of the medication effectiveness.
  • the image processing device 1 communicates data with the input device 2, output device 3, storage device 4, and measurement device 5 via a communication network or by direct wireless or wired communication.
  • the input device 2 is an interface that accepts user input (manual input).
  • the user who inputs information using the input device 2 may be the subject 6 himself or a person who manages or supervises the subject 6.
  • the input device 2 may be, for example, any of a variety of user input interfaces, such as a touch panel, a button, a keyboard, a mouse, or a voice input device.
  • the input device 2 supplies an input signal generated based on the user's input to the image processing device 1.
  • the output device 3 outputs predetermined information based on an output signal supplied from the image processing device 1.
  • the output signal includes at least one of a display signal and an audio signal.
  • the output device 3 displays information based on the display signal supplied from the image processing device 1, and outputs information as audio based on the audio signal supplied from the image processing device 1.
  • the output device 3 includes at least one of a display device such as a display or projector, and an audio output device such as a speaker.
  • the storage device 4 is a memory that stores various information necessary for determining the effectiveness of medication, etc.
  • the storage device 4 may be an external storage device such as a hard disk connected to or built into the image processing device 1, or may be a storage medium such as a flash memory.
  • the storage device 4 may also be a server device that performs data communication with the image processing device 1.
  • the storage device 4 may also be composed of multiple devices.
  • the measurement device 5 is one or more sensors including the camera 51, which is a visible light camera.
  • the measurement device 5 may include an illuminance sensor for detecting changes in the amount of external light in the environment in which the camera image of the subject 6 is captured.
  • the measurement device 5 supplies signals measured by each sensor to the image processing device 1.
  • the image generated by the camera 51 will also be referred to as a "camera image.”
  • the camera 51 is an example of an "imaging means.”
  • the configuration of the medication effect assessment system 100 shown in FIG. 1 is an example, and various modifications may be made to the configuration.
  • the image processing device 1, the input device 2, the output device 3, the storage device 4, and the measurement device 5 may be realized by a single terminal device such as a smartphone or a tablet terminal.
  • FIG. 2 shows the state when a camera image of subject 6 is taken when medication effect assessment system 100 is a single terminal device (e.g., a smartphone).
  • medication effect assessment system 100 which is a terminal device, and adjusts the orientation of the terminal device so that his or her face is included in the shooting range of camera 51.
  • Medication effect assessment system 100 may be fixed to a tripod or the like. Then, in the state shown in FIG. 2, subject 6 follows the instructions (guidance) output by medication effect assessment system 100 and causes medication effect assessment system 100 to take a camera image of subject 6 required for determining the medication effect.
  • FIG. 3 shows the hardware configuration of the image processing device 1.
  • the image processing device 1 includes, as hardware, a processor 11, a memory 12, and an interface 13.
  • the processor 11, the memory 12, and the interface 13 are connected via a data bus 90.
  • the processor 11 functions as a controller (computing device) that controls the entire image processing device 1 by executing a program stored in the memory 12.
  • the processor 11 is, for example, a processor such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a TPU (Tensor Processing Unit).
  • the processor 11 may be composed of multiple processors.
  • the processor 11 is an example of a computer.
  • the memory 12 is composed of various types of volatile and non-volatile memory, such as RAM (Random Access Memory), ROM (Read Only Memory), and flash memory.
  • the memory 12 also stores programs for executing the processes executed by the image processing device 1. Note that part of the information stored in the memory 12 may be stored in one or more external storage devices capable of communicating with the image processing device 1, or may be stored in a storage medium that is detachable from the image processing device 1.
  • the memory 12 may also function as at least part of the storage device 4.
  • the interface 13 is an interface for electrically connecting the image processing device 1 to other devices.
  • These interfaces may be wireless interfaces such as network adapters for wirelessly transmitting and receiving data to and from other devices, or may be hardware interfaces for connecting to other devices via cables or the like.
  • the hardware configuration of the image processing device 1 is not limited to the configuration shown in FIG. 2.
  • the image processing device 1 may include at least one of the input device 2, the output device 3, the storage device 4, and the measurement device 5.
  • the medication effect assessment process which is a process related to the assessment of medication effect.
  • the image processing device 1 determines the timing of capturing a camera image based on medication information related to the medication of the subject 6, and measures the pupil of the subject 6 based on the camera image captured at the determined timing. Then, the image processing device 1 assesses the medication effect and notifies information related to the assessment result based on the measured change in pupil size of the subject 6, etc. This makes it possible for the image processing device 1 to accurately perform a judgment on the medication effect based on the camera image regardless of the type and amount of the administered medicine, and to notify the subject 6, etc. of a highly accurate assessment result on the medication effect.
  • the pupil size changes depending on the effectiveness of the drug.
  • an autonomic nervous system drug such as Lexotanil
  • the pupil dilates widens
  • a parasympathomimetic drug such as pilocarpine or physostigmine
  • a parasympathetic blocking drug such as homatropine or tropicamide
  • the image processing device 1 judges the medication effect based on the change in pupil size. In addition, since the timing at which the medication effect peaks varies depending on the medication content, the image processing device 1 determines the timing of capturing a camera image to identify the change in pupil size based on the medication information. In this way, the image processing device 1 judges the medication effect with high accuracy.
  • FIG. 4 is an example of a functional block of the image processing device 1 related to medication effect assessment processing.
  • the processor 11 of the image processing device 1 has a medication information acquisition unit 14, an imaging timing determination unit 15, a first notification unit 16, a pupil information generation unit 17, a medication effect assessment unit 18, and a second notification unit 19.
  • a medication information acquisition unit 14 an imaging timing determination unit 15
  • a first notification unit 16 a pupil information generation unit 17
  • a medication effect assessment unit 18 a second notification unit 19.
  • blocks where data is exchanged are connected by solid lines, but the combination of blocks where data is exchanged is not limited to those shown. The same applies to the other functional block diagrams described below.
  • the medication information acquisition unit 14 acquires medication information indicating at least the medication content (i.e., the type and amount of medication used) and the time of administration to the subject 6. The medication information acquisition unit 14 then supplies the acquired medication information to the imaging timing determination unit 15.
  • the medication information acquisition unit 14 generates medication information based on input by the subject 6 to the input device 2. For example, the medication information acquisition unit 14 displays an input screen for inputting the medication content and medication time by the output device 3, and acquires input information indicating the input on the input screen from the input device 2, thereby generating the above-mentioned medication information. Note that if setting information for the medication content and medication time is registered in advance in the storage device 4 or memory 12, etc., the medication information acquisition unit 14 may generate medication information based on the setting information.
  • the medication information acquisition unit 14 acquires an image of the packaging (e.g., a PTP (Press Through Pack) sheet) that contained the medicine used by the subject 6, and recognizes the medication contents by analyzing the image using any image recognition technology.
  • the medication information acquisition unit 14 then recognizes the generation date and time indicated by the metadata of the image as the medication time, and generates medication information indicating the recognized medication contents and medication time.
  • the subject 6 or the subject's 6 administrator takes an image of the used medicine case (package) with the camera 51 or another camera after the subject 6 has used the medicine, and performs an input to specify the captured image as the image to be analyzed by the medication information acquisition unit 14.
  • the medication information acquisition unit 14 acquires medication information from the application.
  • the imaging timing determination unit 15 determines the imaging timing of the subject 6 based on the medication information supplied from the medication information acquisition unit 14, and when the determined imaging timing is reached, supplies an instruction signal to start imaging to the first notification unit 16. In this case, the imaging timing determination unit 15 determines each measurement timing of the pupil required to determine the medication effect as the imaging timing. Note that administration of a drug causes a change in pupil size according to the effectiveness of the drug, and the effectiveness of the drug differs depending on the type of drug used, etc. Taking the above into consideration, the imaging timing determination unit 15 recognizes each measurement timing required to identify a change in pupil size based on the medication information, and determines each measurement timing as the imaging timing. Then, when the determined imaging timing is reached, the imaging timing determination unit 15 supplies an instruction signal to start imaging to the first notification unit 16. The method of determining the imaging timing by the imaging timing determination unit 15 will be described later.
  • the first notification unit 16 When the first notification unit 16 receives an instruction signal to start imaging from the imaging timing determination unit 15, it notifies the subject 6 through the output device 3 that it is time to image. In this case, the first notification unit 16 notifies the subject 6 through the output device 3 that it is time to image by supplying an output signal including at least one of an audio signal and a display signal to the output device 3 through the interface 13. This causes the subject 6 to adjust so that the subject 6's face is within the imaging range of the camera 51, and perform operations such as starting imaging with the camera 51.
  • the first notification unit 16 instructs the subject 6 to direct his/her gaze (i.e., focus) at a location a predetermined distance away in order to stabilize the subject's 6 focus.
  • predetermined distance is, for example, a distance of 6 m or more at which the focal distance is essentially infinity.
  • the location a predetermined distance away is not limited to a location 6 m or more away, and may be any location at which the distance to the subject 6 does not change.
  • the first notification unit 16 may instruct the subject 6 to set the distance (shooting distance) between the subject 6 and the camera 51 to a predetermined distance based on the size of the iris of the subject 6 recognized from the camera image. In this case, the first notification unit 16 determines whether the size of the iris recognized from the camera image belongs to an appropriate size range.
  • the above-mentioned appropriate size range is a range of iris sizes corresponding to a range of shooting distances that are within a distance range preferable for determining the effect of medication, and is stored in advance in, for example, the storage device 4 or the memory 12. Then, when the recognized iris size is outside the appropriate size range, the first notification unit 16 causes the output device 3 to output guidance information to adjust the shooting distance.
  • the first notification unit 16 when the recognized iris size is smaller than the appropriate size range, the first notification unit 16 outputs guidance information (guidance) to shorten the shooting distance, and when the recognized iris size is larger than the appropriate size range, outputs guidance information to lengthen the shooting distance. In this way, the first notification unit 16 can appropriately adjust the shooting distance so that it is a distance suitable for determining the medication effect.
  • the pupil information generating unit 17 When the first notification unit 16 notifies the subject 6 of the timing of photographing, the pupil information generating unit 17 generates information about the pupil of the subject 6 (also called “pupil information") based on the camera image of the subject 6. As a result, the pupil information generating unit 17 generates pupil information for each photographing timing determined by the photographing timing determining unit 15, and supplies the generated pupil information to the medication effect determining unit 18.
  • the pupil information generating unit 17 calculates at least the pupil size (e.g., pupil diameter) of the subject 6 as the pupil information.
  • the pupil information generating unit 17 may measure a predetermined number of pupil sizes based on a predetermined number of camera images obtained after the first notification unit 16 notifies the subject 6, and generate pupil information indicating the measured predetermined number of pupil sizes.
  • the pupil information may be information indicating the average, maximum, or other representative value of the predetermined number of pupil sizes.
  • the medication effect assessment unit 18 assesses the medication effect of the drug used by the subject 6 based on the pupil information generated for each imaging timing. In this case, the medication effect assessment unit 18 calculates one or more indices (also called “pupil change indices") indicating changes in the pupil indicated by the pupil information.
  • the pupil change index is, for example, the difference between the pupil size before the medication effect appears and the pupil size when the medication effect is at its peak, and is calculated as the difference between the pupil size based on the camera image generated at the imaging timing immediately after medication and the pupil size at the imaging timing at the peak of the medication effect estimated based on the medication information.
  • the above difference corresponds to the degree of miosis when the pupil is miosis, and corresponds to the degree of mydriasis when the pupil is dilated.
  • the medication effect assessment unit 18 then assesses the medication effect based on the calculated pupil change index, and supplies information on the medication effect assessment result to the second notification unit 19.
  • the medication effect assessment unit 18 generates, for example, a determination result indicating whether the medication effect is within an appropriate range. Note that, when the medication effect is not within the appropriate range, the medication effect assessment unit 18 may further generate a determination result indicating whether the medication effect is excessive or insufficient.
  • the medication effect assessment unit 18 compares the calculated pupil change index with a reference value of the pupil change index, and assesses the medication effect based on the comparison result.
  • the above-mentioned reference value may be a statistical standard value of the pupil change index for the age of the subject 6 (i.e., a statistical value of the pupil change index according to the attributes of the subject 6), or may be a past calculated value of the pupil change index of the subject 6.
  • the above-mentioned reference value may also be a threshold value for determining whether the medication effect is within an appropriate range.
  • the medication effect assessment unit 18 may also use a model that performs inference regarding the medication effect, and output information output by the model as information regarding the judgment result of the medication effect.
  • the above-mentioned model is a machine learning model such as an equation, a lookup table, or a neural network, and outputs an inference result regarding the medication effect when, for example, the calculated values of various pupil change indexes (or the difference between the calculated value and the reference value, etc.) are input.
  • the parameters of the above-mentioned model are stored in advance in the storage device 4 or memory 12, etc.
  • the medication effect assessment unit 18 may output information for displaying a graph showing the calculated values of various pupil change indexes and corresponding reference values in a comparative manner as information regarding the medication effect assessment result.
  • the second notification unit 19 displays or outputs as sound information on the medication effect judgment result supplied from the medication effect judgment unit 18 by the output device 3.
  • the second notification unit 19 generates an output signal including at least one of a display signal or sound signal indicating information on the medication effect judgment result, and supplies the output signal to the output device 3 via the interface 13.
  • the second notification unit 19 may also perform a process of notifying a third party other than the subject 6 of the information on the medication effect judgment result, and may also perform a process of storing the information on the medication effect judgment result in the storage device 4 or memory 12, etc.
  • each of the components of the medication information acquisition unit 14, the imaging timing determination unit 15, the first notification unit 16, the pupil information generation unit 17, the medication effect assessment unit 18, and the second notification unit 19 described in FIG. 4 can be realized, for example, by the processor 11 executing a program. Also, each component may be realized by recording the necessary programs in any non-volatile storage medium and installing them as necessary. Note that at least a portion of each of these components may not be realized by software through a program, but may be realized by any combination of hardware, firmware, and software. Also, at least a portion of each of these components may be realized using a user-programmable integrated circuit, such as an FPGA (Field-Programmable Gate Array) or a microcontroller.
  • FPGA Field-Programmable Gate Array
  • the integrated circuit may be used to realize a program composed of each of the above components.
  • at least a portion of each component may be configured by an ASSP (Application Specific Standard Production), an ASIC (Application Specific Integrated Circuit), or a quantum processor (quantum computer control chip).
  • ASSP Application Specific Standard Production
  • ASIC Application Specific Integrated Circuit
  • quantum processor quantum computer control chip
  • Fig. 5 is an example of a camera image of the face of the subject 6.
  • the image processing device 1 recognizes each area of the subject 6's eyes 9Ra, 9La, irises 9Rb, 9Lb, and pupils 9Rc, 9Lc based on an arbitrary image recognition technology from a camera image capturing the face of the subject 6. The image processing device 1 then calculates pupil information indicating at least the pupil size based on each recognized area.
  • the image processing device 1 generates pupil information indicating the pupil size (i.e., pupil diameter) corresponding to the length of the arrows 91 and 92. Note that when the image processing device 1 calculates the pupil size for each eye, it may generate pupil information indicating the average of the calculated pupil sizes. Furthermore, when only one eye of the subject 6 is displayed in the camera image, the image processing device 1 may generate pupil information indicating the pupil size for the displayed eye.
  • the image processing device 1 may perform a normalization process to convert the pupil size from a size based on the number of pixels on the camera image to a size of a predetermined scale (e.g., actual size), and generate pupil information indicating the normalized pupil size.
  • the image processing device 1 may normalize the pupil size based on the size of the irises 9Rb, 9Lb, taking advantage of the characteristics that the size of the irises 9Rb, 9Lb varies little between individuals and does not change over time.
  • the image processing device 1 may recognize the actual pupil size by three-dimensionally reconstructing the face of the subject 6 from the camera images of the multiple cameras based on any three-dimensional reconstruction technology such as SfM (Structure From Motion).
  • Fig. 6 is a graph showing an example of a change in the pupil size of the subject 6 after the subject 6 uses a certain drug.
  • a case will be described in which the subject 6 uses a drug that causes pupil dilation when administered.
  • the imaging timing determination unit 15 determines as imaging timing at least the timing immediately after the start of medication (corresponding to the medication time, time "t1" in FIG. 6) and the timing at which the medication effect peaks (time “t3" in FIG. 6).
  • the pupil size at time t1 corresponds to the pupil size when there is no medication effect, and is the minimum value "Dmin”.
  • the pupil size at time t3 corresponds to the pupil size when the pupil is most dilated due to the medication effect, and is the maximum value "Dmax”. Note that in the case of a drug that causes miosis, the pupil size reaches its minimum value at time t3.
  • the imaging timing determination unit 15 preferably determines at least one of the timings when the medicine starts to take effect (time “t2" in FIG. 6) and the timing when the medication effect decreases (ends) (time "t4" in FIG. 6) as the imaging timing.
  • time t2 i.e., the timing when the medication starts to take effect
  • time t3 i.e., the timing when the medication effect peaks
  • time t4 i.e., the timing when the medication effect decreases
  • the imaging timing determination unit 15 estimates these timings based on the medication content indicated by the medication information.
  • the imaging timing determination unit 15 recognizes the length of time from the medication time to the occurrence of the medication effect peak (the length of time from time t1 to time t3 in FIG. 6) based on the medication content indicated by the medication information, and determines the time at which the above-mentioned length of time has elapsed from the medication time as the timing at which the medication effect peaks.
  • table information showing the correspondence between the medication content and the above-mentioned length of time i.e., table information that associates the above-mentioned length of time to be set for each expected medication content is stored in advance in the storage device 4 or memory 12, etc.
  • the imaging timing determination unit 15 refers to this table information and determines the above-mentioned length of time from the medication content.
  • the imaging timing determination unit 15 may determine the above-mentioned length of time from the type of medication as the medication content, or may determine the above-mentioned length of time from both the type of medication and the dosage (amount used).
  • the imaging timing determination unit 15 refers to table information showing the correspondence between the medication content and the length of time from the medication time until the medication starts to take effect (the length of time from time t1 to time t2 in FIG. 6), and estimates the timing at which the medication starts to take effect from the medication content.
  • the imaging timing determination unit 15 also refers to table information showing the correspondence between the medication content and the length of time from the medication time until the medication effect wears off (the length of time from time t1 to time t4 in FIG. 6), and estimates the timing at which the medication effect wears off from the medication content.
  • the above-mentioned table information is stored in advance in, for example, the storage device 4 or memory 12.
  • the imaging timing determination unit 15 can accurately estimate the timing of each pupil measurement required to determine the medication effect based on the medication information, and can accurately determine the imaging timing.
  • the medication effect assessment unit 18 calculates, as the pupil change index, the difference between the pupil size Dmin measured based on a camera image generated at time t1 immediately after medication and the pupil size Dmax measured based on a camera image generated at time t3 when the medication effect peaks.
  • the medication effect assessment unit 18 calculates, as the pupil change index, the difference between the pupil size when there is no medication effect and the pupil size when the pupil is most dilated due to the medication effect.
  • the imaging timing determination unit 15 may use the pupil size based on a camera image of the subject 6 taken at any timing before medication is started.
  • a camera image of the subject 6 taken at any timing before medication is started is stored in the storage device 4 or memory 12, etc., and the imaging timing determination unit 15 calculates the pupil size when medication is ineffective based on the camera image.
  • the storage device 4 or memory 12, etc. may store the pupil size of the subject 6 when medication is ineffective in advance as registered information.
  • the imaging timing determination unit 15 may also determine multiple imaging timings near the estimated time t3 (i.e., the timing at which the medication effect peaks) and estimate the maximum pupil size "Dmax" (the minimum value in the case of a drug that causes miosis) based on the pupil size measured at each imaging timing by interpolation processing or other statistical methods (e.g., selection of a representative value such as a maximum value). Similarly, the imaging timing determination unit 15 may also determine multiple imaging timings for each of time t2 (i.e., the timing at which the medication effect begins to decrease) and time t4 (i.e., the timing at which the medication effect decreases) and determine the pupil size to be used in calculating the pupil change index based on the pupil size measured at each imaging timing.
  • time t2 i.e., the timing at which the medication effect begins to decrease
  • time t4 i.e., the timing at which the medication effect decreases
  • the second notification unit 19 takes into consideration the possibility that the subject 6 took an insufficient amount of medicine (i.e., the subject may have taken an amount less than prescribed), and issues a notification urging the subject to confirm whether they took the medicine as prescribed. For example, the second notification unit 19 outputs guidance such as "Did you take the medicine as prescribed?" or "The medicine doesn't seem to be working very well. Please consult your doctor at your next appointment.”
  • the second notification unit 19 takes into consideration the possibility that the medication is not working, and notifies the subject 6 that the medication is not working because the prescribed amount is too small, or that the medication is not working because of drug interactions. For example, the second notification unit 19 outputs guidance such as "Did you take the medication as prescribed?", "The medication does not seem to be working very well. Please consult your doctor at your next appointment," and "You may have eaten food that does not mix well with the medication. Please record what you ate today and consult your doctor or pharmacist at your next appointment.”
  • the second notification unit 19 may acquire information (also referred to as "ingestion information") regarding the substance ingested (including oral and dermal ingestion) by the subject 6, and display the ingestion information in chronological correspondence with the pupil size calculated by the pupil information generation unit 17.
  • the ingestion information is, for example, information indicating at least the type (and amount) of the ingested substance and the time of ingestion, and if an application that manages the ingestion information of the subject 6 is installed in the image processing device 1, the second notification unit 19 acquires the ingestion information from the application.
  • the second notification unit 19 acquires an image of the substance ingested by the subject 6 taken by the camera 51 or the like, and generates the ingestion information by image analysis of the image using any image recognition technology.
  • the subject 6 inputs to specify the captured image as the image to be analyzed by the second notification unit 19.
  • the second notification unit 19 detects, based on the intake information, the intake of a substance that does not interact well with the drug indicated in the medication information (or a drug registered as a drug regularly taken by the subject 6), it may notify the subject 6 that an interaction effect will occur.
  • table information showing the correspondence between drugs and substances that affect interactions with the drug is stored in the storage device 4 or memory 12, etc., and the second notification unit 19 notifies the subject 6 that an interaction effect will occur if it detects, based on the table information and the intake information, the intake of a substance that will cause an interaction effect.
  • the subject 6 takes into consideration the possibility that the subject took too much medicine (i.e., the subject took more than the prescribed amount) and issues a notification urging the subject 6 to check whether they took the medicine as prescribed.
  • the second notification unit 19 outputs guidance such as "Did you take the medicine as prescribed?" or "The medicine seems to be too effective. Please consult your doctor at your next appointment.”
  • the second notification unit 19 when it is determined that the medication effect is excessive, a notification is given suggesting that the medication is too effective, so that the prescribed amount may be too high, that the subject 6's aging may be the cause, or that the type of medication used may not be suitable for the subject 6.
  • the second notification unit 19 outputs guidance such as "Did you take the medication as prescribed?", "The medication seems to be too effective. Please consult your doctor at your next appointment," or "The medication seems to be too effective. Age or the number of types of medication can cause the medication to be too effective.
  • the second notification unit 19 may obtain information about the medication used by the subject 6, and display the obtained information together with the time-series measurement results of the pupil size measured by the pupil information generation unit 17 by the output device 3.
  • the second notification unit 19 may also store information about the medication used by the subject 6 and the time-series measurement results of the pupil size in association with each other in the storage device 4 or memory 12, etc.
  • Subject 6 who receives the above-mentioned notification can, for example, provide feedback on the results of the medication effect assessment to the doctor and consult with the doctor to change the amount of medication prescribed to him/her.
  • Subject 6 can also determine the amount of medication to be used that is tailored to the individual, reduce side effects, and adjust the medication to be used most effectively.
  • the second notification unit 19 may also notify a third party other than the subject 6 of information regarding the result of the medication effect assessment.
  • the second notification unit 19 notifies a third party other than the subject 6 of information related to the medication effect determination result.
  • contact information for the third party is stored in the storage device 4 or memory 12, etc., and the second notification unit 19 transmits information related to the medication effect determination result to the contact information indicated by the contact information. This can appropriately encourage the subject 6 to use an appropriate type or amount of medicine.
  • the second notification unit 19 may notify information on the past medication effect judgment results of the subject 6 in addition to the current medication effect judgment result of the subject 6 (i.e., the latest medication effect judgment result supplied from the medication effect judgment unit 18).
  • the second notification unit 19 may display the current medication effect judgment result of the subject 6 and the past medication effect judgment results of the subject 6 in a comparable manner.
  • the second notification unit 19 may notify the individual medication effect judgment results obtained in the past, or may notify statistical data summarizing the past judgment results by statistical processing such as averaging the individual medication effect judgment results obtained in the past.
  • the second notification unit 19 may also notify the medication effect judgment result obtained a predetermined period ago (e.g., one year ago) together with the current medication effect judgment result of the subject 6.
  • the second notification unit 19 stores information about the obtained medication effect judgment result in the storage device 4 or memory 12, etc., for example, each time a medication effect judgment result is obtained, so that information about past medication effect judgment results is stored in the storage device 4 or memory 12, etc.
  • the second notification unit 19 can notify the subject or a third party of the current medication effect judgment result by comparing it with data from a predetermined period ago (for example, one year ago) if there is a tendency for the effectiveness of the medicine to change with aging.
  • a predetermined period ago for example, one year ago
  • aging can cause the liver and kidney functions to decline, which can lead to a phenomenon in which the medicine is too effective because it takes time for metabolism and excretion.
  • the second notification unit 19 can notify a third party of the medication effect judgment result indicating that the amount taken was too small or that the effect of a combination drug may have occurred.
  • the second notification unit 19 can prevent overdosing, etc., thereby reducing the frequency of hospitalization of subject 6 and preventing the deterioration of the condition.
  • FIG. 7 is an example of a flowchart relating to a medication effect assessment process executed by the image processing device 1.
  • the image processing device 1 determines whether or not the subject 6 has used medicine (i.e., administered medication) (step S11). If the image processing device 1 determines that medicine has been used (step S11; Yes), it acquires medication information indicating the dosage content and time of administration of the medicine used (step S12). The image processing device 1 determines whether or not medicine has been used in step S11 and acquires the medication information in step S12 based on, for example, user input via the input device 2 (including registration of an image immediately after administration). On the other hand, if it determines that medicine has not been used (step S11; No), the image processing device 1 continues to determine whether or not medicine has been used in step S11.
  • medicine i.e., administered medication
  • the image processing device 1 determines the timing of image capture based on the medication information (step S13). As a result, the image processing device 1 determines the timing of image capture to be the timing immediately after medication or the timing at which the medication effect estimated based on the medication information is at its peak, etc.
  • the image processing device 1 determines whether or not one of the shooting timings determined in step S13 has arrived (step S14). If the image processing device 1 determines that one of the shooting timings determined in step S13 has arrived (step S14; Yes), it notifies the subject 6 of the shooting timing via the output device 3 (step S15). This causes the image processing device 1 to prompt the subject 6 to perform operations related to the camera 51 (including adjusting the shooting distance, etc.) required for pupil measurement. Note that in this case, the image processing device 1 may output guidance for stabilizing the focal length, guidance for adjusting the shooting distance, etc. via the output device 3.
  • the image processing device 1 generates pupil information indicating at least the pupil size of the subject 6 based on the camera image captured by the camera 51 after the notification in step S15 (step S16). On the other hand, if the image processing device 1 determines that it is not time to capture an image (step S14; No), it continues to determine whether it is time to capture an image in step S14.
  • step S17 determines whether or not there is any unprocessed shooting timing. In other words, the image processing device 1 determines whether or not the processing of steps S15 and S16 has been completed for all shooting timings determined in step S13. Then, if there is any unprocessed shooting timing (step S17; Yes), the image processing device 1 returns the processing to step S14.
  • step S17 if there is no unprocessed shooting timing (step S17; No), the image processing device 1 judges the medication effect based on the pupil information generated in step S16 (step S18). Then, the image processing device 1 outputs information related to the judgment result of the medication effect (step S19). In this case, the image processing device 1 may display or output the information related to the judgment result of the medication effect by the output device 3, may store it in the storage device 4, etc., or may send it to the contact information of a third party other than the subject 6.
  • Second Embodiment 8 shows a schematic configuration of a medication effect assessment system 100A in the second embodiment.
  • the medication effect assessment system 100A according to the second embodiment has an image processing device 1A functioning as a server, and a terminal device 8 used by a subject and functioning as a client.
  • the image processing device 1A and the terminal device 8 perform data communication via a network 99.
  • the same components as those in the first embodiment are appropriately designated by the same reference numerals, and the description thereof will be omitted.
  • the terminal device 8 is a terminal used by a user who is to be a subject, and has input, display, communication, and imaging functions, and functions as the input device 2, output device 3, and measurement device 5 including camera 51 shown in FIG. 1.
  • the terminal device 8 may be, for example, a personal computer, a tablet terminal such as a smartphone, or a PDA (Personal Digital Assistant).
  • the terminal device 8 transmits the facial image of the subject output by the camera 51 to the image processing device 1A via the network 99.
  • the image processing device 1A has the same hardware configuration as the image processing device 1 shown in FIG. 2, and the processor 11 of the image processing device 1A has the functional blocks shown in FIG. 4 described in the first embodiment.
  • the image processing device 1A receives camera images from the terminal device 8 via the network 99 and executes a process for determining the medication effect of the subject.
  • the image processing device 1A transmits an output signal for outputting the processing results to the terminal device 8 via the network 99 based on a display request from the terminal device 8.
  • the image processing device 1A in the second embodiment performs processing related to determining the medication effect of the subject who is the user of the terminal device 8, and can present information related to the determination result of the medication effect to the subject via the terminal device 8 in an appropriate manner.
  • Third Embodiment 9 is a block diagram of an image processing device 1X in the third embodiment.
  • the image processing device 1X mainly includes a medication information acquisition unit 14X, an image capture timing determination unit 15X, and a pupil information generation unit 17X.
  • the image processing device 1X may be composed of a plurality of devices.
  • the medication information acquisition means 14X acquires medication information regarding the medication used by the subject.
  • the medication information acquisition means 14X can be, for example, the medication information acquisition unit 14 in the first or second embodiment.
  • the imaging timing determination means 15X determines the timing of imaging the subject by the imaging means based on the medication information.
  • the imaging timing determination means 15X can be, for example, the imaging timing determination unit 15 in the first or second embodiment.
  • the pupil information generating means 17X generates pupil information related to the subject's pupil based on the image generated by the image capturing means at the time of capturing.
  • the pupil information generating means 17X can be, for example, the pupil information generating unit 17 in the first or second embodiment.
  • FIG. 10 is an example of a flowchart executed by the image processing device 1X in the third embodiment.
  • the medication information acquisition means 14X acquires medication information related to the medication used by the subject (step S21).
  • the imaging timing determination means 15X determines the timing of imaging the subject by the imaging means based on the medication information (step S22).
  • the pupil information generation means 17X generates pupil information related to the pupil of the subject based on the image generated by the imaging means at the imaging timing (step S23).
  • the image processing device 1X can suitably acquire pupil information regarding the pupils that change with the subject's use of medicine.
  • Non-transitory computer readable medium includes various types of tangible storage medium.
  • Examples of non-transitory computer readable medium include magnetic storage medium (e.g., flexible disks, magnetic tapes, hard disk drives), magneto-optical storage medium (e.g., magneto-optical disks), CD-ROM (Read Only Memory), CD-R, CD-R/W, and semiconductor memory (e.g., mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may also be supplied to a computer by various types of transitory computer readable medium.
  • Examples of transitory computer readable medium include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can provide the program to the computer via a wired communication path, such as an electric wire or optical fiber, or via a wireless communication path.
  • a medication information acquisition means for acquiring medication information regarding a drug used by a subject; an imaging timing decision means for deciding an imaging timing of the subject by the imaging means based on the medication information; a pupil information generating means for generating pupil information regarding the pupil of the subject based on the image generated by the photographing means at the photographing timing;
  • An image processing device comprising: [Appendix 2] 2. The image processing device according to claim 1, further comprising a medication effect assessment means for assessing the effect of the medication based on the pupil information.
  • the pupil information generating means generates the pupil information indicating at least a size of the pupil
  • the image processing device according to claim 2 wherein the medication effect assessment means makes a judgment regarding the effect based on a change in the size of the pupil.
  • the imaging timing determination means determines, based on the medication information, at least a timing at which the effect of the drug is estimated to reach its peak as the imaging timing.
  • the imaging timing determination means determines, based on the medication information, at least a timing at which the effect of the medicine is estimated to begin to take effect as the imaging timing.
  • [Appendix 6] The image processing device according to claim 1, wherein the imaging timing determination means determines, based on the medication information, at least a timing at which an effect of the medicine is estimated to decrease, as the imaging timing.
  • the imaging timing determination means determines, based on the medication information, at least a timing at which an effect of the medicine is estimated to decrease, as the imaging timing.
  • [Appendix 7] 2. The image processing device according to claim 1, further comprising a notification means for notifying the subject that it is time to capture the image when the capture time arrives.
  • the notification means outputs guidance information regarding a distance between the subject and the imaging means based on a measurement result of the iris of the subject using the image.
  • Appendix 9 An image processing device as described in Appendix 2, having a notification means for notifying a third party other than the subject of the judgment result when the judgment result by the medication effect judgment means indicates that the effect is not within the appropriate range for a predetermined number of consecutive times or more.
  • the computer Obtaining medication information regarding medications used by the subject; determining a timing for photographing the subject by an imaging means based on the medication information; generating pupil information regarding the pupil of the subject based on the image generated by the imaging means at the imaging timing; Image processing methods.
  • Appendix 11 Obtaining medication information regarding medications used by the subject; determining a timing for photographing the subject by an imaging means based on the medication information; A storage medium storing a program for causing a computer to execute a process for generating pupil information regarding the pupil of the subject based on the image generated by the imaging means at the imaging timing.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置１Ｘは、主に、投薬情報取得手段１４Ｘと、撮影タイミング決定手段１５Ｘと、瞳孔情報生成手段１７Ｘと、を有する。投薬情報取得手段１４Ｘは、被検者に使用された薬に関する投薬情報を取得する。撮影タイミング決定手段１５Ｘは、投薬情報に基づき、撮影手段による被検者の撮影タイミングを決定する。瞳孔情報生成手段１７Ｘは、撮影タイミングにおいて撮影手段が生成した画像に基づき、被検者の瞳孔に関する瞳孔情報を生成する。

Description

画像処理装置、画像処理方法及び記憶媒体
　本開示は、画像による投薬効果の判定に関する処理を行う画像処理装置、画像処理方法及び記憶媒体の技術分野に関する。
　被検者を撮影した顔画像に基づき被検者の瞳孔の計測を行うシステムが知られている。例えば、特許文献１には、２台設けられたカメラからの映像信号に基づき、被検者の瞳孔の領域を検出し、瞳孔面積、瞳孔直径、瞳孔の位置の解析などを行うシステムが開示されている。
国際公開ＷＯ２００２／００３８５３
　薬の効き具合を測定するには、血中濃度測定などを行う必要があった。一方、薬の適切な投与量は厳密には個人ごとに異なるため、被検者本人が簡便に薬の効き具合を測定できることが望ましい。
　本開示は、上述した課題を鑑み、被検者を撮影した画像から被検者の薬の効き具合に関する情報を好適に生成することが可能な画像処理装置、画像処理方法及び記憶媒体を提供することを目的の一つとする。
　画像処理装置の一の態様は、
　被検者に使用された薬に関する投薬情報を取得する投薬情報取得手段と、
　前記投薬情報に基づき、撮影手段による前記被検者の撮影タイミングを決定する撮影タイミング決定手段と、
　前記撮影タイミングにおいて前記撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する瞳孔情報を生成する瞳孔情報生成手段と、
を有する画像処理装置である。
　画像処理方法の一の態様は、
　コンピュータが、
　被検者に使用された薬に関する投薬情報を取得し、
　前記投薬情報に基づき、撮影手段による前記被検者の撮影タイミングを決定し、
　前記撮影タイミングにおいて前記撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する瞳孔情報を生成する、
画像処理方法である。なお、「コンピュータ」は、あらゆる電子機器（電子機器に含まれるプロセッサであってもよい）を含み、かつ、複数の電子機器により構成されてもよい。
　記憶媒体の一の態様は、
　被検者に使用された薬に関する投薬情報を取得し、
　前記投薬情報に基づき、撮影手段による前記被検者の撮影タイミングを決定し、
　前記撮影タイミングにおいて前記撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する瞳孔情報を生成する処理をコンピュータに実行させるプログラムが格納された記憶媒体である。
　被検者を撮影した画像から被検者の薬の効き具合に関する情報を好適に生成することが可能となる。
第１実施形態に係る投薬効果判定システムの概略構成を示す。 投薬効果判定システムが１台の端末装置である場合の投薬効果の判定時の様子を示す。 各実施形態に共通する画像処理装置のハードウェア構成の一例を示す。 第１実施形態における投薬効果判定処理に関する画像処理装置の機能ブロックの一例である。 被検者の顔を撮影したカメラ画像の一例である。 被検者がある薬を使用した後の被検者の瞳孔サイズの変化の一例を示すグラフである。 画像処理装置が実行する投薬効果判定処理に関するフローチャートの一例である。 第２実施形態における投薬効果判定システムの概略構成を示す。 第３実施形態における画像処理装置のブロック図である。 第３実施形態において画像処理装置が実行するフローチャートの一例である。
　以下、図面を参照しながら、画像処理装置、画像処理方法及び記憶媒体の実施形態について説明する。
　＜第１実施形態＞
　（１）システム構成
　図１は、第１実施形態に係る投薬効果判定システム１００の概略構成を示す。投薬効果判定システム１００は、可視光カメラにより被検者６の顔を撮影した画像に基づいて被検者６が使用した薬の効き具合（「投薬効果」とも呼ぶ。）を簡易的に判定するシステムであって、主に、画像処理装置１と、入力装置２と、出力装置３と、記憶装置４と、カメラ（撮影装置）５１を含む計測装置５とを備える。投薬効果判定システム１００は、セルフケアを目的として被検者６が利用するものであってもよく、医療従事者の指示又は要請の下に被検者６が利用するものであってもよい。投薬効果判定システム１００は、例えば、投薬効果の確認、投薬量や投薬間隔の調整等に活用されてもよい。以後において、「投薬」とは、被検者６が薬を経口摂取することに限られず、皮膚摂取した場合も含まれるものとする。
　画像処理装置１は、カメラ５１が生成する被検者６の顔画像（時系列にて得られる所定枚数の画像列である映像を含む、以下同じ）に基づき、投薬後の被検者６の瞳孔の計測を行い、瞳孔の計測結果に基づき、投薬効果の判定及び投薬効果の判定結果に関する情報の通知を行う。画像処理装置１は、通信網を介し、又は、無線若しくは有線による直接通信により、入力装置２、出力装置３、記憶装置４及び計測装置５と、データ通信を行う。
　入力装置２は、ユーザ入力（手入力）を受け付けるインターフェースである。なお、入力装置２を用いて情報の入力を行うユーザは、被検者６本人であってもよく、被検者６を管理又は監督する者であってもよい。入力装置２は、例えば、タッチパネル、ボタン、キーボード、マウス、音声入力装置などの種々のユーザ入力用インターフェースであってもよい。入力装置２は、ユーザの入力に基づき生成した入力信号を、画像処理装置１へ供給する。
　出力装置３は、画像処理装置１から供給される出力信号に基づき、所定の情報を出力する。この場合、出力信号は、表示信号又は音声信号の少なくとも一方を含んでいる。そして、出力装置３は、画像処理装置１から供給される表示信号に基づいて、情報の表示を行い、画像処理装置１から供給される音声信号に基づいて、情報の音声出力を行う。出力装置３は、例えば、ディスプレイ又はプロジェクタなどの表示装置と、スピーカーなどの音声出力装置との少なくとも一方を含む。
　記憶装置４は、投薬効果の判定等に必要な各種情報を記憶するメモリである。記憶装置４は、画像処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置４は、画像処理装置１とデータ通信を行うサーバ装置であってもよい。また、記憶装置４は、複数の装置から構成されてもよい。
　計測装置５は、可視光カメラであるカメラ５１を含む１又は複数のセンサである。例えば、計測装置５は、被検者６のカメラ画像の撮影環境下での外光の光量変化を検知するための照度センサを含んでもよい。計測装置５は、各センサが計測した信号を画像処理装置１へ供給する。以後では、カメラ５１が生成する画像を「カメラ画像」とも呼ぶ。カメラ５１は、「撮影手段」の一例である。
　図１に示す投薬効果判定システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、画像処理装置１と、入力装置２と、出力装置３と、記憶装置４と、計測装置５とは、スマートフォンやタブレット端末等として１台の端末装置により実現されてもよい。
　図２は、投薬効果判定システム１００が１台の端末装置（例えばスマートフォン）である場合の被検者６のカメラ画像の撮影時の様子を示す。図２に示すように、被検者６は、端末装置である投薬効果判定システム１００を把持し、カメラ５１の撮影範囲に自身の顔が含まれるように端末装置の向きを調整している。投薬効果判定システム１００は三脚等に固定してもよい。そして、被検者６は、図２に示す状態において、投薬効果判定システム１００が出力する指示（ガイダンス）に従い、投薬効果の判定に必要な被検者６のカメラ画像の撮影を投薬効果判定システム１００に実行させる。
　（２）ハードウェア構成
　図３は、画像処理装置１のハードウェア構成を示す。画像処理装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス９０を介して接続されている。
　プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、画像処理装置１の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、画像処理装置１が実行する処理を実行するためのプログラムが記憶される。なお、メモリ１２が記憶する情報の一部は、画像処理装置１と通信可能な１又は複数の外部記憶装置により記憶されてもよく、画像処理装置１に対して着脱自在な記憶媒体により記憶されてもよい。また、メモリ１２は、記憶装置４の少なくとも一部として機能してもよい。
　インターフェース１３は、画像処理装置１と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。
　なお、画像処理装置１のハードウェア構成は、図２に示す構成に限定されない。例えば、画像処理装置１は、入力装置２、出力装置３、記憶装置４、及び計測装置５の少なくともいずれかを含んでもよい。
　（３）投薬効果判定処理の概要
　次に、投薬効果の判定に関する処理である投薬効果判定処理について説明する。概略的には、画像処理装置１は、被検者６の投薬に関する投薬情報に基づき、カメラ画像の撮影タイミングを決定し、決定した撮影タイミングで撮影されたカメラ画像に基づき被検者６の瞳孔を計測する。そして、画像処理装置１は、計測した被検者６の瞳孔サイズの変化等に基づき、投薬効果の判定及び判定結果に関する情報の通知を行う。これにより、画像処理装置１は、カメラ画像に基づいて、投薬された薬の種類及び量によらず投薬効果に関する判定を的確に実行し、投薬効果に関する高精度な判定結果を被検者６等に通知することが可能となる。
　一般的に、薬の投与により、その薬の効き具合に応じた瞳孔サイズの変化が発生する。例えば、自律神経系の薬（例えばレキソタン）が投与された場合、交感神経活性に伴う瞳孔の散瞳（散大）等が起こる。また、副交感神経興奮薬（例えば、ピロカルピン、フィゾスチグミン）が投与された場合、瞳孔の縮瞳が起こる。また、副交感神経遮断薬（例えば、ホマトロピン、トロピカミド）が投与された場合、瞳孔の散瞳が起こる。
　以上を勘案し、画像処理装置１は、瞳孔サイズの変化に基づき、投薬効果を判定する。また、投薬内容によって投薬効果がピークとなるタイミングなどが異なることから、画像処理装置１は、瞳孔サイズの変化を特定するためのカメラ画像の撮影タイミングを投薬情報に基づき決定する。これにより、画像処理装置１は、投薬効果を高精度に判定する。
　図４は、投薬効果判定処理に関する画像処理装置１の機能ブロックの一例である。画像処理装置１のプロセッサ１１は、機能的には、投薬情報取得部１４と、撮影タイミング決定部１５と、第１通知部１６と、瞳孔情報生成部１７と、投薬効果判定部１８と、第２通知部１９と、を有する。なお、図４では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図示されるものに限定されない。後述する他の機能ブロックの図においても同様である。
　投薬情報取得部１４は、被検者６への投薬（即ち被検者６の薬の使用）があった場合に、被検者６への投薬内容（即ち、使用した薬の種類と量）と投薬時刻とを少なくとも示す投薬情報を取得する。そして、投薬情報取得部１４は、取得した投薬情報を撮影タイミング決定部１５へ供給する。
　ここで、投薬情報の取得の具体例について説明する。第１の例では、投薬情報取得部１４は、入力装置２への被検者６の入力に基づき、投薬情報を生成する。例えば、投薬情報取得部１４は、投薬内容及び投薬時刻を入力する入力画面を出力装置３により表示し、当該入力画面上における入力を示す入力情報を入力装置２から取得することで、上述の投薬情報を生成する。なお、投薬内容及び投薬時刻の設定情報が記憶装置４又はメモリ１２等に事前に登録されている場合には、投薬情報取得部１４は、当該設定情報に基づき、投薬情報を生成してもよい。
　第２の例では、投薬情報取得部１４は、被検者６が使用した薬を包装していた包装物（例えば、ＰＴＰ（Ｐｒｅｓｓ　Ｔｈｒｏｕｇｈ　Ｐａｃｋ）シート）を撮影した画像を取得し、当該画像を任意の画像認識技術により解析することで、投薬内容を認識する。そして、投薬情報取得部１４は、上述の画像のメタデータ等が示す生成日時を投薬時刻として認識し、認識した投薬内容及び投薬時刻を示す投薬情報を生成する。この例では、被検者６又は被検者６の管理者は、被検者６が薬を使用した後にカメラ５１又は他のカメラにより使用後の薬のケース（パッケージ）を撮影した画像を撮影し、撮影した画像を投薬情報取得部１４が解析すべき画像として指定する入力を行う。
　第３の例では、被検者６への投薬を管理するアプリケーションが画像処理装置１にインストールされている場合に、投薬情報取得部１４は、当該アプリケーションから投薬情報を取得する。
　撮影タイミング決定部１５は、投薬情報取得部１４から供給される投薬情報に基づき、被検者６の撮影タイミングを決定し、決定した撮影タイミングになった場合に、撮影開始の指示信号を第１通知部１６に供給する。この場合、撮影タイミング決定部１５は、投薬効果の判定に必要な瞳孔の各計測タイミングを、撮影タイミングとして定める。なお、薬の投与により、その薬の効き具合に応じた瞳孔サイズの変化が発生し、薬の効き具合は、使用した薬の種類等に応じて異なる。以上を勘案し、撮影タイミング決定部１５は、投薬情報に基づき、瞳孔サイズの変化の特定に必要な各計測タイミングを認識し、当該各計測タイミングを撮影タイミングとして決定する。そして、撮影タイミング決定部１５は、決定した撮影タイミングになった場合に、撮影開始の指示信号を第１通知部１６に供給する。撮影タイミング決定部１５による撮影タイミングの決定方法については後述する。
　第１通知部１６は、撮影タイミング決定部１５から撮影開始の指示信号を受信した場合に、撮影タイミングになったことを出力装置３により被検者６へ通知する。この場合、第１通知部１６は、音声信号又は表示信号の少なくとも一方を含む出力信号を、インターフェース１３を介して出力装置３に供給することで、撮影タイミングになったことを出力装置３により被検者６へ通知する。これにより、被検者６は、被検者６の顔がカメラ５１の撮影範囲内となるように調整し、カメラ５１による撮影を開始する操作などを実行する。
　好適には、第１通知部１６は、被検者６の焦点を安定させるため、所定距離先の場所に視線を向ける（即ち焦点を合わせる）ように被検者６に指示を行うとよい。上述の「所定距離」は、例えば、焦点距離が実質的に無限遠となる６ｍ以上の距離である。なお、所定距離先の場所は、６ｍ以上先の場所であることに限らず、被検者６との距離が変化しない任意の場所であってもよい。
　他の好適な例では、第１通知部１６は、カメラ画像から認識した被検者６の虹彩のサイズに基づいて、被検者６とカメラ５１との距離（撮影距離）が予め定めた距離となるように、被検者６に指示を行うとよい。この場合、第１通知部１６は、カメラ画像から認識した虹彩のサイズが適正サイズ範囲に属するか否か判定する。上述の適正サイズ範囲は、投薬効果の判定に好ましい距離範囲内となるような撮影距離の範囲に対応する虹彩のサイズの範囲であり、例えば記憶装置４又はメモリ１２等に予め記憶されている。そして、第１通知部１６は、認識した虹彩のサイズが適正サイズ範囲外である場合には、撮影距離を調整すべき旨の案内情報を出力装置３に出力させる。この場合、第１通知部１６は、認識した虹彩のサイズが適正サイズ範囲より小さい場合には、撮影距離を短くする旨の案内情報（ガイダンス）を出力し、認識した虹彩のサイズが適正サイズ範囲より大きい場合には、撮影距離を長くする旨の案内情報を出力する。このようにすることで、第１通知部１６は、撮影距離が投薬効果の判定に適した距離となるように好適に調整することができる。
　瞳孔情報生成部１７は、第１通知部１６による被検者６への撮影タイミングの通知があった場合に、被検者６を撮影したカメラ画像に基づき、被検者６の瞳孔に関する情報（「瞳孔情報」とも呼ぶ。）を生成する。これにより、瞳孔情報生成部１７は、撮影タイミング決定部１５が決定した撮影タイミングごとに瞳孔情報を生成し、生成した瞳孔情報を、投薬効果判定部１８に供給する。瞳孔情報生成部１７は、瞳孔情報として、被検者６の瞳孔サイズ（例えば瞳孔径）を少なくとも算出する。この場合、瞳孔情報生成部１７は、第１通知部１６による被検者６への通知後に得られる所定個数のカメラ画像に基づき所定個数分の瞳孔サイズを計測し、計測した所定個数の瞳孔サイズを示す瞳孔情報を生成してもよい。この場合、瞳孔情報は、所定個数の瞳孔サイズの平均値、最大値、その他の代表値を示す情報であってもよい。
　投薬効果判定部１８は、撮影タイミングごとに生成された瞳孔情報に基づき、被検者６が使用した薬の投薬効果を判定する。この場合、投薬効果判定部１８は、瞳孔情報が示す瞳孔に関する変化を示す１又は複数の指標（「瞳孔変化指標」とも呼ぶ。）を算出する。瞳孔変化指標は、例えば、投薬効果が現れる前の瞳孔サイズと投薬効果がピークであるときの瞳孔サイズとの差であり、例えば、投薬直後の撮影タイミングで生成されたカメラ画像に基づく瞳孔サイズと、投薬情報に基づき推定された投薬効果のピークでの撮影タイミングでの瞳孔サイズとの差として算出される。上述の差は、瞳孔が縮瞳している場合には縮瞳の度合いに相当し、瞳孔が散瞳している場合には散瞳の度合いに相当する。そして、投薬効果判定部１８は、算出した瞳孔変化指標に基づき、投薬効果の判定を行い、投薬効果の判定結果に関する情報を第２通知部１９に供給する。
　ここで、投薬効果判定部１８による投薬効果の判定について説明する。
　投薬効果判定部１８は、例えば、投薬効果が適正範囲であるか否かを示す判定結果を生成する。なお、投薬効果判定部１８は、投薬効果が適正範囲でない場合に、投薬効果が過大であるか、又は過小であるかを示す判定結果をさらに生成してもよい。
　この場合、例えば、投薬効果判定部１８は、算出した瞳孔変化指標と、瞳孔変化指標の参考値とを比較し、その比較結果に基づいて投薬効果の判定を行う。上述の参考値は、被検者６の年齢における統計的な瞳孔変化指標の基準値（即ち被検者６の属性に応じた瞳孔変化指標の統計値）であってもよく、被検者６の瞳孔変化指標の算出値の過去の算出値であってもよい。また、上述の参考値は、投薬効果が適正範囲であるか否かを判定するための閾値であってもよい。また、投薬効果判定部１８は、投薬効果に関する推論を行うモデルを用い、当該モデルが出力する情報を、投薬効果の判定結果に関する情報として出力してもよい。上述のモデルは、式、ルックアップテーブル、又はニューラルネットワークなどの機械学習モデル等であり、例えば、各種の瞳孔変化指標の算出値（又は当該算出値と参考値との差等）を入力とした場合に投薬効果に関する推論結果を出力する。上述のモデルのパラメータ等は、予め記憶装置４又はメモリ１２等に記憶されている。また、投薬効果判定部１８は、算出した各種の瞳孔変化指標の算出値と対応する参考値とを比較可能に示したグラフなどを表示するための情報を、投薬効果の判定結果に関する情報として出力してもよい。
　第２通知部１９は、投薬効果判定部１８から供給された投薬効果の判定結果に関する情報を出力装置３により表示又は音声出力する。この場合、第２通知部１９は、投薬効果の判定結果に関する情報を示す表示信号又は音声信号の少なくとも一方を含む出力信号を生成し、出力信号をインターフェース１３を介して出力装置３に供給する。また、第２通知部１９は、投薬効果の判定結果に関する情報を、被検者６以外の第三者に通知する処理を行ってもよく、投薬効果の判定結果に関する情報を、記憶装置４又はメモリ１２等に記憶する処理を行ってもよい。
　なお、図４において説明した投薬情報取得部１４、撮影タイミング決定部１５、第１通知部１６、瞳孔情報生成部１７、投薬効果判定部１８、及び第２通知部１９の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｅ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又は量子プロセッサ（量子コンピュータ制御チップ）により構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は、例えば、クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。
　（４）瞳孔情報
　まず、瞳孔情報の具体例について説明する。図５は、被検者６の顔を撮影したカメラ画像の一例である。
　画像処理装置１は、被検者６の顔を撮影したカメラ画像から任意の画像認識技術に基づき、被検者６の目９Ｒａ、９Ｌａ、虹彩９Ｒｂ、９Ｌｂ、瞳孔９Ｒｃ、９Ｌｃの各領域を認識する。そして、画像処理装置１は、認識した各領域に基づき、瞳孔サイズを少なくとも示す瞳孔情報を算出する。
　例えば、画像処理装置１は、矢印９１及び９２の長さに相当する瞳孔サイズ（即ち、瞳孔径）を示す瞳孔情報を生成する。なお、画像処理装置１は、両目について瞳孔サイズを夫々算出した場合には、算出した瞳孔サイズの平均を示す瞳孔情報を生成してもよい。また、画像処理装置１は、カメラ画像に被検者６の片目のみが表示されていた場合等には、表示された片目についての瞳孔サイズを示す瞳孔情報を生成してもよい。
　ここで、画像処理装置１は、瞳孔サイズを、カメラ画像上での画素数に基づくサイズから所定の尺度のサイズ（例えば実サイズ）に変換する正規化処理を行い、正規化された瞳孔サイズを示す瞳孔情報を生成してもよい。この場合、例えば、画像処理装置１は、虹彩９Ｒｂ、９Ｌｂのサイズが個人差が少なく、かつ、経年変化しないという特性を利用し、虹彩９Ｒｂ、９Ｌｂのサイズに基づき、瞳孔サイズを正規化してもよい。この場合、例えば、虹彩９Ｒｂ、９Ｌｂの画像上のサイズと、正規化後の虹彩９Ｒｂ、９Ｌｂのサイズとの関係を示す情報が記憶装置４又はメモリ１２等に予め記憶されており、画像処理装置１は、この情報を参照して上述の正規化を行う。他の例では、視点の異なる複数のカメラがカメラ５１として投薬効果判定システム１００に設けられている場合には、画像処理装置１は、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　Ｆｒｏｍ　Ｍｏｔｉｏｎ）などの任意の三次元復元技術に基づき、複数のカメラのカメラ画像から被検者６の顔を三次元復元することで、瞳孔サイズの実サイズを認識してもよい。
　（５）撮影タイミング
　次に、撮影タイミング決定部１５が決定する撮影タイミングについて説明する。図６は、被検者６がある薬を使用した後の被検者６の瞳孔サイズの変化の一例を示すグラフである。ここでは、一例として、投薬により瞳孔の散瞳が生じる薬を被検者６が使用した場合について説明する。
　撮影タイミング決定部１５は、少なくとも、投薬の開始直後のタイミング（投薬時刻に相当し、図６では時刻「ｔ１」）と、投薬効果のピークとなるタイミング（図６では時刻「ｔ３」）とを、撮影タイミングとして定める。ここで、時刻ｔ１における瞳孔サイズは、投薬効果がない場合の瞳孔サイズに相当し、最小値「Ｄｍｉｎ」となる。一方、時刻ｔ３における瞳孔サイズは、投薬効果により瞳孔が最も散大した場合の瞳孔サイズに相当し、最大値「Ｄｍａｘ」となる。なお、縮瞳が生じる薬の場合には、時刻ｔ３において、瞳孔サイズが最小値となる。
　また、好適には、撮影タイミング決定部１５は、上述の各タイミングに加えて、薬の効き始めのタイミング（図６では時刻「ｔ２」）と、投薬効果が低下する（切れる）タイミング（図６では時刻「ｔ４」）との少なくとも一方のタイミングを、撮影タイミングとして定める。
　ここで、時刻ｔ２（即ち、薬の効き始めのタイミング）と、時刻ｔ３（即ち、投薬効果のピークとなるタイミング）と、時刻ｔ４（即ち、投薬効果が低下するタイミング）とは、夫々、被検者６が使用する薬の種類（及び量）に応じて変動する。従って、撮影タイミング決定部１５は、これらのタイミングを、投薬情報が示す投薬内容に基づき推定する。
　まず、投薬効果のピークとなるタイミングの推定方法について説明する。撮影タイミング決定部１５は、投薬情報が示す投薬内容に基づき、投薬時刻から投薬効果のピークが発生するまでの時間長（図６では時刻ｔ１から時刻ｔ３までの時間長）を認識し、投薬時刻から上述の時間長が経過した時刻を、投薬効果のピークとなるタイミングとして定める。この場合、投薬内容と上述の時間長との対応関係を示すテーブル情報（即ち、想定される投薬内容ごとに設定されるべき上述の時間長を対応付けたテーブル情報）が記憶装置４又はメモリ１２等に予め記憶されている。そして、撮影タイミング決定部１５は、このテーブル情報を参照し、投薬内容から上述の時間長を決定する。なお、この場合、撮影タイミング決定部１５は、投薬内容として薬の種類から上述の時間長を決定してもよく、薬の種類と投薬量（使用量）の両方から上述の時間長を決定してもよい。
　同様に、撮影タイミング決定部１５は、投薬内容と投薬時刻から薬が効き始めるまでの時間長（図６では時刻ｔ１から時刻ｔ２までの時間長）との対応関係を示すテーブル情報を参照し、投薬内容から薬の効き始めのタイミングを推定する。また、撮影タイミング決定部１５は、投薬内容と投薬時刻から投薬効果が切れるまでの時間長（図６では時刻ｔ１から時刻ｔ４までの時間長）との対応関係を示すテーブル情報を参照し、投薬内容から投薬効果が切れるタイミングを推定する。上述のテーブル情報は、例えば記憶装置４又はメモリ１２等に予め記憶されている。
　このように、撮影タイミング決定部１５は、投薬情報に基づいて、投薬効果の判定に必要な瞳孔の各計測タイミングを的確に推定し、撮影タイミングを的確に定めることができる。
　次に、瞳孔変化指標の算出について、引き続き図６を参照して補足説明する。例えば、投薬効果判定部１８は、投薬直後の時刻ｔ１において生成されたカメラ画像に基づき計測された瞳孔サイズＤｍｉｎと、投薬効果がピークとなる時刻ｔ３において生成されたカメラ画像に基づき計測された瞳孔サイズＤｍａｘとの差を、瞳孔変化指標として算出する。即ち、投薬効果判定部１８は、投薬効果がない場合の瞳孔サイズと、投薬効果により瞳孔が最も散大するときの瞳孔サイズとの差を、瞳孔変化指標として算出する。
　なお、撮影タイミング決定部１５は、投薬効果がない場合の瞳孔サイズとして、投薬の開始直後のタイミング（図６では時刻「ｔ１」）での瞳孔サイズを用いる代わりに、投薬の開始前の任意のタイミングにおいて被検者６を撮影したカメラ画像に基づく瞳孔サイズを用いてもよい。この場合、例えば、投薬の開始前の任意のタイミングにおいて被検者６を撮影したカメラ画像が記憶装置４又はメモリ１２等に記憶されており、撮影タイミング決定部１５は、当該カメラ画像に基づき、投薬効果がない場合の瞳孔サイズを算出する。なお、記憶装置４又はメモリ１２等には、投薬効果がない場合の被検者６の瞳孔サイズが登録情報として事前に記憶されていてもよい。
　また、撮影タイミング決定部１５は、推定した時刻ｔ３（即ち、投薬効果のピークとなるタイミング）の近傍において複数の撮影タイミングを定め、夫々の撮影タイミングで計測された瞳孔サイズに基づき、瞳孔サイズの最大値「Ｄｍａｘ」（縮瞳が生じる薬の場合には最小値）を、補間処理又はその他の統計的手法（例えば最大値などの代表値の選定等）により推定してもよい。同様に、撮影タイミング決定部１５は、時刻ｔ２（即ち、薬の効き始めのタイミング）と、時刻ｔ４（即ち、投薬効果が低下するタイミング）とについても、夫々、複数の撮影タイミングを定め、夫々の撮影タイミングで計測された瞳孔サイズに基づき、瞳孔変化指標の算出に用いる瞳孔サイズを決定してもよい。
　（６）投薬効果の判定結果の通知
　次に、第２通知部１９による投薬効果の判定結果の通知の具体例について説明する。
　まず、投薬効果が過小であることを示す判定結果が得られた場合（例えば、散瞳が生じる薬を被検者６が使用したが散瞳の度合いが基準より低かった場合）について説明する。
　投薬効果が過小であると判定された場合の第１の通知例では、第２通知部１９は、被検者６が薬を飲む量が少なかった可能性（即ち、本人が処方量より少ない量を飲んだ可能性）を勘案し、処方通りに薬を使用したかの確認を促す通知を行う。例えば、第２通知部１９は、「処方通りに薬を飲みましたか？」、「薬があまり効いていないようです、次回診察時に医師に相談してみて下さい。」などのガイダンスを出力する。
　投薬効果が過小であると判定された場合の第２の通知例では、第２通知部１９は、薬が効いていない可能性を勘案し、被検者６にとって処方量が過少であることに起因して薬が効いていない、又は、飲み合わせの影響に起因して薬が効いていないことを通知する。例えば、第２通知部１９は、「処方通りに薬を飲みましたか？」、「薬があまり効いていないようです、次回診察時に医師に相談してみて下さい。」、「薬の飲み合わせが悪い食べ物を摂取している可能性があります。本日食べたものを記録して、次回診察時に医師または薬剤師に相談してみてください。」などのガイダンスを出力する。
　また、上述の第２の通知例において、第２通知部１９は、被検者６が摂取（経口摂取及び皮膚摂取を含む）した物質に関する情報（「摂取情報」とも呼ぶ。）を取得し、摂取情報と、瞳孔情報生成部１７が算出した瞳孔サイズとを時系列において対応付けて表示してもよい。この場合、摂取情報は、例えば、摂取した物質の種類（及び量）と、摂取時刻とを少なくとも示す情報であり、第２通知部１９は、被検者６の摂取情報を管理するアプリケーションが画像処理装置１にインストールされている場合には、当該アプリケーションから摂取情報を取得する。他の例では、第２通知部１９は、被検者６が摂取する物質をカメラ５１等に撮影した画像を取得し、当該画像を任意の画像認識技術を用いて画像解析することで、摂取情報を生成する。この場合、被検者６は、撮影した画像を、第２通知部１９が解析すべき画像として指定する入力を行う。
　また、上述の第２の通知例において、第２通知部１９は、摂取情報に基づき、投薬情報が示す薬（又は被検者６が常用する薬として登録された薬）と飲み合わせが良くない物質の摂取を検知した場合、飲み合わせの影響が発生することを被検者６に通知してもよい。この場合、例えば、薬と、当該薬との飲み合わせに影響を及ぼす物質との対応関係を示すテーブル情報が記憶装置４又はメモリ１２等に記憶されており、第２通知部１９は、テーブル情報と、摂取情報とに基づき、飲み合わせの影響が発生する物質の摂取を検知した場合、飲み合わせの影響が発生することを被検者６に通知する。
　次に、投薬効果が過大であることを示す判定結果が得られた場合（例えば、散瞳が生じる薬を被検者６が使用したが散瞳の度合いが基準より高かった場合）について説明する。
　投薬効果が過大であると判定された場合の第１の通知例では、被検者６が薬を飲む量が多かった可能性（即ち、本人が処方量より多い量を飲んだ可能性）を勘案し、処方通りに薬を使用したかの確認を被検者６に促す通知を行う。例えば、第２通知部１９は、「処方通りに薬を飲みましたか？」、又は、「薬が効きすぎているようです、次回診察時に医師に相談してみて下さい。」などのガイダンスを出力する。
　投薬効果が過大であると判定された場合の第２の通知例では、薬が効きすぎていることから、処方量が多い可能性、被検者６の加齢の影響がある可能性、又は使用した薬の種類が被検者６に適していない可能性などを示唆する通知を行う。例えば、第２通知部１９は、「処方通りに薬を飲みましたか？」、「薬が効きすぎているようです、次回診察時に医師に相談してみて下さい。」、又は、「薬が効きすぎているようです、加齢や薬の種類が多いと効きすぎてしまうこともあります。本日飲んだお薬を記録して、次回診察時に医師または薬剤師に相談してみてください。」などのガイダンスを出力する。なお、上述の第２の通知例では、第２通知部１９は、被検者６に使用された薬に関する情報を取得し、取得した情報を瞳孔情報生成部１７が計測した瞳孔サイズの時系列の計測結果と共に出力装置３により表示してもよい。また、第２通知部１９は、被検者６に使用された薬に関する情報と、瞳孔サイズの時系列の計測結果とを関連付けて記憶装置４又はメモリ１２等に記憶してもよい。
　上述したような通知を受けた被検者６は、例えば、投薬効果の判定結果を医師にフィードバックし、自身の処方量を変更してもらうように医師に相談することができる。また、被検者６は、個人に合わせた薬の使用量を決定し、副作用を減らし、最も効果的に薬を活用するように調整することもできる。
　また、第２通知部１９は、被検者６以外の第三者に投薬効果の判定結果に関する情報を通知してもよい。
　例えば、第２通知部１９は、被検者６に対する投薬効果が適正範囲でないとの判定結果が所定回数連続した場合に、投薬効果の判定結果に関する情報を、被検者６以外の第三者に通知する。例えば、この場合、記憶装置４又はメモリ１２等に第三者の連絡先情報が記憶されており、第２通知部１９は、連絡先情報が示す連絡先に、投薬効果の判定結果に関する情報を送信する。これにより、被検者６による適切な種類又は量の薬の使用を好適に促すことができる。
　また、第２通知部１９は、被検者６の現在の投薬効果の判定結果（即ち、投薬効果判定部１８から供給された最新の投薬効果の判定結果）に加えて、被検者６の過去の投薬効果の判定結果に関する情報を通知してもよい。例えば、第２通知部１９は、被検者６の現在の投薬効果の判定結果と、被検者６の過去の投薬効果の判定結果とを比較可能に表示してもよい。なお、第２通知部１９は、過去において得られた個々の投薬効果の判定結果を通知してもよく、過去において得られた個々の投薬効果の判定結果を平均処理などの統計処理により過去の判定結果をまとめた統計データを通知してもよい。また、第２通知部１９は、所定期間前（例えば１年前）に得られた投薬効果の判定結果を、被検者６の現在の投薬効果の判定結果と共に通知してもよい。なお、第２通知部１９は、例えば、投薬効果の判定結果が得られる度に、得られた投薬効果の判定結果に関する情報を、記憶装置４又はメモリ１２等に記憶することにより、過去の投薬効果の判定結果に関する情報は、記憶装置４又はメモリ１２等に記憶されている。
　ここで、第２通知部１９による通知の効果について補足説明する。例えば、被検者６が高齢者である場合、所定期間前（例えば１年前）のデータと比較に現在の投薬効果の判定結果を通知することで、第２通知部１９は、加齢によって薬の効き方が変化する傾向がある場合に、その傾向を本人又は第三者に好適に認識させることができる。なお、一般的に、加齢によって、肝臓や腎臓の機能が低下して、代謝や排泄までの時間がかかり、薬が効きすぎるという現象が生じる可能性がある。他の例では、被検者６が認知機能の低下が発生している場合又は精神疾患を患っている場合において、第２通知部１９は、飲む量が過少であった、又は、飲み合わせの影響等が生じた可能性などを示す投薬効果の判定結果を第三者に通知することができる。この場合、飲む量が適切だったか、効いているかはどうか本人の自覚がなくても、第三者に通知を行うことにより、第三者又は本人に安心感を与えたり、被検者６の病状維持のための第三者による支援を促したりすることができる。また、精神疾患を患っている被検者６については、第２通知部１９による通知により、過剰摂取等を抑制して被検者６の入院頻度を減らしたり、病状悪化を抑制したりすることができる。
　（５）処理フロー
　図７は、画像処理装置１が実行する投薬効果判定処理に関するフローチャートの一例である。
　まず、画像処理装置１は、被検者６による薬の使用（即ち投薬）があったか否か判定する（ステップＳ１１）。そして、画像処理装置１は、薬の使用があったと判定した場合（ステップＳ１１；Ｙｅｓ）、使用された薬の投薬内容及び投薬時刻を示す投薬情報を取得する（ステップＳ１２）。画像処理装置１は、例えば、入力装置２によるユーザ入力（投薬直後の画像の登録等も含む）に基づき、ステップＳ１１での薬の使用の有無の判定及びステップＳ１２での投薬情報の取得を行う。一方、薬の使用がなかったと判定した場合（ステップＳ１１；Ｎｏ）、画像処理装置１は、引き続き薬の使用の有無をステップＳ１１において判定する。
　投薬情報の取得後、画像処理装置１は、投薬情報に基づき、撮影タイミングを決定する（ステップＳ１３）。これにより、画像処理装置１は、投薬直後のタイミングや投薬情報に基づき推定される投薬効果がピークとなるタイミングなどを、撮影タイミングとして定める。
　そして、画像処理装置１は、ステップＳ１３で決定したいずれかの撮影タイミングとなったか否か判定する（ステップＳ１４）。そして、画像処理装置１は、ステップＳ１３で決定したいずれかの撮影タイミングになったと判定した場合（ステップＳ１４；Ｙｅｓ）、被検者６に撮影タイミングの通知を出力装置３により行う（ステップＳ１５）。これにより、画像処理装置１は、瞳孔計測に必要な被検者６によるカメラ５１に関する操作（撮影距離の調整等を含む）を促す。なお、この場合、画像処理装置１は、焦点距離を安定させるためのガイダンス、撮影距離を調整するためのガイダンスなどを、出力装置３により出力してもよい。
　そして、画像処理装置１は、ステップＳ１５での通知後にカメラ５１が撮影したカメラ画像に基づき、被検者６の瞳孔サイズを少なくとも示す瞳孔情報を生成する（ステップＳ１６）。一方、画像処理装置１は、撮影タイミングではないと判定した場合（ステップＳ１４；Ｎｏ）、引き続き撮影タイミングであるか否かの判定をステップＳ１４において継続する。
　次に、画像処理装置１は、未処理の撮影タイミングがあるか否か判定する（ステップＳ１７）。言い換えると、画像処理装置１は、ステップＳ１３において決定した全ての撮影タイミングについて、ステップＳ１５及びステップＳ１６の処理が終了したか否か判定する。そして、画像処理装置１は、未処理の撮影タイミングがある場合（ステップＳ１７；Ｙｅｓ）、ステップＳ１４へ処理を戻す。
　一方、画像処理装置１は、未処理の撮影タイミングがない場合（ステップＳ１７；Ｎｏ）、ステップＳ１６で生成した瞳孔情報に基づき、投薬効果の判定を行う（ステップＳ１８）。そして、画像処理装置１は、投薬効果の判定結果に関する情報を出力する（ステップＳ１９）。この場合、画像処理装置１は、投薬効果の判定結果に関する情報を、出力装置３により表示又は音声出力してもよく、記憶装置４等に記憶してもよく、被検者６以外の第三者の連絡先へ送信してもよい。
　＜第２実施形態＞
　図８は、第２実施形態における投薬効果判定システム１００Ａの概略構成を示す。第２実施形態に係る投薬効果判定システム１００Ａは、サーバとして機能する画像処理装置１Ａと、被検者が使用し、クライアントとして機能する端末装置８とを有する。画像処理装置１Ａと端末装置８とは、ネットワーク９９を介してデータ通信を行う。以後では、第１実施形態と同一構成要素については、適宜同一符号を付し、その説明を省略する。
　端末装置８は、被検者となる利用者（ユーザ）が使用する端末であり、入力機能、表示機能、通信機能、及び撮影機能を有し、図１に示される入力装置２、出力装置３、及びカメラ５１を含む計測装置５等として機能する。端末装置８は、例えば、パーソナルコンピュータ、スマートフォンなどのタブレット型端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）などであってもよい。端末装置８は、カメラ５１が出力する被検者の顔画像を、ネットワーク９９を介して画像処理装置１Ａに送信する。
　画像処理装置１Ａは、図２に示す画像処理装置１のハードウェア構成と同一のハードウェア構成を有し、画像処理装置１Ａのプロセッサ１１は、第１実施形態において説明した図４に示される機能ブロックを有する。そして、画像処理装置１Ａは、カメラ画像を端末装置８からネットワーク９９を介して受信し、被検者の投薬効果判定処理を実行する。また、画像処理装置１Ａは、端末装置８からの表示要求に基づき、処理結果を出力するための出力信号を、ネットワーク９９を介して端末装置８へ送信する。
　このように、第２実施形態における画像処理装置１Ａは、端末装置８のユーザとなる被検者の投薬効果の判定に関する処理を行い、投薬効果の判定結果に関する情報を端末装置８により好適に被検者に提示することができる。
　＜第３実施形態＞
　図９は、第３実施形態における画像処理装置１Ｘのブロック図である。画像処理装置１Ｘは、主に、投薬情報取得手段１４Ｘと、撮影タイミング決定手段１５Ｘと、瞳孔情報生成手段１７Ｘと、を有する。なお、画像処理装置１Ｘは、複数の装置により構成されてもよい。
　投薬情報取得手段１４Ｘは、被検者に使用された薬に関する投薬情報を取得する。投薬情報取得手段１４Ｘは、例えば、第１実施形態又は第２実施形態における投薬情報取得部１４とすることができる。
　撮影タイミング決定手段１５Ｘは、投薬情報に基づき、撮影手段による被検者の撮影タイミングを決定する。撮影タイミング決定手段１５Ｘは、例えば、第１実施形態又は第２実施形態における撮影タイミング決定部１５とすることができる。
　瞳孔情報生成手段１７Ｘは、撮影タイミングにおいて撮影手段が生成した画像に基づき、被検者の瞳孔に関する瞳孔情報を生成する。瞳孔情報生成手段１７Ｘは、例えば、第１実施形態又は第２実施形態における瞳孔情報生成部１７とすることができる。
　図１０は、第３実施形態において画像処理装置１Ｘが実行するフローチャートの一例である。まず、投薬情報取得手段１４Ｘは、被検者に使用された薬に関する投薬情報を取得する（ステップＳ２１）。撮影タイミング決定手段１５Ｘは、投薬情報に基づき、撮影手段による被検者の撮影タイミングを決定する（ステップＳ２２）。瞳孔情報生成手段１７Ｘは、撮影タイミングにおいて撮影手段が生成した画像に基づき、被検者の瞳孔に関する瞳孔情報を生成する（ステップＳ２３）。
　第３実施形態によれば、画像処理装置１Ｘは、被検者の薬の使用に伴って変化する瞳孔に関する瞳孔情報を好適に取得することができる。
　なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　その他、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
［付記１］
　被検者に使用された薬に関する投薬情報を取得する投薬情報取得手段と、
　前記投薬情報に基づき、撮影手段による前記被検者の撮影タイミングを決定する撮影タイミング決定手段と、
　前記撮影タイミングにおいて前記撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する瞳孔情報を生成する瞳孔情報生成手段と、
を有する画像処理装置。
［付記２］
　前記瞳孔情報に基づき、前記薬による効果に関する判定を行う投薬効果判定手段をさらに有する、付記１に記載の画像処理装置。
［付記３］
　前記瞳孔情報生成手段は、前記瞳孔のサイズを少なくとも示す前記瞳孔情報を生成し、
　前記投薬効果判定手段は、前記瞳孔のサイズの変化に基づき前記効果に関する判定を行う、付記２に記載の画像処理装置。
［付記４］
　前記撮影タイミング決定手段は、前記投薬情報に基づき、前記薬による効果がピークになると推定されるタイミングを、前記撮影タイミングとして少なくとも決定する、付記１に記載の画像処理装置。
［付記５］
　前記撮影タイミング決定手段は、前記投薬情報に基づき、前記薬による効果が効き始めると推定されるタイミングを、前記撮影タイミングとして少なくとも決定する、付記１に記載の画像処理装置。
［付記６］
　前記撮影タイミング決定手段は、前記投薬情報に基づき、前記薬による効果が低下すると推定されるタイミングを、前記撮影タイミングとして少なくとも決定する、付記１に記載の画像処理装置。
［付記７］
　前記撮影タイミングになった場合に、前記撮影タイミングであることを前記被検者に通知する通知手段をさらに有する、付記１に記載の画像処理装置。
［付記８］
　前記通知手段は、前記画像による前記被検者の虹彩の計測結果に基づき、前記被検者と前記撮影手段との距離に関する案内情報を出力する、付記７に記載の画像処理装置。
［付記９］
　前記投薬効果判定手段による判定結果が、前記効果が適正範囲ではないことを所定回数以上連続して示す場合、前記被検者以外の第三者へ前記判定結果を通知する通知手段を有する、付記２に記載の画像処理装置。
［付記１０］
　コンピュータが、
　被検者に使用された薬に関する投薬情報を取得し、
　前記投薬情報に基づき、撮影手段による前記被検者の撮影タイミングを決定し、
　前記撮影タイミングにおいて前記撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する瞳孔情報を生成する、
画像処理方法。
［付記１１］
　被検者に使用された薬に関する投薬情報を取得し、
　前記投薬情報に基づき、撮影手段による前記被検者の撮影タイミングを決定し、
　前記撮影タイミングにおいて前記撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する瞳孔情報を生成する処理をコンピュータに実行させるプログラムが格納された記憶媒体。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献及び非特許文献の各開示は、本書に引用をもって繰り込むものとする。
　１、１Ａ、１Ｘ　画像処理装置
　２　入力装置
　３　出力装置
　４　記憶装置
　５　計測装置
　８　端末装置
　１１　プロセッサ
　１２　メモリ
　１３　インターフェース
　５１　カメラ
　９０　データバス
　９９　ネットワーク
　１００、１００Ａ　投薬効果判定システム

Claims (11)

  1. 　被検者に使用された薬に関する投薬情報を取得する投薬情報取得手段と、
    　前記投薬情報に基づき、撮影手段による前記被検者の撮影タイミングを決定する撮影タイミング決定手段と、
    　前記撮影タイミングにおいて前記撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する瞳孔情報を生成する瞳孔情報生成手段と、
    を有する画像処理装置。
  2. 　前記瞳孔情報に基づき、前記薬による効果に関する判定を行う投薬効果判定手段をさらに有する、請求項１に記載の画像処理装置。
  3. 　前記瞳孔情報生成手段は、前記瞳孔のサイズを少なくとも示す前記瞳孔情報を生成し、
    　前記投薬効果判定手段は、前記瞳孔のサイズの変化に基づき前記効果に関する判定を行う、請求項２に記載の画像処理装置。
  4. 　前記撮影タイミング決定手段は、前記投薬情報に基づき、前記薬による効果がピークになると推定されるタイミングを、前記撮影タイミングとして少なくとも決定する、請求項１に記載の画像処理装置。
  5. 　前記撮影タイミング決定手段は、前記投薬情報に基づき、前記薬による効果が効き始めると推定されるタイミングを、前記撮影タイミングとして少なくとも決定する、請求項１に記載の画像処理装置。
  6. 　前記撮影タイミング決定手段は、前記投薬情報に基づき、前記薬による効果が低下すると推定されるタイミングを、前記撮影タイミングとして少なくとも決定する、請求項１に記載の画像処理装置。
  7. 　前記撮影タイミングになった場合に、前記撮影タイミングであることを前記被検者に通知する通知手段をさらに有する、請求項１に記載の画像処理装置。
  8. 　前記通知手段は、前記画像による前記被検者の虹彩の計測結果に基づき、前記被検者と前記撮影手段との距離に関する案内情報を出力する、請求項７に記載の画像処理装置。
  9. 　前記投薬効果判定手段による判定結果が、前記効果が適正範囲ではないことを所定回数以上連続して示す場合、前記被検者以外の第三者へ前記判定結果を通知する通知手段を有する、請求項２に記載の画像処理装置。
  10. 　コンピュータが、
    　被検者に使用された薬に関する投薬情報を取得し、
    　前記投薬情報に基づき、撮影手段による前記被検者の撮影タイミングを決定し、
    　前記撮影タイミングにおいて前記撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する瞳孔情報を生成する、
    画像処理方法。
  11. 　被検者に使用された薬に関する投薬情報を取得し、
    　前記投薬情報に基づき、撮影手段による前記被検者の撮影タイミングを決定し、
    　前記撮影タイミングにおいて前記撮影手段が生成した画像に基づき、前記被検者の瞳孔に関する瞳孔情報を生成する処理をコンピュータに実行させるプログラムが格納された記憶媒体。
PCT/JP2023/012154 2023-03-27 2023-03-27 画像処理装置、画像処理方法及び記憶媒体 Ceased WO2024201646A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2023/012154 WO2024201646A1 (ja) 2023-03-27 2023-03-27 画像処理装置、画像処理方法及び記憶媒体
JP2025509277A JPWO2024201646A5 (ja) 2023-03-27 画像処理装置、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/012154 WO2024201646A1 (ja) 2023-03-27 2023-03-27 画像処理装置、画像処理方法及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2024201646A1 true WO2024201646A1 (ja) 2024-10-03

Family

ID=92904202

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/012154 Ceased WO2024201646A1 (ja) 2023-03-27 2023-03-27 画像処理装置、画像処理方法及び記憶媒体

Country Status (1)

Country Link
WO (1) WO2024201646A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010005073A (ja) * 2008-06-26 2010-01-14 Canon Inc 医療用撮影装置
JP2011015022A (ja) * 2009-06-30 2011-01-20 Tamura Seisakusho Co Ltd 通信異常通知システム
US20140268047A1 (en) * 2013-03-15 2014-09-18 Drexel University Apparatus and method for assessing effects of drugs by recording ocular parameters

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010005073A (ja) * 2008-06-26 2010-01-14 Canon Inc 医療用撮影装置
JP2011015022A (ja) * 2009-06-30 2011-01-20 Tamura Seisakusho Co Ltd 通信異常通知システム
US20140268047A1 (en) * 2013-03-15 2014-09-18 Drexel University Apparatus and method for assessing effects of drugs by recording ocular parameters

Also Published As

Publication number Publication date
JPWO2024201646A1 (ja) 2024-10-03

Similar Documents

Publication Publication Date Title
US10192033B2 (en) Capturing data for individual physiological monitoring
CN106572820B (zh) 一种疼痛评估系统
US8038614B2 (en) Establishing baseline data for physiological monitoring system
CN109661196B (zh) 具有自适应目标葡萄糖水平的基础滴定
US20080294012A1 (en) Monitoring physiological conditions
US20080294018A1 (en) Privacy management for well-being monitoring
WO2016040673A2 (en) Animation-based autism spectrum disorder assessment
JP7772983B2 (ja) 薬剤服用に伴う甲状腺機能モニタリング方法、これを実行するモニタリングサーバーおよび使用者端末
CN106455996B (zh) 用于无创地监测和识别药物效应和相互作用的方法和设备
US20110263997A1 (en) System and method for remotely diagnosing and managing treatment of restrictive and obstructive lung disease and cardiopulmonary disorders
US20200375544A1 (en) System, method and computer program product for detecting a mobile phone user's risky medical condition
CN109863560A (zh) 基础胰岛素滴定的起始工具包
CN109690685A (zh) 用于确定胰岛素敏感性的系统和方法
US20110245703A1 (en) System and method providing biofeedback for treatment of menopausal and perimenopausal symptoms
JP2023553957A (ja) 身体画像に基づいて睡眠分析を決定するシステム及び方法
EP4563071A1 (en) Method for monitoring thyroid eye disease condition, and system for performing same
US20210282705A1 (en) Systems and methods for modeling sleep parameters for a subject
CN116018652A (zh) 监测系统
JP2024100863A (ja) 情報処理装置、制御方法及びプログラム
US10580533B2 (en) Image-based food analysis for medical condition warnings
WO2024201646A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2022198058A1 (en) System, apparatus, and methods for health monitoring
TWM579360U (zh) Questioning system for detecting facial expressions
US20260072502A1 (en) Content reproduction apparatus and content reproduction method
US20260047779A1 (en) System, Method and Computer Program Product For Processing a Mobile Phone User's Condition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23930286

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025509277

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025509277

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23930286

Country of ref document: EP

Kind code of ref document: A1