WO2020256041A1 - プログラム、検査装置、情報処理装置及び情報処理方法 - Google Patents

プログラム、検査装置、情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2020256041A1
WO2020256041A1 PCT/JP2020/023882 JP2020023882W WO2020256041A1 WO 2020256041 A1 WO2020256041 A1 WO 2020256041A1 JP 2020023882 W JP2020023882 W JP 2020023882W WO 2020256041 A1 WO2020256041 A1 WO 2020256041A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
result
kit
information
image
Prior art date
Application number
PCT/JP2020/023882
Other languages
English (en)
French (fr)
Inventor
晴彦 二田
Original Assignee
合同会社H.U.グループ中央研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 合同会社H.U.グループ中央研究所 filed Critical 合同会社H.U.グループ中央研究所
Priority to US17/615,971 priority Critical patent/US20220334104A1/en
Priority to JP2021526859A priority patent/JPWO2020256041A1/ja
Priority to EP20826101.6A priority patent/EP3989235A4/en
Priority to CN202080043930.9A priority patent/CN113966538A/zh
Publication of WO2020256041A1 publication Critical patent/WO2020256041A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/52Use of compounds or compositions for colorimetric, spectrophotometric or fluorometric investigation, e.g. use of reagent paper and including single- and multilayer analytical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • G01N2035/00742Type of codes
    • G01N2035/00752Type of codes bar codes

Definitions

  • This disclosure relates to programs, inspection devices, information processing devices, and information processing methods.
  • POCT Point of care testing
  • a test kit for testing the presence or absence of an object to be tested by using an immunochromatography method which is an immunoassay method utilizing a capillary phenomenon, is used (see, for example, Patent Document 1).
  • Test kits using the immunochromatography method are prepared for each test object such as influenza virus, norovirus, pneumococcus, adenovirus, etc., and can be various by using the test kit according to the item (test object) to be inspected. Can be inspected.
  • test object collected from the subject is dropped into a predetermined dropping area, and after a predetermined test time has elapsed, the presence or absence of a judgment line is visually confirmed. , Judge the presence or absence (positive or negative) of the test object.
  • test kits are sold by multiple manufacturers, and the method of use or the time required for the test differs for each test kit, and if the test is performed using the wrong method, accurate test results can be obtained. There is no risk. In particular, when there are many test targets (samples collected from subjects) such as during the influenza epidemic, it is necessary to quickly obtain accurate test results for a large number of test targets, and the work of medical staff who perform the tests. There is a problem that the burden is heavy.
  • This disclosure was made in view of such circumstances, and the purpose of the disclosure is to provide a program or the like that can reduce the workload of medical staff who perform examinations.
  • the program acquires an image obtained by photographing an inspection kit for inspecting an object to be inspected by using an immunochromatography method, and when the photographed image of the inspection kit is input, the inspection kit in the photographed image is used.
  • the acquired image is input to the trained model for result discrimination deeply trained so as to output the information related to the inspection result, and the acquired image is acquired based on the information output from the trained model for result discrimination.
  • the computer is made to execute a process of determining the inspection result by the inspection kit in the image and outputting the determined inspection result.
  • FIG. 1A is a schematic view showing an external example of the inspection device
  • FIG. 1B is a schematic view showing an external example of the inspection kit.
  • FIG. 1A is a perspective view of the inspection device
  • FIG. 1B is a top view of the inspection kit.
  • the inspection device 10 is, for example, a device installed and used in a medical institution, and has a storage unit 10a which is a rectangular housing, a display unit 15 provided on the upper surface of the storage unit 10a, and a notification light 16.
  • One side surface of the storage portion 10a is open, and the inspection kit 20 is inserted into the storage portion 10a through the opening and taken out of the storage portion 10a.
  • the bottom surface inside the storage portion 10a is a mounting surface 10b (mounting stand) on which a plurality of inspection kits 20 can be placed side by side, and areas A to D on which the respective inspection kits 20 are mounted are dividing lines 10c. It is divided by.
  • four inspection kits 20 can be mounted on the mounting surface 10b, and areas A to D on which the respective inspection kits 20 are mounted extend from the opening toward the inside of the storage portion 10a. It is provided as follows.
  • the number of inspection kits 20 mounted on the mounting surface 10b is not limited to four, and the extension direction of each area on which the inspection kit 20 is mounted is not limited to the direction of FIG. 1A.
  • a lid portion that can open and close the opening portion may be provided on the open side surface of the storage portion 10a.
  • the dividing line 10c may be a line segment drawn on the mounting surface 10b, or may be provided with a convex portion or a concave portion, and each area when the inspector performing the inspection mounts the inspection kit 20. Anything that can distinguish A to D may be used.
  • a camera 17 for photographing the inspection kit 20 placed in each of the areas A to D and a photographing light 18 are provided on the upper surface inside the storage portion 10a.
  • the inspection kit 20 placed in the areas A to D is photographed by using one camera 17 and one photographing light 18, but the camera 17 and the photographing light 18 are used for each of the areas A to D. It may be provided.
  • the inspection kit 20 is generally formed in a rectangular plate shape, and has a dropping region 21 and a determination region 22 on one surface.
  • the dropping area 21 is a region for dropping the test object (specimen) collected from the subject
  • the determination area 22 is the inspection result (whether or not the test object is included) for the test object dropped in the dropping area 21. Is the area showing).
  • the object to be inspected may be, for example, a nasal swab, a pharyngeal swab, a runny nose, urine, saliva, blood, or the like of the subject.
  • test antibody that reacts (binds) with the test object is applied in a line to the determination region 22, and when the test object reacts with the test antibody, the color develops blue, magenta, or the like. It is configured as follows. Therefore, when the test object contains the test object, the test object contained in the test object reacts with the test antibody to develop a color, and a judgment line appears in the judgment region 22.
  • FIG. 1B shows an example of a test kit 20 for influenza virus, and in the test kit 20 shown in FIG. 1B, a test antibody for influenza A type and a test antibody for influenza B type are applied. With such a test kit 20, it is possible to test for influenza A and influenza B at the same time.
  • an antibody that reacts (binds) with the labeled antibody (end determination antibody) is applied in a line at a position far from the dropping region 21, and the labeled antibody reacts with the termination determination antibody.
  • the labeled antibody reacts with the termination determination antibody.
  • it is configured to develop a color such as blue or magenta. Therefore, for example, when the labeled antibody applied to the dropping region 21 moves in the determination region 22 together with the test object and reaches the application position of the termination determination antibody, the labeled antibody reacts with the termination determination antibody. The color is developed, and the inspection end line (control line) appears in the determination area 22.
  • the test kit 20 may be configured so that only the influenza A determination line appears, or may be configured so that only the influenza B determination line appears.
  • a code 23 (code information) associated with the subject is added to the surface provided with the dropping region 21 and the determination region 22.
  • a code 23 using a QR code registered trademark
  • the present invention is not limited to this.
  • a sticker with a medical examination ticket number (code 23) or a bar code associated with the medical examination ticket number (code 23) at a medical institution may be affixed, and the medical examination ticket number (code 23) is handwritten. It may be filled in.
  • the inspection kit 20 having the above-described configuration is used for inspection in a state where it is placed with the surface provided with the dropping region 21 and the determination region 22 facing up. Therefore, the surface provided with the dropping region 21 and the determination region 22 is set as the upper surface.
  • the inspection kit 20 is placed in any area A to D of the mounting surface 10b of the inspection device 10 with the upper surface facing up.
  • the inspection kit 20 may be placed in any position within each of the areas A to D, and the mounting direction (direction when mounting) may be any direction.
  • FIG. 2 is a block diagram showing a configuration example of the inspection device 10.
  • the inspection device 10 is configured by using a personal computer, a server computer, or the like, and includes a control unit 11, a storage unit 12, a communication unit 13, an input unit 14, a display unit 15, a notification light 16, a camera 17, and a shooting light. 18.
  • the reading unit 19 and the like are included, and each of these units is connected to each other via a bus.
  • the control unit 11 includes one or a plurality of processors such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), and a GPU (Graphics Processing Unit).
  • the control unit 11 appropriately executes the control program 12P stored in the storage unit 12 to cause the inspection device 10 to perform various information processing, control processing, and the like that the inspection device of the present disclosure should perform.
  • the storage unit 12 includes a RAM (RandomAccessMemory), a flash memory, a hard disk, an SSD (SolidStateDrive), and the like.
  • the storage unit 12 stores in advance various data and the like necessary for executing the control program 12P and the control program 12P executed by the control unit 11. Further, the storage unit 12 temporarily stores data or the like generated when the control unit 11 executes the control program 12P. Further, the storage unit 12 is, for example, a type discrimination model 12a (learned model for type discrimination) and a result discrimination model 12b (learned model for result discrimination) which are trained models constructed by deep learning (deep learning) processing. I remember.
  • the type discrimination model 12a when the image data (photographed image) obtained by photographing the upper surface of the inspection kit 20 as shown in FIG. 1B is input, the type of the inspection kit 20 in the photographed image is registered in advance. It is a trained model trained to output information (information related to the type) indicating which of the certain types is used.
  • the result discrimination model 12b indicates that the test result by the test kit 20 in the photographed image is positive or negative when the image data (photographed image) obtained by photographing the upper surface of the test kit 20 is input. It is a trained model trained to output the indicated information (information related to the test result).
  • the result discrimination model 12b is provided for each type (type) of the inspection kit 20 to be discriminated by the type discrimination model 12a.
  • the trained model performs a predetermined operation on the input value and outputs the operation result
  • the storage unit 12 contains data such as coefficients and thresholds of the function that defines this operation in the type discrimination model 12a and Each is stored as a result discrimination model 12b.
  • the storage unit 12 stores the kit information DB 12c (database) and the inspection information DB 12d, which will be described later.
  • the kit information DB 12c and the inspection information DB 12d may be stored in an external storage device connected to the inspection device 10, or may be stored in an external storage device that the inspection device 10 can communicate with via a network.
  • the communication unit 13 is an interface for connecting to a network such as the Internet or LAN (Local Area Network) by wired communication or wireless communication, and transmits / receives information to / from an external device via the network.
  • the communication unit 13 is configured to be able to communicate with the electronic medical record system in the medical institution via the network.
  • the input unit 14 receives an operation input by a user (inspector) and sends a control signal corresponding to the operation content to the control unit 11.
  • the display unit 15 is a liquid crystal display, an organic EL display, or the like, and displays various information according to instructions from the control unit 11.
  • the input unit 14 and the display unit 15 may be a touch panel integrally configured.
  • the notification light 16 is an LED (Light Emitting Diode) light, a rotating light, or the like, and notifies the inspector of the inspection status by the inspection device 10 by lighting or blinking according to an instruction from the control unit 11.
  • one notification light 16 is provided, but the notification light 16 may be provided for each of the areas A to D of the mounting surface 10b.
  • a voice output device such as a buzzer or a speaker may be provided to notify the inspector of the inspection status by the inspection device 10 by voice.
  • the camera 17 (shooting unit) has a lens, an image sensor, and the like, and acquires image data of a subject image through the lens.
  • the camera 17 shoots according to the instruction from the control unit 11, and sequentially sends the acquired image data (captured image) to the control unit 11.
  • the photographing light 18 is, for example, an LED light, and is turned on according to an instruction from the control unit 11.
  • the control unit 11 sends a lighting instruction to the shooting light 18 and a shooting execution instruction to the camera 17 at the timing of shooting. As a result, shooting can be performed by the camera 17 with the shooting light 18 turned on, and a good shot image obtained by accurately shooting the inspection kit 20 mounted on the mounting surface 10b can be obtained.
  • the camera 17 and the photographing light 18 may have a configuration built in the inspection device 10 or may be externally attached to the inspection device 10.
  • the inspection device 10 includes a connection portion capable of connecting an external camera and a shooting light, controls the operation of the external camera and the shooting light via the connection portion, and externally via the connection portion. Acquires image data taken by the camera.
  • the reading unit 19 reads the information stored in the portable storage medium 1a including a CD (Compact Disc) -ROM, a DVD (Digital Versatile Disc) -ROM, and a USB (Universal Serial Bus) memory.
  • the program and data stored in the storage unit 12 may be read from the portable storage medium 1a by the control unit 11 via the reading unit 19 and stored in the storage unit 12, for example. Further, the programs and data stored in the storage unit 12 may be downloaded by the control unit 11 from an external device via the network via the communication unit 13 and stored in the storage unit 12. Further, the program and data may be stored in the semiconductor memory 1b, and the control unit 11 may read the program and data from the semiconductor memory 1b.
  • FIG. 3A and 3B are schematic views showing a configuration example of DB 12c and 12d stored in the inspection device 10.
  • FIG. 3A shows the kit information DB 12c
  • FIG. 3B shows the inspection information DB 12d.
  • the kit information DB 12c stores information about the inspection kit 20 capable of determining the inspection result by the inspection device 10.
  • the kit information DB 12c shown in FIG. 3A includes a kit type ID column, a maker information column, a kit name column, an inspection target column, an inspection time column, and the like.
  • the kit type ID column stores identification information assigned to each type (type) of the inspection kit 20.
  • the maker information column stores information about the manufacturer that manufactures or sells each inspection kit 20 in association with the kit type ID, and the kit name column is attached to each inspection kit 20 in association with the kit type ID. Memorize the name or nickname.
  • the inspection target column is associated with the kit type ID to store information about the objects that can be inspected by each inspection kit 20, and the inspection time column is associated with the kit type ID and is inspected by each inspection kit 20. Memorize the time required for.
  • the kit type ID stored in the kit information DB 12c is issued and stored by the control unit 11 when the control unit 11 acquires the information of the new type of inspection kit 20 via the input unit 14 or the communication unit 13. To.
  • kit information DB 12c Information other than the kit type ID stored in the kit information DB 12c is added by the control unit 11 each time the control unit 11 acquires an additional instruction via the input unit 14 or the communication unit 13.
  • the stored contents of the kit information DB 12c are not limited to the example shown in FIG. 3A, and various information related to the test kit 20 may be stored. For example, the number of used or stocked of each inspection kit 20 may be stored in the kit information DB 12c.
  • the inspection information DB 12d stores information regarding the determination status of the inspection result by the inspection device 10.
  • the test information DB 12d shown in FIG. 3B includes an area information column, a patient ID column, a kit type ID column, an examination time column, an elapsed time column, a positive probability column, a captured image sequence, and the like.
  • the area information column stores the identification information of the mounting areas A to D provided on the mounting surface 10b of the inspection device 10.
  • the patient ID column stores identification information (for example, a medical examination ticket number in a medical institution) of a patient (examinee) corresponding to the examination kit 20 placed in each area A to D in association with the area information.
  • the kit type ID column stores the identification information of the type of the inspection kit 20 placed in each area A to D in association with the area information, and the inspection time column corresponds to the area information in each area A.
  • the test kit 20 placed on the D stores stores the time required for the test.
  • the elapsed time column stores the elapsed time since the inspection kit 20 was placed in each of the areas A to D in association with the area information.
  • the positive probability column stores the probability that the test result by the test kit 20 placed in each area A to D is positive in association with the area information, and the captured image string is associated with the area information and each.
  • the captured image of the inspection kit 20 placed in the areas A to D is stored.
  • the captured image data may be stored in a predetermined area of the storage unit 12 or an external storage device connected to the inspection device 10.
  • the captured image string stores information for reading the captured image data (for example, a file name indicating a storage location of the data).
  • the area information stored in the inspection information DB 12d is stored in advance.
  • the patient ID stored in the examination information DB 12d is determined by the control unit 11 each time the control unit 11 specifies the patient identification information (patient ID) corresponding to the examination kit 20 in the photographed image based on the image captured by the camera 17. Be remembered.
  • the kit type ID and inspection information stored in the inspection information DB 12d are read from the kit information DB 12c by the control unit 11 each time the control unit 11 determines the type of the inspection kit 20 in the captured image based on the captured image by the camera 17. It is put out and remembered.
  • the elapsed time stored in the inspection information DB 12d is the elapsed time since the control unit 11 detects that the inspection kit 20 is placed in each of the areas A to D based on the image taken by the camera 17.
  • the time is stored by the control unit 11.
  • the positive probability stored in the inspection information DB 12d is determined by the control unit 11 each time the control unit 11 acquires a probability indicating that the inspection result by the inspection kit 20 in the photographed image is positive based on the image captured by the camera 17. It will be remembered.
  • the captured image stored in the inspection information DB 12d is stored or updated by the control unit 11 each time the captured image is acquired by the camera 17.
  • the captured images may be sequentially stored together with the shooting date and time or the shooting timing (for example, the elapsed time from the start of the inspection), or only the latest shot image may be stored.
  • the storage content of the inspection information DB 12d is not limited to the example shown in FIG. 3B, and various information related to each area A to D of the mounting surface 10b or information related to the inspection kit 20 mounted in each area A to D is stored. You may. Further, instead of the elapsed time, the remaining determination time until the inspection time expires may be stored.
  • FIG. 4 is a schematic diagram showing a configuration example of the type discrimination model 12a.
  • the type discrimination model 12a of the present embodiment is composed of a CNN (Convolution Neural Network) model, for example, as shown in FIG.
  • the type discrimination model 12a may be composed of various learning models such as R-CNN (Region-based CNN) and YOLO (You Only Look Once).
  • the type discrimination model 12a shown in FIG. 4 is composed of an input layer, an intermediate layer, and an output layer.
  • the intermediate layer includes a convolution layer, a pooling layer and a fully connected layer.
  • a photographed image (image data) of the upper surface of the inspection kit 20 is input via the input layer.
  • Each pixel in the captured image of the inspection kit 20 is input to each node of the input layer, and the captured image of the inspection kit 20 input via each node of the input layer is input to the intermediate layer.
  • the captured image of the inspection kit 20 input to the intermediate layer is extracted by filtering or the like in the convolution layer to generate a feature map, and is compressed by the pooling layer to reduce the amount of information.
  • the convolution layer and the pooling layer are repeatedly provided in a plurality of layers, and the feature map generated by the plurality of convolution layers and the pooling layer is input to the fully connected layer.
  • a plurality of fully connected layers two layers in FIG.
  • the output values of the nodes of each layer are calculated using various functions and threshold values, and the calculated output values are calculated. Is sequentially input to the node of the next layer.
  • the fully connected layer finally gives each node of the output layer its own output value by sequentially inputting the output value of the node of each layer to the node of the subsequent layer.
  • the number of each of the convolution layer, the pooling layer and the fully connected layer is not limited to the example shown in FIG.
  • the type discrimination model 12a of the present embodiment is configured to discriminate the types of the five types of inspection kits 20. Therefore, in the type discrimination model 12a, the output layer has five nodes 0 to 4, and the node 0 outputs the probability that the inspection kit 20 in the input captured image should be discriminated as the first type. Then, the node 1 outputs the probability to be determined to be the second type, the node 2 outputs the probability to be determined to be the third type, and the node 3 determines to be the fourth type. The power probability is output, and the node 4 outputs the probability to be determined to be the fifth type.
  • the configuration may include an output node that outputs a probability that it should be determined that the type is other than the type to be discriminated or cannot be discriminated.
  • the output value of each node of the output layer is, for example, a value of 0 to 1.0, and the total of the probabilities output from each of the five nodes is 1.0 (100%).
  • the type discrimination model 12a includes a photographed image of the upper surface of the inspection kit 20 and information indicating the type of the inspection kit 20 in the photographed image or information indicating that the inspection kit 20 is not included in the photographed image (correct label). Learn using the included teacher data.
  • the type discrimination model 12a when the captured image included in the teacher data is input, the output value from the output node corresponding to the correct label included in the teacher data approaches 1.0, and the output from other output nodes is output. Learn so that the value approaches 0.
  • the type discrimination model 12a optimizes data such as coefficients and thresholds of various functions that define predetermined operations performed on input values.
  • the trained type discrimination model 12a learned to output the information indicating the type of the inspection kit 20 in the captured image is obtained.
  • the learning of the type discrimination model 12a is performed by, for example, another learning device.
  • the learned type discrimination model 12a generated by learning by another learning device is downloaded from the learning device to the inspection device 10 via a network or a portable storage medium 1a and stored in the storage unit 12. ..
  • the result discrimination model 12b of the present embodiment is also composed of, for example, a CNN model as shown in FIG. 4, like the type discrimination model 12a.
  • the result determination model 12b may also be composed of various learning models such as R-CNN and YOLO.
  • the photographed image of the upper surface of the inspection kit 20 is input via the input layer.
  • the result discrimination model 12b is provided for each type of the test kit 20.
  • the result discrimination model 12b corresponding to the test kit 20 for testing influenza A and B is the test kit 20 in the captured image.
  • the output layer of the result discrimination model 12b has four nodes 0 to 3, and for example, node 0 states that the inspection result by the inspection kit 20 in the input captured image is positive for both type A and type B.
  • the probability to be determined is output, the node 1 outputs the probability to be determined to be negative for both A type and B type, the node 2 outputs the probability to be determined to be positive only for A type, and the node 3 is output. Outputs the probability that only type B should be determined to be negative.
  • the output value of each node of the output layer is, for example, a value of 0 to 1.0, and the total of the probabilities output from each of the four nodes is 1.0 (100%). It should be noted that the configuration may include an output node that outputs a probability that should be determined to be undeterminable.
  • the result determination model 12b uses teacher data including a photographed image of the upper surface of the inspection kit 20 and information (correct label) indicating the inspection result (for example, any of four patterns) by the inspection kit 20 in the photographed image. To learn.
  • the result discrimination model 12b when the captured image included in the teacher data is input, the output value from the output node corresponding to the correct label included in the teacher data approaches 1.0, and the output from other output nodes is output. Learn so that the value approaches 0.
  • the trained result determination model 12b trained to output information indicating which of the four patterns the inspection result by the inspection kit 20 in the captured image is. Is obtained.
  • the learning of the result discrimination model 12b is also performed by, for example, another learning device, and the learned result discrimination model 12b generated by the other learning device is inspected from the learning device, for example, via the network or via the portable storage medium 1a. It is downloaded to the device 10 and stored in the storage unit 12.
  • FIGS. 7A and 7B are schematic views showing screen examples.
  • the following processing is executed by the control unit 11 according to the control program 12P stored in the storage unit 12 of the inspection device 10.
  • the following processing is realized by the control unit 11 executing the control program 12P, but some processing may be realized by a dedicated hardware circuit.
  • the control unit 11 starts shooting a moving image by the camera 17 (S11). For example, the control unit 11 acquires image data (photographed images) of 30 frames (30 images) per second by the camera 17, and based on the photographed images sequentially acquired, any of the areas A to D of the mounting surface 10b. It is determined whether or not the crab inspection kit 20 is mounted (S12). For example, the control unit 11 calculates the difference between the captured images to be sequentially acquired, and determines whether or not the inspection kit 20 is mounted based on the difference between the captured images. Specifically, when the difference between the captured images becomes a predetermined amount or more, it may be determined that the inspection kit 20 is placed.
  • control unit 11 uses a trained model trained to output information indicating whether or not the inspection kit 20 is captured in the captured image, for example, when a captured image is input. It may be determined whether or not the kit 20 is mounted. In this case, the control unit 11 sequentially inputs the captured image by the camera 17 into the trained model, and based on the output information from the trained model, whether or not the captured image includes the inspection kit 20, that is, an inspection. It can be determined whether or not the kit 20 is mounted.
  • the control unit 11 determines that the inspection kit 20 is not mounted on the mounting surface 10b based on the captured images sequentially acquired by the camera 17. Continues the process of determining whether or not is placed.
  • the control unit 11 specifies the areas A to D in which the inspection kit 20 is mounted. (S13). For example, in a photographed image captured by the camera 17, areas (shooting ranges) corresponding to each of the areas A to D are registered in advance, and the control unit 11 controls an area (a region in which the difference between the captured images is a predetermined amount or more).
  • the control unit 11 determines which of the areas A to D the area (shooting range) in which the inspection kit 20 is mounted corresponds to the area A to D using the trained model, and identifies the corresponding areas A to D. You may.
  • characters A to D are described in each area A to D of the mounting surface 10b, and the control unit 11 uses an area in which the difference between the captured images is a predetermined amount or more, or a trained model.
  • the characters A to D included in the area where the inspection kit 20 is determined to be placed may be read by using, for example, an OCR (Optical Character Reader) to specify the area where the inspection kit 20 is placed.
  • the input unit 14 is provided with an operation button for instructing the start of the determination process for each of the areas A to D, and the inspection kit 20 is placed by the input by the inspector and the placed area A.
  • ⁇ D may be specified.
  • the control unit 11 acquires a photographed image on the mounting surface 10b by using the camera 17 and the photographing light 18 (S14). Then, the control unit 11 (extraction unit) extracts the imaging area of the areas A to D specified in step S13, that is, the imaging area of the inspection kit 20 determined to be mounted in step S12, from the acquired captured image ( S15). For example, the control unit 11 extracts the captured areas of the areas A to D based on the dividing line 10c on the mounting surface 10b, as in the captured image shown in FIG. When the imaging area of the inspection kit 20 is extracted, the control unit 11 stores the acquired imaging area in the inspection information DB 12d as a captured image corresponding to the area information of the areas A to D specified in step S13.
  • the control unit 11 reads the code 23 described in the photographed examination kit 20 based on the photographed image (the imaged area of the examination kit 20) stored in the examination information DB 12d, and obtains the patient identification information (patient ID).
  • the code 23 is a QR code
  • the control unit 11 analyzes the QR code in the captured image and acquires a patient ID (for example, a medical examination ticket number at a medical institution).
  • the control unit 11 reads and acquires the handwritten patient ID in the captured image by OCR.
  • the control unit 11 may be configured to acquire the patient ID by input by the examiner via the input unit 14.
  • the control unit 11 stores the acquired patient ID in the examination information DB 12d in association with the area information of the areas A to D specified in step S13.
  • the control unit 11 determines the type of the inspection kit 20 in the captured image based on the captured image (photographed area of the inspection kit 20) stored in the inspection information DB 12d (S17). In the present embodiment, the control unit 11 determines the type of the inspection kit 20 by using the type determination model 12a. Specifically, the control unit 11 inputs the captured image into the type discrimination model 12a, and based on the information output from the type discrimination model 12a (output information from each output node), the inspection kit 20 in the captured image Judge the type of.
  • control unit 11 identifies the output node having the maximum output value among the output nodes of the type discrimination model 12a, and sets the type associated with the specified output node as the type of the inspection kit 20 in the captured image.
  • the control unit 11 may acquire the information of the type from the information of the code 23 read from the captured image. Further, the control unit 11 may be configured to acquire information on the type of the inspection kit 20 by input by an inspector via the input unit 14.
  • the control unit 11 reads the kit type ID and the inspection time of the specified type from the kit information DB 12c, and associates the inspection information with the area information of the areas A to D specified in step S13. Store in DB12d.
  • control unit 11 starts timing the elapsed time from the start of the inspection in the inspection kit 20 (S18).
  • the control unit 11 associates the elapsed time to be measured with the area information of the areas A to D specified in step S13 at predetermined time intervals such as every 1 second and every 10 seconds in the inspection information DB 12d.
  • control unit 11 determines the result determination model 12b according to the type determined in step S17, and uses the identified result determination model 12b to store the captured image (inspection kit 20) in the inspection information DB 12d.
  • the inspection result by the inspection kit 20 in the imaging area) is determined (S19).
  • the control unit 11 inputs the captured image into the result discrimination model 12b, and based on the information output from the result discrimination model 12b (output information from each output node), the inspection result by the inspection kit 20 in the captured image. To judge. Specifically, the control unit 11 identifies the output node having the maximum output value among the output nodes of the result determination model 12b, and the test result associated with the specified output node is positive (for influenza). In the case of the test kit 20, when both types A and B are positive, only type A is positive, or only type B is positive), the output value (maximum output value) from the specified output node is acquired. That is, the control unit 11 acquires the probability (positive probability) that the test result should be determined to be positive.
  • the control unit 11 stores the acquired positive probability in the test information DB 12d in association with the area information of the areas A to D specified in step S13.
  • the control unit 11 may store the test result (positive result) corresponding to the positive probability in the test information DB 12d as well as the positive probability.
  • the inspection kit 20 is placed in any of the areas A to D by the above-mentioned processing, the information (kit type ID and inspection time) regarding the inspection kit 20 and the inspection kit 20 are obtained from the photographed image of the inspection kit 20.
  • the corresponding patient information (patient ID) and the determination status (positive probability) of the test result by the test kit 20 are specified and stored in the test information DB 12d.
  • the control unit 11 determines whether or not the positive probability (determination probability) indicated by the test result determined in step S19 is equal to or greater than a predetermined threshold value (S20).
  • the threshold value here is a value that can confirm that the test result by the test kit 20 in the captured image is positive, and can be, for example, 80% (0.8). This threshold value is set in advance and is stored in, for example, the storage unit 12.
  • the control unit 11 determines that the elapsed time at this point (elapsed time from the start of the test) is the test time (time required for the test) of the test kit 20. ) Is exceeded (S21).
  • the control unit 11 determines whether or not the elapsed time stored in the inspection information DB 12d has reached the inspection time, and if it reaches, the inspection time has been exceeded (that is, the inspection time has elapsed). Was done). When it is determined that the inspection time has not been exceeded (S21: NO), the control unit 11 waits until a predetermined time elapses after the most recently photographed inspection kit 20.
  • the predetermined time here is a time interval for photographing the inspection kit 20 and executing a process of determining the inspection result by the inspection kit 20 in the captured image, and may be, for example, 30 seconds or 1 minute.
  • the control unit 11 determines whether or not a predetermined time has elapsed since the most recently photographed inspection kit 20 (S22), and if it determines that the predetermined time has not elapsed (S22: NO), waits.
  • the control unit 11 acquires a photographed image of the inspection kit 20 on the mounting surface 10b by using the camera 17 and the photographing light 18 (S23). Then, the control unit 11 extracts the imaging area of the areas A to D specified in step S13, that is, the imaging area of the inspection kit 20 to be determined from the acquired captured image (S24), and returns to the process of step S19. ..
  • the control unit 11 stores the extracted imaging area of the inspection kit 20 in the inspection information DB 12d as the latest captured image corresponding to the area information of the areas A to D specified in step S13. Then, the control unit 11 determines the inspection result by the inspection kit 20 in the latest captured image stored in the inspection information DB 12d using the result determination model 12b (S19), and identifies the obtained positive probability in step S13. It is stored in the test information DB 12d as the latest positive probability corresponding to the area information of the areas A to D. When returning to the process of step S19, the control unit 11 may reacquire the patient ID or kit type corresponding to the examination kit 20 based on the imaging area of the examination kit 20 acquired in step S24.
  • step S19 is performed. May be good. In this case, it is possible to prevent the test results of each subject from being mistaken.
  • the control unit 11 repeats the processes of steps S19 to S24 until the positive probability becomes equal to or higher than a predetermined threshold value, whereby the test kit 20 is photographed every time a predetermined time elapses (for example, every minute) and captured as an image. Based on this, the process of determining the test result (acquiring the positive probability) by the test kit 20 is repeated.
  • a predetermined threshold value S20: YES
  • the control unit 11 displays the determined test result (here, a positive test result) on the display unit 15 and notifies the display unit (S25).
  • step S21 when it is determined in step S21 that the test time has elapsed (S21: YES), that is, when the test time elapses before the positive probability becomes equal to or higher than the predetermined threshold value, the control unit 11 determines the test result (here). Then, the negative test result) is displayed on the display unit 15 and notified (S25). In step S25, the control unit 11 may not only display the inspection result but also notify the end of the determination process by turning on or blinking the notification light 16. In this case, even when the inspector is at a position away from the inspection device 10, the end of the determination process can be grasped. When the inspection device 10 has a voice output device, the end of the determination process may be notified by voice output by the voice output device.
  • FIG. 7A shows an example of the inspection result screen displayed on the display unit 15, and the inspection result screen displays the determination status of the inspection result by the inspection kit 20 placed in each of the areas A to D.
  • the patient ID, the kit type ID, and the photographed image specified from the photographed image of the examination kit 20 are displayed for the examination kit 20 placed in each of the areas A to D. ..
  • the remaining determination time (remaining time) until the expiration of the inspection time according to the type of the inspection kit 20 and the execution status (status) of the determination process are displayed, and the determination process is completed. If so, the determination result (AI determination result) is displayed.
  • the control unit 11 displays the stored information at the corresponding positions in the areas A to D of the examination result screen.
  • the control unit 11 stores (updates) the elapsed time in the inspection information DB 12d
  • the control unit 11 calculates the remaining determination time based on the elapsed time after the update and the inspection time of the inspection kit 20, and the calculated remaining time. Is displayed at the corresponding position in each area A to D on the inspection result screen. Further, the control unit 11 displays "waiting for kit" for the vacant area as the status information of each area A to D, and when the determination process is started, updates it to "determining" and performs the determination process. Update to "Result confirmation" when you finish.
  • the control unit 11 displays the inspection result (AI determination result) determined in step S25 at the corresponding positions in the areas A to D of the inspection result screen.
  • the status information is not limited to the above-mentioned example, and various information indicating the progress of the determination process, such as during acquisition of the patient ID and determination of the kit type, may be used.
  • the inspection result screen shown in FIG. 7A has a confirmation button for instructing confirmation of the displayed judgment result (judgment inspection result) and a correction (correction) of the judgment result in each of the areas A to D.
  • the confirm button and the correction button are displayed so that they can be operated when a judgment result is obtained, and the confirmation button and the correction button corresponding to the vacant area or the area under the judgment process are displayed so as not to be operated. ing.
  • the inspector confirms the determination area 22 of the inspection kit 20 placed in the areas A to D in the areas A to D where the determination process is completed and the status of "result confirmation" is displayed, and the inspection kit The inspection result according to 20 is visually judged.
  • the inspector operates the confirm button when his / her own judgment and the AI judgment result match, and operates the correction button when they do not match. Therefore, when the confirmation button is operated via the input unit 14 on the inspection result screen, the control unit 11 receives a confirmation instruction for the displayed determination result, and when the correction button is operated, the control unit 11 receives a correction instruction for the displayed determination result. Accept.
  • the control unit 11 determines whether or not a confirmation instruction for the determination result has been accepted (S26), and if it determines that the confirmation instruction has been accepted (S26: YES), determines the determination result and transmits the determination result to a predetermined device. (S27), the process for this area is terminated. For example, the control unit 11 associates the determination result with the patient ID of this patient and transmits the determination result from the communication unit 13 to the electronic medical record system via the network. The electronic medical record system adds the test result of each patient received from the test device 10 to the electronic medical record, whereby the test device 10 and the electronic medical record system can be linked.
  • the control unit 11 When it is determined that the confirmation instruction is not accepted (S26: NO), that is, when the correction instruction (correction instruction) is accepted, the control unit 11 superimposes the correction instruction on the result display screen and makes a correction as shown in FIG. 7B.
  • the reception screen is displayed (S28).
  • On the correction acceptance screen for example, as shown in FIG. 7B, each button (A type B type positive button, negative button, A type) for designating a correctable test result (correction content) for the judged test result is displayed. Only positive button, only B type positive button) and a cancel button to end the correction process are displayed.
  • the button of the determined inspection result may be displayed so as not to be selected.
  • the correction button for the area A is operated on the screen shown in FIG. 7A
  • the negative button is displayed so that the negative button cannot be selected on the screen shown in FIG. 7B. Therefore, the inspector operates the button corresponding to the content to be corrected when correcting the determination result, and operates the cancel button when the determination result is not corrected.
  • the control unit 11 When the cancel button is operated via the input unit 14 on the correction reception screen, the control unit 11 ends the display of the correction reception screen and returns to the display of the inspection result screen.
  • the control unit 11 receives the correction content (correction content) corresponding to the operated button (S29). That is, when the A-type B-type positive button is operated, the control unit 11 receives a correction instruction to the A-type B-type positive, and when the A-type only positive button is operated, the correction instruction to the A-type only positive. Accept.
  • the control unit 11 stores the received correction contents in the storage unit 12 in association with the latest captured image stored in the inspection information DB 12d and the type of the inspection kit 20 (for example, the kit type ID) (S30).
  • the corrected contents and captured images stored here can be used as teacher data (re-learning data) for re-learning the result discrimination model 12b corresponding to the type of the kit type ID.
  • the control unit 11 corrects the determination result to the received correction content (S31), determines the corrected determination result and transmits it to a predetermined device (for example, an electronic medical record system) (S27), and ends the processing for this area. To do.
  • the inspection device 10 of the present embodiment when the inspection kit 20 is mounted on the mounting surface 10b by the above-described processing, the inspection kit 20 is mounted and the areas A to D on which the inspection kit 20 is mounted are placed. Judge automatically. Further, the inspection device 10 automatically determines the patient ID corresponding to the inspection kit 20 mounted on the mounting surface 10b, the type of the inspection kit 20, and the inspection result by the inspection kit 20. Therefore, in the inspection using the inspection kit 20, it is possible to reduce the work load when an inspector such as a medical worker visually determines the inspection result.
  • the inspection kit 20 is sold by a plurality of manufacturers, and the usage method or the time required for the inspection differs for each inspection kit 20, and if the inspection is performed by the wrong usage method, accurate inspection results may not be obtained. There is.
  • the inspector may place the inspection kit 20 in any of the areas A to D of the mounting surface 10b, and the inspection time for each inspection kit 20 Alternatively, it is not necessary to accurately grasp the method of determining the inspection result, and the burden on the inspector can be reduced. Further, when the determination is made manually, there is a possibility that the inspection time for each inspection kit 20 or the determination method of the inspection result may be erroneous, but the inspection apparatus 10 of the present embodiment can avoid such an error and the inspection kit.
  • the inspection result according to 20 can be determined with high accuracy.
  • one inspection device 10 can determine the inspection results for the inspection kits 20 of a plurality of manufacturers and the inspection kits 20 of a plurality of types. Therefore, it can be expected to be particularly effective in medical institutions and the like that use the test kits 20 of a plurality of manufacturers and the test kits 20 of a plurality of types.
  • the inspection kit 20 is photographed at predetermined time intervals, and the inspection result is determined based on the obtained captured image. For example, the positive probability becomes a predetermined threshold value (for example, 80%) or more. At that point, you will be notified that the test result is positive. Therefore, if the positive probability becomes equal to or higher than a predetermined threshold value before the test time according to the test kit 20 elapses, the test result can be notified at an early stage without waiting for the elapse of the test time. Therefore, even when there are a large number of test targets such as during an influenza epidemic, it is possible to accurately and quickly determine the test results for a large number of test targets. In particular, it is possible to notify the test result to the subject who has a positive test result at an early stage, and it is expected that the waiting time at the medical institution will be alleviated.
  • a predetermined threshold value for example, 80%
  • the determination result can be corrected via the inspection result screen. Therefore, when the inspection result automatically determined by the inspection device 10 is incorrect, it can be corrected to, for example, the correct inspection result input by the inspector. Further, the result discrimination model 12b can be relearned by using the corrected inspection result and the captured image, and in this case, a more accurate result discrimination model 12b can be realized.
  • the result discrimination model 12b is re-learned, for example, a learning device managed by the manufacturer collects the inspection results and captured images (teacher data for re-learning) corrected by each inspection device 10, and the collected re-learning. The result discrimination model 12b is retrained using the teacher data for.
  • the result discrimination model 12b in each inspection device 10 can be updated, and each inspection device 10 can use the result discrimination model 12b with higher accuracy. Can be used.
  • the type of the inspection kit 20 discriminated by using the type discriminating model 12a may be configured so that it can be corrected when an error is made. In this case, the type discriminating model 12a can be relearned.
  • the mounting surface 10b of the inspection device 10 is provided with a dividing line 10c for clearly indicating the boundary between the areas A to D, but the dividing line 10c is not always necessary.
  • the inspection device 10 specifies the mounting position of each inspection kit 20 and performs each process in association with the specified position.
  • the determination process for the inspection kit 20 placed at an arbitrary position can be performed.
  • the type discrimination model 12a is configured by R-CNN, the type discrimination model 12a that extracts the region of the inspection kit 20 and discriminates the type of the inspection kit 20 from the input captured image can be realized.
  • the present embodiment is configured to discriminate the inspection result by the inspection kit 20 by using one type discrimination model 12a and the result discrimination model 12b for each type (plural result discrimination models 12b), but is not limited to this configuration. ..
  • the result discrimination model may be trained so as to discriminate the inspection result by the inspection kit 20 without discriminating the type of the inspection kit 20 in the captured image.
  • one result determination model can be used to determine the inspection result by the inspection kit 20 in the input captured image.
  • the subject corresponding to the inspection kit 20 can be identified by reading the code 23 of the inspection kit 20 mounted on the mounting surface 10b, so that the determined inspection result is linked with the electronic medical record system. be able to.
  • the inspection device 10 does not have to have a configuration for identifying the subject. That is, the inspection device 10 may be configured to determine and notify the type of the inspection kit 20 and the inspection result when the inspection kit 20 is mounted on the mounting surface 10b. In this case, for example, the inspector may associate each inspection kit 20 with each subject.
  • the determination result (positive test result) is determined and the test is performed as an AI determination result. It is displayed on the result screen.
  • a predetermined threshold 80% or more
  • the judgment result (positive test result) is confirmed and displayed on the test result screen, while the positive probability is 80% or more and less than 90%.
  • a message for example, "confirmation required" prompting the inspector to confirm the determination result may be displayed together with the determination result (a positive test result).
  • FIG. 8 is a schematic view showing a configuration example of the inspection system of the second embodiment.
  • the inspection system of the present embodiment acquires the captured images of the inspection kit 20 from the plurality of user terminals 40 and the user terminals 40, determines the inspection result by the inspection kit 20 based on the captured images, and notifies the user terminal 40.
  • Each of the server 30 and the user terminal 40 is configured to be able to connect to a network N such as the Internet, and transmits / receives information via the network N.
  • the server 30 is an information processing device managed by a trader or the like that operates the inspection system of the present embodiment, and is composed of a server computer, a personal computer, or the like.
  • a plurality of servers 30 may be provided, may be realized by a plurality of virtual machines provided in one server, or may be realized by using a cloud server.
  • the user terminal 40 is a tablet terminal, a smartphone, a personal computer, or the like.
  • the user terminal 40 performs various information processing such as a process of photographing the inspection kit 20 according to an operation by the user and a process of transmitting the obtained photographed image to the server 30.
  • the server 30 performs various information processing such as a process of determining the inspection result by the inspection kit 20 in the captured image and a process of transmitting the determination result to the user terminal 40 based on the captured image received from the user terminal 40. ..
  • FIG. 9 is a block diagram showing a configuration example of the inspection system of the second embodiment.
  • the user terminal 40 includes a control unit 41, a storage unit 42, a communication unit 43, an input unit 44, a display unit 45, a camera 46, and the like, and each of these units is connected to each other via a bus.
  • the control unit 41 includes one or more processors such as a CPU, MPU or GPU.
  • the control unit 41 appropriately executes the control program 42P stored in the storage unit 42 to perform various information processing, control processing, and the like that the user terminal 40 should perform.
  • the storage unit 42 includes a RAM, a flash memory, a hard disk, an SSD, and the like.
  • the storage unit 42 stores in advance various data and the like necessary for executing the control program 42P and the control program 42P executed by the control unit 41. Further, the storage unit 42 temporarily stores data or the like generated when the control unit 41 executes the control program 42P. Further, the storage unit 42 stores an inspection result determination application program (inspection result determination application) 42a for inquiring the server 30 about the inspection result by the inspection kit 20 in the captured image based on the captured image of the inspection kit 20.
  • inspection result determination application program inspection result determination application
  • the communication unit 43 is an interface for connecting to the network N by wired communication or wireless communication.
  • the input unit 44 receives an operation input by the user and sends a control signal corresponding to the operation content to the control unit 41.
  • the display unit 45 is a liquid crystal display, an organic EL display, or the like, and displays various information according to instructions from the control unit 41.
  • the input unit 44 and the display unit 45 may be a touch panel integrally configured.
  • the camera 46 takes a picture according to the instruction from the control unit 41, and sequentially sends the acquired image data (taken image) to the control unit 41.
  • control program and data stored in the storage unit 42 may be downloaded by the control unit 41 from an external device via the network N via the communication unit 43 and stored in the storage unit 42.
  • the control unit 41 reads and stores the control program and data from the portable storage medium via the reading unit. It may be stored in the part 42.
  • the server 30 includes a control unit 31, a storage unit 32, a communication unit 33, an input unit 34, a display unit 35, a reading unit 36, and the like, and these units are connected to each other via a bus.
  • the control unit 31 includes one or more processors such as a CPU, MPU or GPU. By appropriately executing the control program 32P stored in the storage unit 32, the control unit 31 causes the server 30 to perform various information processing, control processing, and the like that should be performed by the information processing apparatus of the present disclosure.
  • the storage unit 32 includes a RAM, a flash memory, a hard disk, an SSD, and the like. The storage unit 32 stores in advance various data and the like necessary for executing the control program 32P and the control program 32P executed by the control unit 31.
  • the storage unit 32 temporarily stores data or the like generated when the control unit 31 executes the control program 32P. Further, the storage unit 32 stores the type discrimination model 12a and the result discrimination model 32a similar to the type discrimination model 12a and the result discrimination model 12b of the first embodiment, and the kit information DB 32c similar to the kit information DB 12c of the first embodiment. I remember. Also in the server 30 of the present embodiment, the result discrimination model 32b is provided for each type (type) of the inspection kit 20 to be discriminated by the type discriminating model 32a. Further, the kit information DB 32c may be stored in an external storage device connected to the server 30, or may be stored in an external storage device that the server 30 can communicate with via the network N. In this embodiment, the kit information DB 32c does not have to be stored in the storage unit 32 of the server 30.
  • the communication unit 33 is an interface for connecting to the network N by wired communication or wireless communication.
  • the input unit 34 receives an operation input by the user and sends a control signal corresponding to the operation content to the control unit 31.
  • the display unit 35 is a liquid crystal display, an organic EL display, or the like, and displays various information according to instructions from the control unit 31.
  • the input unit 34 and the display unit 35 may be a touch panel integrally configured.
  • the reading unit 36 reads the information stored in the portable storage medium 3a.
  • the control program and data stored in the storage unit 32 may be read from the portable storage medium 3a by the control unit 31 via the reading unit 36 and stored in the storage unit 32. Further, the control unit 31 may download the control program and data from the external device via the network N via the communication unit 33 and store them in the storage unit 32. Further, the control unit 31 may read the control program and data from the semiconductor memory 3b.
  • FIG. 10 is a flowchart showing an example of the determination processing procedure by the server 30 of the second embodiment
  • FIGS. 11A to 11D are schematic views showing a screen example.
  • the processing performed by the user terminal 40 is shown on the left side
  • the processing performed by the server 30 is shown on the right side.
  • a user examinee who wants to perform an inspection using the inspection kit 20 collects an inspected object at, for example, at home or the like, and drops the inspected object into the dropping area 21 of the inspection kit 20.
  • the subject himself or his family collects the subject's nasal swab, pharyngeal swab, runny nose, urine, saliva, etc., and drops the test kit 20. Drop into region 21. Then, the user waits for the inspection time (time required for the inspection) described in the instruction manual of the inspection kit 20, for example, or after the inspection end line appears in the determination area 22 of the inspection kit 20, the user terminal 40 is used.
  • the test result determination application 42a is activated by using the test result determination application 42a. If the user does not know the inspection time or the appearance of the inspection end line, the user may start the inspection result determination application 42a at an arbitrary timing after dropping the object to be inspected into the dropping area 21. Good.
  • the control unit 41 of the user terminal 40 activates the camera 46 (S41) and starts shooting a moving image by the camera 46.
  • the control unit 41 displays a guidance screen as shown in FIG. 11A on the display unit 45 (S42).
  • the guidance screen displays a message for guiding the shooting (shooting of a still image) of the determination area 22 (determination line and inspection end line) of the inspection kit 20.
  • the guidance screen has an image field for displaying images (moving images and still images) captured by the camera 46, and a photographing button for instructing photographing of the still images.
  • the control unit 41 sequentially displays the moving images acquired by the camera 46 in the image field in the guidance screen, and the user confirms the moving image displayed in the image field and the input unit is in a state where the upper surface of the inspection kit 20 can be photographed.
  • the shooting button is operated via 44.
  • the control unit 41 When the shooting button is operated on the guidance screen, the control unit 41 receives the shooting instruction of the still image by the camera 46 and acquires the shot image (still image) of the upper surface of the inspection kit 20. Therefore, the control unit 41 determines whether or not the shooting instruction for the still image has been received via the guidance screen (S43), and if it determines that the shooting instruction has not been received (S43: NO), the guidance screen is displayed. Continue to display.
  • the control unit 41 shoots the still image with the camera 46 and acquires the shot image of the upper surface of the inspection kit 20 (S44). As shown in FIG. 11B, the control unit 41 displays the acquired captured image (still image) in the image column in the guidance screen (S45).
  • the guidance screen shown in FIG. 11B displays a photographed image (still image) of the inspection kit 20 and displays a message asking whether or not to transmit the displayed photographed image to the server 30. Further, the guidance screen has a transmission button for instructing the transmission of the captured image and a retake button for instructing the retaken of the captured image of the inspection kit 20.
  • the control unit 41 determines whether or not the transmission instruction of the captured image has been accepted via the guidance screen (S46), and when it determines that the transmission instruction has not been accepted (S46: NO), that is, the shooting.
  • the process returns to the process of step S42, and the display returns to the guidance screen shown in FIG. 11A.
  • control unit 41 When it is determined that the transmission instruction of the captured image has been accepted (S46: YES), the control unit 41 transmits the captured image displayed in the image column to the server 30 (S47). The control unit 41 transmits information (for example, destination information) of its own user terminal 40 to the server 30 together with the captured image.
  • information for example, destination information
  • the control unit 31 (image acquisition unit) of the server 30 receives the captured image of the inspection kit 20 from the user terminal 40, and determines the type of the inspection kit 20 in the received captured image using the type discrimination model 32a ( S48).
  • the control unit 31 inputs the captured image into the type discrimination model 32a, and based on the output information from the type discrimination model 32a, the type of the inspection kit 20 in the captured image. To identify.
  • the control unit 31 (judgment unit) specifies the result determination model 32b according to the specified type, and uses the specified result determination model 32b to inspect the received captured image.
  • the inspection result by the kit 20 is determined (S49).
  • the control unit 31 inputs the captured image into the result discrimination model 32b, and inspects the captured image by the inspection kit 20 based on the output information from the result discrimination model 32b. Determine if the result is positive or negative. Specifically, the control unit 31 acquires the probability (positive probability) that the test result should be determined to be positive.
  • the control unit 31 determines whether or not the acquired positive probability is equal to or higher than a predetermined threshold value (for example, 80% or higher) (S50). When it is determined that the threshold value is equal to or higher than the threshold value (S50: YES), the control unit 31 (output unit) transmits the determination result (here, a positive test result) to the user terminal 40 (S51). The control unit 31 transmits a determination result (inspection result) to the user terminal 40 using the information (destination information) of the user terminal 40 received from the user terminal 40 together with the captured image. On the other hand, when it is determined that the acquired positive probability is less than a predetermined threshold value (S50: NO), the control unit 31 (output unit) transmits a negative test result to the user terminal 40 (S52).
  • a predetermined threshold value for example, 80% or higher
  • FIG. 11C shows a display example of the test result determined to be positive by the server 30, and FIG. 11D shows a display example of the test result determined to be negative by the server 30.
  • the user of the user terminal 40 can acquire the inspection result by the inspection kit 20 taken by himself / herself from the server 30. Therefore, in the present embodiment, when the inspection kit 20 is used at home for inspection, the server 30 can determine the inspection result by the inspection kit 20. Therefore, the user does not need to know how to use the test kit 20, and the test kit 20 can be used more easily.
  • the control unit 41 receives the test kit 20 from the server 30. You may link the test result by the above to the health management application. In this case, the user can grasp the test result by the test kit 20 through the health management application that he / she is accustomed to, which improves convenience.
  • the result discrimination model 32b cannot be determined in addition to the probability that the test result should be determined to be positive (negative probability) and the probability that the test result should be determined to be negative (negative probability). It can also be configured to output the power probability (undecidable probability).
  • the result determination model 32b may be trained so that a high value is output as the probability that the determination cannot be made for the captured image of the inspection kit 20 in the state where the inspection end line does not appear.
  • the server 30 not only determines that the test result is positive or negative based on the positive probability and the negative probability, but also determines that the undecidable probability is equal to or higher than a predetermined threshold value (for example, 50% or higher).
  • the user terminal 40 may be configured to request the user terminal 40 to retransmit the captured image of 20.
  • the user terminal 40 requested to resend the captured image returns to the display of the guidance screen shown in FIG. 11A, for example, acquires the captured image of the inspection kit 20 again and transmits it to the server 30, and the server 30 receives the captured image.
  • the inspection result can be determined again based on. As a result, for example, even if the timing at which the inspection kit 20 is first photographed is before the lapse of the inspection time, or the captured image is an image whose inspection result cannot be determined, the image captured again. Can be used to determine the test result and notify the user of the accurate test result of the test kit 20.
  • the user terminal 40 of the present embodiment may be configured to automatically capture the still image of the inspection kit 20 instead of acquiring the still image of the inspection kit 20 based on the operation by the user. That is, even if the user terminal 40 is configured to automatically acquire the still image of the inspection kit 20 at the timing when a high-precision still image can be taken when the moving image of the inspection kit 20 is being photographed by the camera 46. Good. In this case, the user can acquire the still image of the inspection kit 20 with high accuracy only by holding the user terminal 40 over the upper surface of the inspection kit 20 (taking a moving image of the inspection kit 20 with the camera 46). Therefore, the user does not need to operate the shooting button in the guidance screen shown in FIG. 11A, for example, and the operability of the user is further improved.
  • the user terminal 40 may be a terminal used by the inspector at a medical institution or the like, in addition to the terminal of the subject or the subject's family or the like.
  • one server 30 is installed in one medical institution, and an inspector in this medical institution takes a picture of the test kit 20 using the user terminal 40 and sends the photographed image to the server 30 from the server 30. It can be configured to acquire the determination result.
  • the test is performed at each test place (for example, the examination room or treatment room of each clinical department).
  • an accurate inspection result by the inspection kit 20 can be obtained.
  • a server 30 is prepared on the network N, and inspectors of a plurality of medical institutions take a picture of the test kit 20 using the user terminal 40 and send the photographed image to the server 30, and the determination result from the server 30. It may be configured to acquire. In this case, one server 30 can be shared by examiners in a plurality of medical institutions. Further, even when a new type of inspection kit 20 is sold, the type determination model 32a and the result determination model 32b can be updated on the administrator side that manages the server 30. Therefore, the medical institution can obtain the determination result using the latest type discrimination model 32a and the result discrimination model 32b without updating the discrimination models 32a and 32b.
  • FIG. 12 is a flowchart showing an example of the determination processing procedure by the server 30 of the third embodiment
  • FIGS. 13A and 13B are schematic views showing a screen example. The process shown in FIG. 12 is obtained by adding steps S61 to S65 after step S53 in the process shown in FIG. The same steps as in FIG. 10 will be omitted. Further, in FIG. 12, the illustration of steps S41 to S52 in FIG. 10 is omitted.
  • the control unit 41 of the user terminal 40 performs the processing of steps S41 to S47, and the control unit 31 of the server 30 performs the processing of steps S48 to S52.
  • the server 30 determines the inspection result by the inspection kit 20 based on the photographed image of the inspection kit 20 taken by the user terminal 40, and transmits the determined result to the user terminal 40.
  • the control unit 41 of the user terminal 40 displays the determination result (inspection result) received from the server 30 on the display unit 45 (S53).
  • the control unit 31 determines that the test result by the test kit 20 is positive, specifically, when the positive probability is determined to be equal to or higher than a predetermined threshold value, as shown in FIG.
  • FIG. 13A Generates an inspection result screen and sends it to the user terminal 40.
  • the user terminal 40 displays the inspection result screen as shown in FIG. 13A on the display unit 45.
  • the test result screen shown in FIG. 13A displays a message notifying that the test result by the test kit 20 is determined to be positive, and a photographed image of the test kit 20 used for determining the test result.
  • the control unit 31 of the server 30 determines that the test result by the test kit 20 is negative
  • the control unit 31 generates a test result screen notifying that the test result is negative and transmits it to the user terminal 40. ..
  • the inspection result screen has a correction button for instructing the correction (correction) of the notified determination result and an end button for instructing the termination of the inspection result determination application 42a. Therefore, the user visually judges the inspection result in the judgment area 22 (judgment line) of the inspection kit 20 used for the inspection, and whether or not his / her own judgment matches the judgment result notified on the inspection result screen. To judge. Then, the user operates the end button when his / her own judgment and the notified judgment result match, and operates the correction button when they do not match.
  • the control unit 41 receives a correction instruction for the notified determination result when the correction button is operated via the input unit 44 on the inspection result screen, and when the end button is operated, the end instruction of the inspection result determination application 42a. Accept.
  • the control unit 41 determines whether or not the correction instruction for the determination result has been accepted (S61), and when it is determined that the correction instruction has been accepted (S61: YES), for example, the correction acceptance screen as shown in FIG. 13B is displayed. It is displayed on the unit 45 (S62).
  • the correction acceptance screen for example, when the judgment result is type A positive, as shown in FIG. 13B, each button (type A type B positive) for designating a correctable test result (correction content) for the judgment result is displayed. Button, negative button, positive button only for type B) and a cancel button to end the correction process are displayed. Therefore, the user operates the button corresponding to the content to be corrected when correcting the determination result, and operates the cancel button when not correcting the determination result.
  • the control unit 41 When the cancel button is operated via the input unit 44 on the correction reception screen, the control unit 41 ends the display of the correction reception screen and returns to the display of the inspection result screen.
  • the control unit 41 receives the correction content corresponding to the operated button (S63). That is, for example, when the A-type B-type positive button is operated, the control unit 41 receives a correction instruction to the A-type B-type positive.
  • the control unit 41 associates the received correction content with the captured image of the inspection kit 20 displayed on the inspection result screen and transmits it to the server 30 (S64).
  • control unit 31 of the server 30 When the control unit 31 of the server 30 receives the correction content and the captured image from the user terminal 40, the control unit 31 associates the received correction content and the captured image with each other, stores the corrected content and the captured image in, for example, the storage unit 32 (S65), and ends the process.
  • control unit 41 determines that the correction instruction for the determination result is not received via the inspection result screen (S61: NO), that is, when the end instruction of the inspection result determination application 42a is received, steps S62 to S62 to The process of S64 is skipped and the process ends.
  • the correction content and the captured image stored in the server 30 can be used as teacher data (re-learning data) for re-learning the result determination model 32b corresponding to the type of the inspection kit 20 in the captured image.
  • control unit 31 of the server 30 uses the type discrimination model 32a to determine the type of the inspection kit 20 in the captured image of the re-learning data, and the result discrimination model 32b corresponding to the determined type is used.
  • the photographed image of the re-learning data and the inspection result indicated by the corrected content can be re-learned as teacher data.
  • a result discrimination model 32b capable of discriminating the inspection result by the inspection kit 20 with higher accuracy.
  • the server 30 can acquire the correct inspection result from the user terminal 40. Therefore, the server 30 can acquire the correct test result and the photographed image of the test kit 20 from the user terminal 40, and can collect the teacher data for re-learning the result discrimination model 32b. Further, when the result discrimination model 32b is relearned using the collected teacher data, a more accurate result discrimination model 12b can be realized.
  • FIG. 14 is a flowchart showing an example of the determination processing procedure by the server 30 of the fourth embodiment.
  • steps S71 to S72 are added instead of step S47 in the process shown in FIG. 10, and step S73 is added after step S51.
  • step S51 The same steps as in FIG. 10 will be omitted.
  • FIG. 14 the illustration of steps S41 to S45 in FIG. 10 is omitted.
  • the control unit 41 of the user terminal 40 performs the processes of steps S41 to S46. Then, when the control unit 41 of the user terminal 40 determines that the transmission instruction of the captured image has been received via the guidance screen (S46: YES), the control unit 41 acquires the position information indicating the current position of its own user terminal 40 (S71). ). For example, when the user terminal 40 has a GPS antenna that receives radio waves transmitted from a GPS (Global Positioning System) satellite, the control unit 41 acquires the current position based on the radio waves received via the GPS antenna. Further, for example, the control unit 41 may acquire the position information by input from the user via the input unit 44.
  • GPS Global Positioning System
  • control unit 41 displays a selection screen for selecting one of the prefectures in Japan, or one of the regions such as the Tohoku region, the Kanto region, and the Kinki region on the display unit 45, and displays the selection screen. It may be configured to accept the selection of location information via.
  • the method of acquiring the current position is not limited to these methods.
  • the control unit 41 associates the acquired position information with the captured image displayed on the guidance screen and transmits it to the server 30 (S72).
  • the control unit 31 (position acquisition unit) of the server 30 receives the position information and the captured image from the user terminal 40, and performs the processes of steps S48 to S52 based on the received captured image. As a result, the inspection result determined by the server 30 based on the captured image of the inspection kit 20 captured by the user terminal 40 can be transmitted to the user terminal 40. Then, the control unit 41 of the user terminal 40 displays the determination result (inspection result) received from the server 30 (S53).
  • the control unit 31 (counting unit) identifies the area including the position indicated by the position information based on the position information received from the user terminal 40 after the processing of step S51. 1 is added to the number of positives corresponding to the specified area (S73). That is, when a positive test result is generated, the server 30 counts the number of positives (number of onsets) for each area (location information) of the user terminal 40.
  • the region may be, for example, a prefecture in Japan, or may be a region such as the Tohoku region, the Kanto region, or the Kinki region.
  • the control unit 31 stores, for example, the number of positives corresponding to each of the plurality of preset regions in the storage unit 32, and by adding 1 to the number of positives in each region stored in the storage unit 32, for example. , Count the number of positives for each region.
  • the control unit 31 may count the number of positives in each region for each date, or may count the number of positives in each region for each predetermined time zone in the day.
  • the same effect as that of the second embodiment can be obtained in the present embodiment as well. Further, in the present embodiment, the number (positive number) that the server 30 determines that the test result is positive based on the captured image received from the user terminal 40 can be counted for each region. Further, the configuration of the present embodiment can be applied to the inspection system of the third embodiment, and the same effect can be obtained even when applied to the inspection system of the third embodiment.
  • FIG. 15 is a flowchart showing an example of the determination processing procedure by the inspection device 10 of the fifth embodiment.
  • the process shown in FIG. 15 is a process in which step S81 is added between steps S17 and S18 in the processes shown in FIGS. 5 and 6. The same steps as in FIGS. 5 and 6 will be omitted. Further, in FIG. 15, the illustration of each step in FIG. 6 is omitted.
  • control unit 11 of the inspection device 10 performs the processes of steps S11 to S17 in the same manner as in the first embodiment. Then, in the inspection device 10 of the present embodiment, the control unit 11 adds 1 to the number of used inspection kits 20 corresponding to the type of the inspection kit 20 determined in step S17 (S81). As a result, the number of used inspection kits 20 whose inspection results are determined by the inspection apparatus 10 can be counted for each type.
  • the control unit 11 stores, for example, the number of uses corresponding to each type of the inspection kit 20 in the storage unit 12, and by adding 1 to the number of each type of use stored in the storage unit 12. Count the number of uses for each type.
  • control unit 11 may count the number of uses for each type for each date, or may count the number of uses for each type for each predetermined period such as one week or one month. After the process of step S81, the control unit 11 performs the processes of step S18 and subsequent steps in the same manner as in the first embodiment.
  • the same effect as that of the first embodiment can be obtained in the present embodiment as well.
  • the number of used inspection kits 20 for which the inspection apparatus 10 has determined the inspection result can be counted for each type. Therefore, since the actual number of inspection kits 20 used for each type can be grasped, the inventory management of the inspection kit 20 becomes easy, and the number of purchases to be purchased next becomes easy. Further, since the inventory quantity of each inspection kit 20 can be grasped, for example, when the inventory quantity becomes less than a predetermined quantity, the inspection apparatus 10 can be provided with a function of automatically ordering from the manufacturer of the selling source.
  • the configuration of this embodiment can also be applied to the inspection systems of embodiments 2 to 4.
  • the number of inspection kits 20 used by the subject at home or the like can be counted for each type. Therefore, for example, the share of each manufacturer can be grasped.
  • each manufacturer can appropriately determine the number of inspection kits 20 to be manufactured next based on the number of uses for each type, and can suppress the occurrence of excessive inventory.
  • FIG. 16 is a flowchart showing an example of the determination processing procedure by the server 30 of the sixth embodiment. In the process shown in FIG.
  • step S91 is added between steps S48 and S49, and steps S92 to S93 are added between steps S49 and S50 in the process shown in FIG.
  • steps S41 to S46 in FIG. 10 is omitted.
  • the control unit 41 of the user terminal 40 performs the processing of steps S41 to S47, and the control unit 31 of the server 30 performs the processing of step S48.
  • the control unit 31 acquires information (expiration date information) regarding the expiration date of the inspection kit 20 in the photographed image from the photographed image received from the user terminal 40.
  • the expiration date information (date of expiration date) may be printed on the upper surface of each inspection kit 20, and the control unit 31 may read the expiration date information from the captured image.
  • the control unit 31 may acquire the expiration date information from the information of the code 23 read from the captured image.
  • kit information such as the product number or lot number of the inspection kit 20 is printed on the upper surface of each inspection kit 20, and the control unit 31 reads the kit information from the captured image and the expiration date corresponding to the read kit information. May be specified.
  • the expiration date information corresponding to the kit information of the inspection kit 20 is stored in the storage unit 32 in advance.
  • the kit information may be included in the code 23 of each inspection kit 20, the kit information may be acquired from the information of the code 23 read from the captured image, and the expiration date information corresponding to the acquired kit information may be acquired.
  • the control unit 31 of the server 30 After acquiring the expiration date information, the control unit 31 of the server 30 performs the process of step S49 and determines the inspection result by the inspection kit 20 in the received captured image. Then, the control unit 31 (determination unit) determines whether or not the expiration date has passed based on the expiration date information acquired in step S91 (S92). For example, the control unit 31 compares the current date and time at this point with the expiration date, and determines whether or not the expiration date has passed. Further, the control unit 31 may compare the reception date and time when the captured image is received from the user terminal 40 with the expiration date, and determine whether or not the expiration date has passed, and the captured image received from the user terminal 40 may be used. When the information on the shooting date and time is included, the shooting date and time may be compared with the expiration date to determine whether or not the expiration date has passed.
  • control unit 31 determines that the expiration date has passed (S92: YES)
  • the control unit 31 generates a message (expiration date notification information) for notifying that the expiration date has passed (S93). If it is determined that the expiration date has not passed (S92: NO), the control unit 31 skips the process of step S93. Then, the control unit 31 determines whether or not the positive probability acquired in step S49 is equal to or greater than a predetermined threshold value (S50), and if it determines that the positive probability is equal to or greater than the threshold value (S50: YES), determines a positive test result. , Is transmitted to the user terminal 40 together with the message (deadline notification information) generated in step S93 (S51).
  • control unit 31 determines that the positive probability is less than a predetermined threshold value (S50: NO)
  • the control unit 31 transmits a negative test result to the user terminal 40 together with the message (deadline notification information) generated in step S93 (S). S52).
  • the control unit 41 of the user terminal 40 displays a determination result (inspection result) by the server 30 and a message notifying that the expiration date has passed (S53). Therefore, when the user mistakenly uses the inspection kit 20 whose expiration date has passed, the server 30 can notify the user (subject) to that effect. Therefore, the user can perform the inspection again using the inspection kit 20 whose expiration date has not passed, and can obtain an accurate inspection result.
  • the same effect as that of the second embodiment can be obtained in the present embodiment as well. Further, in the present embodiment, it can be confirmed that the expiration date of the inspection kit 20 has not passed based on the captured image received by the server 30 from the user terminal 40. Further, when the expiration date has passed, the server 30 notifies the user terminal 40 that the expiration date has passed, so that the user has used the inspection kit 20 whose expiration date has passed. Can be grasped. Further, the configuration of this embodiment can be applied to the inspection systems of embodiments 3 to 4, and the same effect can be obtained even when applied to the inspection systems of embodiments 3 to 4.
  • FIG. 17 is a flowchart showing an example of the determination processing procedure by the server 30 of the seventh embodiment.
  • the process shown in FIG. 17 is a process in which step S101 is added before step S51 in the process shown in FIG.
  • the same steps as in FIG. 10 will be omitted.
  • the illustration of steps S41 to S46 in FIG. 10 is omitted.
  • the control unit 41 of the user terminal 40 performs the processing of steps S41 to S47, and the control unit 31 of the server 30 performs the processing of steps S48 to S50.
  • the control unit 31 determines that the acquired positive probability is equal to or higher than a predetermined threshold value (S50: YES)
  • the control unit 31 can treat the disease determined to be positive.
  • Generate information medical institution information, referral information
  • the storage unit 32 of the server 30 stores information on a medical institution or clinical department capable of treating each disease according to the type of the test kit 20 or the test object by the test kit 20.
  • control unit 31 reads out the information of the medical institution or the clinical department corresponding to the type of the test kit 20 determined in step S48 from the storage unit 32. Then, the control unit 31 collectively transmits the read information of the medical institution or clinical department and the determined test result (here, a positive test result) to the user terminal 40 (S51). As a result, the control unit 41 of the user terminal 40 displays information on the medical institution or clinical department that can be treated together with the determination result (examination result) by the server 30 (S53).
  • the information provided to the user of the user terminal 40 may include information on over-the-counter drugs or pharmacies in addition to information on medical institutions or clinical departments.
  • the server 30 determines that the test result is positive based on the captured image received from the user terminal 40, the user (subject) is informed of the medical institution or clinical department, or a commercially available drug. Alternatively, it is possible to provide information on pharmacies and propose to see a medical institution or take over-the-counter medicine. Further, the configuration of the present embodiment can be applied to the inspection systems of the third to fourth and sixth embodiments, and the same effect can be obtained even when applied to the inspection systems of the third to fourth and sixth embodiments.
  • the output layer of the type discrimination model 12a is provided with an output node that outputs a probability that it should be judged that it cannot be discriminated (cannot be discriminated) in any of the discriminating target types.
  • the type discrimination model 12a of the present embodiment determines which of the types of the test kit 20 trained as the discrimination target, or cannot discriminate (cannot be discriminated) by the type of the discrimination target. It is configured.
  • the output layer has a number of nodes obtained by adding 1 to the number of types to be discriminated, and one node is subject to discrimination by the type of the inspection kit 20 in the input captured image. Outputs the probability that it should be judged that it is not a type.
  • FIGS. 18 and 19 are flowcharts showing an example of the determination processing procedure by the inspection device 10 of the eighth embodiment.
  • the processes shown in FIGS. 18 and 19 are obtained by adding steps S111 to S113 between steps S17 and S18 in the processes shown in FIGS. 5 and 6. The same steps as in FIGS. 5 and 6 will be omitted.
  • the control unit 11 of the inspection device 10 performs the processes of steps S11 to S17 in the same manner as in the first embodiment.
  • the type discrimination model 12a of the present embodiment determines whether the type of the inspection kit 20 in the captured image is the type of the discrimination target or the discrimination is impossible.
  • the control unit 11 determines whether or not the type of the inspection kit 20 in the captured image can be determined (determinable) as to which of the discrimination target types. (S111). If it is determined that the determination has been made (S111: YES), the control unit 11 performs the processes after step S18.
  • the control unit 11 displays an error message indicating that the determination cannot be made on the display unit 15 and notifies the error (S112). For example, the control unit 11 displays an error message such as "type cannot be determined” as the status information of the display area corresponding to the inspection kit 20 to be determined on the inspection result screen displayed on the display unit 15. Further, the control unit 11 may not only display an error message but also notify the occurrence of an error by turning on or blinking the notification light 16, and when the inspection device 10 has a voice output device, the control unit 11 may notify the occurrence of an error. The occurrence of an error may be notified by voice output from the output device.
  • the control unit 11 determines whether or not the input of the inspection result has been accepted for the inspection kit 20 that has given the error notification (S113), and if it determines that the input of the inspection result has not been accepted (S113: NO), an error occurs.
  • the notification is continued (S112). Note that, for example, when the end of the error notification is instructed via the input unit 14, the control unit 11 may end the error notification.
  • control unit 11 proceeds to the process of step S27 and transmits the input inspection result to a predetermined device (for example, an electronic medical record system) (S27). , End the processing for this area.
  • a predetermined device for example, an electronic medical record system
  • the inspection result can be input manually by the inspector, and the inspection result can be registered in the electronic medical record system.
  • the inspection kit 20 a new type of kit is sold every day.
  • the inspection result can be automatically determined for the inspection kit 20 that has already been learned by the type discrimination model 12a, and the inspection result can be visually determined by the inspector for the inspection kit 20 that has not been learned. I do. Therefore, the inspector only needs to visually determine the inspection result for the inspection kit 20 of the type that has not been learned by the type discrimination model 12a, and the burden on the inspector when performing the inspection can be reduced.
  • the configuration of this embodiment can also be applied to the inspection device 10 of the fifth embodiment and the inspection system of the second to fourth, sixth to seventh embodiments.
  • the inspection kit 20 in the captured image by the server 30 using the type discrimination model 32a based on the captured image received from the user terminal 40. If it is possible to determine which of the types to be discriminated, the result discriminating model 32b of the discriminated type is used to determine the inspection result by the inspection kit 20 in the captured image.
  • the server 30 sends an error message indicating that the determination cannot be made to the user terminal 40 to notify the user terminal. As a result, the server 30 can notify the user of the user terminal 40 that the inspection result by the inspection kit 20 in the captured image transmitted from the user is not only positive or negative but also indistinguishable.
  • the inspection device 10 or the server 30 when the inspection is performed using the inspection kit 20, the inspection device 10 or the server 30 accurately determines the inspection result by the inspection kit 20.
  • a manufacturer can use the inspection device 10 or the server 30 for a quality inspection performed before shipping the inspection kit 20.
  • the inspection kit 20 before shipment is photographed, the type of the inspection kit 20 in the photographed image is determined using the type discrimination models 12a and 32a, and the product is either passed or rejected depending on whether or not it can be appropriately determined. It can be determined. Therefore, by automatically performing the quality inspection conventionally performed visually using the inspection device 10 or the server 30, it is possible to efficiently perform the quality inspection and provide the inspection kit 20 with less variation in quality.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Hematology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Urology & Nephrology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Molecular Biology (AREA)
  • Cell Biology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Microbiology (AREA)
  • Theoretical Computer Science (AREA)
  • Biotechnology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

イムノクロマト法を用いて被検査物を検出する検査キットを使用した検査において、医療従事者等の作業負担を軽減することが可能なプログラム等を提供する。検査装置は、イムノクロマト法を用いて被検査物を検査する検査キットを撮影した撮影画像を取得する。検査装置は、検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットによる検査結果に係る情報を出力するように深層学習された結果判別用の学習済みモデルに、取得した撮影画像を入力する。そして検査装置は、結果判別用の学習済みモデルから出力された情報に基づいて、取得した撮影画像中の検査キットによる検査結果を判定し、判定した検査結果を出力する。

Description

プログラム、検査装置、情報処理装置及び情報処理方法
 本開示は、プログラム、検査装置、情報処理装置及び情報処理方法に関する。
 近年、医療現場では、医療従事者が被検者の傍らで行うPOCT(Point of care testing:臨床現場即時検査)と呼ばれる臨床検査が普及している。POCTでは、例えば毛細管現象を利用した免疫測定法であるイムノクロマト法を用いて検査対象物の有無を検査する検査キットが使用されている(例えば特許文献1参照)。イムノクロマト法を用いた検査キットは、インフルエンザウイルス、ノロウイルス、肺炎球菌、アデノウイルス等、検査対象物毎に用意されており、検査したい項目(検査対象物)に応じた検査キットを用いることにより、種々の検査を行うことができる。イムノクロマト法を用いた検査キットでは、被検者から採取した被検査物(検体)を所定の滴下領域に滴下し、所定の検査時間が経過した後に、判定ラインの有無を目視で確認することにより、検査対象物の有無(陽性又は陰性)の判定を行う。
特開2019-45286号公報
 上述したような検査キットは、複数のメーカから販売されており、検査キット毎に使用方法又は検査に要する時間等が異なり、誤った使用方法で検査を行った場合、正確な検査結果が得られない虞がある。特に、インフルエンザの流行時期のように検査対象(被検者から採取した検体)が多数有る場合、多数の検査対象に対する正確な検査結果を迅速に得る必要があり、検査を行う医療従事者の作業負担が大きいという問題がある。
 本開示は、このような事情に鑑みてなされたものであり、その目的とするところは、検査を行う医療従事者等の作業負担を軽減することが可能なプログラム等を提供することにある。
 本開示の一態様に係るプログラムは、イムノクロマト法を用いて被検査物を検査する検査キットを撮影した画像を取得し、検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットによる検査結果に係る情報を出力するように深層学習された結果判別用の学習済みモデルに、取得した前記画像を入力し、前記結果判別用の学習済みモデルから出力された情報に基づいて、取得した前記画像中の検査キットによる検査結果を判定し、判定した検査結果を出力する処理をコンピュータに実行させる。
 本開示にあっては、イムノクロマト法を用いて被検査物を検出する検査キットを使用した検査において、医療従事者等の検査者の作業負担を軽減することができる。
検査装置の外観例を示す模式図である。 検査キットの外観例を示す模式図である。 検査装置の構成例を示すブロック図である。 検査装置に記憶されるDBの構成例を示す模式図である。 検査装置に記憶されるDBの構成例を示す模式図である。 種別判別モデルの構成例を示す模式図である。 検査装置による判定処理手順の一例を示すフローチャートである。 検査装置による判定処理手順の一例を示すフローチャートである。 画面例を示す模式図である。 画面例を示す模式図である。 実施形態2の検査システムの構成例を示す模式図である。 実施形態2の検査システムの構成例を示すブロック図である。 実施形態2のサーバによる判定処理手順の一例を示すフローチャートである。 画面例を示す模式図である。 画面例を示す模式図である。 画面例を示す模式図である。 画面例を示す模式図である。 実施形態3のサーバによる判定処理手順の一例を示すフローチャートである。 画面例を示す模式図である。 画面例を示す模式図である。 実施形態4のサーバによる判定処理手順の一例を示すフローチャートである。 実施形態5の検査装置による判定処理手順の一例を示すフローチャートである。 実施形態6のサーバによる判定処理手順の一例を示すフローチャートである。 実施形態7のサーバによる判定処理手順の一例を示すフローチャートである。 実施形態8の検査装置による判定処理手順の一例を示すフローチャートである。 実施形態8の検査装置による判定処理手順の一例を示すフローチャートである。
 以下に、本開示のプログラム、検査装置、情報処理装置及び情報処理方法について、その実施形態を示す図面に基づいて詳述する。
(実施形態1)
 イムノクロマト法を用いた検査キットによる検査結果を、ニューラルネットワーク(学習済みモデル)を用いて判定する検査装置について説明する。図1Aは、検査装置の外観例を示す模式図、図1Bは検査キットの外観例を示す模式図である。具体的には、図1Aは検査装置の斜視図であり、図1Bは検査キットの上面図である。検査装置10は、例えば医療機関に設置されて利用される装置であり、矩形筐体である収納部10aと、収納部10aの上面に設けられた表示部15及び通知用ライト16とを有する。収納部10aは一側面が開口されており、開口部から検査キット20が収納部10aの内部に挿入され、収納部10aの外部に取り出される。
 収納部10a内部の底面は、複数の検査キット20が並べて載置可能な載置面10b(載置台)となっており、それぞれの検査キット20が載置されるエリアA~Dが分割線10cで分割されている。図1Aに示す例では、載置面10bに4つの検査キット20が載置でき、それぞれの検査キット20が載置されるエリアA~Dが、開口部から収納部10a内部の奥方向に伸びるように設けられている。なお、載置面10bに載置される検査キット20の数は4つに限定されず、検査キット20が載置される各エリアの延伸方向は図1Aの方向に限定されない。また、収納部10aの開口している側面に、開口部を開閉可能とする蓋部が設けられていてもよい。分割線10cは、載置面10bに描かれた線分であってもよく、凸部又は凹部が設けられていてもよく、検査を行う検査者が検査キット20を載置する際に各エリアA~Dを区分できるものであればどのようなものでもよい。
 また収納部10a内部の上面には、それぞれのエリアA~Dに載置された検査キット20を撮影するためのカメラ17及び撮影用ライト18(図2参照)が設けられている。本実施形態では、1つのカメラ17及び1つの撮影用ライト18を用いてエリアA~Dに載置された検査キット20を撮影するが、エリアA~D毎にカメラ17及び撮影用ライト18が設けられていてもよい。
 図1A及び図1Bに示すように検査キット20は概ね、矩形板状に構成されており、一面に滴下領域21及び判定領域22を有する。滴下領域21は、被検者から採取した被検査物(検体)を滴下する領域であり、判定領域22は、滴下領域21に滴下した被検査物に対する検査結果(検査対象物が含まれるか否か)を示す領域である。被検査物は、例えば被検者の鼻腔ぬぐい液、咽頭ぬぐい液、鼻水、尿、唾液、血液等とすることができる。判定領域22には、検査対象物と反応(結合)する抗体(検査用抗体)がライン状に塗布してあり、検査対象物が検査用抗体と反応した場合に青色又は赤紫色等に発色するように構成されている。よって、被検査物に検査対象物が含まれる場合、被検査物に含まれる検査対象物が検査用抗体と反応して発色し、判定領域22に判定ラインが出現する。図1Bはインフルエンザウイルス用の検査キット20の例を示しており、図1Bに示す検査キット20ではインフルエンザA型用の検査用抗体と、インフルエンザB型用の検査用抗体とが塗布されている。このような検査キット20ではインフルエンザA型及びインフルエンザB型の検査が同時に可能である。また、判定領域22には、滴下領域21から遠い位置に、標識抗体と反応(結合)する抗体(終了判定用抗体)がライン状に塗布してあり、標識抗体が終了判定用抗体と反応した場合に青色又は赤紫色等に発色するように構成されている。よって、例えば滴下領域21に塗布してあった標識抗体が被検査物と共に判定領域22内を移動して終了判定用抗体の塗布位置に到達した場合に、標識抗体が終了判定用抗体と反応して発色し、判定領域22に検査終了ライン(コントロールライン)が出現する。図1Bに示す判定領域22では、滴下領域21に近い順に、インフルエンザA型の判定ライン、インフルエンザB型の判定ライン及び検査終了ラインが出現するように構成されているが、このような構成に限定されない。検査終了ラインが滴下領域21から最も遠い位置に設けられていれば、2つの判定ラインの位置は逆でもよい。また、検査キット20はインフルエンザA型の判定ラインのみが出現するように構成されていてもよく、インフルエンザB型の判定ラインのみが出現するように構成されていてもよい。
 検査キット20には、滴下領域21及び判定領域22が設けられた面に、被検者に対応付けられたコード23(コード情報)が付加されている。図1Bでは、QRコード(登録商標)を用いたコード23が付されているが、これに限定されない。例えば医療機関における診察券番号(コード23)又は診察券番号(コード23)に対応付けられたバーコード等が記載されたシールが貼付されていてもよく、診察券番号(コード23)が手書きで記入されていてもよい。
 上述した構成の検査キット20は、滴下領域21及び判定領域22が設けられた面を上面にして載置された状態で検査に用いられる。よって、滴下領域21及び判定領域22が設けられた面を上面とする。検査キット20による検査結果を検査装置10にて判定する場合、検査キット20の上面を上側にして検査装置10の載置面10bのいずれかのエリアA~Dに載置する。各エリアA~D内であれば検査キット20の載置位置はどこでもよく、載置方向(載置する際の向き)はどの方向でもよい。
 図2は、検査装置10の構成例を示すブロック図である。検査装置10は、パーソナルコンピュータ又はサーバコンピュータ等を用いて構成されており、制御部11、記憶部12、通信部13、入力部14、表示部15、通知用ライト16、カメラ17、撮影用ライト18、読み取り部19等を含み、これらの各部はバスを介して相互に接続されている。制御部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)又はGPU(Graphics Processing Unit)等の1又は複数のプロセッサを含む。制御部11は、記憶部12に記憶してある制御プログラム12Pを適宜実行することにより、本開示の検査装置が行うべき種々の情報処理、制御処理等を検査装置10に行わせる。
 記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク、SSD(Solid State Drive)等を含む。記憶部12は、制御部11が実行する制御プログラム12P及び制御プログラム12Pの実行に必要な各種のデータ等を予め記憶している。また記憶部12は、制御部11が制御プログラム12Pを実行する際に発生するデータ等を一時的に記憶する。また記憶部12は、例えばディープラーニング(深層学習)処理によって構築された学習済みモデルである種別判別モデル12a(種別判別用の学習済みモデル)及び結果判別モデル12b(結果判別用の学習済みモデル)を記憶している。種別判別モデル12aは、図1Bに示すような検査キット20の上面を撮影して得られた画像データ(撮影画像)が入力された場合に、撮影画像中の検査キット20の種別が、予め登録してある種別のいずれであるかを示す情報(種別に係る情報)を出力するように学習された学習済みモデルである。結果判別モデル12bは、検査キット20の上面を撮影して得られた画像データ(撮影画像)が入力された場合に、撮影画像中の検査キット20による検査結果が、陽性又は陰性であることを示す情報(検査結果に係る情報)を出力するように学習された学習済みモデルである。結果判別モデル12bは、種別判別モデル12aによる判別対象の検査キット20の種別(種類)毎に設けられている。学習済みモデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部12には、この演算を規定する関数の係数や閾値等のデータが種別判別モデル12a及び結果判別モデル12bとしてそれぞれ記憶される。また記憶部12は、後述するキット情報DB12c(データベース)及び検査情報DB12dを記憶する。なお、キット情報DB12c及び検査情報DB12dは、検査装置10に接続された外部記憶装置に記憶されてもよく、ネットワークを介して検査装置10が通信可能な外部記憶装置に記憶されてもよい。
 通信部13は、有線通信又は無線通信によって、インターネット又はLAN(Local Area Network)等のネットワークに接続するためのインタフェースであり、ネットワークを介して外部装置との間で情報の送受信を行う。本実施形態では、通信部13は、ネットワークを介して医療機関における電子カルテシステムと通信できるように構成されている。入力部14は、ユーザ(検査者)による操作入力を受け付け、操作内容に対応した制御信号を制御部11へ送出する。表示部15は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部11からの指示に従って各種の情報を表示する。なお、入力部14及び表示部15は一体として構成されたタッチパネルであってもよい。
 通知用ライト16は、LED(Light Emitting Diode)ライト、回転灯等であり、制御部11からの指示に従って点灯又は点滅することにより、検査装置10による検査状況を検査者に通知する。本実施形態では、1つの通知用ライト16を備える構成とするが、載置面10bのエリアA~D毎に通知用ライト16が設けられていてもよい。また、通知用ライト16の代わりに、ブザー又はスピーカ等の音声出力装置を設け、音声によって検査装置10による検査状況を検査者に通知する構成としてもよい。
 カメラ17(撮影部)は、レンズ及び撮像素子等を有し、レンズを介して被写体像の画像データを取得する。カメラ17は、制御部11からの指示に従って撮影を行い、取得した画像データ(撮影画像)を逐次制御部11へ送出する。撮影用ライト18は、例えばLEDライトであり、制御部11からの指示に従って点灯する。なお、制御部11は、撮影を行うタイミングで、撮影用ライト18に対して点灯指示を送出すると共にカメラ17に対して撮影の実行指示を送出する。これにより、撮影用ライト18を点灯させた状態でカメラ17による撮影を行うことができ、載置面10bに載置された検査キット20を精度良く撮影した良好な撮影画像が得られる。なお、カメラ17及び撮影用ライト18は、検査装置10に内蔵された構成のほかに、検査装置10に外付けされる構成でもよい。この場合、検査装置10は、外部のカメラ及び撮影用ライトの接続が可能な接続部を備え、接続部を介して外部のカメラ及び撮影用ライトの動作を制御し、接続部を介して外部のカメラが撮影した画像データを取得する。
 読み取り部19は、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM及びUSB(Universal Serial Bus)メモリを含む可搬型記憶媒体1aに記憶された情報を読み取る。記憶部12に記憶されるプログラム及びデータは、例えば制御部11が読み取り部19を介して可搬型記憶媒体1aから読み取って記憶部12に記憶してもよい。また、記憶部12に記憶されるプログラム及びデータは、制御部11が通信部13を介してネットワーク経由で外部装置からダウンロードして記憶部12に記憶してもよい。更に、プログラム及びデータを半導体メモリ1bに記憶しておき、制御部11が、半導体メモリ1bからプログラム及びデータを読み出してもよい。
 図3A及び図3Bは、検査装置10に記憶されるDB12c,12dの構成例を示す模式図である。図3Aはキット情報DB12cを、図3Bは検査情報DB12dをそれぞれ示す。キット情報DB12cは、検査装置10による検査結果の判定処理が可能な検査キット20に関する情報を記憶する。図3Aに示すキット情報DB12cは、キット種別ID列、メーカ情報列、キット名称列、検査対象物列、検査時間列等を含む。キット種別ID列は、検査キット20の種類(種別)毎に割り当てられた識別情報を記憶する。メーカ情報列は、キット種別IDに対応付けて、各検査キット20を製造又は販売するメーカに関する情報を記憶し、キット名称列は、キット種別IDに対応付けて、各検査キット20に付された名称又は呼び名等を記憶する。検査対象物列は、キット種別IDに対応付けて、各検査キット20にて検査可能な対象物に関する情報を記憶し、検査時間列は、キット種別IDに対応付けて、各検査キット20が検査に要する時間を記憶する。キット情報DB12cに記憶されるキット種別IDは、制御部11が新たな種類の検査キット20の情報を入力部14又は通信部13を介して取得した場合に、制御部11によって発行されて記憶される。キット情報DB12cに記憶されるキット種別ID以外の情報は、制御部11が入力部14又は通信部13を介して追加の指示を取得する都度、制御部11によって追加される。キット情報DB12cの記憶内容は図3Aに示す例に限定されず、検査キット20に関する各種の情報を記憶してもよい。例えばそれぞれの検査キット20の使用数又は在庫数等がキット情報DB12cに記憶されてもよい。
 検査情報DB12dは、検査装置10による検査結果の判定状況に関する情報を記憶する。図3Bに示す検査情報DB12dは、エリア情報列、患者ID列、キット種別ID列、検査時間列、経過時間列、陽性確率列、撮影画像列等を含む。エリア情報列は、検査装置10の載置面10bに設けられた載置エリアA~Dの識別情報を記憶する。患者ID列は、エリア情報に対応付けて、各エリアA~Dに載置された検査キット20に対応する患者(被検者)の識別情報(例えば医療機関における診察券番号)を記憶する。キット種別ID列は、エリア情報に対応付けて、各エリアA~Dに載置された検査キット20の種類の識別情報を記憶し、検査時間列は、エリア情報に対応付けて、各エリアA~Dに載置された検査キット20が検査に要する時間を記憶する。経過時間列は、エリア情報に対応付けて、各エリアA~Dに検査キット20が載置されてからの経過時間を記憶する。陽性確率列は、エリア情報に対応付けて、各エリアA~Dに載置された検査キット20による検査結果が陽性である確率を記憶し、撮影画像列は、エリア情報に対応付けて、各エリアA~Dに載置された検査キット20の撮影画像を記憶する。なお、撮影画像のデータは、検査情報DB12dに記憶されるほかに、記憶部12の所定領域又は検査装置10に接続された外部記憶装置に記憶されてもよい。この場合、撮影画像列は、撮影画像のデータを読み出すための情報(例えばデータの記憶場所を示すファイル名)を記憶する。検査情報DB12dに記憶されるエリア情報は予め記憶されている。検査情報DB12dに記憶される患者IDは、制御部11がカメラ17による撮影画像に基づいて撮影画像中の検査キット20に対応する患者の識別情報(患者ID)を特定する都度、制御部11によって記憶される。検査情報DB12dに記憶されるキット種別ID及び検査情報は、制御部11がカメラ17による撮影画像に基づいて撮影画像中の検査キット20の種別を判別する都度、制御部11によってキット情報DB12cから読み出されて記憶される。検査情報DB12dに記憶される経過時間は、制御部11がカメラ17による撮影画像に基づいて各エリアA~Dに検査キット20が載置されたことを検出した場合に、検出してからの経過時間が制御部11によって記憶される。検査情報DB12dに記憶される陽性確率は、制御部11がカメラ17による撮影画像に基づいて撮影画像中の検査キット20による検査結果が陽性であることを示す確率を取得する都度、制御部11によって記憶される。検査情報DB12dに記憶される撮影画像は、カメラ17にて撮影画像を取得する都度、制御部11によって記憶又は更新される。なお、撮影画像は、撮影日時又は撮影タイミング(例えば検査開始からの経過時間)と共に順次記憶されてもよいし、最新の撮影画像のみが記憶されてもよい。検査情報DB12dの記憶内容は図3Bに示す例に限定されず、載置面10bの各エリアA~Dに関する各種の情報又は各エリアA~Dに載置された検査キット20に関する情報等を記憶してもよい。また、経過時間の代わりに検査時間が満了するまでの残りの判定時間を記憶してもよい。
 図4は、種別判別モデル12aの構成例を示す模式図である。本実施形態の種別判別モデル12aは、例えば図4に示すようにCNN(Convolution Neural Network)モデルで構成されている。種別判別モデル12aは、CNNモデルのほかに、R-CNN(Region-based CNN)、YOLO(You Only Look Once)等の種々の学習モデルで構成されてもよい。図4に示す種別判別モデル12aは、入力層、中間層及び出力層から構成されている。中間層は畳み込み層、プーリング層及び全結合層を含む。本実施形態の種別判別モデル12aでは、入力層を介して、検査キット20の上面の撮影画像(画像データ)が入力される。入力層の各ノードには検査キット20の撮影画像中の各画素が入力され、入力層の各ノードを介して入力された検査キット20の撮影画像は中間層に入力される。中間層に入力された検査キット20の撮影画像は、畳み込み層でフィルタ処理等によって画像の特徴量が抽出されて特徴マップが生成され、プーリング層で圧縮されて情報量が削減される。畳み込み層及びプーリング層は複数層繰り返し設けられており、複数の畳み込み層及びプーリング層によって生成された特徴マップは、全結合層に入力される。全結合層は複数層(図4では2層)設けられており、入力された特徴マップに基づいて、各種の関数や閾値等を用いて各層のノードの出力値を算出し、算出した出力値を順次後の層のノードに入力する。全結合層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に出力層の各ノードにそれぞれの出力値を与える。畳み込み層、プーリング層及び全結合層のそれぞれの層数は図4に示す例に限定されない。
 本実施形態の種別判別モデル12aは、5種類の検査キット20の種別を判別するように構成されている。よって、種別判別モデル12aにおいて、出力層は5つのノード0~4を有しており、ノード0は、入力された撮影画像中の検査キット20が第1種別であると判別すべき確率を出力し、ノード1は、第2種別であると判別すべき確率を出力し、ノード2は、第3種別であると判別すべき確率を出力し、ノード3は、第4種別であると判別すべき確率を出力し、ノード4は、第5種別であると判別すべき確率を出力する。なお、判別対象の種別以外の種別である又は判別不可能であると判断すべき確率を出力する出力ノードを備える構成としてもよい。出力層の各ノードの出力値は例えば0~1.0の値であり、5つのノードからそれぞれ出力された確率の合計が1.0(100%)となる。
 種別判別モデル12aは、検査キット20の上面の撮影画像と、撮影画像中の検査キット20の種別を示す情報又は撮影画像中に検査キット20が含まれないことを示す情報(正解ラベル)とを含む教師データを用いて学習する。種別判別モデル12aは、教師データに含まれる撮影画像が入力された場合に、教師データに含まれる正解ラベルに対応する出力ノードからの出力値が1.0に近づき、他の出力ノードからの出力値が0に近づくように学習する。学習処理において種別判別モデル12aは、入力値に対して行う所定の演算を規定する各種の関数の係数や閾値等のデータを最適化する。これにより、撮影画像が入力された場合に、撮影画像中の検査キット20の種別を示す情報を出力するように学習された学習済みの種別判別モデル12aが得られる。なお、種別判別モデル12aの学習は例えば他の学習装置で行われる。他の学習装置で学習が行われて生成された学習済みの種別判別モデル12aは、例えばネットワーク経由又は可搬型記憶媒体1a経由で学習装置から検査装置10にダウンロードされて記憶部12に記憶される。
 本実施形態の結果判別モデル12bも、種別判別モデル12aと同様に、例えば図4に示すようなCNNモデルで構成されている。結果判別モデル12bも、R-CNN、YOLO等の種々の学習モデルで構成されていてもよい。本実施形態の結果判別モデル12bは、種別判別モデル12aと同様に、検査キット20の上面の撮影画像が入力層を介して入力される。なお、結果判別モデル12bは、検査キット20の種別毎に設けられており、例えばインフルエンザA型及びB型の検査用の検査キット20に対応する結果判別モデル12bは、撮影画像中の検査キット20による検査結果がA型B型共に陽性、A型B型共に陰性、A型のみ陽性、B型のみ陽性の4パターンのいずれであるかを判別するように構成されている。よって、結果判別モデル12bの出力層は4つのノード0~3を有しており、例えばノード0は、入力された撮影画像中の検査キット20による検査結果がA型B型共に陽性であると判別すべき確率を出力し、ノード1は、A型B型共に陰性であると判別すべき確率を出力し、ノード2は、A型のみ陽性であると判別すべき確率を出力し、ノード3は、B型のみ陰性であると判別すべき確率を出力する。出力層の各ノードの出力値は例えば0~1.0の値であり、4つのノードからそれぞれ出力された確率の合計が1.0(100%)となる。なお、判別不可能であると判断すべき確率を出力する出力ノードを備える構成としてもよい。
 結果判別モデル12bは、検査キット20の上面の撮影画像と、撮影画像中の検査キット20による検査結果(例えば4パターンのうちのいずれか)を示す情報(正解ラベル)とを含む教師データを用いて学習する。結果判別モデル12bは、教師データに含まれる撮影画像が入力された場合に、教師データに含まれる正解ラベルに対応する出力ノードからの出力値が1.0に近づき、他の出力ノードからの出力値が0に近づくように学習する。これにより、撮影画像が入力された場合に、撮影画像中の検査キット20による検査結果が4パターンのうちのいずれであるかを示す情報を出力するように学習された学習済みの結果判別モデル12bが得られる。なお、結果判別モデル12bの学習も例えば他の学習装置で行われ、他の学習装置で生成された学習済みの結果判別モデル12bは、例えばネットワーク経由又は可搬型記憶媒体1a経由で学習装置から検査装置10にダウンロードされて記憶部12に記憶される。
 以下に、本実施形態の検査装置10が、検査キット20による検査結果を判定する処理について説明する。図5及び図6は、検査装置10による判定処理手順の一例を示すフローチャート、図7A及び図7Bは画面例を示す模式図である。以下の処理は、検査装置10の記憶部12に記憶してある制御プログラム12Pに従って制御部11によって実行される。なお、本実施形態では、以下の処理を制御部11が制御プログラム12Pを実行することにより実現するが、一部の処理を専用のハードウェア回路で実現してもよい。
 検査装置10が動作を開始した場合、制御部11は、カメラ17による動画の撮影を開始する(S11)。制御部11は、例えば1秒間に30フレーム(30枚)の画像データ(撮影画像)をカメラ17にて取得し、順次取得する撮影画像に基づいて、載置面10bのエリアA~Dのいずれかに検査キット20が載置されたか否かを判定する(S12)。例えば制御部11は、順次取得する撮影画像間における差異を算出し、撮影画像間の差異に基づいて、検査キット20が載置されたか否かを判定する。具体的には、撮影画像間の差異が所定量以上となった場合に、検査キット20が載置されたと判定してもよい。また、制御部11は、例えば撮影画像が入力された場合に、撮影画像中に検査キット20が撮影されているか否かを示す情報を出力するように学習された学習済みモデルを用いて、検査キット20が載置されたか否かを判定してもよい。この場合、制御部11は、カメラ17による撮影画像を順次学習済みモデルに入力し、学習済みモデルからの出力情報に基づいて、撮影画像中に検査キット20が含まれるか否か、即ち、検査キット20が載置されたか否かを判定できる。
 載置面10bに検査キット20が載置されていないと判定した場合(S12:NO)、制御部11は、カメラ17によって順次取得される撮影画像に基づいて、載置面10bに検査キット20が載置されたか否かを判定する処理を継続する。載置面10bのいずれかのエリアA~Dに検査キット20が載置されたと判定した場合(S12:YES)、制御部11は、検査キット20が載置されたエリアA~Dを特定する(S13)。例えばカメラ17で撮影した撮影画像において、エリアA~Dのそれぞれに対応する領域(撮影範囲)が予め登録されており、制御部11は、撮影画像間の差異が所定量以上となった領域(撮影範囲)がエリアA~Dのいずれに対応するかを判断し、対応するエリアA~Dを特定する。また制御部11は、学習済みモデルを用いて検査キット20が載置されたと判定した領域(撮影範囲)がエリアA~Dのいずれに対応するかを判断し、対応するエリアA~Dを特定してもよい。また、載置面10bの各エリアA~Dには文字A~Dが記載してあり、制御部11は、撮影画像間の差異が所定量以上となった領域、又は学習済みモデルを用いて検査キット20が載置されたと判定した領域に含まれる文字A~Dを例えばOCR(Optical Character Reader)を用いて読み取り、検査キット20が載置されたエリアを特定してもよい。更に、入力部14に、各エリアA~Dに対する判定処理の開始を指示するための操作ボタンを設けておき、検査者による入力によって検査キット20が載置されたこと及び載置されたエリアA~Dを特定するようにしてもよい。このような構成を備えることにより、撮影画像に基づいて検査キット20が載置されたエリアA~Dを特定できなかった場合、又は早期に判定処理を開始したい場合に、確実に判定処理を開始できる。検査キット20が載置されたエリアA~Dを特定した場合、制御部11は、検査情報DB12dにおいて、特定したエリアA~Dのエリア情報に対応する各情報をリセットしておく。
 次に制御部11は、カメラ17及び撮影用ライト18を用いて、載置面10b上の撮影画像を取得する(S14)。そして制御部11(抽出部)は、取得した撮影画像から、ステップS13で特定したエリアA~Dの撮影領域、即ち、ステップS12で載置されたと判定した検査キット20の撮影領域を抽出する(S15)。例えば制御部11は、図4に示した撮影画像のように、各エリアA~Dの撮影領域を、載置面10b上の分割線10cに基づいて抽出する。検査キット20の撮影領域を抽出した場合、制御部11は、取得した撮影領域を、ステップS13で特定したエリアA~Dのエリア情報に対応する撮影画像として検査情報DB12dに記憶する。そして制御部11は、検査情報DB12dに記憶した撮影画像(検査キット20の撮影領域)に基づいて、撮影された検査キット20に記載されたコード23を読み取り、患者の識別情報(患者ID)を取得する(S16)。例えばコード23がQRコードである場合、制御部11は、撮影画像中のQRコードを解析し、患者ID(例えば医療機関における診察券番号)を取得する。またコード23が手書きの患者IDである場合、制御部11は、撮影画像中の手書きの患者IDをOCRで読み取って取得する。更に制御部11は、入力部14を介した検査者による入力によって患者IDを取得する構成でもよい。患者IDを取得した場合、制御部11は、取得した患者IDを、ステップS13で特定したエリアA~Dのエリア情報に対応付けて検査情報DB12dに記憶する。
 次に制御部11は、検査情報DB12dに記憶した撮影画像(検査キット20の撮影領域)に基づいて、撮影画像中の検査キット20の種別を判定する(S17)。本実施形態では、制御部11は、種別判別モデル12aを用いて検査キット20の種別を判定する。具体的には、制御部11は、撮影画像を種別判別モデル12aに入力し、種別判別モデル12aから出力された情報(各出力ノードからの出力情報)に基づいて、撮影画像中の検査キット20の種別を判定する。例えば制御部11は、種別判別モデル12aの出力ノードのうちで出力値が最大である出力ノードを特定し、特定した出力ノードに対応付けられている種別を、撮影画像中の検査キット20の種別に特定する。なお、各検査キット20のコード23が検査キット20の種別の情報を含む場合、制御部11は、撮影画像から読み取ったコード23の情報から種別の情報を取得してもよい。また制御部11は、入力部14を介した検査者による入力によって検査キット20の種別の情報を取得する構成でもよい。検査キット20の種別を特定した場合、制御部11は、特定した種別のキット種別ID及び検査時間をキット情報DB12cから読み出し、ステップS13で特定したエリアA~Dのエリア情報に対応付けて検査情報DB12dに記憶する。
 次に制御部11は、この検査キット20における検査開始からの経過時間の計時を開始する(S18)。なお、制御部11は、計時する経過時間を、例えば1秒毎、10秒毎等のように所定時間毎に、ステップS13で特定したエリアA~Dのエリア情報に対応付けて検査情報DB12dに記憶する。次に制御部11(判定部)は、ステップS17で判定した種別に応じた結果判別モデル12bを特定し、特定した結果判別モデル12bを用いて、検査情報DB12dに記憶した撮影画像(検査キット20の撮影領域)中の検査キット20による検査結果を判定する(S19)。ここでは制御部11は、撮影画像を結果判別モデル12bに入力し、結果判別モデル12bから出力された情報(各出力ノードからの出力情報)に基づいて、撮影画像中の検査キット20による検査結果を判定する。具体的には、制御部11は、結果判別モデル12bの出力ノードのうちで出力値が最大である出力ノードを特定し、特定した出力ノードに対応付けられている検査結果が陽性(インフルエンザ用の検査キット20の場合、A型B型共に陽性、A型のみ陽性、又はB型のみ陽性)である場合、特定した出力ノードからの出力値(最大の出力値)を取得する。即ち、制御部11は、検査結果が陽性であると判別すべき確率(陽性確率)を取得する。陽性確率を取得した場合、制御部11は、取得した陽性確率を、ステップS13で特定したエリアA~Dのエリア情報に対応付けて検査情報DB12dに記憶する。なお、制御部11は、陽性確率と共に、この陽性確率に対応する検査結果(陽性結果)も検査情報DB12dに記憶させてもよい。上述した処理により、いずれかのエリアA~Dに検査キット20が載置された場合に、検査キット20の撮影画像から、検査キット20に関する情報(キット種別ID及び検査時間)、検査キット20に対応する患者の情報(患者ID)、検査キット20による検査結果の判定状況(陽性確率)が特定されて検査情報DB12dに記憶される。
 制御部11は、ステップS19で判定した検査結果が示す陽性確率(判定確率)が所定閾値以上であるか否かを判断する(S20)。ここでの閾値は、撮影画像中の検査キット20による検査結果が陽性であると確定できる値であり、例えば80%(0.8)とすることができる。この閾値は予め設定されて、例えば記憶部12に記憶されている。陽性確率が閾値未満であると判断した場合(S20:NO)、制御部11は、この時点での経過時間(検査開始からの経過時間)が、この検査キット20の検査時間(検査に要する時間)を超えたか否かを判断する(S21)。具体的には、制御部11は、検査情報DB12dに記憶してある経過時間が、検査時間に到達したか否かを判断し、到達した場合、検査時間を超えた(即ち、検査時間が経過した)と判断する。検査時間を超えていないと判断した場合(S21:NO)、制御部11は、直近で検査キット20を撮影してから所定時間が経過するまで待機する。ここでの所定時間は、検査キット20を撮影して撮影画像中の検査キット20による検査結果を判定する処理を実行する時間間隔であり、例えば30秒又は1分としてもよい。
 制御部11は、直近で検査キット20を撮影してから所定時間が経過したか否かを判断し(S22)、経過していないと判断した場合(S22:NO)、待機する。所定時間が経過したと判断した場合(S22:YES)、制御部11は、カメラ17及び撮影用ライト18を用いて、載置面10b上の検査キット20の撮影画像を取得する(S23)。そして制御部11は、取得した撮影画像から、ステップS13で特定したエリアA~Dの撮影領域、即ち、判定対象としている検査キット20の撮影領域を抽出し(S24)、ステップS19の処理に戻る。なお、制御部11は、抽出した検査キット20の撮影領域を、ステップS13で特定したエリアA~Dのエリア情報に対応する最新の撮影画像として検査情報DB12dに記憶する。そして制御部11は、結果判別モデル12bを用いて、検査情報DB12dに記憶した最新の撮影画像中の検査キット20による検査結果を判定し(S19)、得られた陽性確率を、ステップS13で特定したエリアA~Dのエリア情報に対応する最新の陽性確率として検査情報DB12dに記憶する。なお、制御部11は、ステップS19の処理に戻る際に、ステップS24で取得した検査キット20の撮影領域に基づいて、検査キット20に対応する患者ID又はキット種別を再度取得してもよい。そして、取得した患者ID又はキット種別が、検査情報DB12dに記憶してある患者ID又はキット種別(キット種別ID及び検査時間)と同じであることを確認した上で、ステップS19の処理を行ってもよい。この場合、各被検者の検査結果の取り違えを防止できる。
 制御部11は、陽性確率が所定閾値以上となるまで、ステップS19~S24の処理を繰り返し、これにより、所定時間の経過毎(例えば1分毎)に、検査キット20を撮影し、撮影画像に基づいて検査キット20による検査結果を判定(陽性確率を取得)する処理を繰り返す。陽性確率が所定閾値以上であると判断した場合(S20:YES)、制御部11は、判定した検査結果(ここでは陽性である検査結果)を表示部15に表示して通知する(S25)。一方、ステップS21で検査時間が経過したと判断した場合(S21:YES)、即ち、陽性確率が所定閾値以上となる前に検査時間が経過した場合、制御部11は、判定した検査結果(ここでは陰性である検査結果)を表示部15に表示して通知する(S25)。なお、ステップS25で制御部11は、検査結果を表示するだけでなく、通知用ライト16を点灯又は点滅させることにより、判定処理の終了を通知してもよい。この場合、検査者が検査装置10から離れた位置にいる場合であっても、判定処理の終了を把握できる。また検査装置10が音声出力装置を有する場合、音声出力装置による音声出力によって判定処理の終了を通知してもよい。
 図7Aは表示部15に表示される検査結果画面例を示しており、検査結果画面は、各エリアA~Dに載置された検査キット20による検査結果の判定状況を表示する。具体的には、エリアA~D毎に、各エリアA~Dに載置された検査キット20について、検査キット20の撮影画像から特定された患者ID、キット種別ID及び撮影画像が表示される。また、エリアA~D毎に、検査キット20の種別に応じた検査時間の満了までの残りの判定時間(残り時間)と、判定処理の実行状況(ステータス)とが表示され、判定処理が終了した場合、判定結果(AI判定結果)が表示される。なお、検査装置10の前面側(開口部が設けられた面側)から見て載置面10bの各エリアA~Dの配置位置と、検査結果画面に表示される各エリアA~Dに関する情報(各エリアA~Dに載置された検査キット20に関する情報)の表示位置とが一致していることが望ましい。一致している場合、各エリアA~Dに載置された検査キット20と、検査結果画面に表示された各エリアA~Dの情報との対応付けが容易となり、検査結果の取り違えを抑制できる。
 制御部11は、検査情報DB12dに患者ID、キット種別ID及び撮影画像を記憶した場合に、記憶した各情報を、検査結果画面の各エリアA~Dの対応する位置に表示する。また制御部11は、検査情報DB12dに経過時間を記憶(更新)した場合、更新後の経過時間と、この検査キット20の検査時間とに基づいて残りの判定時間を算出し、算出した残り時間を検査結果画面の各エリアA~Dの対応する位置に表示する。更に制御部11は、各エリアA~Dのステータス情報として、空き状態であるエリアに対しては「キット待ち」を表示し、判定処理を開始した場合に「判定中」に更新し、判定処理を終了した場合に「結果確認」に更新する。なお、判定処理を終了した場合、制御部11は、ステップS25において判定した検査結果(AI判定結果)を、検査結果画面の各エリアA~Dの対応する位置に表示する。ステータス情報は、上述した例に限定されず、患者IDの取得中、キット種別の判別中等、判定処理の進行状況を示す各種の情報を用いてもよい。
 図7Aに示す検査結果画面は、エリアA~D毎に、表示された判定結果(判定した検査結果)の確定を指示するための確定ボタンと、判定結果の訂正(修正)を指示するための訂正ボタンとを表示する。確定ボタン及び訂正ボタンは、判定結果が出た場合に操作できるように表示されており、空き状態であるエリア又は判定処理中であるエリアに対応する確定ボタン及び訂正ボタンは操作できないように表示されている。検査者は、判定処理が終了して「結果確認」のステータスが表示されているエリアA~Dについて、エリアA~Dに載置されている検査キット20の判定領域22を確認し、検査キット20による検査結果を目視で判断する。そして検査者は、自身の判断とAI判定結果とが一致する場合、確定ボタンを操作し、一致しない場合、訂正ボタンを操作する。よって、制御部11は、検査結果画面において入力部14を介して確定ボタンが操作された場合、表示した判定結果に対する確定指示を受け付け、訂正ボタンが操作された場合、表示した判定結果に対する訂正指示を受け付ける。
 制御部11は、判定結果に対する確定指示を受け付けたか否かを判断しており(S26)、確定指示を受け付けたと判断した場合(S26:YES)、判定結果を確定して所定の装置へ送信し(S27)、このエリアに対する処理を終了する。例えば制御部11は、判定結果と、この患者の患者IDとを対応付けて、通信部13からネットワーク経由で電子カルテシステムへ送信する。電子カルテシステムは、検査装置10から受信した各患者の検査結果を電子カルテに追加し、これにより、検査装置10と電子カルテシステムとを連携させることができる。確定指示を受け付けていないと判断した場合(S26:NO)、即ち、訂正指示(修正指示)を受け付けた場合、制御部11は、結果表示画面の上に重ねて、図7Bに示すような訂正受付画面を表示する(S28)。訂正受付画面は、例えば図7Bに示すように、判定された検査結果に対して訂正可能な検査結果(訂正内容)を指定するための各ボタン(A型B型陽性ボタン、陰性ボタン、A型のみ陽性ボタン、B型のみ陽性ボタン)と、訂正処理を終了するためのキャンセルボタンとを表示する。なお、訂正内容を指定するためのボタンにおいて、判定された検査結果のボタンは選択できないように表示されていてもよい。即ち、図7Aに示す画面においてエリアAに対する訂正ボタンが操作された場合、図7Bに示す画面において陰性ボタンが選択できないように表示される。よって、検査者は、判定結果を訂正する場合、訂正したい内容に対応するボタンを操作し、判定結果を訂正しない場合、キャンセルボタンを操作する。
 訂正受付画面において入力部14を介してキャンセルボタンが操作された場合、制御部11は、訂正受付画面の表示を終了して検査結果画面の表示に戻す。訂正受付画面において入力部14を介して訂正内容に対応するボタンが操作された場合、制御部11は、操作されたボタンに対応する訂正内容(修正内容)を受け付ける(S29)。即ち、制御部11は、A型B型陽性ボタンが操作された場合、A型B型陽性への訂正指示を受け付け、A型のみ陽性ボタンが操作された場合、A型のみ陽性への訂正指示を受け付ける。制御部11は、受け付けた訂正内容を、検査情報DB12dに記憶した最新の撮影画像と、検査キット20の種別(例えばキット種別ID)とに対応付けて記憶部12に記憶する(S30)。なお、ここで記憶した訂正内容及び撮影画像は、キット種別IDの種別に対応する結果判別モデル12bを再学習させるための教師データ(再学習用データ)に用いることができる。制御部11は、受け付けた訂正内容に判定結果を訂正し(S31)、訂正後の判定結果を確定して所定の装置(例えば電子カルテシステム)へ送信し(S27)、このエリアに対する処理を終了する。
 本実施形態の検査装置10は、上述した処理により、載置面10b上に検査キット20が載置された場合に、検査キット20が載置されたこと及び載置されたエリアA~Dを自動的に判定する。また、検査装置10は、載置面10bに載置された検査キット20に対応する患者ID、検査キット20の種別、検査キット20による検査結果を自動的に判定する。よって、検査キット20を用いた検査において、医療従事者等の検査者が目視で検査結果を判定する際の作業負担を軽減できる。検査キット20は、複数のメーカから販売されており、検査キット20毎に使用方法又は検査に要する時間等が異なり、誤った使用方法で検査を行った場合、正確な検査結果が得られない虞がある。これに対して、本実施形態の検査装置10を用いることにより、検査者は検査キット20を載置面10bのいずれかのエリアA~Dに載置すればよく、検査キット20毎の検査時間又は検査結果の判定方法を正確に把握しておく必要がなく、検査者による負担を軽減できる。また、人手で判定を行う場合、検査キット20毎の検査時間又は検査結果の判定方法等を誤る可能性があるが、本実施形態の検査装置10では、このようなミスを回避でき、検査キット20による検査結果を高精度で判定することができる。本実施形態では、1台の検査装置10で複数メーカの検査キット20及び複数種類の検査キット20に対する検査結果の判定を行うことができる。よって、複数メーカの検査キット20及び複数種類の検査キット20を使用する医療機関等では特に効果が期待できる。
 本実施形態の検査装置10では、所定時間毎に検査キット20を撮影し、得られた撮影画像に基づいて検査結果の判定が行われ、例えば陽性確率が所定閾値(例えば80%)以上となった時点で、検査結果が陽性であることが通知される。従って、検査キット20に応じた検査時間が経過する前に陽性確率が所定閾値以上となった場合、検査時間の経過を待つことなく、早期に検査結果を通知することができる。よって、例えばインフルエンザの流行時期のように検査対象が多数有る場合であっても、多数の検査対象に対する検査結果を正確に且つ迅速に判定することができる。特に検査結果が陽性である被検者に対しては、検査結果を早期に通知することができ、医療機関での待ち時間の緩和が期待できる。
 本実施形態では、検査装置10が判定した検査結果(判定結果)が誤っている場合、検査結果画面を介して、判定結果を訂正できる。よって、検査装置10によって自動的に判定された検査結果が誤っていた場合に、例えば検査者によって入力された正解の検査結果に訂正できる。また、訂正した検査結果と撮影画像とを用いて結果判別モデル12bを再学習させることができ、この場合、より精度の高い結果判別モデル12bを実現できる。なお、結果判別モデル12bを再学習させる場合、例えばメーカが管理する学習装置が、各検査装置10で訂正された検査結果及び撮影画像(再学習用の教師データ)を収集し、収集した再学習用の教師データを用いて結果判別モデル12bを再学習させる。そして、再学習した結果判別モデル12bが検査装置10に提供されることにより、各検査装置10における結果判別モデル12bの更新が可能であり、各検査装置10はより高精度の結果判別モデル12bを使用することができる。また、種別判別モデル12aを用いて判別された検査キット20の種別についても、誤っていた場合に訂正できるように構成してもよく、この場合、種別判別モデル12aの再学習も可能となる。
 本実施形態では、検査装置10の載置面10bに各エリアA~Dの境界を明示するための分割線10cが設けられているが、分割線10cは必ずしも必要ではない。例えば、載置面10bの任意の位置に検査キット20が載置された場合に、検査装置10が、各検査キット20の載置位置を特定し、特定した位置に対応付けて各処理を行うことにより、任意の位置に載置された検査キット20に対する判定処理を行うことができる。例えば種別判別モデル12aをR-CNNで構成する場合、入力された撮影画像において、検査キット20の領域を抽出すると共に検査キット20の種別を判別する種別判別モデル12aを実現できる。このような種別判別モデル12aを用いる場合、載置面10bに分割線10cが設けられていなくてもよい。また本実施形態は、1つの種別判別モデル12a及び種別毎の結果判別モデル12b(複数の結果判別モデル12b)を用いて検査キット20による検査結果を判別する構成であるが、この構成に限定されない。例えば撮影画像が入力された場合に、撮影画像中の検査キット20の種別を判別することなく、検査キット20による検査結果を判別するように結果判別モデルを学習させてもよい。この場合、1つの結果判別モデルを用いて、入力された撮影画像中の検査キット20による検査結果を判定することができる。
 本実施形態では、載置面10bに載置された検査キット20のコード23を読み取ることによって、検査キット20に対応する被検者を特定できるので、判定した検査結果を電子カルテシステムと連携させることができる。しかし、検査装置10は、被検者を特定する構成を備えていなくてもよい。即ち、検査装置10は、載置面10bに検査キット20が載置された場合に、検査キット20の種別及び検査結果を判定して通知する構成であってもよい。この場合、各検査キット20と各被検者との対応付けは、例えば検査者が行えばよい。
 本実施形態では、結果判別モデル12bを用いて判別した陽性確率が所定閾値以上(80%以上)となった場合に、判定した結果(陽性である検査結果)が確定されてAI判定結果として検査結果画面に表示される。このほかに例えば、陽性確率が90%以上となった場合に、判定した結果(陽性である検査結果)が確定されて検査結果画面に表示される一方、陽性確率が80%以上90%未満の場合には、判定した結果(陽性である検査結果)と共に、検査者に判定結果の確認を促すメッセージ(例えば「要確認」)を表示するようにしてもよい。このようなメッセージを表示することにより、結果判別モデル12bを用いて判定した結果に対する確信度(陽性確率)が所定値未満である場合には検査者による確認を促すことができ、より正確な検査結果を被検者に提供できる。
(実施形態2)
 ユーザ端末を用いて検査キット20の撮影画像を取得し、ユーザ端末から撮影画像を取得したサーバ(情報処理装置)が、検査キット20による検査結果を判定する検査システムについて説明する。図8は、実施形態2の検査システムの構成例を示す模式図である。本実施形態の検査システムは、複数のユーザ端末40と、ユーザ端末40から検査キット20の撮影画像を取得し、撮影画像に基づいて検査キット20による検査結果を判定してユーザ端末40に通知するサーバ30とを含む。サーバ30及びユーザ端末40のそれぞれは、インターネット等のネットワークNに接続可能に構成されており、ネットワークN経由で情報の送受信を行う。
 サーバ30は、本実施形態の検査システムを運営する業者等が管理する情報処理装置であり、サーバコンピュータ又はパーソナルコンピュータ等で構成される。サーバ30は、複数台設けられてもよいし、1台のサーバ内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。ユーザ端末40は、タブレット端末、スマートフォン、パーソナルコンピュータ等である。本実施形態では、ユーザ端末40は、ユーザによる操作に従って検査キット20を撮影する処理、得られた撮影画像をサーバ30へ送信する処理等、種々の情報処理を行う。またサーバ30は、ユーザ端末40から受信した撮影画像に基づいて、撮影画像中の検査キット20による検査結果を判定する処理、判定結果をユーザ端末40へ送信する処理等、種々の情報処理を行う。
 図9は、実施形態2の検査システムの構成例を示すブロック図である。ユーザ端末40は、制御部41、記憶部42、通信部43、入力部44、表示部45、カメラ46等を含み、これらの各部はバスを介して相互に接続されている。制御部41は、CPU、MPU又はGPU等の1又は複数のプロセッサを含む。制御部41は、記憶部42に記憶してある制御プログラム42Pを適宜実行することにより、ユーザ端末40が行うべき種々の情報処理、制御処理等を行う。
 記憶部42は、RAM、フラッシュメモリ、ハードディスク、SSD等を含む。記憶部42は、制御部41が実行する制御プログラム42P及び制御プログラム42Pの実行に必要な各種のデータ等を予め記憶している。また記憶部42は、制御部41が制御プログラム42Pを実行する際に発生するデータ等を一時的に記憶する。更に記憶部42は、検査キット20の撮影画像に基づいて撮影画像中の検査キット20による検査結果をサーバ30に問い合わせるための検査結果判定アプリケーションプログラム(検査結果判定アプリ)42aを記憶する。
 通信部43は、有線通信又は無線通信によってネットワークNに接続するためのインタフェースである。入力部44は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部41へ送出する。表示部45は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部41からの指示に従って各種の情報を表示する。なお、入力部44及び表示部45は一体として構成されたタッチパネルであってもよい。カメラ46は、制御部41からの指示に従って撮影を行い、取得した画像データ(撮影画像)を逐次制御部41へ送出する。
 ユーザ端末40において、記憶部42に記憶される制御プログラム及びデータは、制御部41が通信部43を介してネットワークN経由で外部装置からダウンロードして記憶部42に記憶してもよい。また、ユーザ端末40が可搬型記憶媒体に記憶された情報を読み取る読み取り部(図示せず)を有する場合、制御部41が読み取り部を介して可搬型記憶媒体から制御プログラム及びデータを読み取って記憶部42に記憶してもよい。
 サーバ30は、制御部31、記憶部32、通信部33、入力部34、表示部35、読み取り部36等を含み、これらの各部はバスを介して相互に接続されている。制御部31は、CPU、MPU又はGPU等の1又は複数のプロセッサを含む。制御部31は、記憶部32に記憶してある制御プログラム32Pを適宜実行することにより、本開示の情報処理装置が行うべき種々の情報処理、制御処理等をサーバ30に行わせる。記憶部32は、RAM、フラッシュメモリ、ハードディスク、SSD等を含む。記憶部32は、制御部31が実行する制御プログラム32P及び制御プログラム32Pの実行に必要な各種のデータ等を予め記憶している。また記憶部32は、制御部31が制御プログラム32Pを実行する際に発生するデータ等を一時的に記憶する。また記憶部32は、実施形態1の種別判別モデル12a及び結果判別モデル12bと同様の種別判別モデル32a及び結果判別モデル32bを記憶しており、実施形態1のキット情報DB12cと同様のキット情報DB32cを記憶している。本実施形態のサーバ30においても、結果判別モデル32bは、種別判別モデル32aによる判別対象の検査キット20の種別(種類)毎に設けられている。またキット情報DB32cは、サーバ30に接続された外部記憶装置に記憶されてもよく、ネットワークNを介してサーバ30が通信可能な外部記憶装置に記憶されてもよい。なお、本実施形態では、キット情報DB32cはサーバ30の記憶部32に記憶されていなくてもよい。
 通信部33は、有線通信又は無線通信によってネットワークNに接続するためのインタフェースである。入力部34は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部31へ送出する。表示部35は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部31からの指示に従って各種の情報を表示する。なお、入力部34及び表示部35は一体として構成されたタッチパネルであってもよい。読み取り部36は、可搬型記憶媒体3aに記憶された情報を読み取る。記憶部32に記憶される制御プログラム及びデータは、制御部31が読み取り部36を介して可搬型記憶媒体3aから読み取って記憶部32に記憶されてもよい。また、制御部31が通信部33を介してネットワークN経由で外部装置から制御プログラム及びデータをダウンロードして記憶部32に記憶してもよい。更に、制御部31が半導体メモリ3bから制御プログラム及びデータを読み出してもよい。
 図10は、実施形態2のサーバ30による判定処理手順の一例を示すフローチャート、図11A~図11Dは画面例を示す模式図である。図10では左側にユーザ端末40が行う処理を、右側にサーバ30が行う処理をそれぞれ示す。本実施形態では、検査キット20を用いた検査を行いたいユーザ(被検者)は、例えば自宅等で被検査物を採取し、被検査物を検査キット20の滴下領域21に滴下する。例えば被検者自身又は被検者の家族等(以下ではユーザという)が被検者の鼻腔ぬぐい液、咽頭ぬぐい液、鼻水、尿、唾液等の被検査物を採取し、検査キット20の滴下領域21に滴下する。そしてユーザは、例えば検査キット20の使用説明書に記載してある検査時間(検査に要する時間)待機した後、又は検査キット20の判定領域22に検査終了ラインが出現した後、ユーザ端末40を用いて検査結果判定アプリ42aを起動させる。なお、ユーザは、検査時間が分からない場合又は検査終了ラインの出現が分からない場合には、被検査物を滴下領域21に滴下した後の任意のタイミングで検査結果判定アプリ42aを起動させてもよい。ユーザ端末40の制御部41は、検査結果判定アプリ42aを実行した場合、カメラ46を起動し(S41)、カメラ46による動画の撮影を開始する。
 制御部41は、例えば図11Aに示すような案内画面を表示部45に表示する(S42)。案内画面は、検査キット20の判定領域22(判定ライン及び検査終了ライン)の撮影(静止画の撮影)を案内するメッセージを表示する。また案内画面は、カメラ46による撮影画像(動画及び静止画)を表示する画像欄と、静止画の撮影を指示するための撮影ボタンとを有する。制御部41は、カメラ46にて取得する動画を案内画面中の画像欄に逐次表示し、ユーザは、画像欄に表示された動画を確認し、検査キット20の上面が撮影できる状態で入力部44を介して撮影ボタンを操作する。案内画面において撮影ボタンが操作された場合、制御部41は、カメラ46による静止画の撮影指示を受け付け、検査キット20の上面の撮影画像(静止画)を取得する。よって、制御部41は、案内画面を介して静止画の撮影指示を受け付けたか否かを判断しており(S43)、撮影指示を受け付けていないと判断した場合(S43:NO)、案内画面の表示を継続する。
 静止画の撮影指示を受け付けたと判断した場合(S43:YES)、制御部41は、カメラ46による静止画の撮影を行い、検査キット20の上面の撮影画像を取得する(S44)。制御部41は、図11Bに示すように、取得した撮影画像(静止画)を案内画面中の画像欄に表示する(S45)。図11Bに示す案内画面は、検査キット20の撮影画像(静止画)を表示し、表示した撮影画像をサーバ30へ送信するか否かを問うメッセージを表示する。また案内画面は、撮影画像の送信を指示するための送信ボタンと、検査キット20の撮影画像の撮り直しを指示するための撮り直しボタンとを有する。ユーザは、画像欄に表示された撮影画像をサーバ30へ送信する場合、入力部44を介して送信ボタンを操作することにより、撮影画像のサーバ30への送信を指示し、撮影画像を撮り直す場合、入力部44を介して撮り直しボタンを操作することにより、撮影画像の撮り直しを指示する。よって、制御部41は、案内画面を介して撮影画像の送信指示を受け付けたか否かを判断しており(S46)、送信指示を受け付けていないと判断した場合(S46:NO)、即ち、撮り直しが指示された場合、ステップS42の処理に戻り、図11Aに示す案内画面の表示に戻る。撮影画像の送信指示を受け付けたと判断した場合(S46:YES)、制御部41は、画像欄に表示中の撮影画像をサーバ30へ送信する(S47)。なお、制御部41は、撮影画像と共に、自身のユーザ端末40の情報(例えば宛先情報)をサーバ30へ送信する。
 サーバ30の制御部31(画像取得部)は、ユーザ端末40から検査キット20の撮影画像を受信し、種別判別モデル32aを用いて、受信した撮影画像中の検査キット20の種別を判定する(S48)。ここでは、図5中のステップS17と同様に、制御部31は、撮影画像を種別判別モデル32aに入力し、種別判別モデル32aからの出力情報に基づいて、撮影画像中の検査キット20の種別を特定する。検査キット20の種別を特定した場合、制御部31(判定部)は、特定した種別に応じた結果判別モデル32bを特定し、特定した結果判別モデル32bを用いて、受信した撮影画像中の検査キット20による検査結果を判定する(S49)。ここでは、図6中のステップS19と同様に、制御部31は、撮影画像を結果判別モデル32bに入力し、結果判別モデル32bからの出力情報に基づいて、撮影画像中の検査キット20による検査結果が陽性であるか陰性であるかを判定する。具体的には、制御部31は、検査結果が陽性であると判別すべき確率(陽性確率)を取得する。
 制御部31は、取得した陽性確率が所定閾値以上(例えば80%以上)であるか否かを判断する(S50)。閾値以上であると判断した場合(S50:YES)、制御部31(出力部)は、判定した結果(ここでは陽性である検査結果)をユーザ端末40へ送信する(S51)。なお、制御部31は、ユーザ端末40から撮影画像と共に受信したユーザ端末40の情報(宛先情報)を用いて判定結果(検査結果)をユーザ端末40へ送信する。一方、取得した陽性確率が所定閾値未満であると判断した場合(S50:NO)、制御部31(出力部)は、陰性である検査結果をユーザ端末40へ送信する(S52)。
 ユーザ端末40の制御部41は、サーバ30から判定結果(検査結果)を受信した場合、受信した検査結果を表示部45に表示し(S53)、処理を終了する。図11Cはサーバ30によって陽性であると判定された検査結果の表示例を示し、図11Dはサーバ30によって陰性であると判定された検査結果の表示例を示す。このような通知画面によって、ユーザ端末40のユーザは、自身が撮影した検査キット20による検査結果をサーバ30から取得できる。よって、本実施形態では、自宅で検査キット20を用いて検査を行う場合に、検査キット20による検査結果の判定をサーバ30で行うことができる。従って、ユーザは検査キット20の使用方法について把握している必要がなく、より手軽に検査キット20を使用することができる。また、例えばユーザ端末40に、ユーザの身長、体重、血圧、体温、心拍数等の生体データを管理する健康管理アプリがインストールされている場合、制御部41は、サーバ30から受信した検査キット20による検査結果を健康管理アプリに連携させてもよい。この場合、ユーザは使い慣れている健康管理アプリを介して、検査キット20による検査結果を把握できるので利便性が向上する。
 本実施形態において、結果判別モデル32bを、検査結果が陽性であると判別すべき確率(陰性確率)及び検査結果が陰性であると判別すべき確率(陰性確率)に加えて、判定不可とすべき確率(判定不可確率)を出力するように構成することもできる。例えば、検査終了ラインが出現していない状態の検査キット20の撮影画像に対して判定不可とすべき確率として高い値が出力されるように結果判別モデル32bを学習させてもよい。この場合、サーバ30は、陽性確率及び陰性確率に基づいて検査結果が陽性又は陰性であると確定するだけでなく、判定不可確率が所定閾値以上(例えば50%以上)である場合に、検査キット20の撮影画像の再送をユーザ端末40に要求するように構成してもよい。撮影画像の再送を要求されたユーザ端末40は、例えば図11Aに示す案内画面の表示に戻り、再度検査キット20の撮影画像を取得してサーバ30へ送信し、サーバ30は、受信した撮影画像に基づいて再度検査結果の判定を行うことができる。これにより、例えば、最初に検査キット20を撮影したタイミングが検査時間の経過前であった場合、又は撮影画像が検査結果を判定できない画像であった場合等であっても、再度撮影された画像を用いて検査結果の判定を行い、検査キット20の正確な検査結果をユーザに通知できる。
 本実施形態のユーザ端末40において、ユーザによる操作に基づいて検査キット20の静止画を取得する構成の代わりに、自動的に検査キット20の静止画を撮影するように構成してもよい。即ち、カメラ46によって検査キット20の動画を撮影している場合に、高精度の静止画を撮影できるタイミングで自動的に検査キット20の静止画を取得するようにユーザ端末40を構成してもよい。この場合、ユーザは、検査キット20の上面にユーザ端末40をかざす(カメラ46によって検査キット20の動画を撮影する)だけで、検査キット20の静止画を高精度に取得できる。よって、ユーザは、例えば図11Aに示す案内画面中の撮影ボタンを操作する必要がなく、ユーザの操作性がより向上する。
 本実施形態において、ユーザ端末40は、被検者又は被検者の家族等の端末のほかに、医療機関等において検査者が使用する端末であってもよい。例えば1つの医療機関に1つのサーバ30を設置しておき、この医療機関内の検査者が、ユーザ端末40を用いて検査キット20を撮影して撮影画像をサーバ30へ送信し、サーバ30から判定結果を取得する構成とすることができる。この場合、大規模な医療機関において、検査キット20を使用して検査を行う場所が複数箇所有る場合であっても、それぞれの検査場所(例えば各診療科の診察室又は処置室等)で検査キット20の撮影画像を取得してサーバ30へ送信することにより、検査キット20による正確な検査結果を得ることができる。また、ネットワークN上にサーバ30を用意しておき、複数の医療機関の検査者が、ユーザ端末40を用いて検査キット20を撮影して撮影画像をサーバ30へ送信し、サーバ30から判定結果を取得する構成としてもよい。この場合、1つのサーバ30を複数の医療機関における検査者で共有できる。また、新しい種類の検査キット20が販売された場合であっても、サーバ30を管理する管理者側で種別判別モデル32a及び結果判別モデル32bの更新を行うことができる。よって、医療機関側では判別モデル32a,32bの更新処理を行うことなく、最新の種別判別モデル32a及び結果判別モデル32bを使用した判定結果を得ることができる。
(実施形態3)
 実施形態2の検査システムにおいて、サーバ30で判定した結果(検査キット20による検査結果)が誤りである場合に訂正内容がユーザ端末40からサーバ30へ送信される構成を有する検査システムについて説明する。本実施形態の検査システムは、実施形態2の検査システムの各装置30,40と同様の装置によって実現されるので、構成については説明を省略する。図12は、実施形態3のサーバ30による判定処理手順の一例を示すフローチャート、図13A及び図13Bは画面例を示す模式図である。図12に示す処理は、図10に示す処理においてステップS53の後にステップS61~S65を追加したものである。図10と同じステップについては説明を省略する。また図12では、図10中のステップS41~S52の図示を省略している。
 本実施形態において、実施形態2と同様に、ユーザ端末40の制御部41はステップS41~S47の処理を行い、サーバ30の制御部31はステップS48~S52の処理を行う。これにより、ユーザ端末40で撮影された検査キット20の撮影画像に基づいて、サーバ30が検査キット20による検査結果を判定し、判定した結果をユーザ端末40に送信する。そして、ユーザ端末40の制御部41は、サーバ30から受信した判定結果(検査結果)を表示部45に表示する(S53)。本実施形態のサーバ30では、制御部31は、検査キット20による検査結果が陽性であると判断した場合、具体的には陽性確率が所定閾値以上であると判断した場合、図13Aに示すような検査結果画面を生成してユーザ端末40へ送信する。これにより、ユーザ端末40は、図13Aに示すような検査結果画面を表示部45に表示する。図13Aに示す検査結果画面は、検査キット20による検査結果が陽性と判定されたことを通知するメッセージと、検査結果の判定に用いた検査キット20の撮影画像とを表示する。なお、サーバ30の制御部31は、検査キット20による検査結果が陰性であると判断した場合、検査結果が陰性と判定されたことを通知する検査結果画面を生成してユーザ端末40へ送信する。
 また検査結果画面は、通知した判定結果の訂正(修正)を指示するための訂正ボタンと、検査結果判定アプリ42aの終了を指示するための終了ボタンとを有する。よって、ユーザは、検査に用いた検査キット20の判定領域22(判定ライン)による検査結果を目視で判断し、自身の判断と、検査結果画面にて通知された判定結果とが一致するか否かを判断する。そしてユーザは、自身の判断と通知された判定結果とが一致する場合、終了ボタンを操作し、一致しない場合、訂正ボタンを操作する。制御部41は、検査結果画面において入力部44を介して訂正ボタンが操作された場合、通知された判定結果に対する訂正指示を受け付け、終了ボタンが操作された場合、検査結果判定アプリ42aの終了指示を受け付ける。
 制御部41は、判定結果に対する訂正指示を受け付けたか否かを判断しており(S61)、訂正指示を受け付けたと判断した場合(S61:YES)、例えば図13Bに示すような訂正受付画面を表示部45に表示する(S62)。訂正受付画面は、例えば判定結果がA型陽性である場合、図13Bに示すように、判定結果に対して訂正可能な検査結果(訂正内容)を指定するための各ボタン(A型B型陽性ボタン、陰性ボタン、B型のみ陽性ボタン)と、訂正処理を終了するためのキャンセルボタンとを表示する。よって、ユーザは、判定結果を訂正する場合、訂正したい内容に対応するボタンを操作し、判定結果を訂正しない場合、キャンセルボタンを操作する。
 訂正受付画面において入力部44を介してキャンセルボタンが操作された場合、制御部41は、訂正受付画面の表示を終了して検査結果画面の表示に戻す。訂正受付画面において訂正内容に対応するボタンが操作された場合、制御部41は、操作されたボタンに対応する訂正内容を受け付ける(S63)。即ち、制御部41は、例えばA型B型陽性ボタンが操作された場合、A型B型陽性への訂正指示を受け付ける。制御部41は、受け付けた訂正内容と、検査結果画面に表示された検査キット20の撮影画像とを対応付けてサーバ30へ送信する(S64)。
 サーバ30の制御部31は、ユーザ端末40から訂正内容及び撮影画像を受信した場合、受信した訂正内容及び撮影画像を対応付けて、例えば記憶部32に記憶し(S65)、処理を終了する。なお、制御部41は、検査結果画面を介して判定結果に対する訂正指示を受け付けていないと判断した場合(S61:NO)、即ち、検査結果判定アプリ42aの終了指示を受け付けた場合、ステップS62~S64の処理をスキップして処理を終了する。サーバ30に記憶された訂正内容及び撮影画像は、撮影画像中の検査キット20の種別に対応する結果判別モデル32bを再学習させるための教師データ(再学習用データ)に用いることができる。例えば、サーバ30の制御部31は、種別判別モデル32aを用いて、再学習用データの撮影画像中の検査キット20の種別を判定し、判定した種別に対応する結果判別モデル32bに対して、再学習用データの撮影画像及び訂正内容が示す検査結果を教師データとして再学習させることができる。これにより、より高精度に検査キット20による検査結果を判別できる結果判別モデル32bを得ることができる。
 本実施形態においても実施形態2と同様の効果が得られる。また本実施形態では、サーバ30が判定した検査結果(判定結果)が誤っている場合に、サーバ30がユーザ端末40から正解の検査結果を取得することができる。よって、サーバ30は、ユーザ端末40から正解の検査結果及び検査キット20の撮影画像を取得することができ、結果判別モデル32bを再学習させるための教師データを収集することができる。また、収集した教師データを用いて結果判別モデル32bを再学習させた場合には、より高精度な結果判別モデル12bを実現できる。
(実施形態4)
 実施形態2の検査システムにおいて、ユーザ端末40が検査キット20の撮影画像をサーバ30へ送信する際に、ユーザ端末40の現在位置を示す位置情報も送信する構成を有する検査システムについて説明する。本実施形態の検査システムは、実施形態2の検査システムの各装置30,40と同様の装置によって実現されるので、構成については説明を省略する。図14は、実施形態4のサーバ30による判定処理手順の一例を示すフローチャートである。図14に示す処理は、図10に示す処理においてステップS47の代わりにステップS71~S72を追加し、ステップS51の後にステップS73を追加したものである。図10と同じステップについては説明を省略する。また図14では、図10中のステップS41~S45の図示を省略している。
 本実施形態において、実施形態2と同様に、ユーザ端末40の制御部41はステップS41~S46の処理を行う。そして、ユーザ端末40の制御部41は、案内画面を介して撮影画像の送信指示を受け付けたと判断した場合(S46:YES)、自身のユーザ端末40の現在位置を示す位置情報を取得する(S71)。例えばユーザ端末40がGPS(Global Positioning System )衛星から送信される電波を受信するGPSアンテナを有する場合、制御部41は、GPSアンテナを介して受信した電波に基づいて現在位置を取得する。また例えば、制御部41は、入力部44を介したユーザからの入力によって位置情報を取得してもよい。この場合、制御部41は、例えば日本における都道府県のいずれか、又は東北地方、関東地方、近畿地方等の地方のいずれかを選択するための選択画面を表示部45に表示し、選択画面を介して位置情報の選択を受け付けるように構成してもよい。なお、現在位置の取得方法は、これらの方法に限定されない。制御部41は、取得した位置情報と、案内画面に表示中の撮影画像とを対応付けてサーバ30へ送信する(S72)。
 サーバ30の制御部31(位置取得部)は、ユーザ端末40から位置情報及び撮影画像を受信し、受信した撮影画像に基づいてステップS48~S52の処理を行う。これにより、ユーザ端末40で撮影された検査キット20の撮影画像に基づいてサーバ30が判定した検査結果をユーザ端末40に送信できる。そして、ユーザ端末40の制御部41は、サーバ30から受信した判定結果(検査結果)を表示する(S53)。
 本実施形態のサーバ30では、制御部31(計数部)は、ステップS51の処理後、ユーザ端末40から受信していた位置情報に基づいて、この位置情報が示す位置を含む地域を特定し、特定した地域に対応する陽性数に1を加算する(S73)。即ち、サーバ30は、陽性の検査結果が生じた場合に、ユーザ端末40の地域(位置情報)毎の陽性数(発症数)を計数する。なお、地域とは、例えば日本における都道府県であってもよく、東北地方、関東地方、近畿地方等の地方であってもよい。このようにサーバ30が地域毎の発症数(陽性数)を計数することにより、インフルエンザ等の病気の流行傾向等を予測できる。制御部31は、予め設定された複数の地域のそれぞれに対応する陽性数を例えば記憶部32に記憶しており、記憶部32に記憶してある各地域の陽性数に1を加算することにより、地域毎の陽性数を計数する。なお、制御部31は、日付毎に各地域の陽性数を計数してもよいし、1日のうちの所定時間帯毎に各地域の陽性数を計数してもよい。
 本実施形態においても実施形態2と同様の効果が得られる。また本実施形態では、サーバ30がユーザ端末40から受信した撮影画像に基づいて検査結果が陽性であると判断した数(陽性数)を地域毎に計数できる。また、本実施形態の構成は、実施形態3の検査システムにも適用でき、実施形態3の検査システムに適用した場合であっても同様の効果が得られる。
(実施形態5)
 実施形態1の検査装置10において、検査キット20の種別毎に検査キット20の使用数を計数する構成を有する検査装置10について説明する。本実施形態の検査装置は、実施形態1の検査装置10と同様の構成を有するので、構成については説明を省略する。図15は、実施形態5の検査装置10による判定処理手順の一例を示すフローチャートである。図15に示す処理は、図5及び図6に示す処理においてステップS17及びステップS18の間にステップS81を追加したものである。図5及び図6と同じステップについては説明を省略する。また図15では、図6中の各ステップの図示を省略している。
 本実施形態において、検査装置10の制御部11は、実施形態1と同様にステップS11~S17の処理を行う。そして、本実施形態の検査装置10では、制御部11は、ステップS17で判定した検査キット20の種別に対応する検査キット20の使用数に1を加算する(S81)。これにより、検査装置10によって検査結果が判定される検査キット20の使用数を種別毎に計数できる。なお、制御部11は、検査キット20の種別毎に対応する使用数を例えば記憶部12に記憶しており、記憶部12に記憶してある各種別の使用数に1を加算することにより、種別毎の使用数を計数する。また制御部11は、日付毎に各種別の使用数を計数してもよいし、1週間又は1ヶ月等の所定期間毎に各種別の使用数を計数してもよい。ステップS81の処理後、制御部11は、実施形態1と同様にステップS18以降の処理を行う。
 本実施形態においても実施形態1と同様の効果が得られる。また本実施形態では、検査装置10が検査結果を判定した検査キット20について、種別毎の使用数を計数できる。よって、それぞれの種別の検査キット20について実際の使用数を把握できるので、検査キット20の在庫管理が容易となり、次に購入すべき仕入数の決定が容易となる。また、各検査キット20の在庫数を把握できるので、例えば在庫数が所定数未満となった場合に、販売元のメーカに自動的に発注する機能を検査装置10に設けることもできる。
 本実施形態の構成は、実施形態2~4の検査システムにも適用できる。なお、実施形態2~4の検査システムに適用した場合、例えば被検者が自宅等で使用した検査キット20について、種別毎の使用数を計数できる。よって、例えばメーカ毎のシェアを把握することができる。また、各メーカは、種別毎の使用数に基づいて、次に製造すべき検査キット20の製造数を適正に決定でき、過剰な在庫の発生を抑制できる。
(実施形態6)
 実施形態2の検査システムにおいて、サーバ30がユーザ端末40から受信した撮影画像に基づいて、撮影画像中の検査キット20の使用期限に関する情報を取得し、使用期限が経過していた場合にその旨をユーザ端末40のユーザに通知する構成を有する検査システムについて説明する。本実施形態の検査システムは、実施形態2の検査システムの各装置30,40と同様の装置によって実現されるので、構成については説明を省略する。図16は、実施形態6のサーバ30による判定処理手順の一例を示すフローチャートである。図16に示す処理は、図10に示す処理においてステップS48及びステップS49の間にステップS91を追加し、ステップS49及びステップS50の間にステップS92~S93を追加したものである。図10と同じステップについては説明を省略する。また図16では、図10中のステップS41~S46の図示を省略している。
 本実施形態において、実施形態2と同様に、ユーザ端末40の制御部41はステップS41~S47の処理を行い、サーバ30の制御部31はステップS48の処理を行う。そして、本実施形態のサーバ30では、制御部31(期限取得部)は、ユーザ端末40から受信した撮影画像から、撮影画像中の検査キット20の使用期限に関する情報(使用期限情報)を取得する(S91)。例えば使用期限情報(使用期限の年月日)を各検査キット20の上面に印字しておき、制御部31は、撮影画像から使用期限情報を読み取ってもよい。また、各検査キット20のコード23が使用期限情報を含む場合、制御部31は、撮影画像から読み取ったコード23の情報から使用期限情報を取得してもよい。また、検査キット20の製品番号又はロット番号等のキット情報を各検査キット20の上面に印字しておき、制御部31は、撮影画像からキット情報を読み取り、読み取ったキット情報に対応する使用期限を特定してもよい。この場合、検査キット20のキット情報に対応する使用期限の情報を予め記憶部32に記憶しておく。また、各検査キット20のコード23にキット情報を含め、撮影画像から読み取ったコード23の情報からキット情報を取得し、取得したキット情報に対応する使用期限の情報を取得してもよい。
 サーバ30の制御部31は、使用期限情報を取得した後、ステップS49の処理を行い、受信した撮影画像中の検査キット20による検査結果を判定する。そして、制御部31(判断部)は、ステップS91で取得した使用期限情報に基づいて、使用期限が経過しているか否かを判断する(S92)。例えば制御部31は、この時点の現在日時と使用期限とを比較し、使用期限が経過しているか否かを判断する。また制御部31は、ユーザ端末40から撮影画像を受信した受信日時と使用期限とを比較し、使用期限が経過しているか否かを判断してもよく、ユーザ端末40から受信した撮影画像に撮影日時の情報が含まれる場合、撮影日時と使用期限とを比較し、使用期限が経過しているか否かを判断してもよい。
 制御部31は、使用期限が経過していると判断した場合(S92:YES)、使用期限が経過していることを通知するためのメッセージ(期限通知情報)を生成する(S93)。使用期限が経過していないと判断した場合(S92:NO)、制御部31はステップS93の処理をスキップする。そして、制御部31は、ステップS49で取得した陽性確率が所定閾値以上であるか否かを判断し(S50)、閾値以上であると判断した場合(S50:YES)、陽性である検査結果を、ステップS93で生成したメッセージ(期限通知情報)と共にユーザ端末40へ送信する(S51)。また制御部31は、陽性確率が所定閾値未満であると判断した場合(S50:NO)、陰性である検査結果を、ステップS93で生成したメッセージ(期限通知情報)と共にユーザ端末40へ送信する(S52)。これにより、ユーザ端末40の制御部41は、サーバ30による判定結果(検査結果)と共に、使用期限が経過していた場合にはその旨を通知するメッセージを表示する(S53)。よって、使用期限が経過している検査キット20をユーザが誤って使用した場合に、サーバ30はその旨をユーザ(被検者)に通知できる。よって、ユーザは、再度使用期限が経過していない検査キット20を用いて検査を行うことができ、正確な検査結果を得ることができる。
 本実施形態においても実施形態2と同様の効果が得られる。また本実施形態では、サーバ30がユーザ端末40から受信した撮影画像に基づいて検査キット20の使用期限が経過していないことを確認できる。また、使用期限が経過していた場合に、サーバ30からユーザ端末40へ使用期限が経過していることが通知されるので、ユーザは、使用期限が経過した検査キット20を使用していたことを把握できる。また、本実施形態の構成は、実施形態3~4の検査システムにも適用でき、実施形態3~4の検査システムに適用した場合であっても同様の効果が得られる。
(実施形態7)
 実施形態2の検査システムにおいて、サーバ30がユーザ端末40から受信した撮影画像に基づいて、撮影画像中の検査キット20による検査結果が陽性であると判定した場合に、治療可能な医療機関の情報又は市販薬の情報等をユーザ端末40のユーザに提供する構成を有する検査システムについて説明する。本実施形態の検査システムは、実施形態2の検査システムの各装置30,40と同様の装置によって実現されるので、構成については説明を省略する。図17は、実施形態7のサーバ30による判定処理手順の一例を示すフローチャートである。図17に示す処理は、図10に示す処理においてステップS51の前にステップS101を追加したものである。図10と同じステップについては説明を省略する。また図17では、図10中のステップS41~S46の図示を省略している。
 本実施形態において、実施形態2と同様に、ユーザ端末40の制御部41はステップS41~S47の処理を行い、サーバ30の制御部31はステップS48~S50の処理を行う。そして、本実施形態のサーバ30では、制御部31は、取得した陽性確率が所定閾値以上であると判断した場合(S50:YES)、陽性であると判定された病気に対応して治療が可能な医療機関又は診療科の情報(医療機関情報、紹介情報)を生成する(S101)。例えばサーバ30の記憶部32に、検査キット20の種別又は検査キット20による検査対象物に対応して、それぞれの病気の治療が可能な医療機関又は診療科の情報を記憶させておく。そして制御部31は、ステップS48で判定した検査キット20の種別に対応する医療機関又は診療科の情報を記憶部32から読み出す。そして制御部31は、読み出した医療機関又は診療科の情報と、判定した検査結果(ここでは陽性である検査結果)とをまとめてユーザ端末40へ送信する(S51)。これにより、ユーザ端末40の制御部41は、サーバ30による判定結果(検査結果)と共に、治療可能な医療機関又は診療科の情報を表示する(S53)。なお、ユーザ端末40のユーザに提供する情報は、医療機関又は診療科の情報のほかに、市販薬又は薬局の情報を含んでもよい。
 本実施形態においても実施形態2と同様の効果が得られる。また本実施形態では、サーバ30がユーザ端末40から受信した撮影画像に基づいて検査結果が陽性であると判断した場合に、ユーザ(被検者)に医療機関又は診療科の情報、或いは市販薬又は薬局の情報等を提供でき、医療機関の受診又は市販薬の服用を提案できる。また、本実施形態の構成は、実施形態3~4,6の検査システムにも適用でき、実施形態3~4,6の検査システムに適用した場合であっても同様の効果が得られる。
(実施形態8)
 実施形態1の検査装置10において、種別判別モデル12aの出力層に、判別対象の種別のいずれかに判別できない(判別不可能である)と判断すべき確率を出力する出力ノードを設けた構成について説明する。本実施形態の検査装置10は、種別判別モデル12a以外は、実施形態1の検査装置10と同様の構成を有するので、構成については説明を省略する。なお、本実施形態の種別判別モデル12aは、判別対象として学習させた検査キット20の種別のいずれであるか、又は判別対象の種別に判別できない(判別不可能である)ことを判別するように構成されている。よって、種別判別モデル12aにおいて、出力層は判別対象の種別の数に1を加算した数のノードを有し、1つのノードは、入力された撮影画像中の検査キット20の種別が判別対象の種別ではないと判断すべき確率を出力する。
 図18及び図19は、実施形態8の検査装置10による判定処理手順の一例を示すフローチャートである。図18及び図19に示す処理は、図5及び図6に示す処理においてステップS17及びステップS18の間にステップS111~S113を追加したものである。図5及び図6と同じステップについては説明を省略する。本実施形態において、検査装置10の制御部11は、実施形態1と同様にステップS11~S17の処理を行う。なお、本実施形態の種別判別モデル12aは、撮影画像中の検査キット20の種別が、判別対象の種別のいずれであるか、又は判別不可能であるかを判別する。制御部11は、種別判別モデル12aからの出力情報に基づいて、撮影画像中の検査キット20の種別が、判別対象の種別のいずれであるかを判定できた(判定可能)か否かを判断する(S111)。判定できたと判断した場合(S111:YES)、制御部11は、ステップS18以降の処理を行う。
 判定できないと判断した場合(S111:NO)、制御部11は、判定できないことを示すエラーメッセージを表示部15に表示してエラー通知を行う(S112)。例えば制御部11は、表示部15に表示される検査結果画面において、判定対象の検査キット20に対応する表示領域のステータス情報として、「種別判定不能」等のエラーメッセージを表示する。また、制御部11は、エラーメッセージを表示するだけでなく、通知用ライト16を点灯又は点滅させることにより、エラーの発生を通知してもよく、検査装置10が音声出力装置を有する場合、音声出力装置による音声出力によってエラーの発生を通知してもよい。
 種別を判別できない検査キット20については、例えば検査者が目視で検査結果を確認し、入力部14を介して検査結果を入力する。よって、制御部11は、エラー通知を行った検査キット20に対して検査結果の入力を受け付けたか否かを判断しており(S113)、受け付けていないと判断した場合(S113:NO)、エラー通知を継続する(S112)。なお、例えば入力部14を介してエラー通知の終了が指示された場合、制御部11はエラー通知を終了してもよい。検査結果の入力を受け付けたと判断した場合(S113:YES)、制御部11は、ステップS27の処理に移行し、入力された検査結果を所定の装置(例えば電子カルテシステム)へ送信し(S27)、このエリアに対する処理を終了する。
 本実施形態においても実施形態1と同様の効果が得られる。また本実施形態では、種別判別モデル12aによって種別を判別できない検査キット20については、検査者による手入力によって検査結果を入力でき、電子カルテシステムに検査結果を登録できる。検査キット20は日々新しい種別のキットが販売されている。このような状況において、既に種別判別モデル12aで学習済みの検査キット20については自動的に検査結果の判定を行うことができ、学習済みでない検査キット20については検査者が目視によって検査結果の判定を行う。よって、検査者は、種別判別モデル12aで学習済みでない種別の検査キット20についてのみ目視で検査結果の判定を行えばよく、検査者が検査を行う際の負担が軽減できる。
 本実施形態の構成は、実施形態5の検査装置10、実施形態2~4,6~7の検査システムにも適用できる。なお、実施形態2~4,6~7の検査システムに適用した場合、例えばサーバ30が、ユーザ端末40から受信した撮影画像に基づいて、種別判別モデル32aを用いて撮影画像中の検査キット20の種別を判定した場合に、判別対象の種別のいずれであるかを判定できた場合は、判定した種別の結果判別モデル32bを用いて、撮影画像中の検査キット20による検査結果を判定する。一方、判別対象の種別のいずれであるかを判定できなかった場合は、サーバ30では判別できないことを示すエラーメッセージをユーザ端末40へ送信してエラー通知を行う。これにより、サーバ30は、ユーザ端末40のユーザに対して、ユーザから送信された撮影画像中の検査キット20による検査結果として、陽性又は陰性だけでなく、判別不可能であることを通知できる。
(実施形態9)
 上述した実施形態1~8では、検査キット20を使用して検査を行った際に、検査キット20による検査結果を検査装置10又はサーバ30で正確に判定する構成であった。このほかに、例えば製造メーカにおいて、検査キット20の出荷前に行う品質検査に検査装置10又はサーバ30を用いることもできる。例えば出荷前の検査キット20を撮影し、種別判別モデル12a,32aを用いて撮影画像中の検査キット20の種別を判定し、適切に判定できるか否かに応じて合格品又は不合格品に判別することができる。よって、従来目視で行っていた品質検査を検査装置10又はサーバ30を用いて自動で行うことにより、品質検査を効率良く行うことができると共に、品質にばらつきが少ない検査キット20を提供できる。
 今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本開示の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
 10 検査装置
 11 制御部
 15 表示部
 17 カメラ
 20 検査キット
 30 サーバ
 31 制御部
 33 通信部
 40 ユーザ端末
 41 制御部
 10b 載置面
 12a,32a 種別判別モデル
 12b,32b 結果判別モデル

Claims (14)

  1.  イムノクロマト法を用いて被検査物を検査する検査キットを撮影した画像を取得し、
     検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットによる検査結果に係る情報を出力するように深層学習された結果判別用の学習済みモデルに、取得した前記画像を入力し、
     前記結果判別用の学習済みモデルから出力された情報に基づいて、取得した前記画像中の検査キットによる検査結果を判定し、
     判定した検査結果を出力する
     処理をコンピュータに実行させるプログラム。
  2.  検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットの種別に係る情報を出力するように深層学習された種別判別用の学習済みモデルに、取得した前記画像を入力し、
     前記種別判別用の学習済みモデルから出力された情報に基づいて、取得した前記画像中の検査キットの種別を判定する
     処理を前記コンピュータに実行させる請求項1に記載のプログラム。
  3.  前記結果判別用の学習済みモデルは、前記検査キットの種別毎に用意されており、
     判定した前記検査キットの種別に応じた前記結果判別用の学習済みモデルを用いて、前記取得した画像中の検査キットによる検査結果を判定する
     処理を前記コンピュータに実行させる請求項2に記載のプログラム。
  4.  判定した前記検査キットの種別に応じて前記検査キットによる検査時間を特定し、
     特定した検査時間と、検査開始からの経過時間とに基づいて、残り時間を計時し、
     計時した残り時間を表示する表示情報を表示部へ出力する
     処理を前記コンピュータに実行させる請求項2又は3に記載のプログラム。
  5.  取得した前記画像に基づいて、前記画像中の検査キットに付加されたコード情報を取得し、
     取得した前記コード情報と、判定した前記検査結果とを対応付ける
     処理を前記コンピュータに実行させる請求項1から4までのいずれかひとつに記載のプログラム。
  6.  判定した前記検査結果に対する修正指示を受け付け、
     受け付けた修正内容と、取得した前記画像とを含む再学習用データを出力する
     処理を前記コンピュータに実行させる請求項1から5までのいずれかひとつに記載のプログラム。
  7.  複数の前記検査キットを撮影した画像を取得し、
     取得した前記画像から、それぞれの検査キットを含む領域を抽出し、
     抽出した前記領域毎に前記結果判別用の学習済みモデルに入力して検査結果を判定し、
     前記画像における各領域の位置に対応させて各領域について判定された検査結果を表示する表示情報を表示部へ出力する
     処理を前記コンピュータに実行させる請求項1から6までのいずれかひとつに記載のプログラム。
  8.  前記複数の検査キットを撮影した画像を所定時間毎に取得し、
     取得した前記画像から抽出した各領域を所定時間毎に前記結果判別用の学習済みモデルに入力して検査結果を判定し、
     判定した検査結果の判定確率が所定閾値以上であるか否かを判断し、
     前記判定確率が所定閾値以上であると判断した時点で、判定された検査結果を表示する表示情報を表示部へ出力する
     処理を前記コンピュータに実行させる請求項7に記載のプログラム。
  9.  イムノクロマト法を用いて被検査物を検査する検査キットを複数並べて載置可能な載置台と、
     前記載置台に載置された検査キットを撮影する撮影部と、
     前記撮影部が撮影した画像から、それぞれの検査キットを含む領域を抽出する抽出部と、
     検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットによる検査結果に係る情報を出力するように深層学習された結果判別用の学習済みモデルに、抽出した前記領域を入力し、前記結果判別用の学習済みモデルから出力された情報に基づいて、抽出した前記領域中の検査キットによる検査結果を判定する判定部と、
     前記載置台に載置された各検査キットの載置位置に対応させて、各領域について判定された検査結果を表示する表示部と
     を備える検査装置。
  10.  イムノクロマト法を用いて被検査物を検査する検査キットを撮影した画像をユーザ端末から取得する画像取得部と、
     検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットによる検査結果に係る情報を出力するように深層学習された結果判別用の学習済みモデルに、取得した前記画像を入力し、前記結果判別用の学習済みモデルから出力された情報に基づいて、取得した前記画像中の検査キットによる検査結果を判定する判定部と、
     判定した前記検査結果を前記ユーザ端末へ出力する出力部と
     を備える情報処理装置。
  11.  前記ユーザ端末から前記ユーザ端末の位置情報を取得する位置取得部と、
     判定した前記検査結果が前記被検査物の検出を示す場合、前記検査結果が得られた画像に係るユーザ端末の位置情報に基づいて、地域毎に、前記被検査物が検出された画像数を計数する計数部と
     を備える請求項10に記載の情報処理装置。
  12.  取得した前記画像に基づいて、前記画像中の検査キットに付加された使用期限情報を取得する期限取得部と、
     取得した前記使用期限情報に基づいて、使用期限が経過したか否かを判断する判断部とを備え、
     前記出力部は、使用期限が経過したと判断した場合、使用期限の経過の通知情報を前記ユーザ端末へ出力する
     請求項10又は11に記載の情報処理装置。
  13.  前記出力部は、判定した前記検査結果に応じて医療機関の紹介情報を前記ユーザ端末へ出力する
     請求項10から12までのいずれかひとつに記載の情報処理装置。
  14.  イムノクロマト法を用いて被検査物を検査する検査キットを撮影した画像を取得し、
     検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットによる検査結果に係る情報を出力するように深層学習された結果判別用の学習済みモデルに、取得した前記画像を入力し、
     前記結果判別用の学習済みモデルから出力された情報に基づいて、取得した前記画像中の検査キットによる検査結果を判定し、
     判定した検査結果を出力する
     処理をコンピュータが実行する情報処理方法。
     
     
PCT/JP2020/023882 2019-06-19 2020-06-18 プログラム、検査装置、情報処理装置及び情報処理方法 WO2020256041A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/615,971 US20220334104A1 (en) 2019-06-19 2020-06-18 Non-Transitory Computer-Readable Storage Medium, Testing Device, Information Processing Apparatus, and Information Processing Method
JP2021526859A JPWO2020256041A1 (ja) 2019-06-19 2020-06-18
EP20826101.6A EP3989235A4 (en) 2019-06-19 2020-06-18 PROGRAM, TEST DEVICE, INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
CN202080043930.9A CN113966538A (zh) 2019-06-19 2020-06-18 程序、检查装置、信息处理装置和信息处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019113737 2019-06-19
JP2019-113737 2019-06-19

Publications (1)

Publication Number Publication Date
WO2020256041A1 true WO2020256041A1 (ja) 2020-12-24

Family

ID=74040827

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/023882 WO2020256041A1 (ja) 2019-06-19 2020-06-18 プログラム、検査装置、情報処理装置及び情報処理方法

Country Status (5)

Country Link
US (1) US20220334104A1 (ja)
EP (1) EP3989235A4 (ja)
JP (1) JPWO2020256041A1 (ja)
CN (1) CN113966538A (ja)
WO (1) WO2020256041A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113156111A (zh) * 2021-04-16 2021-07-23 上海雄图生物科技有限公司 一种饲料中抗生素的时间分辨荧光免疫定量poct检测系统
JP7022470B1 (ja) * 2021-10-11 2022-02-18 InnoJin株式会社 検査結果管理システム、検査結果管理方法及びプログラム
JP7062239B1 (ja) * 2021-12-27 2022-05-06 株式会社ネクイノ 情報処理装置、情報処理方法、およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117007825B (zh) * 2023-10-07 2023-12-22 北京众驰伟业科技发展有限公司 一种全自动凝血测试仪的试剂自动识别与定位系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207711A1 (ja) * 2017-05-09 2018-11-15 サイマックス株式会社 健康モニタリングシステム、健康モニタリング方法および健康モニタリングプログラム
JP2019045286A (ja) 2017-09-01 2019-03-22 富士レビオ株式会社 尿中プロスタグランジンe主要代謝物の測定方法及びキット
JP2019049516A (ja) * 2017-09-12 2019-03-28 富士フイルム株式会社 臨床検査装置及びシステム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902951B2 (en) * 2016-10-17 2021-01-26 Reliant Immune Diagnostics, Inc. System and method for machine learning application for providing medical test results using visual indicia
US10146909B2 (en) * 2017-04-06 2018-12-04 Diassess Inc. Image-based disease diagnostics using a mobile device
FI20186112A1 (en) * 2018-12-19 2020-06-20 Actim Oy SYSTEM AND METHOD FOR ANALYZING THE RESULT OF THE CARE SITE TEST

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207711A1 (ja) * 2017-05-09 2018-11-15 サイマックス株式会社 健康モニタリングシステム、健康モニタリング方法および健康モニタリングプログラム
JP2019045286A (ja) 2017-09-01 2019-03-22 富士レビオ株式会社 尿中プロスタグランジンe主要代謝物の測定方法及びキット
JP2019049516A (ja) * 2017-09-12 2019-03-28 富士フイルム株式会社 臨床検査装置及びシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3989235A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113156111A (zh) * 2021-04-16 2021-07-23 上海雄图生物科技有限公司 一种饲料中抗生素的时间分辨荧光免疫定量poct检测系统
JP7022470B1 (ja) * 2021-10-11 2022-02-18 InnoJin株式会社 検査結果管理システム、検査結果管理方法及びプログラム
JP7062239B1 (ja) * 2021-12-27 2022-05-06 株式会社ネクイノ 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
CN113966538A (zh) 2022-01-21
JPWO2020256041A1 (ja) 2020-12-24
US20220334104A1 (en) 2022-10-20
EP3989235A1 (en) 2022-04-27
EP3989235A4 (en) 2023-06-21

Similar Documents

Publication Publication Date Title
WO2020256041A1 (ja) プログラム、検査装置、情報処理装置及び情報処理方法
US10146909B2 (en) Image-based disease diagnostics using a mobile device
US11080848B2 (en) Image-based disease diagnostics using a mobile device
CN104969068B (zh) 用于在自动校准环境中执行及量化由特定浓度的生物分析物诱发的色彩改变的方法及设备
US11506656B2 (en) Automated camera-based optical assessment system and method
WO2021224907A1 (en) A remote medical examination system and method
CA2856094C (en) A quality control sensor method, system and device for use with biological/environmental rapid diagnostic test devices
JP7036401B2 (ja) 学習用サーバ、不足学習用画像収集支援システム、及び不足学習用画像推定プログラム
JP5852447B2 (ja) 患者対応支援システム、患者応対支援装置、患者応対支援方法、プログラム
Dell et al. Mobile tools for point-of-care diagnostics in the developing world
JP2024059980A (ja) ピッキング支援システム
TW202136747A (zh) 用於執行分析測量的方法和裝置
JP2019049516A (ja) 臨床検査装置及びシステム
CN105205307B (zh) 快检试剂的快速判别系统及方法
US11049242B2 (en) Portable and rapid screening in vitro detection system
JP6633322B2 (ja) 情報提供システムおよび情報提供方法
JP6143701B2 (ja) 薬剤登録装置およびプログラム
JP7062239B1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017144853A1 (en) Patient test data processing system and method
Dell A mobile point-of-care diagnostic system for low-resource settings
AU2022335934A1 (en) Automated verification and guidance for test procedures
EP4395631A1 (en) Automated verification and guidance for test procedures
JP2023136952A (ja) モデル生成方法、プログラム、情報処理方法、情報処理装置、及び情報処理システム
JP2020112897A (ja) 検品支援方法、及び検品支援システム
TWM508303U (zh) 生理運動資訊智慧辨識裝置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20826101

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021526859

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020826101

Country of ref document: EP

Effective date: 20220119