WO2022019110A1 - プログラム、情報処理装置、情報処理方法及びモデル生成方法 - Google Patents

プログラム、情報処理装置、情報処理方法及びモデル生成方法 Download PDF

Info

Publication number
WO2022019110A1
WO2022019110A1 PCT/JP2021/025540 JP2021025540W WO2022019110A1 WO 2022019110 A1 WO2022019110 A1 WO 2022019110A1 JP 2021025540 W JP2021025540 W JP 2021025540W WO 2022019110 A1 WO2022019110 A1 WO 2022019110A1
Authority
WO
WIPO (PCT)
Prior art keywords
sample image
image
detection
fine particles
terminal
Prior art date
Application number
PCT/JP2021/025540
Other languages
English (en)
French (fr)
Inventor
正 今井
佳織 阿部
Original Assignee
株式会社シバサキ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社シバサキ filed Critical 株式会社シバサキ
Priority to JP2022537906A priority Critical patent/JP7391285B2/ja
Publication of WO2022019110A1 publication Critical patent/WO2022019110A1/ja

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a program, an information processing device, an information processing method, and a model generation method.
  • Patent Document 1 discloses an image processing method for detecting the position of a cell from an image of a sample by using a learning model constructed by deep learning.
  • Patent Document 1 may detect impurities other than bacteria.
  • One aspect is to provide a program or the like that can suitably detect microorganisms or fine particles contained in a sample.
  • the program acquires a sample image obtained by capturing a sample that can detect fluorescence, and assigns coordinate data of each of the microorganisms or fine particles contained in the sample image and impurities to the sample image for training.
  • the acquired sample image is input to the trained model, and at least microorganisms or fine particles are detected, and a computer is made to execute a process of outputting the detection result.
  • microorganisms or fine particles contained in the sample can be suitably detected.
  • FIG. It is explanatory drawing which shows the configuration example of the detection system. It is a block diagram which shows the configuration example of a server. It is a block diagram which shows the configuration example of a terminal. It is a block diagram which shows the configuration example of the detection device. It is explanatory drawing which shows the outline of Embodiment 1.
  • FIG. It is explanatory drawing which shows the display screen example of a terminal. It is explanatory drawing which shows an example of a document file.
  • It is a flowchart which shows the procedure of the generation process of a detection model. It is a flowchart which shows the procedure of a bacterium detection process. It is a flowchart which shows the procedure of the bacterium detection processing which concerns on Embodiment 2.
  • FIG. 1 is an explanatory diagram showing a configuration example of a detection system.
  • a detection system for detecting bacteria from a sample image obtained by imaging a sample for a bacterial test of a sample such as food or beverage will be described.
  • the detection system includes an information processing device 1, a terminal 2, a detection device 3, and an administrator terminal 4.
  • the information processing device 1 and the terminal 2 are connected to a network N such as the Internet.
  • the inspection target is a bacterium, but the present invention is not limited to this.
  • microorganisms other than bacteria such as yeast, mold and algae, or fine particles such as fluorescent beads may be tested. That is, it suffices as long as it can detect microorganisms and / or fine particles, and the inspection target is not limited to bacteria.
  • the information processing device 1 is an information processing device capable of transmitting and receiving various types of information processing and information, and is, for example, a server computer, a personal computer, or the like.
  • the information processing apparatus 1 is a server computer, and in the following, it will be read as server 1 for the sake of brevity.
  • the server 1 performs machine learning to learn the training data to which the correct coordinate data (labels) of the bacteria and the contaminants are attached to the sample image for training, and the detection model 50 (see FIG. 5) described later is used. Generate.
  • the detection model 50 is a machine learning model that detects at least bacteria among bacteria and impurities contained in the sample image by inputting the sample image.
  • the server 1 generates a detection model 50 capable of discriminating between a bacterium and a contaminant by learning not only the bacterium but also the coordinate data of the contaminants other than the bacterium.
  • the terminal 2 is an information processing terminal of a user who uses this system, for example, a personal computer, a tablet terminal, a smartphone, or the like.
  • the data of the detection model 50 generated by the server 1 is installed in the user's terminal 2, and the terminal 2 inputs the sample image obtained by capturing the sample into the detection model 50 to detect bacteria.
  • the detection device 3 is an inspection device for detecting bacteria contained in a sample, and is an image pickup device for imaging a sample.
  • a fluorescent staining method is used as a method for detecting bacteria, and the detection device 3 images a sample stained with a fluorescent staining agent.
  • the detection device 3 is a substrate that holds a measurement filter (for example, a membrane filter) from which a sample stained with a stain agent is collected, an XY stage that slides the substrate in the X-axis direction and the Y-axis direction, and an excitation light is applied to the sample.
  • An excitation light source for irradiation, an image pickup camera, and the like are provided inside the apparatus, and the sample is imaged while finely adjusting the position of the measurement filter in the X-axis direction and the Y-axis direction.
  • the detection device 3 for example, the detection device described in International Publication No. 2017/115768 can be used.
  • the terminal 2 inputs the sample image captured by the detection device 3 into the detection model 50 and detects bacteria.
  • the detection device 3 described above is an example, and the detection device 3 may be capable of capturing a sample image. Further, the configuration using the detection device 3 for image pickup is not essential, and for example, the terminal 2 may use an image obtained by manually capturing the sample as the sample image. Further, the fluorescent staining method is an example of a bacterial staining method, as long as bacteria can be detected from an image obtained by capturing an image of a sample, and the detection method is not limited to the fluorescent staining method.
  • the sample is stained and then imaged.
  • the detection target microorganism or fine particles
  • the sample may not be stained. .. That is, the sample image may be an image obtained by capturing a sample capable of detecting fluorescence of microorganisms or fine particles, and staining with a fluorescent stain is not essential.
  • the administrator terminal 4 is an information processing terminal of an administrator who manages this system, for example, a personal computer or the like.
  • the server 1 uses the training data in which the administrator of this system (a staff member who has the skill to distinguish bacteria and impurities contained in the sample image) assigns the correct answer label to the sample image for training. Get from and learn from.
  • FIG. 2 is a block diagram showing a configuration example of the server 1.
  • the server 1 includes a control unit 11, a main storage unit 12, a communication unit 13, and an auxiliary storage unit 14.
  • the control unit 11 is an arithmetic processing unit such as one or a plurality of CPUs (Central Processing Units), MPUs (Micro-Processing Units), GPUs (Graphics Processing Units), and reads out the program P1 stored in the auxiliary storage unit 14. By executing the above, various information processing, control processing, etc. are performed.
  • the main storage unit 12 is a temporary storage area for SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the control unit 11 to execute arithmetic processing.
  • the communication unit 13 is a communication module for performing processing related to communication, and transmits / receives information to / from the outside.
  • the auxiliary storage unit 14 is a non-volatile storage area such as a large-capacity memory or a hard disk, and stores the program P1 and other data necessary for the control unit 11 to execute processing. Further, the auxiliary storage unit 14 stores the detection model 50.
  • the detection model 50 is a machine learning model in which training data has been trained as described above, and is a trained model in which bacteria contained in the sample image are detected by inputting a sample image obtained by imaging a sample stained with a stain agent. ..
  • the detection model 50 is expected to be used as a software module constituting a part of artificial intelligence software.
  • the auxiliary storage unit 14 may be an external storage device connected to the server 1. Further, the server 1 may be a multi-computer composed of a plurality of computers, or may be a virtual machine virtually constructed by software.
  • the server 1 is not limited to the above configuration, and may include, for example, an input unit that accepts operation input, a display unit that displays an image, and the like. Further, the server 1 includes a reading unit for reading a portable storage medium 1a such as a CD (CompactDisk) -ROM, a DVD (DigitalVersatileDisc) -ROM, and reads and executes a program P1 from the portable storage medium 1a. You can do it. Alternatively, the server 1 may read the program P1 from the semiconductor memory 1b.
  • a portable storage medium 1a such as a CD (CompactDisk) -ROM, a DVD (DigitalVersatileDisc) -ROM
  • FIG. 3 is a block diagram showing a configuration example of the terminal 2. It includes a control unit 21, a main storage unit 22, a communication unit 23, a display unit 24, an input unit 25, and an auxiliary storage unit 26.
  • the control unit 21 is an arithmetic processing device such as one or a plurality of CPUs and MPUs, and performs various information processing, control processing, and the like by reading and executing the program P2 stored in the auxiliary storage unit 26.
  • the main storage unit 22 is a temporary storage area such as a RAM, and temporarily stores data necessary for the control unit 21 to execute arithmetic processing.
  • the communication unit 23 is a communication module for performing processing related to communication, and transmits / receives information to / from the outside.
  • the display unit 24 is a display screen such as a liquid crystal display and displays an image.
  • the input unit 25 is an operation interface for a keyboard, a mouse, and the like, and receives operation input from the user.
  • the auxiliary storage unit 26 is a non-volatile storage area such as a hard disk and a large-capacity memory, and stores a program P2 and other data necessary for the control unit 21 to execute processing. Further, the auxiliary storage unit 26 stores the detection model 50.
  • the terminal 2 may include a reading unit that reads a portable storage medium 2a such as a CD-ROM, and may read the program P2 from the portable storage medium 2a and execute the program P2. Alternatively, the terminal 2 may read the program P2 from the semiconductor memory 2b.
  • a reading unit that reads a portable storage medium 2a such as a CD-ROM, and may read the program P2 from the portable storage medium 2a and execute the program P2.
  • the terminal 2 may read the program P2 from the semiconductor memory 2b.
  • FIG. 4 is a block diagram showing a configuration example of the detection device 3.
  • the detection device 3 includes a control unit 31, an image pickup unit 32, an XY-axis motor driver 33, an XY-axis motor 34, an LD (Laser Diode) driver 35, and an LD light source 36.
  • the control unit 31 is an arithmetic processing unit such as a CPU, and performs various information processing for controlling the detection device 3.
  • the image pickup unit 32 is a camera having an image pickup element such as a CCD (Charge Coupled Device) sensor, and takes an image of a sample collected by a measurement filter.
  • CCD Charge Coupled Device
  • the XY-axis motor driver 33 is a driver that controls the operation of the XY-axis motor 34 that drives the XY stage, and adjusts the position of the measurement filter mounted on the board on the XY stage.
  • the LD driver 35 is a driver that adjusts the amount of excitation light emitted from the LD light source 36, which is an excitation light source, and irradiates the sample with the excitation light.
  • FIG. 5 is an explanatory diagram showing an outline of the first embodiment.
  • FIG. 5 conceptually illustrates how bacteria contained in the sample image are detected when the sample image taken by the detection device 3 is input to the detection model 50. An outline of the present embodiment will be described with reference to FIG.
  • the terminal 2 acquires a sample image from the detection device 3.
  • the detection device 3 is an inspection device for detecting bacteria as described above, and is a device for imaging a sample stained with a fluorescent stain.
  • the detection device 3 irradiates the measurement filter on which the stained sample is collected with excitation light, and captures a sample image (fluorescent image).
  • the detection device 3 divides the region in which the sample is collected by the measurement filter into a plurality of grid-like sections along the X-axis direction and the Y-axis direction. ..
  • the detection device 3 captures a sample image corresponding to each section while sliding the measurement filter mounted on the substrate on the XY stage in the X-axis direction and the Y-axis direction. The detection device 3 transmits the captured sample image to the terminal 2.
  • the sample image captured by the detection device 3 is a black-and-white image, but the sample image may be an RGB image, and the image format is not particularly limited.
  • the terminal 2 inputs the sample image transmitted from the detection device 3 into the detection model 50.
  • the detection model 50 is a machine learning model generated by learning training data, and is, for example, a neural network constructed by deep learning.
  • the detection model 50 is a CNN (Convolution Neural Network) such as R-CNN (Region CNN), YOLO (You Look Only Once), SSD (Single Shot Detector).
  • the detection model 50 is described as being a CNN in the present embodiment, it may be a neural network other than the CNN, a decision tree, a random forest, or another machine learning model.
  • the detection model 50 includes an input layer that accepts input of a sample image, an intermediate layer that extracts a feature amount from the sample image, and an output layer that outputs a bacterial detection result (coordinate data) based on the extracted feature amount.
  • the input layer accepts the input of the sample image and passes the data to the intermediate layer.
  • the intermediate layer has a structure in which a convolution layer and a pooling layer are alternately connected, and the pixel value of each pixel of the sample image is compressed to extract a feature amount, which is then passed to the output layer.
  • the output layer outputs the coordinate data in the sample image in which bacteria are presumed to be present, based on the feature amount extracted in the intermediate layer.
  • the server 1 trains the sample image for training using the training data to which the coordinate data (label) of the correct answer of the bacterium is attached, and generates the detection model 50.
  • the server 1 performs learning using the training data to which not only the coordinate data of the bacteria but also the coordinate data of the contaminants are added as the training data.
  • Contaminants are substances other than bacteria and are not detected.
  • contaminants for example, dust such as fibers
  • the contaminants may also be stained by the dyeing agent, and the contaminants may also be observed as light emitting points in the sample image.
  • the sample contains an autofluorescent substance (for example, wheat flour contained in food), the substance may be observed as a light emitting point and may become a contaminant in detecting bacteria. Skilled workers can distinguish these contaminants from bacteria, but due to human work, the testing time is long and the number of samples that can be processed is limited.
  • the detection model 50 is made to learn not only the characteristics of bacteria but also the characteristics of contaminants, and a detection model 50 capable of discriminating between bacteria and contaminants is constructed. That is, the server 1 learns the detected image for training using the training data to which the coordinate data of each of the bacteria and the contaminants is added, and generates the detection model 50.
  • the training data is created by the administrator (staff having specialized knowledge about bacterial testing) on the administrator terminal 4 and provided to the server 1.
  • the server 1 inputs a sample image for training into the detection model 50, and acquires coordinate data estimated to be present as an output.
  • the server 1 compares the acquired coordinate data with the correct coordinate data, and adjusts parameters such as weights between neurons so that the two are close to each other. For example, the server 1 learns about all the sample images given for training, and finally generates a detection model 50 with optimized parameters.
  • the detection model 50 outputs only the coordinate data of bacteria as the detection result, but may output not only the coordinate data of bacteria but also the coordinate data of impurities. That is, the detection model 50 may detect at least bacteria among bacteria and contaminants, and may also detect contaminants.
  • the server 1 may train one detection model 50 for all kinds of bacteria (and contaminants) so that one detection model 50 can detect all kinds of bacteria, but training data for each type of bacteria may be obtained. It is preferable to learn and prepare a plurality of detection models 50, 50, 50 ... According to the type of bacteria. That is, the server 1 has training data in which the sample image for training is labeled with bacteria A and impurities, training data in which the sample image for training is labeled with bacteria B and impurities, and the sample for training. Training data with labels of bacteria C and contaminants attached to the images ... are acquired, and based on each training data, a detection model 50 for detecting bacteria A, a detection model 50 for detecting bacteria B, and a detection model 50 for detecting bacteria C are obtained. Generate a detection model 50 ... The user selects the detection model 50 from these detection models 50, 50, 50 ... According to the inspection purpose (type of bacteria to be detected) and uses it for bacteria detection.
  • the data of the detection model 50 generated by the server 1 is installed in the terminal 2.
  • the terminal 2 inputs the sample image acquired from the detection device 3 into the detection model 50, and detects the bacteria contained in the sample image.
  • a bounding box (rectangular frame) shows how bacteria are detected.
  • the detection model 50 detects bacteria indicated by black circles, while identifying substances indicated by hatched squares as impurities and excluding them from the detection results.
  • FIG. 6 is an explanatory diagram showing an example of a display screen of the terminal 2.
  • FIG. 6 illustrates an operation screen displayed by the terminal 2 when performing an inspection using the detection device 3. An operation procedure performed by the user at the time of inspection will be described with reference to FIG.
  • the screen includes an operation field 61, a tab 62, and an output button 63.
  • the operation column 61 is a display column for displaying the current state of the detection device 3 and displaying an icon button for controlling the operation of the detection device 3. The user controls the operation of the XY stage, the start of taking a sample image, and the like by operating the icon button.
  • Tab 62 is an operation tab for switching the screen display.
  • the terminal 2 switches the display to a screen (not shown) for setting the detection condition, and accepts the setting of various detection conditions.
  • the terminal 2 has detection conditions such as a section on the measurement filter to be an imaging range, a sample amount (ml), a sample number, a type of test reagent (staining agent) to be used, and an image imaging condition (luminance correction, mask correction, etc.). ) And other settings are accepted. Further, the terminal 2 accepts a selection input of the type (type of bacteria) of the detection model 50 used for detecting bacteria as a detection condition.
  • the terminal 2 After the setting of the detection condition is completed, the terminal 2 causes the detection device 3 to capture the sample image of each section on the measurement filter in response to the operation input to the icon button in the operation field 61. Then, the terminal 2 inputs the captured sample image of each section into the detection model 50 selected above, and detects the bacterium.
  • the terminal 2 displays the detection result of the bacterium. Specifically, as shown in FIG. 6, the terminal 2 has a sample image (second sample image) in which a bounding box (object) is attached at a position corresponding to the detected bacteria, and the number of detected bacteria detected. Is displayed. The terminal 2 sequentially displays the sample images of each section on the measurement filter according to the user's operation. In addition, the terminal 2 lists the number of detected bacteria in each section (detection location) on the measurement filter in Table 621, and displays the number of detected bacteria in the section related to the sample image currently being displayed at the upper part of Table 621. do.
  • the terminal 2 may display the certainty of the bacteria at each detection point indicated by the bounding box, which indicates the certainty when the detection model 50 detects the bacteria at each detection point.
  • the conviction is a probability value indicating the certainty when the detection model 50 detects each bacterium based on the feature amount of the sample image, and is output from the detection model 50 together with the coordinate data of each detection point.
  • the terminal 2 displays the degree of certainty corresponding to the bounding box (detection point) when the cursor is placed on the bounding box in response to the user's operation. This makes it possible to show the user how probable the detection result of the detection model 50 is.
  • the output button 63 is an operation button for outputting a file for saving (hereinafter referred to as "save file”) that summarizes the detection results of bacteria.
  • the terminal 2 outputs (exports) the saved file.
  • the terminal 2 is an image file of a sample image (a file in which a raw sample image acquired from the detection device 3 and a sample image with a bounding box (second sample image) are associated with each other) and a table.
  • a text file describing the number of detected bacteria displayed in 621 is output.
  • FIG. 7 is an explanatory diagram showing an example of a document file.
  • the terminal 2 generates the document file illustrated in FIG. 7.
  • the terminal 2 describes the detection conditions such as the test reagent used and the exposure time of the excitation light, and generates a document file in which the number of detections per unit amount (ml) is described as the detection result.
  • the terminal 2 calculates the number of detections per unit amount based on the sample amount set as the detection condition and the number of bacteria detected from the sample image and describes it in the document file, and describes the above image file and text. Output with a file.
  • the terminal 2 can exclude the contaminants from the detection target and suitably detect the bacteria by using the detection model 50 in which not only the bacteria but also the characteristics of the contaminants have been learned.
  • FIG. 8 is a flowchart showing the procedure of the generation process of the detection model 50. Based on FIG. 8, the processing content when the detection model 50 is generated by machine learning will be described.
  • the server 1 acquires training data for generating the detection model 50 from the administrator terminal 4 (step S11).
  • the training data is data to which the coordinate data (label) of the correct answer for each of bacteria and contaminants is added to the sample image for training.
  • the server 1 Based on the training data, the server 1 generates a detection model 50 that detects at least bacteria when a sample image is input (step S12). For example, the server 1 generates a neural network such as CNN as a detection model 50. The server 1 inputs the sample image for training into the detection model 50, and acquires the coordinate data in the sample image presumed to contain bacteria as an output. The server 1 compares the acquired coordinate data of the bacterium with the coordinate data of the correct answer, optimizes the weights between neurons so that the two are close to each other, and generates the detection model 50. Server 1 ends a series of processes.
  • a neural network such as CNN as a detection model 50.
  • the server 1 inputs the sample image for training into the detection model 50, and acquires the coordinate data in the sample image presumed to contain bacteria as an output.
  • the server 1 compares the acquired coordinate data of the bacterium with the coordinate data of the correct answer, optimizes the weights between neurons so that the two are close to each other, and generates the detection model 50.
  • FIG. 9 is a flowchart showing the procedure of the bacterium detection process. Based on FIG. 9, the processing content when detecting bacteria from the sample image will be described.
  • the terminal 2 accepts the setting input of the detection condition of the bacterium (step S31). For example, the terminal 2 accepts the selection input of the type (bacteria type) of the detection model 50 to be used, in addition to accepting the setting input such as the section on the measurement filter to be the imaging range and the sample amount.
  • the setting input such as the section on the measurement filter to be the imaging range and the sample amount.
  • the terminal 2 acquires a sample image obtained by capturing the sample from the detection device 3 (step S32).
  • the terminal 2 inputs the acquired sample image into the detection model 50 selected above to detect bacteria (step S33).
  • the terminal 2 totals the number of detected bacteria (step S34).
  • the terminal 2 displays the detection result of the bacterium (step S35). Specifically, the terminal 2 displays a sample image (second sample image) having a bounding box (object) at a position corresponding to the detected bacterium, and displays the number of detections aggregated in step S34.
  • the terminal 2 determines whether or not to output the saved file based on the operation input from the user (step S36). When it is determined to output the saved file (S36: YES), the terminal 2 outputs the saved file (step S37). For example, the terminal 2 generates a document file in which the detection result including the number of detected bacteria is described in a report format in addition to the image file of the sample image, and outputs the document file as a storage file. After executing the process of step S37, or if NO in step S36, the terminal 2 ends a series of processes.
  • bacteria contained in the sample can be suitably detected.
  • the number of detected bacteria can be totaled and presented to the user as a detection result together with a sample image with a bounding box.
  • the bacteria to be detected can be suitably detected.
  • the server 1 receives a request from the terminal 2 and performs a bacterium detection process using the detection model 50. That is, the server 1 acquires the sample image captured by the detection device 3 from the terminal 2 and inputs it to the detection model 50 to detect bacteria. Then, the server 1 outputs the detection result to the terminal 2 and displays it. Since the display screen and the like are the same as those in the first embodiment, the illustration is omitted in the present embodiment.
  • the server 1 relearns (updates) the detection model 50 based on the sample image acquired from the terminal 2 using the cloud environment.
  • the server 1 stores the sample image acquired from the terminal 2 and periodically outputs the sample image to the administrator terminal 4.
  • the administrator terminal 4 adds an operation input (for example, as in the fifth embodiment described later) to add the correct coordinate data (label) of bacteria and impurities to the sample image output from the server 1. Or the operation input to be deleted) is received from the administrator and output to the server 1 as training data for re-learning.
  • Server 1 updates the detection model 50 based on the training data for re-learning. That is, the server 1 uses the sample image for re-learning (sample image acquired from the terminal 2) in the detection model 50 (that is, the detected bacteria among the plurality of detection models 50, 50, 50 ). Bacteria are detected by inputting into the detection model 50) corresponding to the type of the above, and the parameters of the detection model 50 are optimized so that the detection result is close to the correct coordinate data. As a result, the detection model 50 is sequentially updated, and the detection accuracy can be improved.
  • sample image for re-learning sample image acquired from the terminal 2
  • the detection model 50 that is, the detected bacteria among the plurality of detection models 50, 50, 50 .
  • Bacteria are detected by inputting into the detection model 50) corresponding to the type of the above, and the parameters of the detection model 50 are optimized so that the detection result is close to the correct coordinate data.
  • the detection model 50 is sequentially updated, and the detection accuracy can be improved.
  • the server 1 executes both the bacterial detection process (inference process by the detection model 50) and the relearning process, but the server 1 may only perform the relearning process. ..
  • the server 1 may perform re-learning for each type of sample to construct detection models 50, 50, 50 ... Suitable for each type of sample.
  • the server 1 is for re-learning for each type of sample such as food, beverage, and tap water when the sample image is acquired from each user such as a food company, a beverage maker, and a waterworks bureau to detect bacteria. Training data is given to separate detection models 50 to update the detection models 50, 50, 50 ... For each type of sample. This makes it possible to construct a detection model 50 suitable for detecting bacteria in individual samples through the operation of this system.
  • FIG. 10 is a flowchart showing the procedure of the bacterium detection process according to the second embodiment.
  • the terminal 2 executes the following processing.
  • the terminal 2 transmits the acquired sample image to the server 1 (step S201).
  • the server 1 inputs the sample image into the detection model 50 to detect bacteria (step S202).
  • the server 1 transmits the detection result (bacterial coordinate data) to the terminal 2 (step S203).
  • the server 1 saves (stores) the sample image acquired from the terminal 2 (step S204), and ends a series of processes.
  • FIG. 11 is a flowchart showing the procedure of the update process of the detection model 50. Based on FIG. 11, the processing content when re-learning and updating the detection model 50 will be described.
  • the server 1 outputs the stored sample image to the administrator terminal 4 (step S221).
  • the administrator terminal 4 accepts an operation input for imparting correct coordinate data (label) of bacteria and impurities to the sample image (step S222).
  • the administrator terminal 4 transmits the sample image to which the correct coordinate data is added to the server 1 as training data for re-learning (step S223).
  • the server 1 updates the detection model 50 based on the training data for re-learning (step S224). Server 1 ends a series of processes.
  • the server 1 on the cloud may execute the bacterial detection process instead of the local terminal 2. Further, by performing re-learning based on the sample image obtained by detecting bacteria, the accuracy of detecting bacteria can be improved.
  • a plurality of detection models 50, 50, 50 ... are prepared according to the type of the bacterium to be detected, and one of the detection models 50 is selected and used for the bacterium detection.
  • a mode in which a plurality of detection models 50, 50, 50 ... Are used in combination will be described.
  • FIG. 12 is an explanatory diagram showing an outline of the third embodiment.
  • FIG. 12 conceptually illustrates how the same sample image is input to a plurality of detection models 50, 50, 50 ..., And each type of bacterium is individually detected.
  • the server 1 generates a plurality of detection models 50, 50, 50 ... according to the type of bacteria based on the training data corresponding to each of the bacteria A, B, C ....
  • the terminal 2 inputs the sample image acquired from the detection device 3 into the plurality of detection models 50, 50, 50, respectively. Then, the terminal 2 acquires the coordinate data of each of the bacteria A, B, C ... as an output from each detection model 50.
  • FIG. 13 is an explanatory diagram showing an example of a display screen according to the third embodiment.
  • the display mode of the bounding box differs depending on the type of the bacterium (second sample image). Is displayed.
  • the terminal 2 changes the display color of the bounding box.
  • the appearance of different display colors is represented by a line type.
  • the terminal 2 further displays a list of the detected numbers of each type of bacteria detected in Table 621 for each section (detection location). In addition, the terminal 2 displays the number of detected bacteria of each type in the section related to the sample image currently being displayed at the upper part of Table 621.
  • FIG. 14 is a flowchart showing the procedure of the bacterium detection process according to the third embodiment.
  • the terminal 2 After acquiring the sample image from the detection device 3 (step S32), the terminal 2 executes the following processing.
  • the terminal 2 inputs the sample image acquired in step S32 into a plurality of detection models 50, 50, 50 ... for which training data has been learned according to the type of bacteria, and detects a plurality of types of bacteria (step S301). ).
  • the terminal 2 totals the number of detected bacteria of each type (step S302). Then, the terminal 2 displays the detection result of each type of bacterium (step S303). Specifically, the terminal 2 displays a sample image (second sample image) with a bounding box having a display mode different depending on the type of bacterium, and displays the number of detections for each type of bacterium. The terminal 2 shifts the process to step S36.
  • the server 1 may relearn the detection model 50.
  • the server 1 acquires the training data for re-learning by accepting the operation input for adding the coordinate data of the correct answer of the designated bacterium after accepting the designated input of the type of the bacterium.
  • the server 1 updates the detection model 50 corresponding to the specified bacterial type based on the original sample image and the newly added correct coordinate data.
  • FIG. 15 is an explanatory diagram showing an outline of the fourth embodiment.
  • FIG. 15 conceptually illustrates how bacteria are detected from a sample image using the detection model 50 and bacteria are detected from the sample image by rule-based image processing (for example, binarization processing).
  • rule-based image processing for example, binarization processing
  • the terminal 2 inputs the sample image acquired from the detection device 3 into the detection model 50 and detects the bacterium.
  • the detection result by the detection model 50 is conceptually illustrated in the upper right of FIG. In order to distinguish it from the detection result (rule-based detection result) in the lower right of FIG. 15, in FIG. 15, the detection result by the detection model 50 is shown by a round frame instead of a rectangular bounding box.
  • the terminal 2 performs rule-based image processing and detects bacteria from the sample image. For example, the terminal 2 performs a binarization process for binarizing a sample image as a rule-based image process, and detects bacteria. That is, the terminal 2 compares each pixel value (for example, brightness) in the sample image with a predetermined threshold value, binarizes the sample image into a region presumed to be a bacterium and a region other than the bacterium, and presumes that the sample image is a bacterium. Detect the area to be.
  • a binarization process for binarizing a sample image as a rule-based image process
  • binarization process is an example of a rule-based detection method, and bacteria may be detected from the sample image using another algorithm.
  • the rule-based detection results are conceptually illustrated in the lower right of FIG.
  • the detection result by the detection model 50 and the detection result based on the rule are compared in the example of FIG. 15, it can be seen that the bacteria that should be originally detected are not detected in the detection result by the detection model 50. Further, in the detection result by the detection model 50, it can be seen that since a plurality of (two) bacteria are close to each other, a plurality of bacteria are detected as one bacterium. On the other hand, in the rule-based detection result, the image area corresponding to the contaminants is also detected, and it can be seen that many erroneous detection points appear.
  • FIG. 16 is an explanatory diagram showing an example of a display screen according to the fourth embodiment.
  • the display screen according to this embodiment includes an image tab 622.
  • the image tab 622 is an operation tab for switching the detection model 50 and / or the rule-based detection result and displaying the sample image.
  • the terminal 2 displays a sample image showing the position of the bacterium detected by the detection model 50 in the bounding box (see the upper right of FIG. 15).
  • the image tab 622 of "binarization detection” is activated, the terminal 2 displays a sample image showing the position of the bacteria detected by the binarization process in the bounding box (see the lower right of FIG. 15). ..
  • the terminal 2 When the image tab 622 of "Comparison of AI detection and binarization detection" is active, the terminal 2 is a sample showing the detection results of both the detection model 50 and the binarization process, as shown in FIG. Display the image. Specifically, the terminal 2 has a detection point (bacteria) commonly detected in the detection model 50 and the binarization process, and a detection point detected in either the detection model 50 or the binarization process. Then, the display mode (for example, the display color) of the bounding box is changed.
  • a detection point bacteria commonly detected in the detection model 50 and the binarization process
  • the terminal 2 displays a list of the number of detections by the detection model 50, the number of detections by the binarization process, and the number of commonly detected bacteria for each section (detection location) on the measurement filter. do.
  • the terminal 2 displays the number of detections by the detection model 50, the number of detections by the binarization process, and the number of commonly detected bacteria in the section related to the sample image currently displayed at the upper part of Table 621. indicate.
  • FIG. 17 is a flowchart showing the procedure of the bacterium detection process according to the fourth embodiment.
  • the terminal 2 executes the subsequent processing.
  • the terminal 2 inputs a sample image into the detection model 50 to detect bacteria (step S401).
  • the terminal 2 detects bacteria from the sample image by the binarization process (step S402).
  • the terminal 2 totals the number of detected bacteria detected in steps S401 and S402 (step S403).
  • the terminal 2 aggregates the number of detections by the detection model 50 and the number of detections by the binarization process, respectively, and also counts the number of bacteria detected in common by the detection model 50 and the binarization process. Tally.
  • the terminal 2 displays the detection result by the detection model 50 and the detection result by the binarization process (step S404). Specifically, the terminal 2 displays differently between the bacteria detected by only one of the detection model 50 and the binarization process and the bacteria commonly detected by the detection model 50 and the binarization process. A sample image (second sample image) with the bounding box (object) of the embodiment is displayed. Further, the terminal 2 displays the number of detections by the detection model 50, the number of detections by the binarization process, and the number of bacteria detected in common by the detection model 50 and the binarization process, respectively. The terminal 2 shifts the process to step S36.
  • rule-based image processing (binarization processing) is used as another detection algorithm to be combined with the detection model 50, but the present embodiment is not limited to this.
  • the terminal 2 may use another machine learning model different from the detection model 50 as another detection algorithm to be combined with the detection model 50. That is, the terminal 2 inputs the sample image into the detection model 50 and the other model, respectively, and acquires the detection result from each model.
  • the other model may be a model in which training data having the same network structure as that of the detection model 50 but different training data has been trained, or another model having a different network structure. Even if another model is used instead of the rule-based image processing, the same effect as described above can be obtained.
  • FIG. 18 is an explanatory diagram showing an example of a display screen according to the fifth embodiment.
  • a function of adding the correct coordinate data (label) of the bacteria to the sample image is provided. offer. An outline of the present embodiment will be described with reference to FIG.
  • the terminal 2 When the terminal 2 accepts the operation input to the "image capture” button, it accepts the designated input of the sample image saved as a save file. Then, the terminal 2 displays the designated sample image on the screen.
  • the screen includes an image tab 181 and an add button 182, a delete button 183, and a save button 184.
  • the image tab 181 is an operation tab for switching the display of the sample image.
  • the terminal 2 displays the original sample image (raw image without a bounding box) captured by the detection device 3.
  • the image tab 181 of "AI detection” is active, the terminal 2 displays a sample image showing the position of the bacterium detected by the detection model 50 in the bounding box (see the upper right of FIG. 15).
  • the image tab 181 of "binarization detection” is active, the terminal 2 displays a sample image showing the position of the bacteria detected by the binarization process in the bounding box (see the lower right of FIG. 15). ..
  • the terminal 2 displays a sample image showing the detection results of both the detection model 50 and the binarization process.
  • the terminal 2 has a detection point (bacteria) commonly detected by the detection model 50 and the binarization process, and either the detection model 50 or the binarization process.
  • a sample image with a bounding box having a different display mode is displayed depending on the detection point detected in.
  • the terminal 2 accepts an operation input for adding or deleting a detection point (bacteria) displayed as a bounding box on the screen.
  • the terminal 2 accepts the designated input for designating the bounding box, and adds or deletes the designated bounding box to the detection point according to the operation input to the add button 182 or the delete button 183.
  • FIG. 18 illustrates how the user-designated bounding box is represented by an arrow icon.
  • the terminal 2 displays the detection points commonly detected by the detection model 50 and the binarization process and the detection points detected by either one in different display modes. Thereby, when the user selects the detection point to which the label should be attached, the selection work by the user can be suitably assisted.
  • the terminal 2 may accept an operation input for adding a label (adding a bounding box) not only to bacteria but also to impurities. As a result, it is possible to obtain training data with a correct label even for impurities.
  • the terminal 2 saves the contents of the addition and / or deletion of the detection point. Specifically, the terminal 2 updates the saved file by adding and / or deleting the detection points added and / or deleted by the user as the positions of bacteria from the detection results of the detection model 50 saved as the saved file. do.
  • the server 1 can relearn the detection model 50 using the save file to which the detection points have been added or deleted above. That is, the server 1 gives the detection point after addition and / or deletion by the user to the detection model 50 as a label of the correct answer, and updates the detection model 50.
  • the server 1 inputs the sample image of the storage file into the detection model 50, and acquires the coordinate data of the bacterium (detection point) as an output.
  • the server 1 compares the coordinate data output from the detection model 50 with the coordinate data of the detection points added and / or deleted by the user, and optimizes the parameters of the detection model 50 so that they are close to each other.
  • FIG. 19 is a flowchart showing the procedure of the labeling process. Based on FIG. 19, the processing content executed by the terminal 2 according to the fifth embodiment will be described.
  • the terminal 2 reads out the storage file stored in the auxiliary storage unit 26 (step S501). Then, the terminal 2 displays the sample image (step S502). Specifically, the terminal 2 has a detection point (bacteria) detected only by either the detection model 50 or the binarization process, and a detection point commonly detected by the detection model 50 and the binarization process. (Bacteria) displays a sample image (second sample image) with a bounding box (object) in a different display mode.
  • the terminal 2 accepts an operation input for adding or deleting a detection point indicated by a bounding box to the displayed sample image (step S503).
  • the terminal 2 saves the image file after adding or deleting the detection points (step S504), and ends a series of processes.
  • training data for re-learning can be suitably created.
  • FIG. 20 is an explanatory diagram showing a document file according to the sixth embodiment.
  • FIG. 20 illustrates a document file summarizing the detection results of each test when the same sample is tested a plurality of times. An outline of the present embodiment will be described with reference to FIG.
  • HACCP Hazard Analysis and Critical Control Point
  • HACCP refers to a method of controlling an important process in order to remove or reduce risk factors such as bacteria (food poisoning bacteria) and foreign matter contamination in the process of manufacturing food.
  • bacteria food poisoning bacteria
  • foreign matter contamination in the process of manufacturing food.
  • HACCP as a part of HACCP, a case where an inspection is performed in each of a plurality of processes for producing a food (specimen) will be described.
  • the terminal 2 acquires a sample image in each of the plurality of steps, inputs the sample image into the detection model 50, and detects bacteria. Then, the terminal 2 outputs the detection result of bacteria in each process in the form of a document file or the like. Here, when the terminal 2 performs the inspection in one step and outputs the detection result, the terminal 2 outputs the detection result in a form comparable to that at the time of the inspection in the steps before the previous time.
  • the terminal 2 refers to a saved file saved at the time of the previous inspection, and is a document showing the difference between the detection result such as the number of detections at the time of the previous inspection and the detection result of this time (one step above). Generate a file and output it.
  • the terminal 2 accepts the specified input of the save file before the previous time when setting the detection condition, refers to the specified save file, and calculates the difference between the number of detections at the time of the inspection before the previous time and the number of detections this time. And describe it in the document file.
  • FIG. 20 exemplifies a document file in which the difference between the detection results is described.
  • the terminal 2 describes the number of bacteria detected per unit amount detected this time as "6. Current detection result", and calculates the difference from the previous detection number (second time in FIG. 20). Describe in the document file. Further, the terminal 2 describes in a list the number of detections detected at each inspection before the previous time and the difference from the previous time as "7. Detection results up to the previous time”. As a result, when the same sample is tested in a plurality of steps as in HACCP, the test results in each step can be appropriately summarized and reported to the user.
  • FIG. 21 is a flowchart showing the procedure of the bacterium detection process according to the sixth embodiment.
  • the terminal 2 accepts the setting input of the detection condition (step S601). For example, the terminal 2 accepts a designated input of a past storage file to be compared, that is, a detection result before the previous time, in addition to a section on a measurement filter to be imaged, a sample amount, a sample number, and the like.
  • the terminal 2 reads the designated save file (step S602).
  • the terminal 2 acquires the sample image to be inspected this time (step S603), and shifts the process to step S33.
  • the terminal 2 When it is determined to output the saved file (S36: YES), the terminal 2 generates a document file describing the detection result and outputs it as a saved file together with the image file of the sample image (step S604).
  • the terminal 2 refers to the storage file at the time of the inspection before the previous time, and generates a document file describing the detection results in each of the plurality of manufacturing processes. Specifically, as described above, the terminal 2 generates a document file showing the difference in the number of bacteria detected in each step. Terminal 2 ends a series of processes.
  • FIG. 22 is an explanatory diagram showing an outline of the seventh embodiment.
  • FIG. 22 illustrates a state in which a sample image is enlarged to a predetermined magnification and divided into a plurality of images, and bacteria are detected from each of the divided images. An outline of the present embodiment will be described with reference to FIG. 22.
  • an image obtained by enlarging the sample image to a predetermined magnification is referred to as an "enlarged image”, and an image obtained by dividing the enlarged image into a plurality of images is referred to as a "divided image”.
  • the terminal 2 detects bacteria from the sample image using the detection model 50.
  • the size of bacteria is as small as several ⁇ m, when the lens magnification of the camera used for imaging is small, the bacteria (light spots) observed in the sample image are also small. Therefore, if the annotation size in the training data at the time of learning is large, there is a possibility that a plurality of adjacent light spots may be erroneously detected as one bacterium as shown in the upper right of FIG.
  • the annotation size is reduced, multiple light spots can be detected individually, but the amount of information around the light spots used for detection is reduced by the amount that the annotation size is reduced, which adversely affects the discrimination from contaminants. May give.
  • the sample image is enlarged to a predetermined magnification, and bacteria are detected from the enlarged image.
  • the terminal 2 divides the enlarged image into a plurality of divided images according to the magnifying magnification, and sequentially inputs each divided image into the detection model 50 to detect bacteria from each divided image.
  • the reason why the divided image is divided into four is to match the image size at the time of learning.
  • the terminal 2 enlarges the sample image twice. In this case, the terminal 2 performs image interpolation processing (pixel interpolation by linear interpolation or the like) in order to smooth the seams of the images.
  • the terminal 2 divides the enlarged image into four evenly at the top and bottom to generate the divided image.
  • the terminal 2 inputs each divided image into the detection model 50 and detects bacteria.
  • the enlarged image is divided into a plurality of divided images, but the enlarged image may not be divided and the detection model 50 may be used as it is to detect bacteria from the enlarged image.
  • the original sample image is simply enlarged and interpolated, but for example, the terminal 2 may generate an enlarged image using a machine learning model for generating an enlarged image.
  • the method of generating the enlarged image is not particularly limited.
  • the terminal 2 detects bacteria from each divided image. On the other hand, if a bacterium is located near the boundary between two adjacent divided images, the bacterium may be detected in duplicate from each of the two divided images, resulting in double counting. Therefore, the terminal 2 identifies the bacteria detected in duplicate in the two adjacent divided images among the bacteria detected in each divided image.
  • the terminal 2 identifies a bacterium detected from a boundary portion between two adjacent divided images and detected from both of the two divided images.
  • the "boundary portion” refers to a region within a predetermined distance (for example, within several pixels) in the direction perpendicular to the boundary line from the boundary of the divided image (edge of the divided image).
  • the terminal 2 identifies a bacterium detected from the same boundary portion in two divided images and having the same position in a direction parallel to the boundary line as a bacterium detected in duplicate.
  • the position in the direction parallel to the boundary line is the same means a state in which the coordinate values in the direction parallel to the boundary line are completely matched or within a predetermined value (for example, within several pixels).
  • the terminal 2 when considering two divided images divided into two vertically, the terminal 2 has bacteria detected near the lower end (boundary portion) of the upper divided image and near the upper end (boundary portion) of the lower divided image. ), It is determined whether or not the positions of each bacterium in the left-right direction are the same. If it is determined that they are the same, the terminal 2 identifies the bacteria detected from the upper and lower divided images, respectively, as the bacteria detected in duplicate. The terminal 2 identifies the bacteria detected in duplicate for each of the boundary portions (four boundaries in FIG. 22) between the divided images.
  • the terminal 2 totals the number of bacteria in the original sample image by totaling the number of bacteria detected from each divided image. In this case, the terminal 2 prevents double counting by subtracting the number of bacteria identified as overlapping in the above. Further, as shown on the lower side of FIG. 22, the terminal 2 displays the original sample image with a bounding box based on the detection result of bacteria in each divided image. In addition, instead of adding a bounding box to the original sample image, a bounding box may be attached to the divided image (or the enlarged image before division) and displayed.
  • FIG. 23 is a flowchart showing the procedure of the bacterium detection process according to the seventh embodiment.
  • the terminal 2 executes the following processing.
  • the terminal 2 generates an enlarged image obtained by enlarging the sample image to a predetermined magnification (step S701).
  • the terminal 2 divides the enlarged image into a plurality of divided images according to the magnification (step S702).
  • the terminal 2 inputs each divided image into the detection model 50 and detects bacteria from each divided image (step S703).
  • the terminal 2 identifies the bacteria detected in duplicate in two adjacent divided images among the bacteria detected in each divided image (step S704). Specifically, as described above, the terminal 2 identifies bacteria detected from the boundary portion between two adjacent divided images and detected from both of the two divided images.
  • the terminal 2 totals the number of bacteria detected from the sample image (step S705). Specifically, the terminal 2 totals the number of bacteria detected from each divided image in step S703, and subtracts the number of bacteria identified as overlapping in step S704 from the total number. The terminal 2 shifts the process to step S35.
  • the accuracy of detecting bacteria can be improved by enlarging the sample image.
  • Control unit 11 Control unit 12 Main storage unit 13 Communication unit 14 Auxiliary storage unit P1 program 2 Terminal 21 Control unit 22 Main storage unit 23 Communication unit 24 Display unit 25 Input unit 26 Auxiliary storage unit P2 Program 50 Detection model 3 Detection device 31 Control unit 32 Image pickup unit 33 XY-axis motor driver 34 XY-axis motor 35 LD driver 36 LD light source

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biotechnology (AREA)
  • Medicinal Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Wood Science & Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Microbiology (AREA)
  • Theoretical Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hematology (AREA)
  • Sustainable Development (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Analysis (AREA)

Abstract

検体に含まれる微生物又は微粒子を好適に検出することができるプログラム等を提供する。プログラムは、蛍光検出可能な検体を撮像した検体画像を取得し、訓練用の検体画像に対し、該検体画像に含まれる微生物又は微粒子、及び夾雑物それぞれの座標データが付与された訓練データを学習済みのモデルに、取得した前記検体画像を入力して、少なくとも微生物又は微粒子を検出し、検出結果を出力する処理をコンピュータに実行させる。

Description

プログラム、情報処理装置、情報処理方法及びモデル生成方法
　本発明は、プログラム、情報処理装置、情報処理方法及びモデル生成方法に関する。
　画像処理技術を用いて、検体を撮像した画像から検体に含まれる細菌を検出する方法がある。例えば特許文献１では、ディープラーニングにより構築された学習モデルを用いて、検体の画像から細胞の位置を検出する画像処理方法が開示されている。
特開２０１９－２１１４６８号公報
　しかしながら、特許文献１に係る発明は、細菌以外の夾雑物も検出してしまう虞がある。
　一つの側面では、検体に含まれる微生物又は微粒子を好適に検出することができるプログラム等を提供することを目的とする。
　一つの側面に係るプログラムは、蛍光検出可能な検体を撮像した検体画像を取得し、訓練用の検体画像に対し、該検体画像に含まれる微生物又は微粒子、及び夾雑物それぞれの座標データが付与された訓練データを学習済みのモデルに、取得した前記検体画像を入力して、少なくとも微生物又は微粒子を検出し、検出結果を出力する処理をコンピュータに実行させる。
　一つの側面では、検体に含まれる微生物又は微粒子を好適に検出することができる。
検出システムの構成例を示す説明図である。 サーバの構成例を示すブロック図である。 端末の構成例を示すブロック図である。 検出装置の構成例を示すブロック図である。 実施の形態１の概要を示す説明図である。 端末の表示画面例を示す説明図である。 文書ファイルの一例を示す説明図である。 検出モデルの生成処理の手順を示すフローチャートである。 細菌検出処理の手順を示すフローチャートである。 実施の形態２に係る細菌検出処理の手順を示すフローチャートである。 検出モデルの更新処理の手順を示すフローチャートである。 実施の形態３の概要を示す説明図である。 実施の形態３に係る表示画面例を示す説明図である。 実施の形態３に係る細菌検出処理の手順を示すフローチャートである。 実施の形態４の概要を示す説明図である。 実施の形態４に係る表示画面例を示す説明図である。 実施の形態４に係る細菌検出処理の手順を示すフローチャートである。 実施の形態５に係る表示画面例を示す説明図である。 ラベル付与処理の手順を示すフローチャートである。 実施の形態６に係る文書ファイルを示す説明図である。 実施の形態６に係る細菌検出処理の手順を示すフローチャートである。 実施の形態７の概要を示す説明図である。 実施の形態７に係る細菌検出処理の手順を示すフローチャートである。
　以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
　図１は、検出システムの構成例を示す説明図である。本実施の形態では、食品、飲料品等の検体の細菌検査のため、検体を撮像した検体画像から細菌を検出する検出システムについて説明する。検出システムは、情報処理装置１、端末２、検出装置３、管理者端末４を含む。情報処理装置１及び端末２は、インターネット等のネットワークＮに接続されている。
　なお、本実施の形態では検査対象を細菌とするが、これに限定されるものではない。例えば、酵母、カビ、藻類などの細菌以外の微生物、あるいは蛍光ビーズなどの微粒子を検査対象としてもよい。すなわち、微生物及び／又は微粒子を検出可能であればよく、検査対象は細菌に限定されない。
　情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバコンピュータであるものとし、以下では簡潔のためサーバ１と読み替える。サーバ１は、訓練用の検体画像に対し、細菌及び夾雑物それぞれの正解の座標データ（ラベル）が付与された訓練データを学習する機械学習を行い、後述の検出モデル５０（図５参照）を生成する。検出モデル５０は、検体画像を入力として、検体画像に含まれる細菌及び夾雑物のうち、少なくとも細菌を検出する機械学習モデルである。サーバ１は、細菌だけでなく細菌以外の夾雑物の座標データも学習することで、細菌と夾雑物とを識別可能な検出モデル５０を生成する。
　端末２は、本システムを利用するユーザの情報処理端末であり、例えばパーソナルコンピュータ、タブレット端末、スマートフォン等である。本実施の形態ではサーバ１が生成した検出モデル５０のデータがユーザの端末２にインストールされており、端末２は、検体を撮像した検体画像を検出モデル５０に入力して細菌を検出する。
　検出装置３は、検体に含まれる細菌を検出するための検査装置であり、検体を撮像する撮像装置である。本実施の形態では細菌の検出方法として蛍光染色法を用い、検出装置３は、蛍光染色剤により染色された検体を撮像する。検出装置３は、染色剤により染色された検体を採取した測定用フィルタ（例えばメンブレンフィルタ）を保持する基盤、当該基盤をＸ軸方向及びＹ軸方向に摺動するＸＹステージ、検体に励起光を照射する励起光源、撮像カメラ等を装置内部に備え、測定用フィルタの位置をＸ軸方向及びＹ軸方向に微調整しながら検体を撮像する。本実施の形態に係る検出装置３として、例えば国際公開第２０１７／１１５７６８号に記載の検出装置を用いることができる。端末２は、検出装置３で撮像された検体画像を検出モデル５０に入力し、細菌を検出する。
　なお、上記で説明した検出装置３は一例であって、検出装置３は検体画像を撮像可能であればよい。また、検体撮像用の検出装置３を利用する構成は必須ではなく、例えば端末２は人手で検体を撮像した画像を検体画像として用いてもよい。また、蛍光染色法は細菌検出方法の一例であって、検体を撮像した画像から細菌を検出可能であればよく、その検出方法は蛍光染色法に限定されない。
　また、本実施の形態では検体を染色した上で撮像するものとするが、例えば藻類のように検出対象物（微生物又は微粒子）が自家蛍光物質を含んでいる場合、検体を染色せずともよい。すなわち、検体画像は、微生物又は微粒子を蛍光検出可能な検体を撮像した画像であればよく、蛍光染色剤による染色は必須ではない。
　管理者端末４は、本システムを管理する管理者の情報処理端末であり、例えばパーソナルコンピュータ等である。サーバ１は、本システムの管理者（検体画像に含まれる細菌と夾雑物とを識別可能な技能を有するスタッフ）が訓練用の検体画像に対し正解のラベルを付与した訓練データを管理者端末４から取得し、学習を行う。
　図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
　制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置であり、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
　補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ１、その他のデータを記憶している。また、補助記憶部１４は、検出モデル５０を記憶している。検出モデル５０は、上述の如く訓練データを学習済みの機械学習モデルであり、染色剤により染色された検体を撮像した検体画像を入力として、検体画像に含まれる細菌を検出する学習済みモデルである。検出モデル５０は、人工知能ソフトウェアの一部を構成するソフトウェアモジュールとしての利用が想定される。
　なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
　また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰ１を読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰ１を読み込んでも良い。
　図３は、端末２の構成例を示すブロック図である。制御部２１、主記憶部２２、通信部２３、表示部２４、入力部２５、補助記憶部２６を備える。
　制御部２１は、一又は複数のＣＰＵ、ＭＰＵ等の演算処理装置であり、補助記憶部２６に記憶されたプログラムＰ２を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部２２は、ＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。通信部２３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
　表示部２４は、液晶ディスプレイ等の表示画面であり、画像を表示する。入力部２５は、キーボード、マウス等の操作インターフェイスであり、ユーザから操作入力を受け付ける。補助記憶部２６は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラムＰ２、その他のデータを記憶している。また、補助記憶部２６は、検出モデル５０を記憶している。
　なお、端末２は、ＣＤ－ＲＯＭ等の可搬型記憶媒体２ａを読み取る読取部を備え、可搬型記憶媒体２ａからプログラムＰ２を読み取って実行するようにしても良い。あるいは端末２は、半導体メモリ２ｂからプログラムＰ２を読み込んでも良い。
　図４は、検出装置３の構成例を示すブロック図である。検出装置３は、制御部３１、撮像部３２、ＸＹ軸モータドライバ３３、ＸＹ軸モータ３４、ＬＤ（Laser Diode）ドライバ３５、ＬＤ光源３６を備える。
　制御部３１は、ＣＰＵ等の演算処理装置であり、検出装置３を制御するための種々の情報処理を行う。撮像部３２は、ＣＣＤ（Charge Coupled Device）センサ等の撮像素子を有するカメラであり、測定用フィルタに採取された検体を撮像する。ＸＹ軸モータドライバ３３はＸＹステージを駆動するＸＹ軸モータ３４の動作を制御するドライバであり、ＸＹステージ上の基盤に載置された測定用フィルタの位置を調整する。ＬＤドライバ３５は、励起光源であるＬＤ光源３６から照射される励起光の光量等を調整するドライバであり、検体に励起光を照射する。
　図５は、実施の形態１の概要を示す説明図である。図５では、検出装置３で撮影された検体画像を検出モデル５０に入力した場合に、検体画像に含まれる細菌が検出される様子を概念的に図示している。図５に基づき、本実施の形態の概要を説明する。
　端末２は、検出装置３から検体画像を取得する。検出装置３は、上述の如く細菌検出を行うための検査装置であり、蛍光染色剤により染色された検体を撮像する装置である。検出装置３は、染色後の検体を採取した測定用フィルタに励起光を照射し、検体画像（蛍光画像）を撮像する。詳細な説明は省略するが、検出装置３は、図５左上に示すように、測定用フィルタに検体が採取された領域をＸ軸方向及びＹ軸方向に沿って複数の格子状区画に区分する。そして検出装置３は、ＸＹステージ上の基盤に載置された測定用フィルタをＸ軸方向及びＹ軸方向に摺動させながら、各区画に対応する検体画像を撮像する。検出装置３は、撮像された検体画像を端末２に送信する。
　なお、検出装置３で撮像される検体画像は白黒画像であるが、検体画像はＲＧＢ画像であってもよく、その画像形式は特に問わない。
　端末２は、検出装置３から送信された検体画像を検出モデル５０に入力する。検出モデル５０は、訓練データを学習することで生成された機械学習モデルであり、例えばディープラーニングにより構築されたニューラルネットワークである。具体的には、検出モデル５０は、Ｒ－ＣＮＮ（Region CNN）、ＹＯＬＯ（You Look Only Once）、ＳＳＤ（Single Shot Detector）等のＣＮＮ（Convolution Neural Network）である。
　なお、本実施の形態では検出モデル５０がＣＮＮであるものとして説明するが、ＣＮＮ以外のニューラルネットワーク、決定木、ランダムフォレスト、その他の機械学習モデルであってもよい。
　検出モデル５０は、検体画像の入力を受け付ける入力層と、検体画像から特徴量を抽出する中間層と、抽出した特徴量に基づく細菌の検出結果（座標データ）を出力する出力層とを備える。入力層は検体画像の入力を受け付け、中間層にデータを受け渡す。中間層は、畳み込み層とプーリング層とが交互に連結された構成を有し、検体画像の各画素の画素値を圧縮して特徴量を抽出し、出力層に受け渡す。出力層は、中間層で抽出された特徴量に基づき、細菌が存在すると推定される検体画像中の座標データを出力する。
　サーバ１は、訓練用の検体画像に対し、細菌の正解の座標データ（ラベル）が付与された訓練データを用いて学習を行い、検出モデル５０を生成する。ここでサーバ１は、訓練データとして、細菌の座標データだけでなく、夾雑物の座標データも付与された訓練データを用いて学習を行う。
　夾雑物は、細菌以外の物質であって、検出対象としない物質を指す。検体に夾雑物（例えば繊維等のゴミ）が混入している場合、染色剤によって夾雑物も染色され、検体画像において夾雑物も発光点として観測される場合がある。また、検体に自家蛍光物質に含まれる場合（例えば食品に含まれる小麦粉等）、当該物質が発光点として観測され、細菌を検出する上での夾雑物となる場合がある。熟練の作業者はこれらの夾雑物を細菌と見分けることができるが、人間による作業のため、検査時間が長くなり、処理できる検体数も限られることになる。
　そこで本実施の形態では、細菌だけでなく夾雑物の特徴も検出モデル５０に学習させ、細菌及び夾雑物を識別可能な検出モデル５０を構築する。すなわち、サーバ１は、訓練用の検出画像に対し、細菌及び夾雑物それぞれの座標データが付与された訓練データを用いて学習を行い、検出モデル５０を生成する。
　例えば訓練データは、管理者端末４において管理者（細菌検査について専門の知識を有するスタッフ）が作成し、サーバ１に提供する。サーバ１は、訓練用の検体画像を検出モデル５０に入力し、細菌が存在すると推定される座標データを出力として取得する。サーバ１は、取得した座標データを正解の座標データと比較し、両者が近似するように、ニューロン間の重み等のパラメータを調整する。例えばサーバ１は、訓練用に与えられた全ての検体画像について学習を行い、最終的にパラメータを最適化した検出モデル５０を生成する。
　なお、本実施の形態に係る検出モデル５０は、検出結果として細菌の座標データのみを出力するものとするが、細菌だけでなく夾雑物の座標データも出力するようにしてもよい。すなわち、検出モデル５０は、細菌及び夾雑物のうち、少なくとも細菌を検出可能であればよく、夾雑物も検出するようにしてもよい。
　サーバ１は、あらゆる種類の細菌（及び夾雑物）について一の検出モデル５０に学習させ、一の検出モデル５０で全ての種類の細菌を検出可能としてもよいが、細菌の種類毎に訓練データを学習し、細菌の種類に応じた複数の検出モデル５０、５０、５０…を用意するようにすると好適である。すなわち、サーバ１は、訓練用の検体画像に細菌Ａ及び夾雑物のラベルが付与された訓練データ、訓練用の検体画像に細菌Ｂ及び夾雑物のラベルが付与された訓練データ、訓練用の検体画像に細菌Ｃ及び夾雑物のラベルが付与された訓練データ…をそれぞれ取得し、各訓練データに基づき、細菌Ａ検出用の検出モデル５０、細菌Ｂ検出用の検出モデル５０、細菌Ｃ検出用の検出モデル５０…を生成する。ユーザは、これらの検出モデル５０、５０、５０…のうち、検査目的（検出対象とする細菌の種類）に応じて検出モデル５０を選択し、細菌検出に用いる。
　端末２には、サーバ１が生成した検出モデル５０のデータがインストールされている。端末２は、検出装置３から取得した検体画像を検出モデル５０に入力し、検体画像に含まれる細菌を検出する。図５右側に、細菌が検出された様子をバウンディングボックス（矩形状の枠）で図示している。図５に示すように、検出モデル５０は、黒丸で示す細菌を検出する一方で、ハッチング付きの四角形で示す物質が夾雑物であることを識別し、検出結果から除外する。
　図６は、端末２の表示画面例を示す説明図である。図６では、検出装置３を用いて検査を行う際に、端末２が表示する操作画面を図示している。図６に基づき、検査時にユーザが行う操作手順について説明する。
　当該画面は、操作欄６１、タブ６２、出力ボタン６３を含む。操作欄６１は、検出装置３の現在の状態を表示すると共に、検出装置３の動作を制御するためのアイコンボタンを表示する表示欄である。ユーザはアイコンボタンを操作することでＸＹステージの動作、検体画像の撮影開始などを制御する。
　タブ６２は、画面表示を切り換えるための操作タブである。「検出条件」のタブ６２がアクティブになっている場合、端末２は検出条件を設定するための画面（不図示）に表示を切り換え、種々の検出条件の設定を受け付ける。例えば端末２は、検出条件として、撮像範囲とする測定フィルタ上の区画、検体量（ｍｌ）、検体番号、使用する検査試薬（染色剤）の種類、画像の撮像条件（輝度補正、マスク補正等）などの設定入力を受け付ける。また、端末２は、検出条件として、細菌検出に用いる検出モデル５０の種類（細菌の種類）の選択入力を受け付ける。
　端末２は、検出条件の設定完了後、操作欄６１のアイコンボタンへの操作入力に応じて、測定フィルタ上の各区画の検体画像を検出装置３に撮像させる。そして端末２は、撮像された各区画の検体画像を、上記で選択された検出モデル５０に入力し、細菌を検出する。
　「検出結果」のタブ６２がアクティブになっている場合、端末２は、細菌の検出結果を表示する。具体的には図６に示すように、端末２は、検出された細菌に対応する位置にバウンディングボックス（オブジェクト）を付した検体画像（第２検体画像）と、検出された細菌の検出数とを表示する。端末２は、測定フィルタ上の各区画の検体画像をユーザの操作に従って順次表示する。また、端末２は、測定フィルタ上の区画（検出箇所）毎に細菌の検出数を表６２１に一覧表示すると共に、現在表示中の検体画像に係る区画での検出数を表６２１の上部に表示する。
　なお、図６の画面において端末２は、バウンディングボックスで示す各検出点の細菌について、検出モデル５０が各検出点の細菌を検出した際の確からしさを示す確信度を表示してもよい。確信度は、検出モデル５０が検体画像の特徴量に基づいて各細菌を検出した際の確からしさを表す確率値であり、各検出点の座標データと共に検出モデル５０から出力される。例えば端末２は、ユーザの操作に応じてカーソルがバウンディングボックスに合わせられた場合、そのバウンディングボックス（検出点）に対応する確信度を表示する。これにより、検出モデル５０の検出結果がどれほど確からしいものか、ユーザに提示することができる。
　出力ボタン６３は、細菌の検出結果をまとめた保存用のファイル（以下、「保存ファイル」と呼ぶ）を出力するための操作ボタンである。出力ボタン６３への操作入力を受け付けた場合、端末２は保存ファイルを出力（エクスポート）する。具体的には、端末２は、検体画像の画像ファイル（検出装置３から取得した生の検体画像と、バウンディングボックスを付した検体画像（第２検体画像）とを対応付けたファイル）、及び表６２１で表示した細菌の検出数を記述したテキストファイルを出力する。
　また、端末２は、保存ファイルの一つとして、細菌の検出結果をレポート形式で記述した文書ファイルを生成して出力する。図７は、文書ファイルの一例を示す説明図である。端末２は、図７で例示する文書ファイルを生成する。例えば端末２は、使用した検査試薬、励起光の露光時間等の検出条件を記述すると共に、検出結果として、単位量（ｍｌ）当たりの検出数を記述した文書ファイルを生成する。端末２は、検出条件として設定された検体量と、検体画像から検出された細菌の検出数とに基づいて単位量当たりの検出数を算出して文書ファイルに記述し、上記の画像ファイル、テキストファイルと共に出力する。
　上述の如く、端末２は、細菌だけでなく夾雑物の特徴も学習済みの検出モデル５０を用いることで、夾雑物を検出対象から除外し、細菌を好適に検出することができる。
　図８は、検出モデル５０の生成処理の手順を示すフローチャートである。図８に基づき、機械学習により検出モデル５０を生成する際の処理内容について説明する。
　サーバ１は、検出モデル５０を生成するための訓練データを管理者端末４から取得する（ステップＳ１１）。訓練データは、訓練用の検体画像に対し、細菌及び夾雑物それぞれの正解の座標データ（ラベル）が付与されたデータである。
　サーバ１は訓練データに基づき、検体画像を入力した場合に、少なくとも細菌を検出する検出モデル５０を生成する（ステップＳ１２）。例えばサーバ１は、ＣＮＮ等のニューラルネットワークを検出モデル５０として生成する。サーバ１は、訓練用の検体画像を検出モデル５０に入力し、細菌が存在すると推定される検体画像中の座標データを出力として取得する。サーバ１は、取得した細菌の座標データを正解の座標データと比較し、両者が近似するようにニューロン間の重み等を最適化して、検出モデル５０を生成する。サーバ１は一連の処理を終了する。
　図９は、細菌検出処理の手順を示すフローチャートである。図９に基づき、検体画像から細菌を検出する際の処理内容について説明する。
　端末２は、細菌の検出条件の設定入力を受け付ける（ステップＳ３１）。例えば端末２は、撮像範囲とする測定フィルタ上の区画、検体量等の設定入力を受け付けるほかに、使用する検出モデル５０の種類（細菌の種類）の選択入力を受け付ける。
　端末２は、検体を撮像した検体画像を検出装置３から取得する（ステップＳ３２）。端末２は、取得した検体画像を、上記で選択された検出モデル５０に入力して細菌を検出する（ステップＳ３３）。端末２は、検出された細菌の検出数を集計する（ステップＳ３４）。端末２は、細菌の検出結果を表示する（ステップＳ３５）。具体的には、端末２は、検出された細菌に対応する位置にバウンディングボックス（オブジェクト）を付した検体画像（第２検体画像）を表示すると共に、ステップＳ３４で集計した検出数を表示する。
　端末２は、ユーザからの操作入力に基づき、保存ファイルを出力するか否かを判定する（ステップＳ３６）。保存ファイルを出力すると判定した場合（Ｓ３６：ＹＥＳ）、端末２は保存ファイルを出力する（ステップＳ３７）。例えば端末２は、検体画像の画像ファイル等のほか、細菌の検出数を含む検出結果をレポート形式で記述した文書ファイルを生成し、保存ファイルとして出力する。ステップＳ３７の処理を実行後、又はステップＳ３６でＮＯの場合、端末２は一連の処理を終了する。
　以上より、本実施の形態１によれば、検体に含まれる細菌を好適に検出することができる。
　また、本実施の形態１によれば、細菌の検出数を集計し、バウンディングボックスを付した検体画像と共に検出結果としてユーザに提示することができる。
　また、本実施の形態１によれば、細菌の種類に応じて訓練データを学習済みの複数の検出モデル５０を用意することで、検出対象とする細菌を好適に検出することができる。
（実施の形態２）
　実施の形態１では、ローカルの端末２が検出モデル５０を用いて細菌検出処理を行う形態について説明した。本実施の形態では、クラウド上のサーバ１が細菌検出処理を行う形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
　まず、本実施の形態の概要を説明する。本実施の形態では、サーバ１が端末２からの要求を受けて検出モデル５０を用いた細菌検出処理を行う。すなわち、サーバ１は、検出装置３で撮像された検体画像を端末２から取得し、検出モデル５０に入力して細菌を検出する。そしてサーバ１は、検出結果を端末２に出力し、表示させる。表示画面等は実施の形態１と同様であるため、本実施の形態では図示を省略する。
　ここでサーバ１は、クラウド環境を利用して、端末２から取得した検体画像に基づき検出モデル５０の再学習（更新）を行うと好適である。例えばサーバ１は、端末２から取得した検体画像を保存しておき、定期的に管理者端末４に出力する。管理者端末４は、サーバ１から出力された検体画像に対し、細菌及び夾雑物の正解の座標データ（ラベル）を付与する操作入力（例えば後述の実施の形態５のように、バウンディングボックスを追加又は削除する操作入力）を管理者から受け付け、再学習用の訓練データとしてサーバ１に出力する。
　サーバ１は、再学習用の訓練データに基づき、検出モデル５０を更新する。すなわち、サーバ１は、再学習用の検体画像（端末２から取得した検体画像）を、細菌検出時に利用した検出モデル５０（すなわち、複数の検出モデル５０、５０、５０…のうち、検出した細菌の種類に対応する検出モデル５０）に入力して細菌を検出し、検出結果が正解の座標データと近似するように検出モデル５０のパラメータを最適化する。これにより、検出モデル５０が逐次的にアップデートされ、検出精度を高めることができる。
　なお、本実施の形態ではサーバ１が細菌検出処理（検出モデル５０による推論処理）と再学習処理との双方を実行することにしたが、サーバ１は再学習処理を行うのみであってもよい。
　また、サーバ１は、検体の種類毎に再学習を行い、各種類の検体に適した検出モデル５０、５０、５０…を構築するようにしてもよい。例えばサーバ１は、食品会社、飲料品メーカ、水道局などの各ユーザから検体画像を取得して細菌検出を行う場合に、食品、飲料品、水道水等の検体の種類毎に再学習用の訓練データを別々の検出モデル５０に与えて、各種類の検体用に検出モデル５０、５０、５０…を更新する。これにより、本システムの運用を通じて、個別の検体における細菌検出に適した検出モデル５０を構築することができる。
　図１０は、実施の形態２に係る細菌検出処理の手順を示すフローチャートである。検出装置３から検体画像を取得した後（ステップＳ３２）、端末２は以下の処理を実行する。
　端末２は、取得した検体画像をサーバ１に送信する（ステップＳ２０１）。端末２から検体画像を取得した場合、サーバ１は、検体画像を検出モデル５０に入力して細菌を検出する（ステップＳ２０２）。サーバ１は、検出結果（細菌の座標データ）を端末２に送信する（ステップＳ２０３）。サーバ１は、端末２から取得した検体画像を保存（記憶）し（ステップＳ２０４）、一連の処理を終了する。
　図１１は、検出モデル５０の更新処理の手順を示すフローチャートである。図１１に基づき、再学習を行って検出モデル５０を更新する際の処理内容について説明する。
　サーバ１は、保存してある検体画像を管理者端末４に出力する（ステップＳ２２１）。管理者端末４は、検体画像に対し、細菌及び夾雑物の正解の座標データ（ラベル）を付与する操作入力を受け付ける（ステップＳ２２２）。管理者端末４は、正解の座標データが付与された検体画像を再学習用の訓練データとしてサーバ１に送信する（ステップＳ２２３）。サーバ１は、再学習用の訓練データに基づき、検出モデル５０を更新する（ステップＳ２２４）。サーバ１は一連の処理を終了する。
　以上より、本実施の形態２によれば、ローカルの端末２ではなくクラウド上のサーバ１が細菌検出処理を実行してもよい。また、細菌検出を行った検体画像を元に再学習を行うことで、細菌の検出精度を向上させることができる。
（実施の形態３）
　実施の形態１では、検出対象とする細菌の種類に応じて複数の検出モデル５０、５０、５０…を用意し、いずれかの検出モデル５０を選択して細菌検出に用いる形態について説明した。本実施の形態では、複数の検出モデル５０、５０、５０…を併用する形態について説明する。
　図１２は、実施の形態３の概要を示す説明図である。図１２では、同じ検体画像を複数の検出モデル５０、５０、５０…にそれぞれ入力し、各種類の細菌を個別に検出する様子を概念的に図示している。
　実施の形態１で説明したように、サーバ１は、細菌Ａ、Ｂ、Ｃ…それぞれに対応する訓練データに基づき、細菌の種類に応じた複数の検出モデル５０、５０、５０…を生成する。本実施の形態において端末２は、検出装置３から取得した検体画像を、複数の検出モデル５０、５０、５０…にそれぞれ入力する。そして端末２は、各検出モデル５０から、細菌Ａ、Ｂ、Ｃ…それぞれの座標データを出力として取得する。
　端末２は、各検出モデル５０での検出結果を合成して表示する。図１３は、実施の形態３に係る表示画面例を示す説明図である。本実施の形態において端末２は、細菌の位置にバウンディングボックスを付して検体画像を表示する場合に、細菌の種類に応じてバウンディングボックスの表示態様を異ならせた検体画像（第２検体画像）を表示する。例えば端末２は、バウンディングボックスの表示色を変更する。なお、図１３では図示の便宜上、表示色が異なる様子を線種で表現してある。
　端末２はさらに、表６２１に、検出された各種類の細菌の検出数を、区画（検出箇所）毎に一覧表示する。また、端末２は、現在表示中の検体画像に係る区画における各種類の細菌の検出数を、表６２１の上部に表示する。
　図１４は、実施の形態３に係る細菌検出処理の手順を示すフローチャートである。検出装置３から検体画像を取得した後（ステップＳ３２）、端末２は以下の処理を実行する。
　端末２は、細菌の種類に応じて訓練データを学習済みの複数の検出モデル５０、５０、５０…に、ステップＳ３２で取得した検体画像を入力して、複数種類の細菌を検出する（ステップＳ３０１）。
　端末２は、各種類の細菌の検出数を集計する（ステップＳ３０２）。そして端末２は、各種類の細菌の検出結果を表示する（ステップＳ３０３）。具体的には、端末２は、細菌の種類に応じて異なる表示態様のバウンディングボックスを付した検体画像（第２検体画像）を表示すると共に、細菌の種類毎に検出数を表示する。端末２は処理をステップＳ３６に移行する。
　以上より、本実施の形態３によれば、複数種類の細菌を同時に検出することもできる。
　なお、本実施の形態においてもサーバ１は、検出モデル５０の再学習を行ってもよい。例えばサーバ１は、細菌の種類の指定入力を受け付けた上で、指定された細菌の正解の座標データを付与する操作入力を受け付けることで、再学習用の訓練データを取得する。サーバ１は、元の検体画像と、新たに付与された正解の座標データとに基づき、指定された細菌の種類に対応する検出モデル５０を更新する。
（実施の形態４）
　本実施の形態では、検出モデル５０を用いて細菌を検出する以外に、ルールベースの画像処理により細菌を検出し、検出モデル５０及びルールベースの検出結果を組み合わせてユーザに提示する形態について説明する。
　図１５は、実施の形態４の概要を示す説明図である。図１５では、検出モデル５０を用いて検体画像から細菌を検出すると共に、ルールベースの画像処理（例えば二値化処理）によって検体画像から細菌を検出する様子を概念的に図示している。
　端末２は、実施の形態１と同様に、検出装置３から取得した検体画像を検出モデル５０に入力し、細菌を検出する。図１５の右上に、検出モデル５０による検出結果を概念的に図示する。なお、図１５右下の検出結果（ルールベースでの検出結果）と区別するため、図１５では検出モデル５０による検出結果を矩形状のバウンディングボックスではなく丸枠で図示している。
　さらに端末２は、ルールベースの画像処理を行い、検体画像から細菌を検出する。例えば端末２は、ルールベースの画像処理として、検体画像を二値化する二値化処理を行い、細菌を検出する。すなわち、端末２は、検体画像内の各画素値（例えば輝度）を所定の閾値と比較し、細菌と推定される領域と、細菌以外の領域とに検体画像を二値化して、細菌と推定される領域を検出する。
　なお、二値化処理はルールベースでの検出方法の一例であって、他のアルゴリズムを用いて検体画像から細菌を検出してもよい。
　図１５右下に、ルールベースでの検出結果を概念的に図示する。図１５の例で検出モデル５０による検出結果とルールベースでの検出結果とを比較した場合、検出モデル５０による検出結果では、本来検出されるべき細菌が検出されていないことがわかる。また、検出モデル５０による検出結果では、複数（２つ）の細菌が近接しているため、複数の細菌が一つの細菌として検出されていることがわかる。一方で、ルールベースでの検出結果では、夾雑物に対応する画像領域も検出されてしまい、誤った検出点が多数出現していることがわかる。
　端末２は、上記の２つの検出結果を組み合わせて表示する。図１６は、実施の形態４に係る表示画面例を示す説明図である。本実施の形態に係る表示画面は、画像タブ６２２を含む。画像タブ６２２は、検出モデル５０及び／又はルールベースの検出結果を切り換えて検体画像を表示するための操作タブである。「ＡＩ検出」の画像タブ６２２がアクティブになっている場合、端末２は、検出モデル５０により検出された細菌の位置をバウンディングボックスで示す検体画像を表示する（図１５右上参照）。「二値化検出」の画像タブ６２２がアクティブになっている場合、端末２は、二値化処理により検出された細菌の位置をバウンディングボックスで示す検体画像を表示する（図１５右下参照）。
　「ＡＩ検出と二値化検出の比較」の画像タブ６２２がアクティブになっている場合、端末２は、図１６に示すように、検出モデル５０及び二値化処理の双方の検出結果を示す検体画像を表示する。具体的には、端末２は、検出モデル５０及び二値化処理で共通して検出された検出点（細菌）と、検出モデル５０又は二値化処理のいずれか一方で検出された検出点とで、バウンディングボックスの表示態様（例えば表示色）を変更する。
　また、端末２は表６２１で、測定フィルタ上の区画（検出箇所）毎に、検出モデル５０による検出数、二値化処理による検出数、及び共通して検出された細菌の検出数を一覧表示する。また、端末２は、表６２１の上部に、現在表示中の検体画像に係る区画について、検出モデル５０による検出数、二値化処理による検出数、及び共通して検出された細菌の検出数を表示する。
　図１７は、実施の形態４に係る細菌検出処理の手順を示すフローチャートである。検出装置３から検体画像を取得した後（ステップＳ３２）、端末２は以降の処理を実行する。
　端末２は、検体画像を検出モデル５０に入力して細菌を検出する（ステップＳ４０１）。また、端末２は、二値化処理により検体画像から細菌を検出する（ステップＳ４０２）。端末２は、ステップＳ４０１及びＳ４０２で検出した細菌の検出数を集計する（ステップＳ４０３）。具体的には、端末２は、検出モデル５０による検出数、及び二値化処理による検出数をそれぞれ集計するほか、検出モデル５０及び二値化処理で共通して検出された細菌の検出数を集計する。
　端末２は、検出モデル５０による検出結果、及び二値化処理による検出結果を表示する（ステップＳ４０４）。具体的には、端末２は、検出モデル５０又は二値化処理のいずれか一方のみで検出された細菌と、検出モデル５０及び二値化処理で共通して検出された細菌とで、異なる表示態様のバウンディングボックス（オブジェクト）を付した検体画像（第２検体画像）を表示する。また、端末２は、検出モデル５０による検出数と、二値化処理による検出数と、検出モデル５０及び二値化処理で共通して検出された細菌の検出数とをそれぞれ表示する。端末２は処理をステップＳ３６に移行する。
　以上より、本実施の形態４によれば、ルールベースの画像処理を組み合わせることで、より多くの検出結果をユーザに提示することができる。
　なお、本実施の形態では検出モデル５０と組み合わせる他の検出アルゴリズムとしてルールベースの画像処理（二値化処理）を用いるものとしたが、本実施の形態はこれに限定されるものではない。例えば端末２は、検出モデル５０と組み合わせる他の検出アルゴリズムとして、検出モデル５０とは異なる他の機械学習モデルを用いてもよい。すなわち、端末２は、検体画像を検出モデル５０と他のモデルとにそれぞれ入力し、各モデルから検出結果を取得する。当該他のモデルは、検出モデル５０とネットワーク構造が同じで異なる訓練データを学習済みのモデルであってもよく、あるいはネットワーク構造も異なる別のモデルであってもよい。ルールベースの画像処理に代えて他のモデルを用いても、上記と同様の効果を奏する。
（実施の形態５）
　実施の形態４では、検出モデル５０とルールベースでの検出処理とを組み合わせる形態について説明した。本実施の形態では、検出モデル５０及びルールベースの検出結果を利用して、検体画像に対し、再学習用のラベル付けを行う形態について説明する。
　図１８は、実施の形態５に係る表示画面例を示す説明図である。本実施の形態では、過去に細菌検出処理を行い、保存ファイルとして保存してある検体画像の再解析機能の一つとして、検体画像に対し細菌の正解の座標データ（ラベル）を付与する機能を提供する。図１８に基づき、本実施の形態の概要を説明する。
　端末２は、「画像取り込み」のボタンへの操作入力を受け付けた場合、保存ファイルとして保存してある検体画像の指定入力を受け付ける。そして端末２は、指定された検体画像を画面に表示する。当該画面は、画像タブ１８１、追加ボタン１８２、削除ボタン１８３、保存ボタン１８４を含む。
　画像タブ１８１は、検体画像の表示を切り換えるための操作タブである。「元画像」の画像タブ１８１がアクティブになっている場合、端末２は、検出装置３で撮像された元の検体画像（バウンディングボックスが付されていない生画像）を表示する。「ＡＩ検出」の画像タブ１８１がアクティブになっている場合、端末２は、検出モデル５０により検出された細菌の位置をバウンディングボックスで示す検体画像を表示する（図１５右上参照）。「二値化検出」の画像タブ１８１がアクティブになっている場合、端末２は、二値化処理により検出された細菌の位置をバウンディングボックスで示す検体画像を表示する（図１５右下参照）。
　「ＡＩ検出と二値化検出の比較」の画像タブ１８１がアクティブになっている場合、端末２は、検出モデル５０及び二値化処理の双方の検出結果を示す検体画像を表示する。具体的には実施の形態４と同様に、端末２は、検出モデル５０及び二値化処理で共通して検出された検出点（細菌）と、検出モデル５０又は二値化処理のいずれか一方で検出された検出点とで、異なる表示態様のバウンディングボックスを付した検体画像を表示する。
　端末２は当該画面上で、バウンディングボックスとして表示された検出点（細菌）を追加又は削除する操作入力を受け付ける。例えば端末２は、バウンディングボックスを指定する指定入力を受け付け、追加ボタン１８２又は削除ボタン１８３への操作入力に応じて、指定されたバウンディングボックスを検出点に追加又は削除する。図１８では、ユーザが指定したバウンディングボックスが、矢印のアイコンで表記される様子を図示している。
　上述の如く、端末２は、検出モデル５０及び二値化処理で共通して検出された検出点と、いずれか一方で検出された検出点とを異なる表示態様で表示する。これにより、ラベルを付与すべき検出点をユーザが選択する場合に、ユーザによる選択作業を好適に補助することができる。
　なお、端末２は、細菌だけでなく、夾雑物についてもラベルを付与（バウンディングボックスを追加）する操作入力を受け付けてもよい。これにより、夾雑物についても正しいラベルが付与された訓練データを得ることができる。
　保存ボタン１８４への操作入力を受け付けた場合、端末２は、検出点の追加及び／又は削除の内容を保存する。具体的には、端末２は、保存ファイルとして保存してある検出モデル５０の検出結果から、ユーザが追加及び／又は削除した検出点を細菌の位置として追加及び／又は削除し、保存ファイルを更新する。
　サーバ１は、上記で検出点を追加又は削除した保存ファイルを用いて、検出モデル５０の再学習を行うことができる。すなわち、サーバ１は、ユーザによる追加及び／又は削除後の検出点を正解のラベルとして検出モデル５０に与え、検出モデル５０を更新する。サーバ１は、保存ファイルの検体画像を検出モデル５０に入力し、細菌（検出点）の座標データを出力として取得する。サーバ１は、検出モデル５０から出力された座標データと、ユーザによる追加及び／又は削除後の検出点の座標データとを比較し、両者が近似するように検出モデル５０のパラメータを最適化する。
　再学習の処理については実施の形態２でも説明したため、本実施の形態では再学習の処理についてフローチャートその他の詳細な説明を省略する。
　図１９は、ラベル付与処理の手順を示すフローチャートである。図１９に基づき、実施の形態５に係る端末２が実行する処理内容について説明する。
　端末２は、補助記憶部２６に記憶してある保存ファイルを読み出す（ステップＳ５０１）。そして端末２は、検体画像を表示する（ステップＳ５０２）。具体的には、端末２は、検出モデル５０又は二値化処理のいずれか一方のみで検出された検出点（細菌）と、検出モデル５０及び二値化処理で共通して検出された検出点（細菌）とで、異なる表示態様のバウンディングボックス（オブジェクト）を付した検体画像（第２検体画像）を表示する。
　端末２は、表示した検体画像に対し、バウンディングボックスで示す検出点を追加又は削除する操作入力を受け付ける（ステップＳ５０３）。端末２は、検出点を追加又は削除した後の画像ファイルを保存し（ステップＳ５０４）、一連の処理を終了する。
　以上より、本実施の形態５によれば、再学習用の訓練データを好適に作成することができる。
（実施の形態６）
　本実施の形態では、同じ検体について細菌検出（検査）を複数回実施する形態について説明する。
　図２０は、実施の形態６に係る文書ファイルを示す説明図である。図２０では、同じ検体について検査を複数回実施する場合において、各検査での検出結果をまとめた文書ファイルを図示している。図２０に基づき、本実施の形態の概要を説明する。
　同じ検体について検査を複数回実施するケースは、例えばＨＡＣＣＰ（Hazard Analysis and Critical Control Point）を実施するケースが想定される。ＨＡＣＣＰは、食品を製造する工程において、細菌（食中毒菌）や異物混入等の危険要因を除去又は低減するために、重要な工程を管理する方法を指す。本実施の形態ではＨＡＣＣＰの一環として、食品（検体）を製造する複数の工程それぞれにおいて検査を行う場合を想定して説明する。
　端末２は、複数の工程それぞれにおいて検体画像を取得し、検出モデル５０に検体画像を入力して細菌を検出する。そして端末２は、各工程での細菌の検出結果を文書ファイル等の形式で出力する。ここで端末２は、一の工程で検査を行って検出結果を出力する場合に、前回以前の工程での検査時と比較可能な形で検出結果を出力する。
　例えば端末２は、前回以前の検査時に保存した保存ファイルを参照して、前回以前の検査時における検出数等の検出結果と、今回（上記の一の工程）の検出結果との差分を示す文書ファイルを生成し、出力する。例えば端末２は、検出条件の設定時に前回以前の保存ファイルの指定入力を受け付け、指定された保存ファイルを参照して、前回以前の検査時の検出数と、今回の検出数との差分を算出して文書ファイルに記述する。
　図２０に、検出結果の差分が記述された文書ファイルを例示する。例えば端末２は、「６．今回の検出結果」として、今回検出された単位量当たりの細菌の検出数を記述すると共に、前回（図２０では２回目）の検出数との差分を算出して文書ファイルに記述する。また、端末２は、「７．前回までの検出結果」として、前回以前の各検査時に検出された検出数、及び前回との差分を一覧で記述する。これにより、ＨＡＣＣＰのように同じ検体について複数の工程で検査を実施する場合に、各工程での検査結果を好適にまとめてユーザにレポートすることができる。
　図２１は、実施の形態６に係る細菌検出処理の手順を示すフローチャートである。
　端末２はまず、検出条件の設定入力を受け付ける（ステップＳ６０１）。例えば端末２は、撮像する測定フィルタ上の区画、検体量、検体番号等のほかに、比較対象とする過去の保存ファイル、すなわち前回以前の検出結果の指定入力を受け付ける。端末２は、指定された保存ファイルを読み出す（ステップＳ６０２）。端末２は、今回検査する検体画像を取得し（ステップＳ６０３）、処理をステップＳ３３に移行する。
　保存ファイルを出力すると判定した場合（Ｓ３６：ＹＥＳ）、端末２は、検出結果を記述した文書ファイルを生成し、検体画像の画像ファイル等と共に保存ファイルとして出力する（ステップＳ６０４）。ここで端末２は、前回以前の検査時の保存ファイルを参照して、複数の製造工程それぞれにおける検出結果を記述した文書ファイルを生成する。具体的には上述の如く、端末２は、各工程で検出された細菌数の差分を示す文書ファイルを生成する。端末２は一連の処理を終了する。
　以上より、本実施の形態６によれば、食品等の検体について、その製造工程に応じて検査を行い、各工程での検出結果を好適に提示することができる。
（実施の形態７）
　本実施の形態では、検体画像を拡大してから検出モデル５０を用いて細菌を検出する形態について説明する。
　図２２は、実施の形態７の概要を示す説明図である。図２２では、検体画像を所定倍率に拡大して複数の画像に分割し、分割した各画像から細菌を検出する様子を図示している。図２２に基づき、本実施の形態の概要を説明する。
　なお、以下では検体画像を所定倍率に拡大した画像を「拡大画像」と呼び、拡大画像を複数に分割した画像を「分割画像」と呼ぶ。
　実施の形態１で述べたように、端末２は、検出モデル５０を用いて検体画像から細菌を検出する。しかしながら、細菌のサイズは数μｍと非常に小さいため、撮像に使用するカメラのレンズ倍率が小さい場合、検体画像において観察される細菌（光点）も小さくなる。そのため、学習時の訓練データにおけるアノテーションサイズが大きいと、図１５右上のように近接する複数の光点を１つの細菌として誤検出する恐れがある。一方で、アノテーションサイズを小さくすれば複数の光点を個別に検出できるが、アノテーションサイズを小さくした分だけ検出時に使用する光点周辺の情報量が少なくなるため、夾雑物との識別等に悪影響を与える恐れがある。
　そこで本実施の形態では、検体画像を所定倍率に拡大し、拡大画像から細菌を検出する。具体的には、端末２は、拡大画像を拡大倍率に応じて複数の分割画像に分割し、各分割画像を検出モデル５０に順次入力することで、各分割画像から細菌を検出する。
　図２２では、元の検体画像が２倍に拡大され、検体画像を２×２＝４枚の分割画像に分割する様子を図示している。なお、分割画像を４枚に分割するのは学習時の画像サイズと合わせるためである。端末２は、検体画像を２倍に拡大する。この場合に端末２は、画像の継ぎ目をスムーズにするため、画像の補間処理（線形補間等による画素の補間）を行う。端末２は、拡大画像を上下均等に４分割し、分割画像を生成する。端末２は、各分割画像を検出モデル５０に入力し、細菌を検出する。
　なお、本実施の形態では拡大画像を複数の分割画像に分割するが、拡大画像を分割せず、そのまま検出モデル５０を用いて拡大画像から細菌を検出するようにしてもよい。
　また、上記では元の検体画像を単純に拡大して補間を行うものとしたが、例えば端末２は、拡大画像生成用の機械学習モデルを用いて拡大画像を生成するなどしてもよい。このように、拡大画像の生成方法は特に問わない。
　上述の如く、端末２は各分割画像から細菌を検出する。一方で、隣り合う２枚の分割画像の間の境界付近に細菌が位置する場合、当該細菌を２枚の分割画像それぞれから重複して検出してしまい、ダブルカウントを生じる恐れがある。そこで端末２は、各分割画像から検出した細菌のうち、隣り合う２枚の分割画像で重複して検出された細菌を特定する。
　具体的には、端末２は、隣り合う２枚の分割画像の間の境界部分から検出され、かつ、２枚の分割画像の双方から検出された細菌を特定する。なお、「境界部分」とは、分割画像の境界（分割画像の端）から境界線に垂直な方向に所定距離内（例えば数ピクセル内）の領域を指す。例えば端末２は、２枚の分割画像において同一の境界部分から検出された細菌であって、境界線と平行な方向における位置が同一の細菌を、重複して検出された細菌として特定する。なお、「境界線と平行な方向における位置が同一」とは、境界線と平行な方向における座標値が完全に一致、又は所定値以内（例えば数ピクセル内）に収まっている状態を指す。
　例えば上下に２分割された２枚の分割画像を考えた場合、端末２は、上側の分割画像の下端付近（境界部分）で検出された細菌と、下側の分割画像の上端付近（境界部分）で検出された細菌とについて、各細菌の左右方向における位置が同一であるか否かを判定する。同一であると判定した場合、端末２は、上側及び下側の分割画像からそれぞれ検出された細菌を、重複して検出された細菌として特定する。端末２は、各分割画像の間の境界部分それぞれ（図２２では４つの境界）について、重複して検出された細菌を特定する。
　最終的に端末２は、各分割画像から検出した細菌数を合計することで、元の検体画像における細菌数を集計する。この場合に端末２は、上記で重複するものとして特定した細菌数を減算することで、ダブルカウントを防止する。また、図２２下側に図示するように、端末２は、各分割画像における細菌の検出結果に基づき、元の検体画像にバウンディングボックスを付して表示する。なお、元の検体画像にバウンディングボックスを付与するのではなく、分割画像（又は分割前の拡大画像）にバウンディングボックスを付して表示してもよい。
　図２３は、実施の形態７に係る細菌検出処理の手順を示すフローチャートである。検体画像を取得した後（ステップＳ３２）、端末２は以下の処理を実行する。
　端末２は、検体画像を所定倍率に拡大した拡大画像を生成する（ステップＳ７０１）。端末２は、拡大画像を倍率に応じて複数の分割画像に分割する（ステップＳ７０２）。端末２は、各分割画像を検出モデル５０に入力し、各分割画像から細菌を検出する（ステップＳ７０３）。
　端末２は、各分割画像から検出した細菌のうち、隣り合う２枚の分割画像で重複して検出された細菌を特定する（ステップＳ７０４）。具体的には上述の如く、端末２は、隣り合う２枚の分割画像の間の境界部分から検出され、かつ、２枚の分割画像の双方から検出された細菌を特定する。
　端末２は、検体画像から検出された細菌数を集計する（ステップＳ７０５）。具体的には、端末２は、ステップＳ７０３において各分割画像から検出された細菌数を合計し、ステップＳ７０４において重複するものとして特定した細菌数を合計数から差し引く。端末２は処理をステップＳ３５に移行する。
　以上より、本実施の形態７によれば、検体画像を拡大することで細菌の検出精度を向上させることができる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　１　　サーバ（情報処理装置）
　１１　制御部
　１２　主記憶部
　１３　通信部
　１４　補助記憶部
　Ｐ１　プログラム
　２　　端末
　２１　制御部
　２２　主記憶部
　２３　通信部
　２４　表示部
　２５　入力部
　２６　補助記憶部
　Ｐ２　プログラム
　５０　検出モデル
　３　　検出装置
　３１　制御部
　３２　撮像部
　３３　ＸＹ軸モータドライバ
　３４　ＸＹ軸モータ
　３５　ＬＤドライバ
　３６　ＬＤ光源

Claims (15)

  1. 　蛍光検出可能な検体を撮像した検体画像を取得し、
    　訓練用の検体画像に対し、該検体画像に含まれる微生物又は微粒子、及び夾雑物それぞれの座標データが付与された訓練データを学習済みのモデルに、取得した前記検体画像を入力して、少なくとも微生物又は微粒子を検出し、
    　検出結果を出力する
    　処理をコンピュータに実行させるプログラム。
  2. 　前記検体画像は、蛍光染色剤で染色された前記検体を撮像した画像である
    　請求項１に記載のプログラム。
  3. 　検出された前記微生物又は微粒子の検出数を集計する
    　請求項１又は２に記載のプログラム。
  4. 　検出された前記微生物又は微粒子に対応する位置にオブジェクトを付した第２検体画像を出力する
    　請求項３に記載のプログラム。
  5. 　前記検出数を含む前記微生物又は微粒子の検出結果を記述した文書ファイルを生成し、
    　前記文書ファイルと、前記第２検体画像の画像ファイルとを含む保存ファイルを出力する
    　請求項４に記載のプログラム。
  6. 　前記検体は食品であり、
    　前記食品を製造する複数の工程それぞれにおいて前記微生物又は微粒子を検出した際の前記保存ファイルを参照して、前記複数の工程における前記微生物又は微粒子の検出結果を記述した前記文書ファイルを生成する
    　請求項５に記載のプログラム。
  7. 　前記微生物又は微粒子の検出結果を出力後、前記第２検体画像に対し、前記微生物又は微粒子の正解の座標データを付与する操作入力を受け付け、
    　前記検体画像と、前記正解の座標データとに基づき、前記モデルを更新する
    　請求項４～６のいずれか１項に記載のプログラム。
  8. 　ルールベースの画像処理、又は前記モデルと異なる他のモデルにより前記検体画像から前記微生物又は微粒子を検出し、
    　前記モデルと、前記ルールベース又は他のモデルとで共通して検出された前記微生物又は微粒子と、いずれか一方で検出された前記微生物又は微粒子とを示す検出結果を出力する
    　請求項７に記載のプログラム。
  9. 　前記共通して検出された微生物又は微粒子と、前記いずれか一方で検出された微生物又は微粒子とを、異なる表示態様の前記オブジェクトで示す前記第２検体画像を出力し、
    　前記第２検体画像に対し、前記オブジェクトを追加又は削除する操作入力を受け付けることで、前記正解の座標データの入力を受け付ける
    　請求項８に記載のプログラム。
  10. 　前記微生物又は微粒子の種類に応じて前記訓練データを学習済みの複数の前記モデルそれぞれに、取得した前記検体画像を入力して、複数種類の前記微生物又は微粒子を検出する
    　請求項１～９のいずれか１項に記載のプログラム。
  11. 　前記検体画像を所定倍率に拡大した拡大画像を生成し、
    　前記拡大画像を前記モデルに入力して前記微生物又は微粒子を検出する
    　請求項１～１０のいずれか１項に記載のプログラム。
  12. 　前記拡大画像を複数の分割画像に分割し、
    　各分割画像を前記モデルに入力して、前記微生物又は微粒子を前記各分割画像から検出し、
    　隣り合う２枚の前記分割画像の間の境界部分から検出され、かつ、該２枚の分割画像の双方で検出された前記微生物又は微粒子を特定する
    　請求項１１に記載のプログラム。
  13. 　蛍光検出可能な検体を撮像した検体画像を取得する取得部と、
    　訓練用の検体画像に対し、該検体画像に含まれる微生物又は微粒子、及び夾雑物それぞれの座標データが付与された訓練データを学習済みのモデルに、取得した前記検体画像を入力して、少なくとも微生物又は微粒子を検出する検出部と、
    　検出結果を出力する出力部と
    　を備える情報処理装置。
  14. 　蛍光検出可能な検体を撮像した検体画像を取得し、
    　訓練用の検体画像に対し、該検体画像に含まれる微生物又は微粒子、及び夾雑物それぞれの座標データが付与された訓練データを学習済みのモデルに、取得した前記検体画像を入力して、少なくとも微生物又は微粒子を検出し、
    　検出結果を出力する
    　処理をコンピュータが実行する情報処理方法。
  15. 　訓練用の検体画像に対し、該検体画像に含まれる微生物又は微粒子、及び夾雑物それぞれの座標データが付与された訓練データを取得し、
    　前記訓練データに基づき、前記検体画像を入力したい場合に、少なくとも微生物又は微粒子を検出する学習済みモデルを生成する
    　処理をコンピュータが実行するモデル生成方法。
PCT/JP2021/025540 2020-07-21 2021-07-07 プログラム、情報処理装置、情報処理方法及びモデル生成方法 WO2022019110A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022537906A JP7391285B2 (ja) 2020-07-21 2021-07-07 プログラム、情報処理装置、情報処理方法及びモデル生成方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-124559 2020-07-21
JP2020124559 2020-07-21

Publications (1)

Publication Number Publication Date
WO2022019110A1 true WO2022019110A1 (ja) 2022-01-27

Family

ID=79729719

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025540 WO2022019110A1 (ja) 2020-07-21 2021-07-07 プログラム、情報処理装置、情報処理方法及びモデル生成方法

Country Status (2)

Country Link
JP (1) JP7391285B2 (ja)
WO (1) WO2022019110A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7216976B1 (ja) * 2022-06-21 2023-02-02 中国電力株式会社 フジツボ類幼生の検出装置、及び薬剤濃度管理システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016015944A1 (de) * 2014-08-01 2016-02-04 Zf Friedrichshafen Ag Baugruppenträger und baugruppe
JP2016062524A (ja) * 2014-09-22 2016-04-25 日本電気株式会社 データ処理システム、データ処理方法およびデータ処理プログラム
WO2019180833A1 (ja) * 2018-03-20 2019-09-26 株式会社島津製作所 細胞観察装置
WO2019180848A1 (ja) * 2018-03-20 2019-09-26 株式会社島津製作所 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法
JP2019208377A (ja) * 2018-05-31 2019-12-12 株式会社日立ソリューションズ コロニー検出装置、コロニー検出方法、及びコロニー検出プログラム
WO2020007118A1 (zh) * 2018-07-02 2020-01-09 北京百度网讯科技有限公司 显示屏外围电路检测方法、装置、电子设备及存储介质
JP2020013206A (ja) * 2018-07-13 2020-01-23 日本ユニシス株式会社 動画・カメラからの二輪車検知装置、プログラム及びシステム
JP2020093076A (ja) * 2018-08-14 2020-06-18 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016015944A1 (de) * 2014-08-01 2016-02-04 Zf Friedrichshafen Ag Baugruppenträger und baugruppe
JP2016062524A (ja) * 2014-09-22 2016-04-25 日本電気株式会社 データ処理システム、データ処理方法およびデータ処理プログラム
WO2019180833A1 (ja) * 2018-03-20 2019-09-26 株式会社島津製作所 細胞観察装置
WO2019180848A1 (ja) * 2018-03-20 2019-09-26 株式会社島津製作所 細胞画像解析装置、細胞画像解析システム、学習データの生成方法、学習モデルの生成方法、学習データの生成プログラム、および、学習データの製造方法
JP2019208377A (ja) * 2018-05-31 2019-12-12 株式会社日立ソリューションズ コロニー検出装置、コロニー検出方法、及びコロニー検出プログラム
WO2020007118A1 (zh) * 2018-07-02 2020-01-09 北京百度网讯科技有限公司 显示屏外围电路检测方法、装置、电子设备及存储介质
JP2020013206A (ja) * 2018-07-13 2020-01-23 日本ユニシス株式会社 動画・カメラからの二輪車検知装置、プログラム及びシステム
JP2020093076A (ja) * 2018-08-14 2020-06-18 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7216976B1 (ja) * 2022-06-21 2023-02-02 中国電力株式会社 フジツボ類幼生の検出装置、及び薬剤濃度管理システム
WO2023248348A1 (ja) * 2022-06-21 2023-12-28 中国電力株式会社 フジツボ類幼生の検出装置、及び薬剤濃度管理システム

Also Published As

Publication number Publication date
JP7391285B2 (ja) 2023-12-05
JPWO2022019110A1 (ja) 2022-01-27

Similar Documents

Publication Publication Date Title
JP6924413B2 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
JP6915349B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
WO2019117065A1 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
JP2018005640A (ja) 分類器生成装置、画像検査装置、及び、プログラム
JP7217589B2 (ja) 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
JP2018005639A (ja) 画像分類装置、画像検査装置、及び、プログラム
JP2024509411A (ja) 欠陥検出方法、装置及びシステム
JP2019533805A (ja) 視覚化されたスライド全域画像分析を提供するためのデジタル病理学システムおよび関連するワークフロー
WO2010146802A1 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
CN107209111A (zh) 自动化整体载片分析的质量控制
JP7329196B2 (ja) コロニー検出システム
JP2007293732A (ja) 検査装置
JP2002251603A (ja) 画像処理プログラム作成方法およびそのシステム
WO2022019110A1 (ja) プログラム、情報処理装置、情報処理方法及びモデル生成方法
WO2019181072A1 (ja) 画像処理方法、コンピュータプログラムおよび記録媒体
JPH08315144A (ja) パターン分類装置及びそのパターン分類方法
JP2001134763A (ja) 撮像画像に基づく欠陥の分類方法、および、その結果の表示方法
JP7380332B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
JPWO2020213145A5 (ja)
JP4379913B2 (ja) 画質検査装置
US20230260125A1 (en) Digital pathology artificial intelligence quality check
WO2022044150A1 (ja) 画像生成装置、画像生成方法およびプログラム
JP2004239645A (ja) 粒子画像分析方法、プログラム、記録媒体及び粒子画像分析装置
KR20240085178A (ko) 화상 처리 장치, 특징 추출기의 학습 방법, 식별기의 갱신 방법, 및 화상 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21846301

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022537906

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21846301

Country of ref document: EP

Kind code of ref document: A1