WO2020021604A1 - マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法 - Google Patents

マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法 Download PDF

Info

Publication number
WO2020021604A1
WO2020021604A1 PCT/JP2018/027554 JP2018027554W WO2020021604A1 WO 2020021604 A1 WO2020021604 A1 WO 2020021604A1 JP 2018027554 W JP2018027554 W JP 2018027554W WO 2020021604 A1 WO2020021604 A1 WO 2020021604A1
Authority
WO
WIPO (PCT)
Prior art keywords
microfluidic device
flow path
image
pixel group
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/027554
Other languages
English (en)
French (fr)
Inventor
義典 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2020531848A priority Critical patent/JP7250795B2/ja
Priority to CN201880095672.1A priority patent/CN112424612B/zh
Priority to US17/262,144 priority patent/US12140743B2/en
Priority to PCT/JP2018/027554 priority patent/WO2020021604A1/ja
Publication of WO2020021604A1 publication Critical patent/WO2020021604A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0056—Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00—Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/50—Containers for the purpose of retaining a material to be analysed, e.g. test tubes
    • B01L3/502—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures
    • B01L3/5027—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip
    • B01L3/502715—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip characterised by interfacing components, e.g. fluidic, electrical, optical or mechanical interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00—Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/50—Containers for the purpose of retaining a material to be analysed, e.g. test tubes
    • B01L3/502—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures
    • B01L3/5027—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip
    • B01L3/502761—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip specially adapted for handling suspended solids or molecules independently from the bulk fluid flow, e.g. for trapping or sorting beads or physically stretching molecules
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M23/00—Constructional details, e.g. recesses, hinges
    • C12M23/02—Form or structure of the vessel
    • C12M23/16—Microfluidic devices; Capillary tubes
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04—Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02—Investigating particle size or size distribution
    • G01N15/0205—Investigating particle size or size distribution by optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1456—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
    • G01N15/1459—Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals the analysis being performed on a sample stream
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1484—Optical investigation techniques, e.g. flow cytometry microstructural devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N37/00—Details not covered by any other group of this subclass
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02—Investigating particle size or size distribution
    • G01N2015/0294—Particle shape
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486—Counting the particles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1497—Particle shape

Definitions

  • the present invention relates to a microfluidic device observation device and a microfluidic device observation method for observing a test object existing in a microfluidic device provided with one or a plurality of flow channels.
  • a microfluidic device is one in which one or a plurality of flow paths are formed in a substrate by microfabrication technology using a micromechanical system (MEMS: Micro Electro Mechanical System) or the like (for example, Patent Document 1).
  • the microfluidic device includes, for example, an upper substrate in which a concave portion serving as a flow path is formed on the lower surface side, and a through hole used for introducing a test fluid at a position corresponding to an end of the flow path, and a lower substrate. Are produced by bonding
  • the microfluidic device is used for testing susceptibility of bacteria and fungi (target bacteria) to antimicrobial agents as described in Patent Document 2, for example.
  • FIG. 1 An example of a microfluidic device used in the inspection will be described (see FIG. 1).
  • On the upper surface of the microfluidic device 100 one inlet 101 and five air ports 102a to 102e are provided.
  • a bacteria solution introduction channel 103 having one end directly below the introduction port 101 is provided.
  • the bacterial solution introduction channel 103 is branched into five branch channels 103a to 103e on the way, and these branch channels extend to just below the air ports 102a to 102e, respectively.
  • the five branch channels 103a to 103e are arranged in parallel with each other near the air ports 102a to 102e.
  • antibacterial liquids a to d containing the same kind of antibacterial agents at different concentrations are introduced from the air ports 102a to 102d into the branch channels 103a to 103d.
  • the amount of the antibacterial liquids a to d introduced here is such an amount as to stay inside the branch flow paths 103a to 103d (not reach the bacterial liquid introduction flow path 103).
  • No antibacterial liquid is introduced into the branch channel 103e.
  • the antibacterial liquids ad introduced into the branch channels 103a to 103d are dried to fix the antibacterial agent on the wall surfaces of the branch channels 103a to 103d.
  • a bacterial solution containing the target bacterium is introduced into the bacterial solution introduction channel 103 from the inlet 101. Since the air ports 102a to 102e for ventilation are formed at the ends of the branch channels 103a to 103e, the air in the branch channels 103a to 103e is discharged from the air ports with the inflow of the bacterial solution. Bacterial liquid flows into each of the branch channels 103a to 103e. In the branch passages 103a to 103d, the inflowing bacterial liquid comes into contact with the antibacterial agent fixed on the wall surface of each passage.
  • the microfluidic device 100 is set at a predetermined position of the microscope, and an image of an area (observation area) 104 captured in the field of view of the microscope is acquired. Then, a portion corresponding to each of the branch channels 103a to 103e is specified from the image of the observation region 104, and the state of the target bacterium existing in the branch channels 103a to 103e is confirmed.
  • the antibacterial liquid is not introduced into one of the branch channels (the branch channel 103e in the above example), the number and shape of the bacteria confirmed from the image of the branch channel 103e By comparing the number and shape of the bacteria confirmed from the images of the other branch channels 103a to 103d, it is possible to know at what concentration the antibacterial liquid containing the antibacterial agent will exert an effect on the target bacteria.
  • the test is performed using a large number of microfluidic devices. For each of such a large number of microfluidic devices, the microfluidic device is imaged and the number of target bacteria present in the flow path is counted. Work such as checking the shape of the target bacterium had to be performed, which was a heavy burden on the inspector.
  • the problem to be solved by the present invention is to provide a microfluidic device observation device and a microfluidic device observation method which can easily grasp the state of a test object present inside a flow channel provided in a microfluidic device. To provide.
  • a first aspect of the present invention made to solve the above-described problem is a microfluidic device observation apparatus for observing a test object present in a plurality of flow paths provided in a microfluidic device.
  • An imaging unit for acquiring an image of the microfluidic device
  • An extraction pixel selection unit that selects an extraction pixel from the plurality of pixels based on a predetermined criterion based on the luminance values of the plurality of pixels constituting the obtained image
  • a flow path identification unit that identifies the positions of the plurality of flow paths included in the image
  • An object feature pixel group detection unit that detects a continuous predetermined number or more of the extracted pixels as an object feature pixel group, which is present inside the specified plurality of flow paths
  • a statistical feature amount calculating unit for obtaining a statistical feature amount of the test object feature pixel group based on the number and / or shape of the test object feature pixel group.
  • the type of the imaging unit is not limited as long as it can acquire an image in which a contrast appears at the boundary of the flow path formed in the microfluidic device or at the position where the test object exists.
  • the imaging unit for example, an optical microscope, an optical camera, a phase contrast microscope, and a differential interference microscope can be used.
  • the microfluidic device observation apparatus first, the microfluidic device is set at a predetermined position of the imaging unit so that the region where the plurality of flow paths are provided can be captured in the field of view, An image of the area is obtained.
  • the extraction pixel selection unit selects an extraction pixel from the plurality of pixels based on a predetermined criterion based on the luminance values of the plurality of pixels constituting the acquired image.
  • the threshold value is a luminance value (background luminance value) assumed for a pixel at a position where neither the boundary of the flow path nor the test object exists, and a pixel whose luminance is higher (or lower) than the threshold value Is specified.
  • the threshold value is the average value of the luminance of all the pixels, or the luminance value of the pixel at a position where neither the boundary of the flow path nor the test object is considered to exist, such as the four corners of the image, and the luminance is lower than the threshold.
  • High (or low) pixels may be specified.
  • an edge intensity (a luminance change amount) is obtained from image data using a differential filter, and an extracted pixel is selected based on a result of comparing the value with a predetermined value. You may do so.
  • a differential filter it is possible to remove a background and to easily select an extraction pixel corresponding to a boundary of a flow path or a test object in the flow path. Note that whether to select a pixel with high luminance or a pixel with low luminance is determined according to the characteristics of the imaging unit to be used (whether the boundary of the flow path or the test object appears as light or dark). I just need.
  • the flow path specifying unit specifies the positions of the plurality of flow paths included in the image of the microfluidic device acquired by the imaging unit. This can be performed, for example, by preparing a template image of the microfluidic device to be used, and matching the template image with the image obtained by the imaging unit.
  • the position of the flow path may be specified by comparing the image of the microfluidic device itself with the template image, or the position of the extraction pixel selected by the extraction pixel selection unit may be compared with the template image. May be used to specify the position of the flow path.
  • the microfluidic device has a plurality of flow paths having the same width in at least a part of the area, the plurality of flow paths are arranged in parallel. Can be specified.
  • the extracted pixels selected by the extracted pixel selection unit may include pixels corresponding to the positions where they exist. Therefore, next, a predetermined number or more of continuous extracted pixels existing inside the specified plurality of flow paths are detected as a test object characteristic pixel group.
  • the predetermined number may be the number of pixels corresponding to the minimum size assumed as the test object. Since noise data rarely exists continuously in a large number of pixels, this processing removes noise.
  • the statistical feature value calculating unit calculates the statistical feature value of the test object feature pixel group based on the number and / or shape of the test subject feature pixel group.
  • the statistical feature amount is an amount (value) related to the number and shape of the test object feature pixel group.
  • the statistical feature amount may include one that does not directly depend on the shape of the test object feature pixel group, such as the area and length of the test object feature pixel group.
  • the number of test object characteristic pixel groups corresponds to the number of test objects present in the flow path.
  • the shape of the test object characteristic pixel group that is, the array of pixels constituting each test object characteristic pixel group, corresponds to the shape of one test object.
  • images acquired by the imaging unit are sequentially processed by the flow path identification unit, the extracted pixel selection unit, the test object characteristic pixel group detection unit, and the statistical characteristic amount calculation unit.
  • the statistical feature amount of the test object existing in the flow path is obtained. Therefore, it is not necessary for the inspector to count the number of the test objects present in the flow path and check the shape thereof, and the state of the test objects can be easily grasped.
  • the statistical feature amount calculation unit obtains a representative value of the statistical feature amount of the plurality of test object feature pixel groups when a plurality of the test object feature pixel groups exist in one flow path. It can be configured as follows.
  • the representative value of the statistical feature can be appropriately selected from a group consisting of an average value, a median value, a mode value, and a combination thereof.
  • the microfluidic device observation device further includes: A determination unit that determines the state of the test object based on a result of comparing the statistical characteristic amount obtained for one of the plurality of flow paths with the statistical characteristic amount obtained for another flow path. It is possible to adopt a configuration provided.
  • the drug When testing the sensitivity of a test substance such as a cell or a bacterium to a drug such as an antibacterial drug, generally, the drug is not introduced into one of a plurality of flow paths, and the test substance existing inside the flow path is not introduced.
  • the number and shape of the objects are used as criteria for determining the state of the object.
  • the state can be easily known by using the microfluidic device observation apparatus of this aspect.
  • the state of the test object may be determined based on a representative value of the statistical characteristic amounts.
  • a second aspect of the present invention made to solve the above-mentioned problem is a microfluidic device observation apparatus for observing a test object present in a plurality of flow paths provided in a microfluidic device.
  • An imaging unit for acquiring an image of the microfluidic device
  • a flow path identification unit that identifies the positions of the plurality of flow paths included in the image
  • an identification unit that specifies the number and / or shape of the test object present inside the specified plurality of flow paths, It is characterized by having.
  • a microfluidic device observation apparatus In the microfluidic device observation apparatus according to the second aspect, a microfluidic device acquired by an imaging unit instead of the extracted pixel selection unit, the specimen characteristic pixel group detection unit, and the statistical characteristic amount calculation unit in the first aspect. Is input, an identification unit that specifies the number and / or shape of the test object included in each of the plurality of flow paths specified by the flow path specifying unit is used. By using the microfluidic device observation apparatus of this aspect, the state of the test object can be easily grasped as in the first aspect.
  • the microfluidic device observation device When the test object is a biological sample such as a cell or a bacterium, the microfluidic device observation device according to the second aspect, wherein the identification unit further includes: It can be configured to determine the state of the test object present inside the flow path.
  • test object is a biological sample
  • the state can be easily known by using the microfluidic device observation apparatus of this embodiment.
  • microfluidic device observation technology can be suitably used for testing the sensitivity of a target bacterium to a drug.
  • a third aspect of the present invention made to solve the above-described problem is a microfluidic device for observing bacteria introduced together with a drug inside a plurality of flow paths provided in a microfluidic device.
  • a device observation method Obtaining an image of the microfluidic device, Select an extracted pixel from the plurality of pixels based on a predetermined reference based on the luminance values of the plurality of pixels constituting the obtained image, Identifying the positions of the plurality of channels included in the image, Present inside the specified plurality of flow paths, detecting a continuous predetermined number or more of the extracted pixels as a test object characteristic pixel group, The statistical feature amount of the test object feature pixel group is obtained based on the number and / or shape of the test object feature pixel group.
  • a microfluidic device for observing bacteria introduced together with a drug inside a plurality of flow channels provided in a microfluidic device.
  • a device observation method Obtaining an image of the microfluidic device, Identifying the positions of the plurality of channels included in the image, Identifying the number and / or shape of the bacteria present in the plurality of identified flow paths in response to the input of the acquired image.
  • microfluidic device observation apparatus according to the first or second aspect of the present invention, or the microfluidic device observation method according to the third or fourth aspect, is provided in the microfluidic device.
  • the state of the test object existing inside the flow path can be easily grasped.
  • FIG. 2 is a configuration diagram of a main part of the microfluidic device observation apparatus according to the first embodiment.
  • 5 is a flowchart illustrating a procedure for observing a test object present inside a flow channel of the microfluidic device in the first embodiment.
  • 9 is an example of an image obtained by binarizing a luminance value of observation image data in the first embodiment.
  • FIG. 4 is a diagram illustrating a template image used in the first embodiment.
  • 5 is a flowchart illustrating one of procedures for specifying a flow path position in an observation image in the first embodiment.
  • FIG. 4 is a diagram illustrating a method for determining a linear separation distance in one of procedures for specifying a flow path position in an observation image according to the first embodiment.
  • 9 is an example of a histogram created in one of the procedures for specifying a flow path position in an observation image in the first embodiment.
  • FIG. 6 is a diagram illustrating a method of specifying a flow path from an observation image in one of the procedures for specifying a flow path position in an observation image according to the first embodiment.
  • FIG. 9 is a configuration diagram of a main part of a microfluidic device observation apparatus according to a second embodiment.
  • Embodiments 1 and 2 of the microfluidic device observation apparatus will be described below with reference to the drawings.
  • the microfluidic device 100 described with reference to FIG. 1 is used to test the susceptibility of a target bacterium to antibacterial liquids a to d containing the same antibacterial agent at four different concentrations.
  • antibacterial liquids a to d having four concentrations are used, but the number of antibacterial liquids (concentration types) can be changed as appropriate.
  • a microfluidic device having six or more flow paths may be used.
  • FIG. 2 is a main part configuration diagram of the microfluidic device observation apparatus 1 of the first embodiment.
  • the microfluidic device observation apparatus 1 of the present embodiment is roughly divided into a dispensing section 2, an incubator 3, a phase contrast microscope 4 (imaging section), and a control / processing section 10.
  • a mechanism (not shown) is provided.
  • the control and processing unit 10 has a function of controlling operations of the dispensing unit 2, the incubator 3, and the phase contrast microscope 4, and a function of processing an image obtained by the phase contrast microscope 4.
  • the control / processing unit 10 includes a storage unit 11, and further includes, as functional blocks, an extracted pixel selection unit 21, a flow path identification unit 22, an object identification unit 23, a characteristic pixel group detection unit 24, and a flow path boundary pixel group selection unit. 25, a statistical feature amount calculation unit 26, and a determination unit 27.
  • the entity of the control / processing unit 10 is a general computer, and these functional blocks are embodied by executing the microfluidic device observation program 20 by the processor.
  • the control / processing unit 10 is connected to an input unit 41 for the examiner to input information as appropriate, and a display unit 42 for displaying an image of the flow path of the microfluidic device 100 and the like.
  • the storage unit 11 stores a template image of the microfluidic device 100.
  • the template image of the microfluidic device 100 is used to identify the position of the flow channel from an image obtained by imaging the microfluidic device 100 with the phase contrast microscope 4. In this embodiment, only one type of microfluidic device 100 is used. However, when a plurality of types of microfluidic devices are used, a template image is prepared for each type and stored in the storage unit 11.
  • One introduction port 101 and five air ports 102a to 102e are provided on the upper surface of the microfluidic device 100. Inside the microfluidic device 100, a bacteria solution introduction channel 103 having one end directly below the introduction port 101 is provided.
  • the bacterial solution introduction flow path 103 is branched into five branch flow paths 103a to 103e on the way, and these branch flow paths extend linearly to just below the air ports 102a to 102e, respectively.
  • the five branch channels 103a to 103e are arranged in parallel with each other near the air ports 102a to 102e.
  • FIG. 1 shows the branch channels 103a to 103e in an easy-to-understand manner. In an actual microfluidic device, the channel width of the branch channels 103a to 103e is wider than the channel interval.
  • the examiner prepares a bacterial solution containing the target bacterium at a predetermined ratio (for example, defined by the number of the target bacterium and the amount of the culture solution) and antibacterial solutions a to d containing the antibacterial agents used for the test at different concentrations. Is set in the dispensing section 2.
  • the control / processing unit 10 transmits a control signal instructing the dispensing unit 2 to start the dispensing operation. If there are a plurality of types of microfluidic devices that can be used, the inspector can specify the type of the microfluidic device 100 to be used for the inspection.
  • antimicrobial liquids a to d are introduced into the branch flow paths 103 a to 103 d of the microfluidic device 100, and a bacterial liquid containing the target bacterium is introduced into the bacterial liquid introduction flow path 103 from the inlet 101.
  • the antimicrobial solution is not introduced into the branch channel 103e, and the number and size of the target bacteria in the branch channel 103e are determined by determining the sensitivity of the target bacteria to the antimicrobial solutions ad introduced into the other channels. It is used as a reference for judgment.
  • the introduction amount of the bacterial solution is determined in advance so as to reach the position of the antibacterial agent fixed in the branch channels 103a to 103d.
  • the air in the branch channels 103a to 103e is discharged from the air ports with the inflow of the bacterial solution.
  • Bacterial liquid flows into each of the branch channels 103a to 103e.
  • the inflowing bacterial liquid comes into contact with the antibacterial agent fixed on the wall surface of each passage.
  • the microfluidic device 100 After introducing the antibacterial liquids a to d and the bacterial liquid, the microfluidic device 100 is transported to the incubator 3 and heated to a predetermined temperature for a predetermined time to culture the target bacteria. After culturing for a predetermined time, the microfluidic device 100 is transported from the incubator 3 to the phase contrast microscope 4.
  • a procedure for observing a target bacterium existing inside the flow path of the microfluidic device in the microfluidic device observation apparatus 1 of the present embodiment will be described with reference to the flowchart of FIG.
  • the microfluidic device 100 transported to the phase contrast microscope 4 is held at a predetermined imaging position in a predetermined direction.
  • the phase contrast microscope 4 images a region of the microfluidic device 100 captured in the field of view.
  • a region captured in the field of view of the phase contrast microscope 4 (corresponding to at least a part of the microfluidic device 100) is an observation region 104, and the phase contrast microscope 4 has an image of the observation region 104. (Hereinafter, this is referred to as an “observed image.”) (Step S1).
  • the phase contrast microscope 4 transmits the acquired image data of the observation region 104 to the control / processing unit 10.
  • the received imaging data is stored in the storage unit 11.
  • the extracted image selection unit 21 calculates the edge strength (the amount of change in luminance) in the image using the differential filter (Step S2).
  • the processing described below may be performed using the image obtained by the phase contrast microscope 4 as it is, by performing the preprocessing using the differential filter, the processing described below can be performed with higher accuracy using the edge intensity in the image. Can proceed.
  • a primary differential filter such as a sobel filter, a prewitt filter, a canny filter, or a secondary differential filter such as a laplacian filter can be used.
  • various methods for detecting a change in luminance included in image data such as a morphology operation, can be used.
  • the extracted image selecting unit 21 selects, as the extracted pixel, a pixel whose edge intensity value is equal to or greater than a predetermined value, from the image data from which the edge intensity has been extracted using the differential filter (Step S3).
  • Image data is binarized by assigning a value of 0 to unselected pixels (step S4; see FIG. 4).
  • binarization is performed using values of 0 and 1, but binarization may be performed using another value, a sign, or the like.
  • the extracted pixel is selected using the same predetermined value regardless of the position in the pixel, but a predetermined value corresponding to the magnitude of the luminance value of each pixel is used (for example, the luminance of the target pixel is selected).
  • a pixel having a value of the edge strength equal to or more than a predetermined ratio with respect to the value may be set as the extracted pixel. This makes it possible to appropriately select an extracted pixel even when a bright (high luminance value) portion and a dark (low luminance value) portion exist in the image depending on the environment at the time of imaging.
  • different threshold values may be used according to the variance of the luminance value in a predetermined range (for example, a range of 9 pixels ⁇ 9 pixels) around the target pixel in the entire image.
  • ⁇ There are roughly two types of processing methods after binarizing image data.
  • the channel identifying unit 22 performs template matching by using the template matching. The position of the channel included in the observation image is specified. First, this process will be described.
  • the channel identifying unit 22 reads the template image 110 of the microfluidic device 100 from the storage unit 11.
  • the template image 110 is an image in which a portion other than the flow path is hatched.
  • the channel identifying unit 22 superimposes the template image 110 on the observation image acquired by the phase contrast microscope 4 and shifts the relative positions of the two images little by little, while comparing the boundary of the channel included in the observation image and the template image.
  • the position where the degree of coincidence of the boundary of the flow path 110 is the highest is specified.
  • the flow path specifying unit 22 sets the template image Is created on the observation image, and an image of each of the branch channels 103a to 103e is specified (step S5). Then, the image data of each of the branch channels 103a to 103e is stored in the storage unit 11, and the images are displayed on the display unit.
  • a known template information for example, five linear flow paths are formed on the flow path of the microfluidic device 110 is used, and a linear template filter is used. Images of the respective branch channels 103a to 103e can be extracted based on the degree of coincidence of the images.
  • the observation image can be set in advance without using a template image or a template filter. A region existing at a determined position can be automatically extracted as an image of each of the branch channels 103a to 103e. Another method for specifying the flow path will be described later.
  • the test object specifying unit 23 When the positions of the branch channels 103a to 103e in the observation image are specified in step S5, the test object specifying unit 23 operates the characteristic pixel group detection unit 24 to exist inside the branch channels 103a to 103e. Identify the target bacteria.
  • the test object characteristic pixel group is detected by cooperation of the test object specifying unit 23 and the characteristic pixel group detection unit 24 (that is, it functions as the test object characteristic pixel group detection unit in the present invention). ).
  • the characteristic pixel group detection unit 24 sets a predetermined number or more of consecutive extracted pixels from the binarized images of the branch channels 103a to 103e as the test object characteristic pixel group. It is detected (step S6).
  • the predetermined number may be any number as long as the target bacterium and noise existing inside the flow path can be separated, for example, the number of pixels (for example, 5 pixels) corresponding to the minimum size assumed as the target bacterium. Can be. Since the noise data rarely exists continuously in a large number of pixels, this process can remove noise included in the binarized image of the flow path.
  • the statistical characteristic amount calculation unit 26 determines the number of the characteristic pixel groups of the test object (the target bacteria) existing in each of the branch channels 103a to 103e. ) And the arrangement of pixels (shape of the target bacterium) constituting each of the test object characteristic pixel groups. As a result, statistical features relating to the number and shape of the test objects existing inside each of the branch channels 103a to 103e are obtained (step S7).
  • the sum of the statistical characteristic amounts of the specimen characteristic pixel groups corresponding to the plurality of target bacteria is divided by the number. A statistical feature representing an average shape of the test object is obtained.
  • the statistical features related to the shape of the target bacterium include the area (or area ratio) of the target bacterium, the perimeter of the target bacterium, the long axis length and the short axis length of the target bacterium, and the linearity and circularity of the target bacterium.
  • the area ratio of the target bacterium can be determined from the ratio of the number of pixels constituting the test object characteristic pixel group to the number of pixels in the flow channel.
  • the perimeter of the target bacterium can be obtained from the perimeter of the target feature pixel group.
  • the long axis length and the short axis length of the target bacterium can be obtained as the maximum value and the minimum value of the linear length of the rectangle surrounding the test object characteristic pixel group.
  • the linearity and circularity of the target bacterium can be obtained from the aspect ratio of the shape of the test object characteristic pixel group or a predetermined mathematical formula (for example, 4 ⁇ ⁇ area ⁇ (perimeter) 2 ).
  • Other well-known statistics can be appropriately used as the statistical feature.
  • the average of the statistical features is obtained, but a median, a mode, or the like may be obtained in addition to the average.
  • the determination unit 27 determines the statistical feature amount of the target bacterium in the branch channel 103e into which the antibacterial liquid has not been introduced. Based on the statistical characteristics of the target bacteria in the branch channels 103a to 103d into which different concentrations of the antibacterial liquids a to d are respectively introduced, the state of the target bacteria existing in the channels (including the antimicrobial agent at different concentrations) (Sensitivity to antimicrobial liquids a to d) is determined (step S8). The image of the flow path, the statistical feature obtained from the image, and the determination result based on the statistical feature are displayed on the display unit 42.
  • information on the change in the form of the target bacterium may be output.
  • the shape (linearity, circularity, etc.) of the target bacterium inside the branch channels 103a to 103d is different from the shape of the target bacterium in the branch channel 103e
  • the change of the statistical feature amount corresponding to the shape is determined. It can be configured to be displayed on the display unit 42. This makes it possible to obtain information on whether or not the target bacterium is denatured due to the action of the antibacterial agent.
  • the flow channel identification unit 22 includes the characteristic pixel group detection unit 24 and the flow channel boundary pixel.
  • the group selection unit 25 is sequentially operated to extract the image of the channel.
  • the flow path characteristic pixel group is detected by the cooperation of the flow path identification unit 22 and the characteristic pixel group detection unit 24.
  • the extracted pixels selected by the extracted image selection unit 21 include a pixel located at the boundary of the flow path, a pixel at a position where the target bacterium exists, a pixel at a position where noise has occurred, and the like. Therefore, the characteristic pixel group detection unit 24 detects a predetermined number or more of extracted pixels that are arranged linearly continuously from the binarized image data as a flow path characteristic pixel group (step S5-1).
  • the predetermined number is a number that allows the shape of the channel characteristic pixel group to be estimated from the positions of the pixels. What should be the predetermined number depends on the shape of the flow path.
  • a straight line expression representing the flow path characteristic pixel group is obtained based on the positions (coordinates) of the pixels constituting the flow path characteristic pixel group. If the number is too small, the accuracy of the linear expression is poor. On the other hand, as the predetermined number increases, a straight line expression representing the flow path characteristic pixel group can be obtained with higher accuracy.However, when the predetermined number is too large, contrast does not appear in some of the pixels located at the boundary of the flow path. If the extracted pixels are not selected (that is, if the number of consecutive extracted pixels is small), the extracted pixels located at the boundary of the flow channel will not be detected as the flow channel characteristic pixel group. In consideration of these, it is preferable that the predetermined number is about the number of pixels corresponding to a length corresponding to 10% of an image size (a short diameter for a rectangular image, a diameter for a circular image).
  • the channel boundary pixel group selection unit 25 assigns a number m (m is an integer of 1 to n) to the n channel characteristic pixel groups detected by the characteristic pixel group detection unit 24, and obtaining a linear equation L m representing the road feature pixel group (step S5-2).
  • the linear equation L m representing the channel characteristic pixel groups means an approximate straight line based on the coordinates of a plurality of extraction of pixels constituting the flow path, wherein the pixel group.
  • a Hough transform in order to obtain the linear equation L m represent each flow path, wherein the pixel group.
  • Hough transform is one of the techniques used when extracting image features in the field of image processing.
  • a linear expression is expressed on a two-dimensional plane (xy plane) by a distance r of a normal from the origin to a straight line and an angle ⁇ formed by the normal and the x-axis.
  • Equation (1) a straight line equation using Equation (1) is obtained for one of the extracted pixels constituting the channel characteristic pixel group.
  • the linear equation is not uniquely determined, and is a function of r and ⁇ .
  • a function of r and ⁇ is obtained using the coordinates of the extracted pixels.
  • functions of r and ⁇ obtained by the number of extracted pixels are projected onto a Hough space having these as two axes, and values of r and ⁇ having the largest number of projections (highest degree of coincidence) are obtained.
  • a straight line expression representing the channel characteristic pixel group is determined.
  • the channel characteristic pixel group When the extracted pixels constituting the channel characteristic pixel group are located on a straight line, the functions of r and ⁇ obtained for each of the extracted pixels intersect at one point, and the values of r and ⁇ at the intersection point Strictly determines the straight line.
  • the channel characteristic pixel group extends over a plurality of pixels in the width direction or is partially stepped, so that the extracted pixels may not be perfectly aligned. Few. Therefore, a straight line equation corresponding to the channel feature pixel group is determined based on the values of r and ⁇ having a large number of projections in the Hough space.
  • Flow path boundary pixel group selecting section 25 then performs inclination judgment of linear equation L m obtained for each of the channel characteristic pixel group.
  • Unit vector v m representing the gradient of the linear equation L m represented by the above formula (2) is expressed by the following equation (3).
  • the channel characteristic pixel group (outlier) corresponding to the straight line having a slope that does not satisfy the following equation (4) is excluded from the processing target (step S5-3).
  • Equation (4) has a slope v m of linear equation L m corresponding to the flow path, wherein the pixel group, which is the inner product of all those median v ctr. ⁇ is a real number greater than or equal to 0 and less than 1. That is, Expression (4) means that the parallelism with respect to the straight line having the gradient of the average value v ctr is equal to or greater than a certain value (the gradient v m of the linear expression L m is close to the gradient of another linear expression).
  • the plurality of branch channels 103a to 103e are formed in parallel in the observation region 104, a straight line corresponding to the channel characteristic pixel group located at the boundary of each channel.
  • the flow path characteristic pixel group (such as a target bacterium, etc.) that is not considered to be a boundary of the flow path. Corresponding to the position) can be excluded.
  • a median v ctr of linear equation L m corresponding to each channel wherein pixel groups need not always median, the slope v of the linear equation L m corresponding to the flow path, wherein the pixel group m average or obtains a distribution of inclination v m of linear equation L m corresponding to the flow path, wherein the pixel group, such as average, excluding the predetermined number of inclination corresponding to the ends of the distribution, is possible to use a suitable it can. Further, when it is possible to estimate the approximate inclination of the straight line corresponding to the boundary of the flow path (the inclination of the flow path in the observation image), the estimated value can be used.
  • the k (k ⁇ n) linear formulas L p (p is an integer of 1 or more and k or less) remaining after the above processing are adjacent to each other in a specific direction (eg, the positive direction of the x-axis) when viewed from each straight line.
  • the distance from another straight line is determined (step S5-4).
  • the normal L of the straight line formula L p passing through the center C of the observed image the intersection of the 'demanded may be the distance between the intersections with the distance d p between both straight lines.
  • a histogram is created with a predetermined class width for the distance d p between the straight lines obtained for each of the k-1 straight lines (step S5-5).
  • the channel widths and channel intervals of the branch channels 103a to 103e formed in the microfluidic device 100 of this embodiment are all constant. Accordingly, the histogram is created, the distance d p corresponding to the channel width is most, then it should be many distance d p corresponding to the channel spacing. Therefore, for each of the k-1 straight line, it is determined whether the distance d p about the straight line is included in the maximum class.
  • five branch channels 103a to 103e are formed in parallel. Therefore, ideally, as shown in FIG. 8A, four data exist at positions corresponding to the distance between the flow paths, and five data exist at positions corresponding to the flow path width, and at other positions, Has no data. If such a histogram is obtained, it is determined that the separation distance d p obtained for the five straight lines is included in the maximum class. By extracting a set of a straight line L p corresponding to the one determined to be included in the maximum class and a straight line L p + 1 adjacent to the straight line, a pixel group ( Flow path boundary pixel group) can be selected.
  • a straight line (a straight line derived from the target bacterium or a straight line derived from noise) other than the straight line constituting the boundary of the flow path is included.
  • a histogram as shown in FIGS. 8B and 8C is obtained.
  • the straight lines forming the boundaries of the flow paths are located at fixed intervals according to the flow path width and the distance between the flow paths, while the other straight lines are randomly located. Therefore, when the maximum class in the histogram is selected, either the channel width (FIG. 8B) or the distance between the channels (FIG. 8C) is selected.
  • a pixel group constituting a flow path boundary (flow path boundary pixel group) is extracted. Can be selected (step S5-7).
  • the position of the boundary of the channel in the observation image can be known as shown in FIG. 9A or 9B.
  • FIG. 9A the state obtained from the histogram of FIG. 8A or FIG. 8B
  • a region sandwiched between two sets of straight lines from the end of the image (hatching) May be used as a flow path.
  • FIG. 9B the state obtained from the histogram of FIG. 8C
  • FIG. 9B the state obtained from the histogram of FIG. 8C
  • two lines are selected as one set from the end, and the flow path width in the case where the region sandwiched between them is the flow path, and the width from the end Two lines are selected as one set in order from the second straight line, and a comparison is made as to which one of the flow path widths when the area sandwiched between them is a flow path.
  • the channel width is shown narrow for easy understanding of the channel, but in a microfluidic device actually used, the channel width is wider than the channel interval. Therefore, the one determined to be wider as a result of the comparison is defined as the flow path.
  • the linearly located channel boundary pixel group is located at both ends of the image. One by one remains. It is determined whether a flow path having the same width as another flow path can be added outside each of the straight lines left at both ends (that is, whether a space corresponding to the flow path width remains outside the straight line). If possible, a straight line corresponding to the boundary of the flow path (indicated by a dashed line in FIG. 9C) is added. Thereby, a flow path is added.
  • the flow path identification unit 22 specifies the position of each of the flow paths 103a to 103e included in the observation image (Step S5, Step S5-8). Then, the image data of each of the flow paths 103a to 103e is stored in the storage unit 11, and the images are displayed on the display unit 42. At this time, the image of the position of the specified flow path may be extracted as it is, but in order to prevent the contrast of the boundary of the flow path from affecting the image of the flow path and preventing the contrast from being mistaken as the target bacterium. Alternatively, a region inside a predetermined number of pixels from the determined position of the flow path may be extracted as a flow path image.
  • FIG. 10 is a main part configuration diagram of the microfluidic device observation apparatus 1a of the embodiment.
  • the same components as those of the microfluidic device observation apparatus 1 of the first embodiment are denoted by the same reference numerals, and description thereof is omitted.
  • the microfluidic device observation device 1a according to the second embodiment differs from the microfluidic device observation device 1 according to the first embodiment in part of the configuration of the control / processing unit.
  • the control / processing unit 10 a has a function of controlling the operations of the dispensing unit 2, the incubator 3, and the phase-contrast microscope 4, and an image obtained by the phase-contrast microscope 4, similarly to the control / processing unit 10 of the first embodiment. Processing function.
  • the control / processing unit 10a includes a storage unit 11a, and includes an extracted pixel selection unit 21 and a flow path identification unit 22 as functional blocks. Further, an identification unit 28 constructed by machine learning described later is installed.
  • the entity of the control / processing unit 10a is a general computer, and the functional blocks are embodied by executing the microfluidic device observation program 20a by its processor.
  • the control / processing unit 10 is connected to an input unit 41 for the examiner to input information as appropriate, and a display unit 42 for displaying an image of the flow path of the microfluidic device 100 and the like.
  • the storage unit 11a stores the template image 110 described in the first embodiment and a number of test object reference images.
  • the test object reference image is an image obtained by photographing a target bacterium, which is the same test object as in the present embodiment, in which various kinds of antibacterial agents are applied at various concentrations. Each of these images has been analyzed, and the statistical feature amount related to the number and shape of the target bacteria contained in each image is specified in advance.
  • the specimen reference image in addition to the image of the target bacterium having a standard shape, an image of the shape changed by modification with an antibacterial agent is also included, and the statistical feature amount of the image is also included. It has been demanded.
  • the microfluidic device observation apparatus 1a is characterized in a process of calculating a statistical feature amount of a target bacterium existing inside a flow path and determining a state of the target bacterium.
  • the identification unit 28 is created by machine learning using a large number of test object reference images stored in the storage unit 11 as learning data.
  • a machine learning method for example, a method such as deep learning, a support vector machine (SVM: ⁇ Support ⁇ Vector ⁇ Machine), or a random forest has been proposed.
  • the machine learning using the image of the channel of the microfluidic device 100 and the statistical feature amount of the target bacterium corresponding to the image as learning data.
  • an identification unit 28 for specifying the number and shape of the target bacteria from the input image is constructed.
  • the microfluidic device 100 is imaged by the phase contrast microscope 4, the image data is processed by the differential filter to obtain the edge strength, and the process of binarizing the image data is performed in the first embodiment.
  • the microfluidic device observation apparatus 1 any one of the methods described in the first embodiment is used for the process of specifying the position of the channel in the observation image.
  • the image data of the branch channels 103a to 103d is input to the identification unit 28.
  • the identification unit 28 specifies the number and shape (for example, linearity and circularity) of the test objects included in each of the input images of the branch channels 103a to 103e, and uses them to determine the statistical characteristics of the target bacteria. Output as quantity.
  • an average of the respective statistical feature amounts for the plurality of target bacteria is output.
  • the identification unit 28 may be constructed by machine learning that outputs the corresponding statistical features in response to the input of the image of the flow path containing the target bacteria.
  • the average of the statistical feature amounts is obtained, but a median value, a mode value, and the like may be obtained in addition to the average value.
  • the identification unit 28 determines the average of the statistical features of the target bacteria in the branch channel 103e into which the antimicrobial solution has not been introduced, as in the first embodiment.
  • the states (sensitivities to antimicrobial liquids a to d containing antimicrobial agents at different concentrations) are determined from the statistical characteristics of the target bacteria in the branch channels 103a to 103d into which antimicrobial liquids a to d having different concentrations are introduced, respectively. I do.
  • the image of the flow path, the statistical feature obtained from the image, and the determination result based on the statistical feature are displayed on the display unit 42.
  • the method of detecting the boundary of the flow path and extracting the characteristic pixels of the bacteria by the same method has been described.
  • the methods may be performed by different methods.
  • the shape including information such as area
  • the shape can be detected by extracting the characteristic pixels of the bacterium by, for example, machine learning.
  • the number of channels is determined by the number of antibacterial liquids (concentration of concentration) used for inspection. (Type) can be appropriately changed.
  • the shape of the flow path is not limited to a straight line, but may be a curved line.
  • the curved shape may be, for example, an arc shape (including an elliptical arc) or an S shape (meandering shape). The Hough transform described in this specification can be applied even if the flow path has a curved shape.
  • the shape of the characteristic pixel group is obtained by a mathematical expression representing a circle or an ellipse instead of the Hough transform of the above embodiment, and the shape of the characteristic pixel group is replaced by the parallelism of the straight line in the embodiment.
  • the parallelism of a curve For example, for a certain curve, the concept of a parallel curve defined as a curve at a certain distance in the normal direction from each point on the curve can be used.
  • the phase contrast microscope is used as the imaging unit.
  • the imaging unit can obtain an image in which contrast appears at the boundary of the flow path formed in the microfluidic device.
  • the type is not limited.
  • an optical microscope, an optical camera, and a differential interference microscope can be used.
  • the flow path is determined without performing the above comparison, the flow path identification unit 22 extracts an image of the flow path, and the extracted image is displayed on the display unit 42. If it is determined that the reverse operation (the area sandwiched by two straight lines different from the set of straight lines used as the boundaries constituting the flow path earlier) is used as the flow path, and the flow path identifying unit 22 extracts the image. Operation).
  • the observation image in which the position of the flow path is specified is input to the identification unit 28.
  • image data of the microfluidic device 100 image data in which the position of the flow path is not specified. May be directly input to the identification unit 28, and the identification unit 28 may be used to specify the position of the flow path.
  • the identification unit 28 is obtained by machine learning in which image data of microfluidic devices in which various numbers and shapes of channels are formed, and in which the position of each channel is already specified as learning data. May be configured.
  • Microfluidic device observation apparatus 2 Dispensing unit 3: Incubator 4: Phase contrast microscope 10a: Control / processing unit 10, 10a: Control / processing unit 11, 11a: Storage unit 110: Template images 20, 20a ... Microfluidic device observation program 21 Extracted pixel selecting unit 22 Flow path specifying unit 23 Test object specifying unit 24 Characteristic pixel group detecting unit 25 Flow path boundary pixel group selecting unit 26 Statistical characteristic amount calculating unit 27 Judgment unit 28 Identification unit 41 Input unit 42 Display unit 100 Microfluidic device 101 Inlets 102a to 102e Air ports 103 Bacterial solution introduction channels 103a to 103e Branch channels 104 Observation area 110 Template image

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Dispersion Chemistry (AREA)
  • Organic Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Immunology (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Biotechnology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microbiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Software Systems (AREA)
  • Clinical Laboratory Science (AREA)
  • Optics & Photonics (AREA)
  • Sustainable Development (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Hematology (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Medicinal Chemistry (AREA)
  • Fluid Mechanics (AREA)
  • Molecular Biology (AREA)

Abstract

マイクロ流体デバイス１００に配設された複数の流路１０３a～１０３eの内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置１において、マイクロ流体デバイス１００の画像を取得する撮像部４と、取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する抽出画素選択部２１と、前記画像に含まれる前記複数の流路１０３a～１０３eの位置を特定する流路特定部２２と、前記特定した複数の流路１０３a～１０３eの内部に存在する連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出する被検物特徴画素群検出部２４と、被検物特徴画素群の数及び／又は該被検物特徴画素群のそれぞれを構成する前記抽出画素の数に基づいて被検物の統計特徴量を求める統計特徴量算出部２６とを備える。

Description

マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法
　本発明は、1乃至複数の流路が配設されたマイクロ流体デバイスについて、それら流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法に関する。
　マイクロ流体デバイスは、微小機械システム（MEMS: Micro Electro Mechanical System）等を用いた微細加工技術によって基板に1乃至複数の流路を形成したものである（例えば特許文献１）。マイクロ流体デバイスは、例えば、下面側に流路となる凹部を形成し、また該流路の端部にあたる位置に被検流体の導入等に用いられる貫通孔を形成した上基板と、下基板とを接合することにより作製される。マイクロ流体デバイスは、例えば特許文献２に記載のように、細菌や真菌（対象菌）の抗菌薬に対する感受性を検査するために用いられる。
特開２０１３－３０１１号公報 特開２０１５－１７７８０６号公報 特開平１１－９７５１２号公報
　本発明により解決しようとする課題を具体的に説明するために、前記検査で用いられるマイクロ流体デバイスの一例を説明する（図１を参照）。このマイクロ流体デバイス１００の上面には1つの導入口１０１と5つの空気口１０２a～１０２eが設けられている。マイクロ流体デバイス１００の内部には、導入口１０１の直下に一端を有する菌液導入流路１０３が設けられている。菌液導入流路１０３は途中で5つの分岐流路１０３a～１０３eに分岐しており、それらの分岐流路はそれぞれ上記空気口１０２a～１０２eの直下まで延びている。5つの分岐流路１０３a～１０３eは、空気口１０２a～１０２eの近傍では相互に平行に配設されている。
　上記マイクロ流体デバイス１００を用いた対象菌の検査では、まず、空気口１０２a～１０２dから分岐流路１０３a～１０３dに、同じ種類の抗菌薬を異なる濃度で含む抗菌液ａ～ｄを導入する。ここで導入される抗菌液ａ～ｄの量は、分岐流路１０３a～１０３dの内部に留まる（菌液導入流路１０３まで達しない）程度の量である。分岐流路１０３eには抗菌液を導入しない。そして、各分岐流路１０３a～１０３dに導入した抗菌液ａ～ｄを乾燥させて抗菌薬を各分岐流路１０３a～１０３dの壁面に定着させる。続いて対象菌を含む菌液を導入口１０１から菌液導入流路１０３に導入する。分岐流路１０３a～１０３eの端部に通気のための空気口１０２a～１０２eが形成されていることから、菌液の流入に伴って各分岐流路１０３a～１０３e内の空気が空気口から排出され菌液が各分岐流路１０３a～１０３eに流入する。分岐流路１０３a～１０３dでは、流入した菌液が各流路の壁面に定着した抗菌薬と接触する。
　菌液を導入してから所定時間経過したあと、マイクロ流体デバイス１００を顕微鏡の所定位置にセットし、該顕微鏡の視野に捉えた領域（観察領域）１０４の画像を取得する。そして、観察領域１０４の画像から各分岐流路１０３a～１０３eにあたる部分を特定し、該分岐流路１０３a～１０３e内に存在する対象菌の状態を確認する。
　上記の通り、分岐流路のうちの1つ（上記例では分岐流路１０３e）には抗菌液を導入していないため、該分岐流路１０３eの画像から確認した菌の数や形状と、それ以外の分岐流路１０３ａ～１０３ｄの画像から確認した菌の数や形状を比較することにより、どのくらいの濃度で抗菌薬を含む抗菌液を用いれば対象菌に対する効果が現れるかを知ることができる。
　上記の検査では、対象菌を抗菌薬に所定時間作用させて対象菌の状態を観察するという作業を繰り返し行い、時間の経過に伴う対象菌の状態変化を確認することが一般的である。そのため、検査者は、マイクロ流体デバイスを顕微鏡で観察する度に、流路内に存在する対象菌の数を数えたり対象菌の形状を確認したりする作業を繰り返さなければならず手間がかかっていた。また、多くの場合、多数のマイクロ流体デバイスを用いて検査が行われるため、そうした多数のマイクロ流体デバイスのそれぞれについて、マイクロ流体デバイスを撮像して流路内に存在する対象菌の数を数えたり対象菌の形状を確認したりする作業を行わなければならず、検査者にとって大きな負担となっていた。
　本発明が解決しようとする課題は、マイクロ流体デバイスに配設された流路の内部に存在する被検物の状態を簡便に把握することができるマイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法を提供することである。
　上記課題を解決するために成された本発明の第１の態様は、マイクロ流体デバイスに配設された複数の流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置であって、
　前記マイクロ流体デバイスの画像を取得する撮像部と、
　取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する抽出画素選択部と、
　前記画像に含まれる前記複数の流路の位置を特定する流路特定部と、
　前記特定した複数の流路の内部に存在する、連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出する被検物特徴画素群検出部と、
　前記被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を求める統計特徴量算出部と
　を備えることを特徴とする。
　前記撮像部は、マイクロ流体デバイスに形成された流路の境界や被検物が存在する位置にコントラストが現れるような画像を取得可能なものであればその種類は限定されない。前記撮像部には、例えば、光学顕微鏡、光学カメラ、位相差顕微鏡、微分干渉顕微鏡を用いることができる。
　本発明の第１の態様に係るマイクロ流体デバイス観察装置では、まず、複数の流路が配設されている領域が視野に捉えられるようにマイクロ流体デバイスを撮像部の所定の位置にセットし、該領域の画像を取得する。続いて、抽出画素選択部が、取得した画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する。これは、例えば、流路の境界及び被検物のいずれもが存在しない位置の画素について想定される輝度値（バックグラウンド輝度値）を閾値とし、その閾値よりも輝度が高い（もしくは低い）画素を特定することにより行うことができる。あるいは、全画素の輝度の平均値や、画像の四隅のように流路の境界と被検物のいずれもが存在しないと考えられる位置の画素の輝度値を閾値とし、その閾値よりも輝度が高い（もしくは低い）画素を特定するようにしてもよい。また、輝度値そのものを用いるのではなく、微分フィルタを用いて画像データからエッジ強度（輝度の変化量）を求め、その値を予め決められた値と比較した結果に基づいて抽出画素を選択するようにしてもよい。このような微分フィルタを用いることにより、バックグラウンドを除去して流路の境界や該流路内の被検物に対応する抽出画素を選択しやすくすることができる。なお、輝度が高い画素を選択するか、輝度が低い画素を選択するかは、使用する撮像部の特性（流路の境界や被検物が明暗のいずれとなって現れるか）に応じて決めればよい。
　次に、流路特定部が、撮像部で取得されたマイクロ流体デバイスの画像に含まれる複数の流路の位置を特定する。これは、例えば、使用するマイクロ流体デバイスのテンプレート画像を用意しておき、撮像部により取得した画像とテンプレート画像を照合する、テンプレートマッチングにより行うことができる。この処理では、マイクロ流体デバイスの画像そのものをテンプレート画像と照合することにより流路の位置を特定してもよく、あるいは前記抽出画素選択部により選択された抽出画素の位置とテンプレート画像を照合することにより流路の位置を特定してもよい。また、前記マイクロ流体デバイスが、少なくとも一部の領域において同一の幅を有する複数の流路が平行に配設されたものである場合には、後述する実施例のような画像解析処理によって該複数の流路の位置を特定することができる。
　前記流路特定部により特定された流路の内部には、被検物（例えば菌）のような構造物だけでなく、ノイズに由来するコントラストが現れている場合がある。そのため、抽出画素選択部により選択される抽出画素には、これらが存在する位置に対応する画素が混在している可能性がある。そこで、次に、特定した複数の流路の内部に存在する、連続する所定個数以上の抽出画素を被検物特徴画素群として検出する。この所定個数は、被検物として想定される最小の大きさに相当する画素数とすればよい。ノイズデータが多数の画素に連続して存在することは少ないため、この処理により、ノイズが除去される。
　次に、統計特徴量算出部が、被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を算出する。統計特徴量とは、被検物特徴画素群の数や形状に関連する量（値）である。この統計特徴量には、被検物特徴画素群の面積や長さなど該被検物特徴画素群の形状に直接的には依存しないものも含まれうる。被検物特徴画素群の数は、流路内に存在する被検物の数に対応する。また、被検物特徴画素群の形状、つまり各被検物特徴画素群を構成する画素の配列は、1つの被検物の形状に対応する。本発明に係るマイクロ流体デバイス観察装置を用いると、撮像部により取得される画像が、流路特定部、抽出画素選択部、被検物特徴画素群検出部、及び統計特徴量算出部によって順に処理され、流路内に存在する被検物の統計特徴量が得られる。従って、検査者が自ら、流路内に存在する被検物の数を数えたり形状を確認したりする必要がなく、被検物の状態を簡便に把握することができる。
　本発明の第１の態様に係るマイクロ流体デバイス観察装置では、
　前記統計特徴量算出部が、1つの流路の内部に複数の前記被検物特徴画素群が存在する場合に、該複数の前記被検物特徴画素群の前記統計特徴量の代表値を求めるように構成することができる。前記統計特徴量の代表値は、平均値、中央値、最頻値、及びこれらの組み合わせからなる群から適宜に選択することができる。この態様のマイクロ流体デバイス観察装置を用いることにより、例えば各流路内に存在する被検物の平均的な大きさや形状を簡便に知ることができる。
　前記被検物が細胞や菌などの生体試料である場合、本発明の第１の態様に係るマイクロ流体デバイス観察装置は、さらに、
　前記複数の流路のうちの1つについて求められた前記統計特徴量を他の流路について求められた前記統計特徴量と比較した結果に基づいて前記被検物の状態を判定する判定部
　を備えた構成を採ることができる。
　細胞や菌などの被検物の抗菌薬等の薬剤に対する感受性を検査する場合、一般に、複数の流路のうちの1つには薬剤を導入せず、その流路の内部に存在する被検物の数や形状が被検物の状態を判定する基準として用いられる。被検物が生体試料である場合にこの態様のマイクロ流体デバイス観察装置を用いることにより、その状態を簡便に知ることができる。なお、1つの流路内に前記被検物特徴画素群が複数存在する場合には、それらの統計特徴量の代表値に基づいて前記被検物の状態を判定するとよい。
　上記課題を解決するために成された本発明の第２の態様は、マイクロ流体デバイスに配設された複数の流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置であって、
　前記マイクロ流体デバイスの画像を取得する撮像部と、
　前記画像に含まれる前記複数の流路の位置を特定する流路特定部と、
　取得された前記画像が入力されると、前記特定された複数の流路の内部に存在する前記被検物の数及び／又は形状を特定する識別部と、
　を備えることを特徴とする。
　第２の態様のマイクロ流体デバイス観察装置では、第１の態様における抽出画素選択部、被検物特徴画素群検出部、及び統計特徴量算出部に代えて、撮像部により取得されたマイクロ流体デバイスの画像が入力されると、流路特定部により特定された複数の流路のそれぞれに含まれる被検物の数及び／又は形状を特定する識別部を用いる。この態様のマイクロ流体デバイス観察装置を用いることによっても、第１の態様と同様に、被検物の状態を簡便に把握することができる。
　前記被検物が細胞や菌などの生体試料である場合、第２の態様のマイクロ流体デバイス観察装置は、前記識別部が、さらに、前記特定した前記被検物の数及び／又は形状に基づいて各流路の内部に存在する前記被検物の状態を判定する
　ように構成することができる。
　被検物が生体試料である場合にこの態様のマイクロ流体デバイス観察装置を用いることにより、その状態を簡便に知ることができる。
　本発明に係るマイクロ流体デバイス観察技術は、対象菌の薬剤に対する感受性の検査に好適に用いることができる。
　即ち、上記課題を解決するために成された本発明の第３の態様は、マイクロ流体デバイスに配設された複数の流路の内部に、薬剤とともに導入された菌を観察するためのマイクロ流体デバイス観察方法であって、
　前記マイクロ流体デバイスの画像を取得し、
　取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択し、
　前記画像に含まれる前記複数の流路の位置を特定し、
　前記特定した複数の流路の内部に存在する、連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出し、
　前記被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を求める
　ことを特徴とする。
　また、上記課題を解決するために成された本発明の第４の態様は、マイクロ流体デバイスに配設された複数の流路の内部に、薬剤とともに導入された菌を観察するためのマイクロ流体デバイス観察方法であって、
　前記マイクロ流体デバイスの画像を取得し、
　前記画像に含まれる前記複数の流路の位置を特定し、
　取得された前記画像の入力に応じて前記特定した複数の流路の内部に存在する前記菌の数及び／又は形状を特定する
　を備えることを特徴とする。
　本発明の第１の態様あるいは第２の態様に係るマイクロ流体デバイス観察装置、又は第３の態様あるいは第４の態様に係るマイクロ流体デバイス観察方法を用いることにより、マイクロ流体デバイスに配設された流路の内部に存在する被検物の状態を簡便に把握することができる。
マイクロ流体デバイスの一構成例。 実施例１のマイクロ流体デバイス観察装置の要部構成図。 実施例１においてマイクロ流体デバイスの流路の内部に存在する被検物を観察する手順を説明するフローチャート。 実施例１において観察画像データの輝度値を二値化した画像の例。 実施例１において使用するテンプレート画像について説明する図。 実施例１において観察画像内の流路位置を特定する手順の一つを説明するフローチャート。 実施例１における観察画像内の流路位置を特定する手順の一つにおいて直線の離間距離を求める方法を説明する図。 実施例１における観察画像内の流路位置を特定する手順の一つにおいて作成されるヒストグラムの例。 実施例１における観察画像内の流路位置を特定する手順の一つにおいて観察画像から流路を特定する方法を説明する図。 実施例２のマイクロ流体デバイス観察装置の要部構成図。
　本発明に係るマイクロ流体デバイス観察装置の実施例１、２について、以下、図面を参照して説明する。これらの実施例では、図１を参照して説明したマイクロ流体デバイス１００を用いて、同じ抗菌薬を互いに異なる4種類の濃度で含む抗菌液ａ～ｄに対する対象菌の感受性を検査する。本実施例では4種類の濃度の抗菌液ａ～ｄを用いるが、抗菌液の数（濃度の種類）は適宜に変更可能である。5種類以上の濃度の抗菌液を用いる場合は、6本以上の流路が形成されたマイクロ流体デバイスを用いればよい。
　図２は実施例１のマイクロ流体デバイス観察装置１の要部構成図である。本実施例のマイクロ流体デバイス観察装置１は、大別して分注部２、インキュベータ３、位相差顕微鏡４（撮像部）、及び制御・処理部１０から構成される。分注部２とインキュベータ３の間、インキュベータと位相差顕微鏡４の間には、制御・処理部１０からの指示を受けて両者の間でマイクロ流体デバイス１００を搬送するためのデバイス搬送経路及び搬送機構（図示略）が設けられている。
　制御・処理部１０は、分注部２、インキュベータ３、及び位相差顕微鏡４の動作を制御する機能と、位相差顕微鏡４により得られた画像を処理する機能とを有している。制御・処理部１０は、記憶部１１を備え、さらに機能ブロックとして抽出画素選択部２１、流路特定部２２、被検物特定部２３、特徴画素群検出部２４、流路境界画素群選択部２５、統計特徴量算出部２６、及び判定部２７を備えている。制御・処理部１０の実体は一般的なコンピュータであり、そのプロセッサによりマイクロ流体デバイス観察用プログラム２０を実行することにより、これらの機能ブロックが具現化される。また、制御・処理部１０には検査者が適宜情報を入力するための入力部４１と、マイクロ流体デバイス１００の流路の画像等を表示するための表示部４２が接続されている。
　記憶部１１には、マイクロ流体デバイス１００のテンプレート画像が保存されている。マイクロ流体デバイス１００のテンプレート画像は、位相差顕微鏡４によりマイクロ流体デバイス１００を撮像することにより得られる画像から流路の位置を特定するために用いられる。本実施例では1種類のマイクロ流体デバイス１００のみを使用するが、複数種類のマイクロ流体デバイスが用いられる場合は、その種類ごとにテンプレート画像が用意され記憶部１１に保存される。
　マイクロ流体デバイス１００の上面には1つの導入口１０１と5つの空気口１０２a～１０２eが設けられている。マイクロ流体デバイス１００の内部には、導入口１０１の直下に一端を有する菌液導入流路１０３が設けられている。菌液導入流路１０３は途中で5つの分岐流路１０３a～１０３eに分岐しており、それらの分岐流路はそれぞれ上記空気口１０２a～１０２eの直下まで直線状に延びている。5つの分岐流路１０３a～１０３eは、空気口１０２a～１０２eの近傍では相互に平行に配設されている。なお、図１は各分岐流路１０３a～１０３eを分かりやすく示したものであり、実際のマイクロ流体デバイスでは分岐流路１０３a～１０３eの流路幅の方が流路間隔よりも広い。
　次に、本実施例のマイクロ流体デバイス観察装置１を用いた、対象菌の抗菌薬に対する感受性の検査の流れを説明する。
　検査者は、対象菌を所定の割合（例えば対象菌の数とその培養液の量により規定）で含む菌液と、検査に使用する抗菌薬を異なる濃度で含む抗菌液ａ～ｄを準備し、分注部２にセットしておく。
　検査者が、入力部４１を通じて検査の開始を指示すると、制御・処理部１０から分注部２に分注動作の開始を指示する制御信号が送信される。また、使用可能なマイクロ流体デバイスが複数種類存在する場合には、検査者は、検査に使用するマイクロ流体デバイス１００の種類を指定することができる。
　分注部２では、マイクロ流体デバイス１００の分岐流路１０３a～１０３dのそれぞれに抗菌液ａ～ｄを導入し、続いて対象菌を含む菌液を導入口１０１から菌液導入流路１０３に導入する。なお、分岐流路１０３eには抗菌液を導入せず、該分岐流路１０３ｅ内の対象菌の数や大きさなどを、他の流路に導入した抗菌液ａ～ｄに対する対象菌の感受性を判定する際の基準として用いる。菌液の導入量は、分岐流路１０３a～１０３dに定着させた抗菌薬の位置に達する程度の量に、予め決められている。分岐流路１０３a～１０３eの端部に通気のための空気口１０２a～１０２eが形成されていることから、菌液の流入に伴って各分岐流路１０３a～１０３e内の空気が空気口から排出され菌液が各分岐流路１０３a～１０３eに流入する。分岐流路１０３a～１０３dでは、流入した菌液が各流路の壁面に定着した抗菌薬と接触する。
　抗菌液ａ～ｄと菌液を導入した後、マイクロ流体デバイス１００をインキュベータ３に搬送し、所定時間、所定の温度に加温して対象菌を培養する。所定時間の培養後、マイクロ流体デバイス１００をインキュベータ３から位相差顕微鏡４に搬送する。以下、図３のフローチャートを参照して、本実施例のマイクロ流体デバイス観察装置１においてマイクロ流体デバイスの流路の内部に存在する対象菌を観察する手順を説明する。
　位相差顕微鏡４に搬送されたマイクロ流体デバイス１００は所定の撮像位置に所定の向きで保持される。位相差顕微鏡４ではその視野に捉えたマイクロ流体デバイス１００の領域を撮像する。マイクロ流体デバイス１００全体のうち、位相差顕微鏡４の視野に捉えられた領域（マイクロ流体デバイス１００の少なくとも一部の領域に相当。）が観察領域１０４となり、位相差顕微鏡４では観察領域１０４の画像（以下、これを「観察画像」と呼ぶ。）が取得される（ステップＳ１）。位相差顕微鏡４は、取得した観察領域１０４の画像データを制御・処理部１０に送信する。制御・処理部１０では受信した撮像データが記憶部１１に保存される。
　画像データが記憶部１１に保存されると、抽出画像選択部２１は、微分フィルタを用いて画像内のエッジ強度（輝度の変化量）を算出する（ステップＳ２）。位相差顕微鏡４により得られた画像をそのまま用いて後述する処理を行っても良いが、微分フィルタを用いて前処理を施すことにより、画像内のエッジ強度を用いてより高い精度で後述の処理を進めることができる。微分フィルタとしては、sobelフィルタ、prewittフィルタ、cannyフィルタといった一次微分フィルタのほか、laplacianフィルタなどの二次微分フィルタを用いることができる。また、微分フィルタを用いる代わりに、モーフォロジー（morphology）演算など、画像データに含まれる輝度変化を検出する種々の方法を用いることができる。
　抽出画像選択部２１は、微分フィルタを用いてエッジ強度を抽出した画像データについて、そのエッジ強度の値が所定値以上である画素を抽出画素として選択し（ステップＳ３）、選択した画素に１、非選択の画素に０の値を付して画像データを二値化する（ステップＳ４。図４参照）。ここでは、０と１という値により二値化したが、他の値や符号などにより二値化してもよい。また、ここでは、画素内での位置を問わず、同一の所定値を用いて抽出画素を選択するが、各画素の輝度値の大きさに応じた所定値を用いる（例えば、対象画素の輝度値に対して所定割合以上のエッジ強度の値である画素を抽出画素とする）こともできる。これにより、撮像時の環境によって画像内に明るい（輝度値が大きい）部分と暗い（輝度値が小さい）部分が存在している場合でも適切に抽出画素を選択することができる。また、画像全体のうち、注目画素を中心とする所定の範囲（例えば9画素×9画素の範囲）における輝度値の分散に応じて異なる閾値を用いるようにしてもよい。なお、菌の大きさは流路の幅や長さに比べると微小であるが、図４では対象菌の存在を分かりやすく示すために実際よりも大きく示している。
　画像データを二値化した後の処理方法には大きく分けて2つある。検査者が、検査開始時に検査に使用するマイクロ流体デバイス１００の種類を指定した場合（若しくは使用可能なマイクロ流体デバイス１００が1種類のみである場合）には、流路特定部２２はテンプレートマッチングにより観察画像に含まれる流路の位置を特定する。まずはこの処理を説明する。
　流路特定部２２は、記憶部１１からマイクロ流体デバイス１００のテンプレート画像１１０を読み出す。テンプレート画像１１０は、図５(a)に示すように、流路以外の場所にハッチングが付された画像である。
　次に、流路特定部２２は、位相差顕微鏡４により取得した観察画像にテンプレート画像１１０を重ね合わせ、両画像の相対位置を少しずつずらしながら、観察画像に含まれる流路の境界とテンプレート画像１１０の流路の境界の一致度が最も高い位置を特定する。観察画像に含まれる流路の境界とテンプレート画像１１０の流路の境界の一致度が最も高い位置が特定されると、流路特定部２２は、図５(b)に示すように、テンプレート画像を観察画像に重畳した画像１０４a（分岐流路１０３a～１０３e以外の箇所にハッチングが付された画像）を作成し、各分岐流路１０３a～１０３eの画像を特定する（ステップＳ５）。そして、各分岐流路１０３a～１０３eの画像データを記憶部１１に保存し、それらの画像を表示部４２に表示する。
　なお、上述したテンプレート画像１１０を使用する代わりに、マイクロ流体デバイス１１０の流路に関する既知の構造情報（例えば直線状の流路が5つ形成されている）を利用し、直線状のテンプレートフィルタと画像の一致度に基づいて各分岐流路１０３a～１０３eの画像を抽出することもできる。あるいは、使用されるマイクロ流体デバイス１００が予め決まっており、かつ位相差顕微鏡４にセットされる位置が高精度で位置決めされている場合は、テンプレート画像やテンプレートフィルタを用いることなく、観察画像の予め決められた位置に存在する領域を自動的に各分岐流路１０３a～１０３eの画像として抽出することもできる。流路を特定するもう一つの方法は後述する。
　上記ステップＳ５により観察画像における分岐流路１０３a～１０３eの位置が特定されると、被検物特定部２３は、特徴画素群検出部２４を動作させて各分岐流路１０３a～１０３eの内部に存在する対象菌を特定する。本実施例では、被検物特定部２３と特徴画素群検出部２４が協働することにより被検物特徴画素群を検出する（即ち、本発明における被検物特徴画素群検出部として機能する）。
　被検物を特定する際には、特徴画素群検出部２４は、二値化された各分岐流路１０３a～１０３eの画像から、連続する所定個数以上の抽出画素を被検物特徴画素群として検出する（ステップＳ６）。この所定個数は、流路の内部に存在する対象菌とノイズを分離可能な数であればよく、例えば対象菌として想定される最小の大きさに相当する画素数（例えば5画素）とすることができる。ノイズデータが多数の画素に連続して存在することは少ないため、この処理により、二値化された流路の画像に含まれるノイズを除去することができる。
　特徴画素群検出部２４により被検物特徴画素群が検出されると、統計特徴量算出部２６は各分岐流路１０３a～１０３eの内部に存在する被検物特徴画素群の数（対象菌の数）と、被検物特徴画素群のそれぞれを構成する画素の配置（対象菌の形状）を特定する。これにより各分岐流路１０３a～１０３eの内部に存在する被検物の数及び形状に関連する統計特徴量が求められる（ステップＳ７）。なお、1つの流路内に被検物特徴画素群が複数存在する場合には、それら複数の対象菌に対応する被検物特徴画素群の統計特徴量の総和をその数で除すことにより被検物の平均的な形状を表す統計特徴量を求める。対象菌の形状に関する統計特徴量としては、対象菌の面積（あるいは面積比）、対象菌の周囲長、対象菌の長軸長・短軸長、対象菌の直線性や円形度などとすることができる。対象菌の面積比は、流路内の画素数に占める、被検物特徴画素群を構成する画素数の割合から求めることができる。対象菌の周囲長は、被検物特徴画素群を取り囲む外周の長さから求めることができる。対象菌の長軸長と短軸長は、被検物特徴画素群を取り囲む矩形の直線長さの最大値と最小値として求めることができる。対象菌の直線性や円形度は被検物特徴画素群の形状のアスペクト比や、所定の数式（例えば、4π×面積÷（周囲長）2）から求めることができる。統計特徴量として、その他公知の統計量を適宜に用いることができる。ここでは統計特徴量の平均を求めているが、平均値のほか、中央値、最頻値などを求めるようにしてもよい。
　統計特徴量算出部２６により各分岐流路１０３a～１０３e内の対象菌の統計特徴量が求められると、判定部２７は抗菌液を導入していない分岐流路１０３e内の対象菌の統計特徴量を基準として、異なる濃度の抗菌液ａ～ｄをそれぞれ導入した分岐流路１０３a～１０３d内の対象菌の統計特徴量から該流路内に存在する対象菌の状態（異なる濃度で抗菌薬を含む抗菌液ａ～ｄに対する感受性）を判定する（ステップＳ８）。流路の画像、該画像から求められた統計特徴量、及び該統計特徴量に基づく判定結果は表示部４２に表示される。
　また、対象菌の形態変化に関する情報を出力するようにしてもよい。例えば、分岐流路１０３ａ～１０３ｄの内部の対象菌の形状（直線性、円形度等）が分岐流路１０３e内の対象菌の形状と異なる場合に、その形状に対応した統計特徴量の変化を表示部４２に表示するように構成することができる。これにより、抗菌薬の作用による対象菌の変性の有無等の情報等を得ることができる。
　ここで、観察画像に含まれる流路の位置を特定するもう一つの方法について、図６のフローチャートを参照して説明する。
　検査に使用可能なマイクロ流体デバイスが複数種類存在し、かつ検査者からマイクロ流体デバイスの種類が特定されていない場合には、流路特定部２２は、特徴画素群検出部２４と流路境界画素群選択部２５を順に動作させて流路の画像を抽出する。以降の処理では、流路特定部２２と特徴画素群検出部２４の協働により流路特徴画素群を検出する。
　抽出画像選択部２１により選択された抽出画素の中には、流路の境界に位置する画素、対象菌が存在する位置の画素、及びノイズが発生した位置の画素などが混在している。そこで、特徴画素群検出部２４は、二値化された画像データの中から、線状に連続に並ぶ所定個数以上の抽出画素を流路特徴画素群として検出する（ステップＳ５－１）。ここで、所定個数は、該個数の画素の位置から流路特徴画素群の形状を推定することが可能な数としておく。所定個数をどの程度の数にすればよいかは流路の形状によって異なる。本実施例では、流路特徴画素群を構成する画素の位置（座標）に基づいて該流路特徴画素群を表す直線式を求めるため、最低2個抽出画素を含んでいればよいが、所定個数が少なすぎると直線式の精度が悪い。一方、所定個数を多くするほど流路特徴画素群を表す直線式を高い精度で求めることができるが、所定個数が多すぎると、流路の境界に位置する画素の一部にコントラストが現れず抽出画素として選択されなかった場合（つまり、抽出画素の連続する数が少ない場合）に、流路の境界に位置する抽出画素が流路特徴画素群として検出されなくなってしまう。これらを勘案すると、上記所定個数は、画像サイズ（矩形画像の場合は短径、円形画像の場合は直径）の1割にあたる長さに相当する画素数程度とすることが好ましい。
　次に、流路境界画素群選択部２５は、特徴画素群検出部２４により検出されたn個の流路特徴画素群に番号m（mは1以上n以下の整数）を付し、各流路特徴画素群を表す直線式Lmを求める（ステップＳ５－２）。流路特徴画素群を表す直線式Lmとは、当該流路特徴画素群を構成する複数の抽出画素の座標に基づく近似直線を意味する。本実施例では、各流路特徴画素群を表す直線式Lmを求めるためにハフ変換を用いる。
　ハフ変換は、画像処理の分野で画像の特徴を抽出する際に用いられる手法の1つである。ハフ変換では、二次元平面（x-y平面）上で、原点から直線への法線の距離rと、法線とx軸とがなす角度θで直線式を表現する。ハフ変換では、次式（1）で表される直線式を用いる。
　r=x cosθ+y sinθ　…(1)
　まず、流路特徴画素群を構成する抽出画素の1つについて式（1）を用いた直線式を求める。この段階では座標値が1つしか指定されていないことから直線式は一意に決まらず、rとθの関数となる。流路特徴画素群を構成する抽出画素のそれぞれについて、該抽出画素の座標を用いてrとθの関数を求める。そして、抽出画素の数だけ得られたrとθの関数を、これらを二軸とするハフ空間に投影し、投影数の多い（最も一致度が高い）rとθの値を求める。これにより流路特徴画素群を表す直線式を決定する。流路特徴画素群を構成する抽出画素が一直線上に位置している場合には、それら抽出画素のそれぞれについて求められたrとθの関数が1点で交わり、その交点にあたるrとθの値により直線を厳密に決めることができる。しかし、実際の画像では、流路特徴画素群が、その幅方向において複数の画素にまたがっていたり、部分的に階段状になっていたりするため、抽出画素が完全に一直線上に位置することは少ない。そこで、ハフ空間において投影数の多いrとθの値により、当該流路特徴画素群に対応する直線式を決定する。こうして、m番目の流路特徴画素群に対する直線式Lmとして次式(2)が得られる。
　amx+bmy=1　（am, bmは係数）…(2)
　本実施例ではハフ変換により流路特徴画素群のそれぞれに対応する直線式Lmを求めているが、別の方法により直線式Lmを求めることもできる。例えば、最小二乗法を用いて流路特徴画素群を構成する各抽出画素の座標に対する近似直線を求めることができる。
　流路境界画素群選択部２５は、次に、流路特徴画素群のそれぞれについて得られた直線式Lmの傾き判定を行う。上式（2）で表される直線式Lmの傾きを表す単位ベクトルvmは次式（3）のように表される。
　vm=（-bm/lm, am/lm）　（ただし、lm=(am 2+bm 2)1/2）　…(3)
　全ての直線式Lmについて傾きvmが得られた後、その傾きの中央値vctrを求める。そして、次式（4）を満たさない傾きを有する直線に対応する流路特徴画素群（外れ値）を処理対象から除外する（ステップＳ５－３）。
　｜＜vm・vctr＞｜≧α　（αは0以上1未満の値）　…(4)
　式（4）は、各流路特徴画素群に対応する直線式Lmの傾きvmと、それら全ての中央値vctrの内積である。また、αは0以上1未満の実数である。つまり、式(4)は、平均値vctrの傾きを有する直線に対する平行度が一定以上である（直線式Lmの傾きvmが他の直線式の傾きと近い）ことを意味する。本実施例のマイクロ流体デバイス１００では、観察領域１０４内に複数の分岐流路１０３a～１０３eが平行に形成されていることから、各流路の境界に位置する流路特徴画素群に対応する直線は相互に平行になるはずである。従って、上式（4）を満たさない傾きを有する直線に対応する流路特徴画素群を処理対象から除外することにより、流路の境界ではないと考えられる流路特徴画素群（対象菌等の位置に対応するもの）を除外することができる。
　ここでは各流路特徴画素群に対応する直線式Lmの中央値vctrを用いたが、必ずしも中央値である必要はなく、各流路特徴画素群に対応する直線式Lmの傾きvmの平均や、各流路特徴画素群に対応する直線式Lmの傾きvmの分布を求め、その分布の端部に当たる所定個の傾きを除いた平均など、適宜のものを用いることができる。また、流路の境界に相当する直線のおおよその傾き（観察画像内での流路の傾き）を推定することが可能な場合はその推定値を用いることもできる。
　上記の処理後に残ったk個（k≦n）の直線式Lp（pは1以上k以下の整数）について、それぞれの直線から見て特定の方向（例えばx軸の正方向）に隣接する別の直線との離間距離を求める（ステップＳ５－４）。これらの直線式Lpは相互に厳密に平行なものではないため、以下のように直線の離間距離dpを規定する。
　本実施例では、図７(a)に示すように、注目する直線式Lp及び隣接する直線式Lp+1で表される直線のそれぞれついて、観察画像の中心Cを通る、y軸と平行な直線（直線式Ly）との交点を求める。そして、これらの交点間の距離を両直線の離間距離dpとする。なお、図７(b)に示すように、注目する直線式Lp及び隣接する直線式Lp+1で表される直線のそれぞれついて、観察画像の中心Cを通る、x軸と平行な直線（直線式Lx）との交点を求め、これらの交点間の距離を両直線の離間距離dpとすることもできる。さらに、図７(c)に示すように、注目する直線Lp及び隣接する直線Lp+1で表される直線のそれぞれついて、観察画像の中心Cを通る、直線式Lpの法線L’との交点を求め、これらの交点間の距離を両直線の離間距離dpとすることもできる。
　次に、k-1本の直線のそれぞれについて求めた直線の離間距離dpについて、所定の階級幅でヒストグラムを作成する（ステップＳ５－５）。本実施例のマイクロ流体デバイス１００に形成されている分岐流路１０３a～１０３eの流路幅と流路間隔はいずれも一定である。従って、作成されたヒストグラムでは、その流路幅に相当する離間距離dpが最も多くなり、次いで流路間隔に相当する離間距離dpが多くなるはずである。そこで、k-1本の直線のそれぞれについて、当該直線に関する離間距離dpが最大階級に含まれているか否かを判定する。
　本実施例のマイクロ流体デバイス１００には5本の分岐流路１０３a～１０３eが平行に形成されている。従って、理想的には図８(a)に示すように、流路間の距離に対応する位置に4つのデータが、流路幅に対応する位置に5つのデータが存在し、それ以外の位置にはデータが存在しない。もし、このようなヒストグラムが得られた場合には、5本の直線について求めた離間距離dpが最大階級に含まれていると判断されることになる。最大階級に含まれていると判断されたものについて、それに対応する直線Lpと、その直線に隣接する直線Lp+1の組を抽出することにより、流路の境界を構成する画素群（流路境界画素群）を選択することができる。
　しかし、実際には、上述の各処理を経てもなお、流路の境界を構成する直線以外の直線（対象菌由来のものやノイズ由来の直線）が含まれている場合があり得る。その場合、例えば図８(b)や図８(c)に示すようなヒストグラムとなる。そうした場合でも、流路の境界を構成する直線が流路幅や流路間距離に応じた一定の間隔で位置するのに対し、それ以外の直線はランダムに位置する。そのため、ヒストグラムにおける最大階級を選択すると、流路幅（図８(b)）あるいは流路間距離（図８(c)）のいずれかが選択されることになる。従って、それに対応する直線Lpと、その直線に隣接する直線Lp+1の組を抽出することにより（ステップＳ５－６）、流路の境界を構成する画素群（流路境界画素群）を選択することができる（ステップＳ５－７）。
　上記の処理によって流路境界画素群を選択すると、図９(a)または図９(b)に示すように観察画像における流路の境界の位置が分かる。図９(a)に示す状態（図８(a)あるいは図８(b)のヒストグラムから得られる状態）では、画像の端部から2本の直線を1組としてその間に挟まれた領域（ハッチングを付した部分）を流路とすればよい。一方、図９(b)に示す状態（図８(c)のヒストグラムから得られる状態）では、画像の端部から2本直線を1組とした場合にそれらの間に挟まれた領域（ハッチングを付した部分）は流路ではない。
　そこで、観察画像における流路の境界の位置を決めた後、その端部から2本を1組として選択し、その間に挟まれた領域を流路とした場合の流路幅と、端部から2本目の直線から順に2本を1組として選択し、その間に挟まれた領域を流路とした場合の流路幅のいずれが広いかを比較する。上述のとおり、図１では流路を分かりやすく示すために流路幅を狭く示しているが、実際に用いられるマイクロ流体デバイスでは、流路幅の方が流路間隔よりも広い。そこで、上記比較の結果、より広いと判定された方を流路とする。後者（端部から2本目の直線から順に2本を1組として選択した場合）の流路幅の方が広いと判定された場合、直線状に位置する流路境界画素群が画像の両端に1本ずつ残った状態となる。両端に残された直線のそれぞれの外側に、他の流路と同じ幅の流路を追加可能であるか（つまり、当該直線の外側に流路幅に相当する空間が残っているか）を判定し、可能である場合には流路の境界に相当する直線（図９(c)に一点鎖線で表示）を追加する。これにより流路が追加される。
　上記の処理によって観察画像における流路の位置が確定すると、流路特定部２２は、観察画像に含まれる各流路１０３a～１０３eの位置を特定する（ステップＳ５、ステップＳ５－８）。そして、各流路１０３a～１０３eの画像データを記憶部１１に保存し、それらの画像を表示部４２に表示する。このとき、特定された流路の位置の画像をそのまま抽出してもよいが、流路の境界のコントラストが流路の画像に影響し、そのコントラストが対象菌と誤認されるのを防止するために、確定した流路の位置よりも所定数の画素分だけ内側の領域を流路の画像として抽出するようにしてもよい。
　次に、実施例２のマイクロ流体デバイス観察装置１aについて説明する。図１０は実施例のマイクロ流体デバイス観察装置１aの要部構成図である。実施例１のマイクロ流体デバイス観察装置１と同じ構成要素には同一の符号を付して説明を省略する。
　実施例２のマイクロ流体デバイス観察装置１aは、制御・処理部の構成の一部が実施例１のマイクロ流体デバイス観察装置１と異なる。制御・処理部１０aは、実施例１の制御・処理部１０と同様に、分注部２、インキュベータ３、及び位相差顕微鏡４の動作を制御する機能と、位相差顕微鏡４により得られた画像を処理する機能とを有している。制御・処理部１０aは、記憶部１１aを備え、機能ブロックとして抽出画素選択部２１と流路特定部２２を備えている。さらに、後述する機械学習によって構築された識別部２８がインストールされている。制御・処理部１０aの実体は一般的なコンピュータであり、そのプロセッサによりマイクロ流体デバイス観察用プログラム２０aを実行することにより、上記機能ブロックが具現化される。また、制御・処理部１０には検査者が適宜情報を入力するための入力部４１と、マイクロ流体デバイス１００の流路の画像等を表示するための表示部４２が接続されている。
　記憶部１１aには、実施例１で説明したテンプレート画像１１０、及び多数の被検物参照画像が保存されている。被検物参照画像は、本実施例と同じ被検物である対象菌について、様々な種類の抗菌薬を様々な濃度で作用させた状態を撮影した画像である。これらの画像はいずれも解析済みのものであり、各画像に含まれる対象菌の数及び形状に関連する統計特徴量が予め特定されている。また、被検物参照画像の中には、標準的な形状の対象菌の画像のほか、抗菌薬により変性して形状が変化したものの画像も含まれており、その画像についても統計特徴量が求められている。
　実施例２のマイクロ流体デバイス観察装置１aは、流路の内部に存在する対象菌の統計特徴量を算出し、対象菌の状態を判定する処理に特徴を有している。実施例２では、識別部２８が、記憶部１１に保存されている、多数の被検物参照画像を学習データとする機械学習によって作成されている。こうした機械学習の手法としては、例えばディープラーニングや、サポートベクターマシン（SVM: Support Vector Machine）やランダムフォレストといった手法が提案されている。
　実施例２のマイクロ流体デバイス観察装置１aでは、対象菌の検査を開始する前に、マイクロ流体デバイス１００の流路の画像及び該画像に対応する対象菌の統計特徴量を学習データとする機械学習によって、入力された画像から対象菌の数及び形状を特定する識別部２８を構築しておく。
　実施例２においても、マイクロ流体デバイス１００を位相差顕微鏡４で撮像し、その画像データを微分フィルタで処理することによりエッジ強度を取得し、その画像データを二値化する処理は実施例１のマイクロ流体デバイス観察装置１と同様である。また、観察画像における流路の位置を特定する処理には、実施例１において説明した方法のいずれかを用いる。
　流路特定部２２によって観察画像に含まれる各分岐流路１０３a～１０３eの位置が特定されると、各分岐流路１０３a～１０３dの画像データが識別部２８に入力される。識別部２８は、入力された各分岐流路１０３a～１０３eの画像のそれぞれについて、当該画像に含まれる被検物の数及び形状（例えば直線性、円形度）を特定し、それらを対象菌の統計特徴量として出力する。分岐流路１０３a～１０３e内に対象菌が複数存在する場合には、それら複数の対象菌について各統計特徴量の平均を出力する。統計特徴量としては、直線性や円形度の他、対象菌の面積（あるいは面積比）、対象菌の周囲長、対象菌の長軸長・短軸長や、その他公知の統計量を用いることができる。これらの統計特徴量を用いる場合には、対象菌が含まれた流路の画像の入力に応じて該当する統計特徴量を出力する機械学習により識別部２８を構築しておけばよい。ここでは統計特徴量の平均を求めているが、平均値のほか、中央値、最頻値などを求めるようにしてもよい。
　識別部２８は、対象菌の数や形状を表す統計特徴量の平均を求めると、実施例１と同様に、抗菌液を導入していない分岐流路１０３e内の対象菌の統計特徴量を基準として、異なる濃度の抗菌液ａ～ｄをそれぞれ導入した分岐流路１０３a～１０３d内の対象菌の統計特徴量からそれらの状態（異なる濃度で抗菌薬を含む抗菌液ａ～ｄに対する感受性）を判定する。流路の画像、該画像から求められた統計特徴量、及び該統計特徴量に基づく判定結果は表示部４２に表示される。
　上記の実施例はいずれも一例であって、本発明の趣旨に沿って適宜に変更することができる。上記実施例では対象菌の抗菌薬に対する感受性の検査を行う場合を説明したが、他の目的の検査等においても上記同様のマイクロ流体デバイス観察装置を用いることができる。
　上記実施例では、流路の境界の検出と菌の特徴画素の抽出とを同じ手法で行う方法を説明したが、互いに違う方法で行ってもよい。例えば、流路の境界の検出をテンプレートマッチングで行う場合には、菌の特徴画素の抽出を例えば機械学習で行うことにより、（面積などの情報を含む）形状を検出することができる。
　上記実施例ではマイクロ流体デバイス１００に5本の直線状の分岐流路１０３a～１０３eが形成されている場合を例に説明したが、流路の数は検査に使用する抗菌液の数（濃度の種類）に応じて適宜に変更可能である。また、流路の形状は直線状に限定されず、曲線状であってもよい。曲線状は、例えば円弧状（楕円弧を含む）やＳ字状（蛇行形状）とすることができる。流路形状が曲線状であっても、本明細書で説明しているハフ変換を適用可能である。特に、流路形状が円弧や楕円弧である場合には、上記実施例のハフ変換に代えて円や楕円を表す数式により特徴画素群の形状を求め、上記実施例における直線の平行度に代えて曲線の平行度を用いればよい。例えば、ある曲線に対して、その曲線上の各点から法線方向へ一定の距離にある曲線として定義される平行曲線の考え方を用いることができる。
　上記実施例１、２ではいずれも、撮像部として位相差顕微鏡を用いたが、撮像部はマイクロ流体デバイスに形成された流路の境界にコントラストが現れるような画像を取得可能なものであればその種類は限定されない。例えば、光学顕微鏡、光学カメラ、微分干渉顕微鏡を用いることができる。
　上記実施例１で説明した流路の位置を特定に関する処理では、観察画像における流路の位置を決めた後に、画像の端部から2本を1組として選択し、その間に挟まれた領域を流路とした場合の流路幅と、端部から2本目の直線から順に2本を1組として選択し、その間に挟まれた領域を流路とした場合の流路幅のいずれが広いかを比較することにより流路を決定したが、観察画像における流路の位置を特定した画像を表示部４２に表示し、入力部４１を通じた操作によっていずれが流路であるかを検査者に選択させるようにしてもよい。あるいは、上記の比較を行うことなく流路を決定して流路特定部２２に該流路の画像を抽出させたものを表示部４２に表示し、検査者がこれを確認して流路でないと判断した場合に、反転操作（先に流路を構成する境界として使用した直線の組と異なる2本の直線に挟まれた領域を流路とし、流路特定部２２にその画像を抽出させる操作）を指示するように構成することもできる。
　また、上記実施例２では、流路の位置が特定された観察画像を識別部２８に入力する構成としたが、マイクロ流体デバイス１００の画像データ（流路の位置が特定されていない画像データ）をそのまま識別部２８に入力し、該識別部２８により流路の位置を特定するように構成することもできる。その場合には、様々な数及び形状の流路が形成されたマイクロ流体デバイスの画像データであって、各流路の位置が既に特定されているものを学習データとする機械学習により識別部２８を構成すればよい。
１、１a…マイクロ流体デバイス観察装置
２…分注部
３…インキュベータ
４…位相差顕微鏡
１０a…制御・処理部
１０、１０a…制御・処理部
１１、１１a…記憶部
１１０…テンプレート画像
２０、２０a…マイクロ流体デバイス観察用プログラム
２１…抽出画素選択部
２２…流路特定部
２３…被検物特定部
２４…特徴画素群検出部
２５…流路境界画素群選択部
２６…統計特徴量算出部
２７…判定部
２８…識別部
４１…入力部
４２…表示部
１００…マイクロ流体デバイス
１０１…導入口
１０２a～１０２e…空気口
１０３…菌液導入流路
１０３a～１０３e…分岐流路
１０４…観察領域
１１０…テンプレート画像

Claims (14)

  1. 　マイクロ流体デバイスに配設された複数の流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置であって、
    　前記マイクロ流体デバイスの画像を取得する撮像部と、
    　取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択する抽出画素選択部と、
    　前記画像に含まれる前記複数の流路の位置を特定する流路特定部と、
    　前記特定した複数の流路の内部に存在する、連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出する被検物特徴画素群検出部と、
    　前記被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を求める統計特徴量算出部と
    　を備えることを特徴とするマイクロ流体デバイス観察装置。
  2. 　前記統計特徴量算出部が、1つの流路の内部に複数の前記被検物特徴画素群が存在する場合に、該複数の前記被検物特徴画素群の前記統計特徴量の代表値を求める
    　ことを特徴とする請求項１に記載のマイクロ流体デバイス観察装置。
  3. 　さらに、
    　前記複数の流路のうちの1つについて求められた前記統計特徴量を他の流路について求められた前記統計特徴量と比較した結果に基づいて前記被検物の状態を判定する判定部
    　を備えることを特徴とする請求項１に記載のマイクロ流体デバイス観察装置。
  4. 　マイクロ流体デバイスに配設された複数の流路の内部に存在する被検物を観察するためのマイクロ流体デバイス観察装置であって、
    　前記マイクロ流体デバイスの画像を取得する撮像部と、
    　前記画像に含まれる前記複数の流路の位置を特定する流路特定部と、
    　取得された前記画像が入力されると、前記特定された複数の流路の内部に存在する前記被検物の数及び／又は形状を特定する識別部と、
    　を備えることを特徴とするマイクロ流体デバイス観察装置。
  5. 　前記識別部が、1つの流路の内部に複数の前記被検物が存在する場合に、該複数の前記被検物の数及び／又は形状に関連する統計特徴量の代表値を求める
    　ことを特徴とする請求項４に記載のマイクロ流体デバイス観察装置。
  6. 　前記識別部が、さらに、
    　前記特定した前記被検物の数及び／又は形状に基づいて各流路の内部に存在する前記被検物の状態を判定する
    　ことを特徴とする請求項４に記載のマイクロ流体デバイス観察装置。
  7. 　前記マイクロ流体デバイスの少なくとも一部の領域において前記複数の流路は同一の幅を有して平行に配設されており、
    　前記流路特定部が、
    　それぞれが線状に連続に並ぶ所定個数以上の前記抽出画素からなる複数の抽出画素群のうち、相互の平行度が予め決められた平行度以上である複数の抽出画素群をそれぞれ流路特徴画素群として検出する流路特徴画素群検出部と、
    　前記複数の流路特徴画素群の中から、離間距離が前記流路の幅に対応する特徴画素群の組を流路境界画素群として選択する流路境界画素群選択部と、
    　前記画像における前記流路境界画素群の位置に基づき前記1乃至複数の流路の境界の位置を特定して各流路の画像を抽出する流路画像抽出部と
    　を有することを特徴とする請求項１又は４に記載のマイクロ流体デバイス観察装置。
  8. 　前記抽出画素選択部が、微分フィルタを用いて前記画像のエッジ強度を求めることを特徴とする請求項６に記載のマイクロ流体デバイス観察装置。
  9. 　前記流路が直線状に形成されており、
    　前記流路特徴画素群検出部が、前記抽出画素群のそれぞれについて、当該抽出画素群を構成する画素の位置に対応する近似直線を求め、該近似直線の傾きと他の近似曲線の傾きの差が予め決められた大きさ以下であるものを特徴画素群として検出することを特徴とする請求項６に記載のマイクロ流体デバイス観察装置。
  10. 　前記流路特徴画素群検出部が、ハフ変換により前記近似直線を求めることを特徴とする請求項９に記載のマイクロ流体デバイス観察装置。
  11. 　前記流路が複数、互いに平行に設けられており、
    　前記流路境界画素群選択部が、隣接する2つの前記流路特徴画素群の離間距離が等しいものを前記流路境界画素群として選択することを特徴とする請求項６に記載のマイクロ流体デバイス観察装置。
  12. 　前記流路境界画素群選択部が、前記離間距離に関するヒストグラムを作成し、その最大階級に属するものを前記流路境界画素群として選択することを特徴とする請求項１１に記載のマイクロ流体デバイス観察装置。
  13. 　マイクロ流体デバイスに配設された複数の流路の内部に、薬剤とともに導入された菌を観察するためのマイクロ流体デバイス観察方法であって、
    　前記マイクロ流体デバイスの画像を取得し、
    　取得した前記画像を構成する複数の画素の輝度値に基づいて所定の基準により該複数の画素の中から抽出画素を選択し、
    　前記画像に含まれる前記複数の流路の位置を特定し、
    　前記特定した複数の流路の内部に存在する、連続する所定個数以上の前記抽出画素を被検物特徴画素群として検出し、
    　前記被検物特徴画素群の数及び／又は形状に基づいて該被検物特徴画素群の統計特徴量を求める
    　ことを特徴とするマイクロ流体デバイス観察方法。
  14. 　マイクロ流体デバイスに配設された複数の流路の内部に、薬剤とともに導入された菌を観察するためのマイクロ流体デバイス観察方法であって、
    　前記マイクロ流体デバイスの画像を取得し、
    　前記画像に含まれる前記複数の流路の位置を特定し、
    　取得された前記画像の入力に応じて前記特定した複数の流路の内部に存在する前記菌の数及び／又は形状を特定する
    　ことを特徴とするマイクロ流体デバイス観察方法。
PCT/JP2018/027554 2018-07-23 2018-07-23 マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法 Ceased WO2020021604A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020531848A JP7250795B2 (ja) 2018-07-23 2018-07-23 マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法
CN201880095672.1A CN112424612B (zh) 2018-07-23 2018-07-23 微流体器件观察装置及微流体器件观察方法
US17/262,144 US12140743B2 (en) 2018-07-23 2018-07-23 Microfluidic device observation device and microfluidic device observation method
PCT/JP2018/027554 WO2020021604A1 (ja) 2018-07-23 2018-07-23 マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/027554 WO2020021604A1 (ja) 2018-07-23 2018-07-23 マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法

Publications (1)

Publication Number Publication Date
WO2020021604A1 true WO2020021604A1 (ja) 2020-01-30

Family

ID=69181424

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/027554 Ceased WO2020021604A1 (ja) 2018-07-23 2018-07-23 マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法

Country Status (4)

Country Link
US (1) US12140743B2 (ja)
JP (1) JP7250795B2 (ja)
CN (1) CN112424612B (ja)
WO (1) WO2020021604A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022107557A1 (ja) * 2020-11-18 2022-05-27
JP2022190404A (ja) * 2021-06-14 2022-12-26 アサヒ飲料株式会社 微生物の検出方法
WO2024135236A1 (ja) * 2022-12-20 2024-06-27 株式会社ニコン マイクロ流体デバイス用観察装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12352946B1 (en) * 2022-12-15 2025-07-08 United States Of America As Represented By The Administrator Of Nasa Fourier ptychographic microscope systems and methods
TWI854614B (zh) * 2023-04-26 2024-09-01 眾智光電科技股份有限公司 微流體電穿孔裝置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3925166A (en) * 1974-09-06 1975-12-09 Us Health Automated system for the determination of bacterial antibiotic susceptibilities
JPH0787997A (ja) * 1993-09-27 1995-04-04 Nittetsu Mining Co Ltd 菌等の育成阻止領域の認識方法及びその装置
JPH09140397A (ja) * 1995-11-18 1997-06-03 Dennou Giken:Kk １つの連結領域が示すコロニーの個数を識別する識別方法及びこれを用いたコロニー計数装置
WO2011117952A1 (ja) * 2010-03-24 2011-09-29 株式会社島津製作所 測定システム
JP2013526717A (ja) * 2010-05-19 2013-06-24 ゼネラル・エレクトリック・カンパニイ マイクロプレートのウェル壁境界を識別するための方法及びシステム
JP2016123366A (ja) * 2015-01-05 2016-07-11 株式会社ニコン 細胞評価装置、インキュベータ、細胞評価方法、プログラム、及び細胞の培養方法
JP2017184737A (ja) * 2016-03-31 2017-10-12 株式会社フコク Ｍｆｄ検査支援システムおよびｍｆｄを用いた検査方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3287107B2 (ja) * 1993-07-13 2002-05-27 ソニー株式会社 表示素子用基板の製造方法
JPH1197512A (ja) 1997-07-25 1999-04-09 Nikon Corp 位置決め装置及び位置決め方法並びに位置決め処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4470402B2 (ja) * 2002-07-12 2010-06-02 東ソー株式会社 微小流路構造体及びそれを用いた流体の化学操作方法
JP2008228617A (ja) * 2007-03-19 2008-10-02 Onchip Biotechnologies Inc 心筋細胞と線維芽細胞の細胞識別方法
JP5997185B2 (ja) 2011-03-04 2016-09-28 エルビーティー イノベーションズ リミテッド 明細書微生物増殖を分析する方法およびソフトウェア
JP2013003011A (ja) 2011-06-17 2013-01-07 Shimadzu Corp マイクロ流体デバイス
WO2013038925A1 (ja) 2011-09-13 2013-03-21 国立大学法人大阪大学 細菌または真菌の抗菌薬感受性の検査方法およびそれに用いるシステム
EP2731051A1 (en) * 2012-11-07 2014-05-14 bioMérieux Bio-imaging method
KR101416452B1 (ko) * 2012-11-16 2014-07-14 한국과학기술연구원 마이크로플루이딕 표지입자의 집합적 영상 처리에 의한 유체의 속도분포 산출 방법 및 장치와, 이 방법을 수행하는 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
EP2935612B1 (en) 2012-12-20 2018-01-31 3M Innovative Properties Company Method of differentiating microbial colonies in an image
WO2015109067A1 (en) * 2014-01-15 2015-07-23 Canon U.S. Life Sciences, Inc. Apparatus for optical microfluidics slug edge detection
JP6619544B2 (ja) * 2014-03-19 2019-12-11 株式会社日立ハイテクノロジーズ 検査装置
CN112782140A (zh) * 2014-12-03 2021-05-11 伊索普莱西斯公司 细胞分泌特征的分析和筛选
CN107223208B (zh) * 2014-12-09 2021-04-09 伯克利之光生命科技公司 微流体装置中微物体的自动检测和重新定位
JP6713730B2 (ja) * 2015-05-20 2020-06-24 シスメックス株式会社 細胞検出装置および細胞検出方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3925166A (en) * 1974-09-06 1975-12-09 Us Health Automated system for the determination of bacterial antibiotic susceptibilities
JPH0787997A (ja) * 1993-09-27 1995-04-04 Nittetsu Mining Co Ltd 菌等の育成阻止領域の認識方法及びその装置
JPH09140397A (ja) * 1995-11-18 1997-06-03 Dennou Giken:Kk １つの連結領域が示すコロニーの個数を識別する識別方法及びこれを用いたコロニー計数装置
WO2011117952A1 (ja) * 2010-03-24 2011-09-29 株式会社島津製作所 測定システム
JP2013526717A (ja) * 2010-05-19 2013-06-24 ゼネラル・エレクトリック・カンパニイ マイクロプレートのウェル壁境界を識別するための方法及びシステム
JP2016123366A (ja) * 2015-01-05 2016-07-11 株式会社ニコン 細胞評価装置、インキュベータ、細胞評価方法、プログラム、及び細胞の培養方法
JP2017184737A (ja) * 2016-03-31 2017-10-12 株式会社フコク Ｍｆｄ検査支援システムおよびｍｆｄを用いた検査方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022107557A1 (ja) * 2020-11-18 2022-05-27
WO2022107557A1 (ja) * 2020-11-18 2022-05-27 ソニーグループ株式会社 生体試料分析システム、情報処理装置、情報処理方法及び生体試料分析方法
JP2022190404A (ja) * 2021-06-14 2022-12-26 アサヒ飲料株式会社 微生物の検出方法
WO2024135236A1 (ja) * 2022-12-20 2024-06-27 株式会社ニコン マイクロ流体デバイス用観察装置
JPWO2024135236A1 (ja) * 2022-12-20 2024-06-27
JP7782730B2 (ja) 2022-12-20 2025-12-09 株式会社ニコン 観察装置

Also Published As

Publication number Publication date
US20210260582A1 (en) 2021-08-26
JP7250795B2 (ja) 2023-04-03
CN112424612B (zh) 2025-03-14
CN112424612A (zh) 2021-02-26
US12140743B2 (en) 2024-11-12
JPWO2020021604A1 (ja) 2021-08-02

Similar Documents

Publication Publication Date Title
JP7250795B2 (ja) マイクロ流体デバイス観察装置及びマイクロ流体デバイス観察方法
Alomari et al. Automatic detection and quantification of WBCs and RBCs using iterative structured circle detection algorithm
US11620751B2 (en) Image analysis algorithms using control slides
CN102341810B (zh) 用于小瓶和容器上的帽体的存在和类型的自动化探测的方法和设备
Fang et al. An on-chip instrument for white blood cells classification based on a lens-less shadow imaging technique
JPWO2019065105A1 (ja) 画像解析装置、方法およびプログラム
Kaakinen et al. Automatic detection and analysis of cell motility in phase‐contrast time‐lapse images using a combination of maximally stable extremal regions and Kalman filter approaches
WO2015109067A1 (en) Apparatus for optical microfluidics slug edge detection
Liu et al. Automatic identification of fungi under complex microscopic fecal images
US20030083567A1 (en) Medical imaging station with a function of extracting a path within a ramified object
KR102659470B1 (ko) 입자 정량 장치
KR101836830B1 (ko) 광학적 세포 식별방법
EP3527972A1 (en) Method and devices for performing an analytical measurement
CN114332059B (zh) 基于试管图像的血清样本分析方法、装置、设备及介质
Hodneland et al. Automated detection of tunneling nanotubes in 3D images
JP6954473B2 (ja) マイクロ流体デバイス観察装置
Girault et al. Algorithm for the precise detection of single and cluster cells in microfluidic applications
Kopec et al. Semi-automated atlas-based analysis of brain histological sections
CN109215068A (zh) 图像放大率测量方法及装置
CN120014637B (zh) 一种血液分离血浆样本的浊度评价处理方法、系统及存储介质
Smith et al. Sample to answer visualization pipeline for low-cost point-of-care blood cell counting
Mahdi et al. Comparison of the Edge Detection Methods to Detect, Identify and Locate the Obstacles for Agricultural Robotic Vehicles
Cho et al. Organoid Segmentation Using Phase Congruency and Persistent Homology
CN116805280A (zh) 一种基于微流控的数字pcr图像拼接方法及系统
Pollatou et al. Out-of-focus brain image detection in serial tissue sections

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18927517

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020531848

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18927517

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 201880095672.1

Country of ref document: CN