WO2019187420A1 - 画像処理方法、画像処理装置、プログラムおよび記録媒体 - Google Patents

画像処理方法、画像処理装置、プログラムおよび記録媒体 Download PDF

Info

Publication number
WO2019187420A1
WO2019187420A1 PCT/JP2018/047281 JP2018047281W WO2019187420A1 WO 2019187420 A1 WO2019187420 A1 WO 2019187420A1 JP 2018047281 W JP2018047281 W JP 2018047281W WO 2019187420 A1 WO2019187420 A1 WO 2019187420A1
Authority
WO
WIPO (PCT)
Prior art keywords
edge
search
boundary
image
image processing
Prior art date
Application number
PCT/JP2018/047281
Other languages
English (en)
French (fr)
Inventor
拓矢 安田
Original Assignee
株式会社Ｓｃｒｅｅｎホールディングス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018214310A external-priority patent/JP7076361B2/ja
Application filed by 株式会社Ｓｃｒｅｅｎホールディングス filed Critical 株式会社Ｓｃｒｅｅｎホールディングス
Priority to EP18912506.5A priority Critical patent/EP3779463A4/en
Priority to US16/980,017 priority patent/US11244200B2/en
Publication of WO2019187420A1 publication Critical patent/WO2019187420A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2115—Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20168—Radial search

Definitions

  • the present invention relates to an image processing technique for identifying a boundary between an ineffective area at the peripheral edge of a recess and an effective area inside the image from an image obtained by imaging a medium carried in a recess of a container.
  • a plate-like container provided with a plurality of wells (recesses) called a well plate or a microplate is used.
  • the cells to be analyzed are held together with the medium in the well.
  • a cell is imaged with a camera and it uses for an analysis.
  • it is necessary to accurately detect the boundary between the inside of the well, which is the effective area containing the cells to be analyzed, and the ineffective area at the periphery from the image There is.
  • Patent Document 1 discloses a method for identifying a test well wall boundary of a microplate.
  • the feature of the wall boundary of the test well is detected from the image of the microplate.
  • a wall edge candidate edge image is then generated using the wall boundary features.
  • the candidate edge image is analyzed to calculate the spatial position of the outer perimeter boundary of the test well and the information is used to determine the inner perimeter boundary.
  • a liquid such as a culture solution is held in the well during imaging. For this reason, generally a concave meniscus is formed on the surface of the liquid by the surface tension. Further, when the well side wall surface has a tapered shape, or when the imaging direction is inclined, the side wall surface of the well may be reflected. Further, when there is an inclination in the incident direction of illumination light, a dark shadow may occur at the peripheral edge of the well. Furthermore, bubbles or cell-derived deposits may adhere to the peripheral edge of the well.
  • the present invention has been made in view of the above problems, and from an image obtained by imaging the concave portion of the container carrying the culture medium, the boundary between the ineffective region of the peripheral portion of the concave portion and the effective region inside thereof is reliably and accurately specified. It aims at providing the technology which can do.
  • One aspect of the present invention is an image processing method for identifying a boundary between an ineffective area at the peripheral edge of the recess and an effective area inside thereof from an image obtained by imaging the recess of a container carrying a culture medium.
  • a search area of a predetermined size extending in the radial direction from the center of the concave portion to the peripheral portion is different from each other in the circumferential direction along the peripheral portion in the vicinity of the peripheral portion in the image.
  • a plurality of setting steps a step of executing edge detection in the search region, obtaining the detected edge position and edge intensity for each search region, and the search region in the circumferential direction for each of the search regions Obtaining a relative shift amount that gives the highest similarity of the image pattern when another search area adjacent to the search area is shifted in the radial direction with respect to the search area, and one search area
  • the position of the boundary in the inner, the search area and the search area each of the edge positions in the neighborhood area in the circumferential direction, and a step of identifying, based on the edge strength and the relative shift amount.
  • a plurality of search areas extending in the radial direction are set in the circumferential direction in the vicinity of the peripheral edge of the recess in the image. Then, based on the edge detection result obtained in the radial direction in the search region and the relative shift amount obtained in the circumferential direction, the boundary position in the search region is specified.
  • a strong edge is detected in the search area, it can be said that there is a high probability that the edge position is a boundary position, but there is a possibility of erroneous detection. If the detected edge strength is low or no significant edge is found, it is necessary to compensate by another method.
  • a position that is highly likely to be a boundary can be identified by comparing the image contents with a search area that is nearby in the circumferential direction. Specifically, it is as follows.
  • the elements in the image that cause the boundary to be unclear are considered to be distributed with a certain degree of continuity in the circumferential direction. Therefore, the change in image content is relatively gradual between a plurality of search regions that are close to each other in the circumferential direction. For this reason, the position of the boundary is considered to change gradually. In other words, even in a search region where no significant edge is found, if the position of the boundary is known in other search regions in the vicinity thereof, the boundary position can be estimated from that position.
  • the relative shift amount at this time indicates the amount of change in the boundary position between the two search regions. If this information is used, the position of the boundary can be estimated from the information of other search areas regardless of whether a clear edge is found in the search area.
  • the present invention can detect the boundary between the peripheral region and the inner effective region. It is possible to accurately and accurately specify.
  • the relative shift amount at which the similarity of the image pattern is highest between the edge detection and the adjacent search areas is set.
  • the requested process is being executed.
  • the “image processing apparatus” of the present invention will be described as an imaging apparatus that images a set well plate. The description will be made assuming that the “image processing method” of the present invention is executed in the imaging apparatus.
  • FIG. 1A and 1B are diagrams showing an example of a well plate used in the present invention.
  • FIG. 1A is a top view of the well plate 9, and FIG. 1B is a perspective view thereof.
  • the well plate 9 is a generally plate-shaped sample container having a plurality of wells 91.
  • a transparent resin that transmits light is used as the material of the well plate 9.
  • a plurality of wells 91 are regularly arranged on the upper surface of the well plate 9.
  • the well 91 holds a plurality of cells to be imaged together with the culture medium.
  • the shape of the well 91 in the top view is described as a circle. However, the shape of the well 91 may be other shapes such as a rectangle and a rounded rectangle.
  • FIG. 2 is a diagram showing a schematic configuration of the imaging apparatus according to the present embodiment.
  • This imaging device 1 is a cell, cell colony, bacteria, etc. (hereinafter referred to as “cells”) that are cultured in a medium carried in a recess called a well 91 formed on the upper surface of the well plate 9. C is attached).
  • the size of the well plate and the number of wells targeted by the imaging apparatus 1 are not limited to these, and are arbitrary, for example, those having 6 to 384 holes are generally used.
  • the imaging apparatus 1 can be used not only for imaging a well plate having a plurality of wells but also for imaging cells or the like cultured in a flat container called a dish.
  • a predetermined amount of liquid as the medium M is injected into each well 91 of the well plate 9.
  • a cell C or the like cultured under a predetermined culture condition in the liquid becomes an imaging target of the imaging apparatus 1.
  • the medium may be a medium to which an appropriate reagent is added, or a liquid that is gelled after being put into the well 91 in a liquid state.
  • cells or the like C cultured on the inner bottom surface of the well 91 can be an imaging target.
  • the imaging apparatus 1 includes a holder 11 that holds the well plate 9, an illumination unit 12 that is disposed above the holder 11, an imaging unit 13 that is disposed below the holder 11, and a CPU 141 that controls operations of these units.
  • the control part 14 which has.
  • the holder 11 abuts on the peripheral edge of the lower surface of the well plate 9 that holds the sample together with the medium M in each well 91 and holds the well plate 9 in a substantially horizontal posture.
  • the illumination unit 12 emits illumination light toward the well plate 9 held by the holder 11.
  • a light source of illumination light for example, a white LED (Light Emitting Diode) can be used.
  • a combination of a light source and an appropriate illumination optical system is used as the illumination unit 12.
  • the illumination unit 12 illuminates cells and the like in the well W provided on the well plate 9 from above.
  • An imaging unit 13 is provided below the well plate 9 held by the holder 11.
  • an imaging optical system is disposed immediately below the well plate 9.
  • the optical axis of the imaging optical system is oriented in the vertical direction.
  • FIG. 2 is a side view, and the vertical direction in the figure represents the vertical direction.
  • the cells in the well 91 are imaged by the imaging unit 13. Specifically, the light emitted from the illumination unit 12 and incident on the liquid from above the well 91 illuminates the imaging object. Light transmitted downward from the bottom surface of the well 91 is incident on the light receiving surface of the image sensor 132 via the imaging optical system including the objective lens 131 of the imaging unit 13. An image of the imaging target imaged on the light receiving surface of the imaging device 132 by the imaging optical system is captured by the imaging device 132.
  • the image sensor 132 is an area image sensor having a two-dimensional light receiving surface, such as a CCD sensor or a CMOS sensor.
  • the imaging unit 13 can be moved in the horizontal direction and the vertical direction by a mechanical control unit 146 provided in the control unit 14. Specifically, the mechanical control unit 146 operates the drive mechanism 15 based on a control command from the CPU 141 to move the imaging unit 13 in the horizontal direction. Thereby, the imaging unit 13 moves in the horizontal direction with respect to the well 91. The focus is adjusted by moving in the vertical direction.
  • the mechanical control unit 146 moves the imaging unit 13 horizontally so that the optical axis of the imaging optical system coincides with the center of the well 91. Position in the direction.
  • the driving mechanism 15 moves the illumination unit 12 integrally with the imaging unit 13 as indicated by a dotted arrow in the drawing. That is, the illumination unit 12 is arranged so that the optical center thereof substantially coincides with the optical axis of the imaging unit 13.
  • the illumination unit 12 moves in conjunction with this. Thereby, regardless of which well 91 is imaged, the center of the well 91 and the optical center of the illumination unit 12 are always located on the optical axis of the imaging unit 13. As a result, it is possible to keep the imaging conditions favorable while keeping the illumination conditions for each well 91 constant.
  • the image signal output from the imaging device 132 of the imaging unit 13 is sent to the control unit 14. That is, the image signal is input to an AD converter (A / D) 143 provided in the control unit 14 and converted into digital image data.
  • the CPU 141 executes image processing as appropriate based on the received image data.
  • the control unit 14 further includes an image memory 144 and a memory 145.
  • the image memory 144 stores and saves image data
  • the memory 145 stores and saves programs to be executed by the CPU 141 and data generated by the CPU 141.
  • the image memory 144 and the memory 145 may be integrated.
  • the CPU 141 executes various control processes described later by executing a control program stored in the memory 145.
  • control unit 14 is provided with an interface (IF) unit 142.
  • the interface unit 142 is a function for exchanging data between a user interface function for receiving an operation input from a user and presenting information such as a processing result to the user and an external device connected via a communication line. And have.
  • the interface unit 142 is connected to an input receiving unit 147 that receives an operation input from the user and a display unit 148 that displays and outputs a message to the user, a processing result, and the like.
  • the control unit 14 may be a dedicated device provided with the hardware described above.
  • a general-purpose processing device such as a personal computer or a workstation may incorporate a control program for realizing processing functions to be described later. That is, a general-purpose computer device can be used as the control unit 14 of the imaging device 1. In the case of using a general-purpose processing device, it is sufficient that the imaging device 1 has a minimum control function for operating each unit such as the imaging unit 13.
  • FIG. 3 is a diagram for explaining problems in imaging. More specifically, FIG. 3 shows a side cross section of the well 91 in a state where the medium M is supported. As shown in the figure, the side wall surface 92 of the well 91 may have a tapered shape in which the cross-sectional area gradually decreases from the top to the bottom. In addition, the meniscus swells at the portion where the medium M injected into the well 91 contacts the well side wall surface 92. Further, when the illumination light L is incident obliquely with respect to the vertical direction, the shadow of the well side wall surface 92 may be reflected on the liquid surface. In addition, cell-derived waste and the like may adhere to the connection portion between the side wall surface 92 and the bottom surface 93 of the well 91.
  • the peripheral portion of the well 91 is caused by the various causes described above. In this case, the outline may be unclear.
  • FIG. 4A and 4B are diagrams schematically showing an example of an image obtained by imaging a well.
  • the image IM obtained by imaging the well 91 including a part of the upper surface 9a of the well plate irregular shading appears due to the above-described cause, particularly in the vicinity of the peripheral edge of the well 91.
  • a cell or the like to be analyzed is included in a high-brightness and substantially uniform region A1 at the center.
  • the region A2 that appears dark due to the taper or meniscus of the well side wall surface, or the region A3 that has a luminance different from the central portion due to adhering material near the peripheral portion may cause an analysis error, so it must be excluded. is there. For this reason, it is necessary to specify the position of the boundary that divides the central area A1 and other areas from the image.
  • the relatively high-luminance and uniform area A1 in the center of the well is referred to as an “effective area” in which cells or the like to be analyzed can be well extracted from the area.
  • the regions A2 and A3 that include irregular shading and cannot be used for analysis at the peripheral edge of the well are referred to as “invalid regions”. Then, what is required is to specify the boundary between the effective area and the invalid area from the image.
  • the origin is a point O that can be regarded as a virtual center of the well 91 in the image.
  • a polar coordinate system (r, ⁇ ) is set in which the radial direction from the origin O toward the peripheral portion is the radial direction r and the rotation direction around the origin O is the declination ⁇ direction.
  • the distance from the origin O to the boundary between the effective area A1 and the ineffective area in the radial direction with respect to various declinations ⁇ is represented by the symbol R.
  • the boundary between the effective area A1 and the invalid area can be represented by a profile in which the distance R is plotted against the argument ⁇ .
  • the position of the boundary in the image is specified by obtaining this profile.
  • the image processing of the present embodiment described below is for obtaining this profile. First, the basic concept will be described, and then specific processing contents will be described.
  • FIG. 5A and 5B are diagrams showing the principle of image processing in the present embodiment.
  • a plurality of radial directions extending radially from the origin O can be set.
  • eight radial directions are set at equiangular intervals from the origin O, but the number is arbitrary. The larger the number, the more complex the shape of the boundary can be dealt with, but the processing time becomes longer. Further, it is not always necessary to have an equiangular interval, but it is advantageous to have such regularity for the convenience of calculation processing.
  • the boundary between the effective area A1 and the invalid area is detected on each radius set in this way.
  • FIG. 4B when the distance R from the origin O of the detected boundary position is plotted against ⁇ and connected by a smooth curve indicated by a solid line, a curve close to the target profile indicated by a dotted line is obtained. It is done. Therefore, if the position of the boundary can be specified on each moving radius, a necessary profile can be obtained by appropriate curve approximation.
  • an example of the specific processing content will be described.
  • FIG. 6 is a flowchart showing image processing in the present embodiment.
  • This image processing is an embodiment of the “image processing method” according to the present invention.
  • This processing is realized by causing the CPU 141 provided in the control unit 14 of the imaging apparatus 1 to execute a control program stored in advance in the memory 145 to cause each unit of the apparatus to perform a predetermined operation.
  • This process can be realized even by a computer device having a general configuration as long as image data is prepared in advance. In that sense, the present invention can be realized as a program executed by a computer and as a recording medium storing the program.
  • image data obtained by imaging the well is acquired (step S101).
  • the imaging apparatus 1 has an imaging function, and can acquire image data by imaging a well 91 provided on a well plate 9 set in a holder 11.
  • the image data provided from the external imaging device or storage device via the interface unit 142 may be acquired.
  • reference position information for setting a reference point in the image is acquired (step S102).
  • the reference position information is information for specifying the approximate position of the peripheral edge of the well in the image, and does not need to indicate the exact position of the peripheral edge. For example, it can be created in advance from design data relating to the opening size and shape of the well 91. Such information may be stored in the memory 145 in advance, or may be given by user input as necessary. Alternatively, an approximate value such as the center position or diameter of the well 91 may be obtained by simple image processing on the acquired image. In addition, the center of the image may be virtually set as the center of the well on the assumption that the optical axis at the time of imaging and the center of the well are approximately the same.
  • a plurality of reference points are set in the image.
  • a search area including a reference point is set for each reference point (step S103).
  • FIGS. 7A and 7B are diagrams showing reference points and search areas.
  • eight reference points P0 to P7 are set around the origin O at equal angular intervals.
  • the number and arrangement of the reference points are not limited to this.
  • the reference points are provided dispersed in the circumferential direction.
  • the setting of the reference points P0 to P7 will be described. As shown by a broken line in FIG. 7A, a plurality (eight in this case) of radial directions are selected with respect to the origin O temporarily set based on the reference position information.
  • the points located near the peripheral edge of the well 91 on each moving radius are set as reference points P0 to P7. It is not necessary for the reference point to coincide with the position of the peripheral edge of the well 91.
  • the reference points P0 to P7 are preferably equal in distance from the origin O.
  • search areas R0 to R7 including the reference point and extending in the radial direction, that is, in the radial direction are set on each radial path.
  • the search region R0 corresponding to the reference point P0 is a line image having a predetermined length in the radial direction around the reference point P0 as shown in FIG. 7B.
  • the width of the search area R0 can be, for example, one pixel.
  • the length of the search region R0 is set so that the boundary between the effective region A1 and the invalid region in the radial direction is included in the search region. That is, the position of the reference point P0 and the length of the search region R0 extending from the reference point P0 may be set so that the expected fluctuation of the boundary position can be reliably covered.
  • the other reference points P1 to P7 and the search regions R1 to R7 are set on each radial path.
  • the reference point is not necessarily the center of the search area.
  • the reference point may be set outside the outer peripheral portion of the well 91, and the search area may extend in the direction of the origin O therefrom.
  • the search area in each radial direction may be set without determining the reference point. In this case, it is desirable that the distances from the origin O to each search region are equal to each other.
  • the width of the search region is not limited to one pixel, and may be a width for a plurality of pixels.
  • the edge detection is performed for each of the search areas R0 to R7 set in this way (step S104). Then, the edge position and edge strength at which the image content shows a sharp change are obtained.
  • the edge positions and edge strengths of the search areas R0 to R7 are stored in the memory 145 (step S105).
  • the edge detection algorithm is not particularly limited, and a known algorithm can be used. However, it is desirable to determine that there is no edge when a clear edge having an edge strength of a predetermined value or more is detected and there is only a luminance change with a weaker edge strength. Further, as shown in FIG. 7B, the edge detection in each search region is desirably performed from the center side of the well 91 toward the peripheral side.
  • FIG. 8 is a diagram showing an example of luminance change in an image in each search area.
  • luminance changes from the well center side toward the peripheral side are schematically drawn as shown in FIG.
  • a high-brightness region corresponding to the brightness of the culture medium M spreads on the center side of the well (left side in the figure), and a decrease in brightness occurs on the peripheral side (right side in the figure).
  • the position where the luminance is reduced and its change mode vary.
  • the boundary between the effective area A1 and the ineffective area to be obtained separates the area in the center of the well where the luminance derived from the medium M is maintained from the area where the luminance varies more greatly. Therefore, when each graph of FIG. 8 is viewed from the left to the right, it may be considered that there is a boundary at a position where the decrease in luminance first occurs. Thus, the edge search is performed in the direction from the center of the well toward the periphery. Then, the first detected edge is validated.
  • the peripheral portion there can be a change from high luminance to low luminance and a change from low luminance to high luminance. If the direction of the luminance change is known in the target sample, only one of the edge that changes from high luminance to low luminance and the edge that changes from low luminance to high luminance is detected based on that knowledge. You may do it.
  • black circles attached to the horizontal axis of the graph indicate the positions of the edges specified by the edge detection.
  • the edge in the search region R6 is an edge having a relatively small luminance change and a low edge strength.
  • the luminance change is gradual, and no edge is detected.
  • the image pattern in the search area is compared with the image pattern in another search area adjacent to the search area in the circumferential direction (step S106).
  • the image pattern at the peripheral edge of the well changes substantially slowly in the circumferential direction. Therefore, if the interval between search areas in the circumferential direction is appropriately set, the difference in image pattern between adjacent search areas does not become so large. For this reason, it is considered that the position of the boundary between the effective area A1 and the invalid area (hereinafter sometimes simply referred to as “boundary position”) does not differ greatly between adjacent search areas.
  • the image pattern changes slowly.
  • the similarity is considered to be the highest. In other words, it can be said that the shift amount when the similarity of the image pattern is the highest represents the difference in the boundary position between the two search areas.
  • the shift amount when the similarity of the image pattern becomes the highest between the adjacent search areas is obtained, it is possible to grasp how the boundary position changes between the two search areas.
  • the concept of one-dimensional (or two-dimensional) pattern matching using the other image pattern as a template can be applied to one image pattern. That is, a difference for each pixel from one image pattern is obtained while shifting the other image pattern pixel by pixel.
  • the relative shift amount when the sum of the absolute values of the differences is the smallest represents the amount of change in the boundary position between both search areas.
  • the relative shift amount thus obtained is stored in the memory 145 (step S107).
  • the total value of the absolute values of the differences is used as a scale for evaluating the similarity of the image patterns, and the relative shift amount when it becomes the minimum is obtained.
  • other known pattern matching methods may be used for evaluating the similarity of image patterns.
  • FIG. 9A to 9C are diagrams showing examples of image pattern comparison.
  • FIG. 9A shows a comparative example between the two search areas R1 and R2. As can be seen from the figure, the difference decreases when the two patterns are superimposed while the image pattern in the search region R2 is shifted to the left by a certain amount. This suggests that the boundary position is moved to the right side (that is, the periphery of the well) in the search region R2 as compared to the search region R1. As shown in FIG. 8, the detected edge position also shows the same tendency, and it can be said that the edge position is a boundary position with high validity.
  • FIG. 9B shows a comparative example of the search region R3 in which an edge is detected and the search region R4 that is adjacent to the (+ ⁇ ) direction and in which no edge is detected.
  • the boundary position detected in the search region R3 indicates the boundary position, it can be estimated that the boundary position in the search region R4 is also at the same position.
  • FIG. 9C shows a comparative example between the search areas R4 and R5 where no edge is detected. Even in this case, for example, if the difference can be minimized by shifting the pattern of the search region R5 to the right by a certain amount, the shift amount at that time represents the amount of movement of the boundary position between the search regions. it is conceivable that. If the boundary position in the search region R4 can be estimated from the edge position in the adjacent search region R3 as described above, the boundary position of the search region R5 can be further estimated therefrom.
  • FIG. 10 is a diagram illustrating the result of pattern comparison between search areas.
  • the search area R0 is pattern-compared with the search area R1.
  • the search area R1 is compared with the search area R2.
  • one search region Rx is subjected to pattern comparison with another search region R (x + 1) adjacent in the (+ ⁇ ) direction, and a relative shift amount for minimizing the difference between the two is obtained.
  • x is a subscript representing the xth search area.
  • the search region R7 is pattern-compared with the search region R0 adjacent in the (+ ⁇ ) direction.
  • the search area R2 has an appropriate relative shift amount of one unit (for example, pixel unit) in the left direction with respect to the search area R1, and the search area R3 has a relative shift amount of one unit in the right direction with respect to the search area R2.
  • the search region R2 has a relative shift amount of ( ⁇ 1) with respect to the search region R1
  • the search region R3 has a relative shift amount of (+1) with respect to the search region R2. Then it can be expressed.
  • the relative shift amounts between adjacent search regions are integrated, the shift amount between two search regions that are not adjacent to each other can be expressed. This is referred to as “integrated shift amount”.
  • the integrated shift amount becomes information indicating the candidate position of the boundary in the circumferential direction.
  • FIG. 11A and FIG. 11B are diagrams showing the principle of specifying the boundary position from the obtained information.
  • each of the search regions R0 to R7 has a length of 9 pixels. That is, the edge positions and shift amounts shown in FIG. 11A are expressed in units of pixels. In FIG. 11B, one square represents one pixel.
  • the bar graph at the left end of FIG. 11B represents the image pattern of each search region R0 to R7 and the detected edge position.
  • Each image pattern has a shade corresponding to FIG. 7A.
  • a black circle mark represents the edge position.
  • the detected edge strength is shown.
  • an integrated shift amount indicating the transition of the boundary position is represented by a position on the bar graph.
  • the search area R4 there is no large luminance change and no edge is detected.
  • looking at the integrated shift amount it is shown that there is a boundary at the same position as the search region R3 one level above. Therefore, at this time, the same position as the boundary position of the search region R3 is regarded as the boundary position of the search region R4.
  • the integrated shift amount indicates that the boundary position is at a position one left side from the nearby search region. Therefore, the position suggested by the integrated shift amount is regarded as the boundary position.
  • the edge position does not coincide with the relationship of the boundary position between the neighboring search areas indicated by the integrated shift amount.
  • the detected edge position is not used as the boundary position as it is. That is, the position determined by the boundary position and the integrated shift amount in the search area in the vicinity, particularly the search area R7 where a strong edge is detected is set as the boundary position.
  • a strong edge is detected for the search region R7.
  • the relationship between the edge position and the edge position in the adjacent search region R0 also matches the relationship indicated by the integrated shift amount. Therefore, in this case, the edge position can be regarded as the boundary position.
  • FIG. 11B shows the determined boundary position.
  • a black circle indicates the boundary position estimated from the edge detection result.
  • White circles indicate the boundary positions that have been supplemented and corrected in consideration of the result of pattern comparison. It can be seen that the boundary position is set at a position where a transition from the uniform high-brightness region to the low-brightness region on the left side is achieved, and the boundary specifying purpose shown in FIG. 5A is achieved.
  • a search area where a strong edge is detected has a high probability that the edge position represents a boundary position.
  • the probability is higher.
  • such a strong edge has a strong influence on the specification of the boundary position in a nearby search region.
  • the boundary position is specified with more emphasis on the change state of the boundary position indicated by the integrated shift amount. That is, the boundary position is estimated from the boundary position determined in the vicinity of the search area based on the change mode of the boundary position indicated by the integrated shift amount.
  • the variable n represents the number of search areas to be set (8 in this example), and the variable x is a parameter for specifying one of them (that is, x is 0 ⁇ x ⁇ n). Integer that satisfies the relationship).
  • the left side Pl (x) represents the position of the pixel corresponding to the boundary in the xth search region Rx, and is a solution to be obtained by this calculation.
  • the right side Pe (x) represents the edge position detected in the x-th search region Rx as a pixel position, and S (x) represents the edge strength.
  • Gs (x) is the integrated shift amount of the search regions R0 to Rx.
  • the function M (x + k, n) is an abbreviation of the remainder calculation function.
  • M (x + k, n) mod (x + k + n, n) (Formula 2) It is represented by (Expression 2)
  • the right side is a function that returns the remainder when the value (x + k + n) is divided by the value n.
  • the position of the boundary between the valid area and the invalid area is specified in each of the search areas R0 to R7 (step S108).
  • Obtaining the boundary position in this way is equivalent to specifying the position of the black circle shown in FIG. 5A. Therefore, by obtaining an approximate curve that interpolates between these boundary positions (step S109), the boundary between the effective area and the invalid area can be specified over the entire circumference.
  • the approximation method can be appropriately selected from known methods. For example, if a mask is created based on the boundary thus specified, only the effective area A1 can be cut out from the original image.
  • the well plate 9 corresponds to the “container” of the present invention
  • the well 91 corresponds to the “concave” of the present invention
  • the imaging unit 13 functions as an “image acquisition unit” of the present invention.
  • the control unit 14, particularly the CPU 141 functions as the “control unit” of the present invention.
  • the interface unit 142 responsible for communication with the external device functions as the “image acquisition unit” of the present invention.
  • an image of the circular well 91 in the plan view is a processing target.
  • a so-called rounded rectangular shape in which four corners of a rectangle are rounded is also widely used.
  • the image processing of the above embodiment can be applied to such a well shape.
  • FIGS. 12A and 12B are diagrams showing an example of correspondence to an image of a rounded rectangular well. As shown by a broken line in FIG. 12A, a plurality of radial directions can be set radially from the approximate center of the image of the well W having a rounded rectangular cross section. Then, search areas R10 to R17 are set on each radius, and the boundary position in each search area can be specified by the same processing as described above.
  • the luminance value of each pixel of the original image is used as it is in the original image and each search area.
  • smoothing may be performed by appropriate filter processing. Thereby, the false detection resulting from the image and noise of the cell distributed in an effective area
  • information on minute changes in the boundary position may be lost.
  • the calculated value is used as it is for the detected edge position and relative shift amount.
  • smoothing may be performed between other calculation values adjacent in the radial direction and the circumferential direction.
  • local distortion may be removed by performing smoothing in the circumferential direction on the finally specified boundary position.
  • an edge having a strong edge strength in the vicinity range determined by the parameter m is configured to have a strong influence.
  • the magnitude of the distance from the search area in the circumferential direction is not reflected. Realistically, it is considered that the influence is reduced as the distance from the search area to be processed increases. From this, weighting according to the search distance k may be added to (Equation 1).
  • the relative shift amount that minimizes the image difference between the search areas is obtained.
  • the difference value that is, information on how similar (or apart) the two images are not used. It is considered that the higher the similarity between images between adjacent target regions, the higher the reliability of the information that the relative shift amount has. From this, for example, the shift amount may be weighted according to the matching score in pattern matching.
  • the edge position is the boundary position, while the edge For a search area whose intensity is smaller than a predetermined value or whose edge is not detected, a position obtained by correcting the position of the boundary of another search area adjacent in the circumferential direction according to the relative shift amount of the search area Position. According to such a configuration, a boundary position can be determined reliably and with high probability even in a search region where there is no sufficient strength edge.
  • the plurality of search areas can be set so that the distances from the virtual center set at the center of the recess are equal to each other. According to such a configuration, it is not necessary to consider the difference in distance from the virtual center in the comparison of the edge position and image content between the search areas. This simplifies processing. This is particularly effective when the shape of the recess is circular.
  • a plurality of search areas can be provided at equiangular intervals in the circumferential direction. According to such a configuration, when comparing the image contents of the search areas in the circumferential direction, there is no need to consider the difference in distance in the circumferential direction. As a result, the processing can be simplified.
  • the first edge can be detected by searching in the search area in the direction from the center toward the periphery.
  • the culture medium In the general case where the culture medium is injected into the concave portion, the culture medium is almost transparent, but the peripheral portion often appears darker than the central portion because light is scattered in various directions at the peripheral portion. From this, by searching for an edge from the central portion toward the peripheral portion, even if there are a plurality of locations corresponding to the edge in the search region, among them, the central effective region and the invalid region outside thereof Can be detected.
  • edge detection at least one of an edge changing from high luminance to low luminance and an edge changing from low luminance to high luminance may be detected.
  • the target edge is detected by detecting only one of the change from high luminance to low luminance and the change from low luminance to high luminance. It is possible to detect.
  • a curve that approximates the boundary can be specified based on the position of the boundary obtained for each search region. According to such a configuration, information representing the boundary position can be obtained over the entire circumference in the circumferential direction by interpolating between the boundary positions obtained discretely for each search region.
  • the present invention detects living cells and the like from images obtained by imaging cells and cell masses.
  • the present invention can be particularly suitably applied to the fields of medicine and biochemistry such as drug discovery screening.
  • Imaging device image processing device
  • Well plate container
  • Imaging unit image acquisition unit
  • Control part 91 Well (concave part)
  • C cell M medium R0-R7 search region

Abstract

本発明の画像処理方法は、画像内の周縁部の近傍に、周縁部に沿った周方向の位置が互いに異なり、凹部の中央から周縁部へ向かう径方向に延びる所定サイズの探索領域を複数設定する工程（Ｓ１０３）と、探索領域内でエッジ検出を実行し、検出されたエッジ位置およびエッジ強度を探索領域ごとに取得する工程（Ｓ１０４、Ｓ１０５）と、探索領域の各々について、周方向において当該探索領域と隣接する他の探索領域を、当該探索領域に対して径方向にシフトさせたときに画像パターンの類似度が最高となる相対シフト量を求める工程（Ｓ１０６、Ｓ１０７）と、一の探索領域内における境界の位置を、当該探索領域および周方向において近傍範囲にある探索領域それぞれのエッジ位置、エッジ強度および相対シフト量に基づき特定する工程（Ｓ１０８）とを備える。

Description

画像処理方法、画像処理装置、プログラムおよび記録媒体
　この発明は、容器の凹部に担持された培地を撮像した画像から、凹部の周縁部の無効領域とその内側の有効領域との境界を特定する画像処理技術に関するものである。
　細胞の解析には、ウェルプレートまたはマイクロプレート等と呼ばれる、複数のウェル（凹部）が設けられた平板状の容器が用いられる。解析対象物の細胞は、ウェル内に培地とともに保持される。そして、カメラにより細胞が撮像されて解析に供される。撮像の際、ウェルとその周囲が撮像される場合には、画像の中から、解析対象の細胞が含まれる有効領域であるウェル内部と、周縁部の無効領域との境界を精度よく検出する必要がある。
　これに関し、特許文献１には、マイクロプレートの試験ウェル壁境界を識別する方法が開示されている。特許文献１に記載の方法では、マイクロプレートの画像から、試験ウェルの壁境界の特徴が検出される。そして、壁境界の特徴を使用して、壁境界の候補エッジ画像が生成される。その候補エッジ画像が解析されて試験ウェルの外周境界の空間的位置が計算され、その情報を使用して内周境界が決定される。
特許第５９２０９９４号
　撮像時のウェル内には培養液等の液体が保持されている。このため、表面張力により液体の表面に、一般的には凹状のメニスカスが形成される。また、ウェル側壁面がテーパー形状を有している場合や、撮像方向に傾きがある場合等には、ウェルの側壁面が映り込むことがある。また、照明光の入射方向に傾きがある場合には、ウェルの周縁部に暗い影が生じることがある。さらに、ウェルの周縁部に気泡や細胞由来の付着物が付着している場合がある。
　これらに起因して、特許文献１の方法で特定される内周境界が、画像における有効領域と無効領域との境界を必ずしも的確に表していないケースがある。また、同じ原因により、ウェルの周縁部で境界が部分的に不明瞭となるケースや、境界の特徴を有するエッジが複数含まれるケース等も生じている。そのため、このように不明瞭な画像からでも、有効領域と無効領域との境界を確実に特定することのできる技術が求められている。
　この発明は上記課題に鑑みなされたものであり、培地を担持する容器の凹部を撮像した画像から、凹部の周縁部の無効領域とその内側の有効領域との境界を確実に、しかも精度よく特定することのできる技術を提供することを目的とする。
　この発明の一の態様は、培地を担持する容器の凹部を撮像した画像から、前記凹部の周縁部の無効領域とその内側の有効領域との境界を特定する画像処理方法であって、上記目的を達成するため、前記画像内の前記周縁部の近傍に、前記周縁部に沿った周方向の位置が互いに異なり、前記凹部の中央から前記周縁部へ向かう径方向に延びる所定サイズの探索領域を複数設定する工程と、前記探索領域内でエッジ検出を実行し、検出されたエッジ位置およびエッジ強度を前記探索領域ごとに取得する工程と、前記探索領域の各々について、前記周方向において当該探索領域と隣接する他の探索領域を、当該探索領域に対して前記径方向にシフトさせたときに画像パターンの類似度が最も高くなる相対シフト量を求める工程と、一の前記探索領域内における前記境界の位置を、当該探索領域および前記周方向において近傍範囲にある前記探索領域それぞれの前記エッジ位置、前記エッジ強度および前記相対シフト量に基づき特定する工程とを備えている。
　このように構成された発明では、画像中の凹部の周縁部近傍に、径方向に延びる探索領域が周方向に複数設定される。そして、探索領域内での径方向において求められたエッジ検出の結果と、周方向において求められた相対シフト量とに基づき、当該探索領域内での境界位置が特定される。
　探索領域内において強いエッジが検出されればそのエッジ位置が境界位置である蓋然性が高いと言えるが、誤検出の可能性もある。また、検出されたエッジの強度が低い、もしくは有意なエッジが見つからない場合には、他の方法で補う必要がある。この点に関し本発明では、周方向で近傍にある探索領域との画像内容の比較により、境界である可能性の高い位置を特定することができる。具体的には次の通りである。
　境界を不明瞭にする原因となる画像内の要素は、周方向にある程度の連続性を持って分布していると考えられる。したがって、互いに周方向において近傍にある複数の探索領域の間では、画像内容の変化は比較的緩やかである。このため境界の位置も緩やかに変化してゆくと考えられる。言い換えれば、有意なエッジが見つからない探索領域であっても、その近傍の他の探索領域において境界の位置がわかっていれば、その位置から推定して境界位置を求めることが可能である。
　２つの探索領域を径方向に相対シフトさせ、画像パターンの類似度が最も高くなるように両者の位置を合わせた場合を考える。このとき、２つの探索領域間では画像内容が類似しており、上記した連続性を考慮すれば、両者の境界の位置も概ね揃っていると言える。したがって、このときの相対シフト量は、２つの探索領域間での境界位置の変化量を示していることになる。この情報を用いれば、当該探索領域で明確なエッジが見つかっているか否かに関わらず、他の探索領域の情報から境界の位置を推定することができる。
　これらの情報を組み合わせて境界位置を特定することで、この発明では、周縁部の近傍に明確なエッジが見つからない場合であっても、周縁部の無効領域とその内側の有効領域との境界を確実に、しかも精度よく特定することが可能である。
　上記のように、本発明によれば、凹部の周縁部近傍に複数設定した探索領域の各々について、エッジ検出および隣接する探索領域との間で画像パターンの類似度が最も高くなる相対シフト量を求める処理を実行している。これらで得られる情報を組み合わせることで、周縁部の無効領域とその内側の有効領域との境界を確実に、しかも精度よく特定することができる。
　この発明の前記ならびにその他の目的と新規な特徴は、添付図面を参照しながら次の詳細な説明を読めば、より完全に明らかとなるであろう。ただし、図面は専ら解説のためのものであって、この発明の範囲を限定するものではない。
本発明に使用されるウェルプレートの一例を示す第１の図である。 本発明に使用されるウェルプレートの一例を示す第２の図である。 本実施形態における撮像装置の概略構成を示す図である。 撮像における問題点を説明する図である。 ウェルを撮像した画像の例を模式的に示す第１の図である。 ウェルを撮像した画像の例を模式的に示す第２の図である。 本実施形態における画像処理の原理を示す第１の図である。 本実施形態における画像処理の原理を示す第２の図である。 本実施形態における画像処理を示すフローチャートである。 基準点および探索領域を示す第１の図である。 基準点および探索領域を示す第２の図である。 各探索領域内の画像における輝度変化の例を示す図である。 画像パターン比較の例を示す第１の図である。 画像パターン比較の例を示す第２の図である。 画像パターン比較の例を示す第３の図である。 各探索領域間でのパターン比較の結果を例示する図である。 求められた情報から境界位置を特定する原理を示す第１の図である。 求められた情報から境界位置を特定する原理を示す第２の図である。 角丸矩形ウェルの画像への対応例を示す第１の図である。 角丸矩形ウェルの画像への対応例を示す第２の図である。
　以下、本発明の好適な実施形態について、図面を参照しつつ説明する。以下では、本発明の「画像処理装置」は、セットされたウェルプレートを撮像する撮像装置として説明する。そして、その撮像装置において、本発明の「画像処理方法」が実行されるものとして説明する。
　図１Ａおよび図１Ｂは本発明に使用されるウェルプレートの一例を示す図である。具体的には、図１Ａはウェルプレート９の上面図であり、図１Ｂはその斜視図である。ウェルプレート９は、複数のウェル９１を有する概ね板状の試料容器である。ウェルプレート９の材料には、例えば、光を透過する透明な樹脂が使用される。ウェルプレート９の上面には、複数のウェル９１が規則的に配列されている。ウェル９１は、培地とともに撮像対象物となる複数の細胞を保持する。本実施形態では、上面視におけるウェル９１の形状は、円形として説明する。ただし、ウェル９１の形状は、矩形、角丸矩形等の他の形状であってもよい。
　図２は本実施形態における撮像装置の概略構成を示す図である。この撮像装置１は、ウェルプレート９の上面に形成されたウェル９１と称される凹部に担持された培地中で培養される細胞、細胞コロニー、細菌等（以下、「細胞等」と称し参照符号Ｃを付す）の生試料を撮像する装置である。なお、この撮像装置１が対象とするウェルプレートのサイズやウェルの数はこれらに限定されるものではなく任意であり、例えば６ないし３８４穴のものが一般的に使用されている。また、複数ウェルを有するウェルプレートに限らず、例えばディッシュと呼ばれる平型の容器で培養された細胞等の撮像にも、この撮像装置１を使用することが可能である。
　ウェルプレート９の各ウェル９１には、培地Ｍとしての液体が所定量注入される。この液体中において所定の培養条件で培養された細胞等Ｃが、この撮像装置１の撮像対象物となる。培地は適宜の試薬が添加されたものでもよく、また液状でウェル９１に投入された後ゲル化するものであってもよい。この撮像装置１では、例えばウェル９１の内底面で培養された細胞等Ｃを撮像対象とすることができる。
　撮像装置１は、ウェルプレート９を保持するホルダ１１と、ホルダ１１の上方に配置される照明部１２と、ホルダ１１の下方に配置される撮像部１３と、これら各部の動作を制御するＣＰＵ１４１を有する制御部１４とを備えている。ホルダ１１は、試料を培地Ｍとともに各ウェル９１に担持するウェルプレート９の下面周縁部に当接してウェルプレート９を略水平姿勢に保持する。
　照明部１２は、ホルダ１１により保持されたウェルプレート９に向けて照明光を出射する。照明光の光源としては、例えば白色ＬＥＤ（Light Emitting Diode）を用いることができる。光源と適宜の照明光学系とを組み合わせたものが、照明部１２として用いられる。照明部１２により、ウェルプレート９に設けられたウェルＷ内の細胞等が上方から照明される。
　ホルダ１１により保持されたウェルプレート９の下方に、撮像部１３が設けられる。撮像部１３には、ウェルプレート９の直下位置に撮像光学系が配置されている。撮像光学系の光軸は鉛直方向に向けられている。図２は側面図であり、図の上下方向が鉛直方向を表す。
　撮像部１３により、ウェル９１内の細胞等が撮像される。具体的には、照明部１２から出射されウェル９１の上方から液体に入射した光が撮像対象物を照明する。ウェル９１底面から下方へ透過した光が、撮像部１３の対物レンズ１３１を含む撮像光学系を介して撮像素子１３２の受光面に入射する。撮像光学系により撮像素子１３２の受光面に結像する撮像対象物の像が、撮像素子１３２により撮像される。撮像素子１３２は、二次元の受光面を有するエリアイメージセンサ、例えばＣＣＤセンサまたはＣＭＯＳセンサである。
　撮像部１３は、制御部１４に設けられたメカ制御部１４６により、水平方向および鉛直方向に移動可能となっている。具体的には、メカ制御部１４６がＣＰＵ１４１からの制御指令に基づき駆動機構１５を作動させ、撮像部１３を水平方向に移動させる。これにより、撮像部１３がウェル９１に対し水平方向に移動する。また鉛直方向への移動によりフォーカス調整がなされる。撮像視野内に１つのウェル９１の全体が収められた状態で撮像されるときには、メカ制御部１４６は、撮像光学系の光軸が当該ウェル９１の中心と一致するように、撮像部１３を水平方向に位置決めする。
　また、駆動機構１５は、撮像部１３を水平方向に移動させる際、図において点線矢印で示すように、照明部１２を撮像部１３と一体的に移動させる。すなわち、照明部１２は、その光中心が撮像部１３の光軸と略一致するように配置されている。撮像部１３が水平方向に移動するとき、これと連動して照明部１２が移動する。これにより、どのウェル９１が撮像される場合でも、当該ウェル９１の中心および照明部１２の光中心が常に撮像部１３の光軸上に位置することとなる。その結果、各ウェル９１に対する照明条件を一定にして、撮像条件を良好に維持することができる。
　撮像部１３の撮像素子１３２から出力される画像信号は、制御部１４に送られる。すなわち、画像信号は、制御部１４に設けられたＡＤコンバータ（Ａ／Ｄ）１４３に入力されてデジタル画像データに変換される。ＣＰＵ１４１は、受信した画像データに基づき適宜画像処理を実行する。制御部１４はさらに、画像メモリ１４４と、メモリ１４５とを有している。画像メモリ１４４は画像データを記憶保存し、メモリ１４５はＣＰＵ１４１が実行すべきプログラムやＣＰＵ１４１により生成されるデータを記憶保存する。画像メモリ１４４とメモリ１４５とは一体のものであってもよい。ＣＰＵ１４１は、メモリ１４５に記憶された制御プログラムを実行することにより、後述する各種の演算処理を行う。
　その他に、制御部１４には、インターフェース（ＩＦ）部１４２が設けられている。インターフェース部１４２は、ユーザからの操作入力の受け付けや、ユーザへの処理結果等の情報提示を行うユーザインターフェース機能と、通信回線を介して接続された外部装置との間でのデータ交換を行う機能とを有する。ユーザインターフェース機能を実現するために、インターフェース部１４２には、ユーザからの操作入力を受け付ける入力受付部１４７と、ユーザへのメッセージや処理結果などを表示出力する表示部１４８とが接続されている。
　なお、制御部１４は、上記したハードウェアを備えた専用装置であってもよい。また、パーソナルコンピュータやワークステーション等の汎用処理装置に、後述する処理機能を実現するための制御プログラムを組み込んだものであってもよい。すなわち、この撮像装置１の制御部１４として、汎用のコンピュータ装置を利用することが可能である。汎用処理装置を用いる場合、撮像装置１には、撮像部１３等の各部を動作させるために必要最小限の制御機能が備わっていれば足りる。
　図３は撮像における問題点を説明する図である。より具体的には、図３は培地Ｍを担持した状態のウェル９１の側面断面を示している。同図に示すように、ウェル９１の側壁面９２は、上部から底部に向けて断面積が漸減するテーパー形状となっていることがある。また、ウェル９１に注入されている培地Ｍがウェル側壁面９２と接触する部分で、メニスカスによる盛り上がりが生じる。また、照明光Ｌが鉛直方向に対し斜めに入射することで、ウェル側壁面９２の影が液面に映り込むことがある。さらに、ウェル９１の側壁面９２と底面９３との接続部分に、細胞由来の老廃物等が付着していることがある。
　このような状態を取り得るウェル９１が、矢印Ｄ１で示すように底面９３側から、または矢印Ｄ２で示すように上部開口側から撮像されるとき、上記した種々の原因により、ウェル９１の周縁部において輪郭が不明瞭となることがある。
　図４Ａおよび図４Ｂはウェルを撮像した画像の例を模式的に示す図である。図４Ａに示すように、ウェルプレート上面９ａの一部を含んでウェル９１を撮像した画像ＩＭにおいては、特にウェル９１の周縁部付近において、上記した原因により不規則な濃淡が現れている。画像ＩＭにおいて、解析対象である細胞等が含まれるのは中央部の高輝度で略一様な領域Ａ１である。ウェル側壁面のテーパーやメニスカス等により暗く映った領域Ａ２や、周縁部付近の付着物等により中央部と異なる輝度を持つ領域Ａ３については、解析エラーの原因となるおそれがあるので除外する必要がある。このため、画像から、中央部の領域Ａ１とそれ以外の領域とを区画する境界の位置を特定する必要がある。
　本明細書では、ウェル中央部の、比較的高輝度で一様な領域Ａ１を、解析対象となる細胞等を当該領域から良好に抽出することのできる「有効領域」と称する。一方、ウェル周縁部の、不規則な濃淡を含み解析に利用できない領域Ａ２，Ａ３を「無効領域」と称する。そうすると、求められるのは、画像から有効領域と無効領域との境界を特定することである。
　ここで、図４Ａに示すように、画像内でウェル９１の仮想的な中心とみなせる点Ｏを原点とする。そして、原点Ｏから周縁部に向かう径方向を動径ｒ方向、原点Ｏ回りの回転方向を偏角θ方向とする極座標系（ｒ，θ）を設定する。偏角θの起点については、例えば画像において原点Ｏから上向きの方向をθ＝０とすることができる。
　種々の偏角θに対して、原点Ｏから動径方向における有効領域Ａ１と無効領域との境界までの距離を符号Ｒで表す。そうすると、図４Ｂに示すように、有効領域Ａ１と無効領域との境界は、偏角θに対し距離Ｒをプロットしたプロファイルによって表すことができる。言い換えれば、このプロファイルを求めることにより、画像における境界の位置を特定したことになる。次に説明する本実施形態の画像処理は、このプロファイルを求めるためのものである。まずその基本的な考え方を説明し、その後で具体的な処理内容について説明する。
　図５Ａおよび図５Ｂは本実施形態における画像処理の原理を示す図である。図５Ａに破線で示すように、原点Ｏから放射状に延びる複数の動径方向を設定することができる。ここでは原点Ｏから互いに等角度間隔で８つの動径方向が設定されるが、その数は任意である。この数が多いほどより複雑な形状の境界にも対応可能となるが、処理に要する時間は長くなる。また等角度間隔である必要は必ずしもないが、演算処理の便宜からは、このような規則性を持たせておくことが有利である。
　こうして設定された各動径上で、有効領域Ａ１と無効領域との境界が検出される。図４Ｂに示すように、検出された境界位置の原点Ｏからの距離Ｒをθに対してプロットし、実線で示す滑らかな曲線で結ぶと、図に点線で示す目的のプロファイルに近い曲線が得られる。したがって、各動径上で境界の位置が特定できれば、適宜の曲線近似によって必要なプロファイルを得ることが可能である。以下、その具体的処理内容の一例を説明する。
　図６は本実施形態における画像処理を示すフローチャートである。この画像処理は、本発明に係る「画像処理方法」の一実施形態である。この処理は、撮像装置１の制御部１４に設けられたＣＰＵ１４１が、予めメモリ１４５に記憶されている制御プログラムを実行して装置各部に所定の動作を行わせることにより実現される。なお、この処理は、画像データが予め準備されていれば、一般的な構成のコンピュータ装置でも実現可能なものである。その意味において、本発明は、コンピュータにより実行されるプログラムとして、またそれを記憶した記録媒体として実現することが可能である。
　最初に、ウェルを撮像した画像データが取得される（ステップＳ１０１）。この撮像装置１は撮像機能を有しており、ホルダ１１にセットされたウェルプレート９に設けられたウェル９１を撮像することにより画像データを取得することが可能である。また、外部の撮像装置あるいはストレージ装置からインターフェース部１４２を介して与えられる画像データを取得する態様であってもよい。
　次に、画像に基準点を設定するための基準位置情報が取得される（ステップＳ１０２）。基準位置情報は、画像内におけるウェル周縁部の概略位置を特定するための情報であり、周縁部の厳密な位置を示すものである必要はない。例えばウェル９１の開口サイズや形状などに関する設計データから予め作成しておくことが可能である。このような情報は予めメモリ１４５に記憶されていてもよく、また必要に応じてユーザの指示入力によって与えられてもよい。また、取得された画像に対する簡易的な画像処理により、ウェル９１の中心位置や直径などの概算値が求められる態様でもよい。また、撮像時の光軸とウェル中心とが概ね一致するとの前提の下、画像の中心が仮想的にウェルの中心とされてもよい。
　こうして与えられた基準位置情報に基づき、画像内に複数の基準点が設定される。これとともに、基準点を含む探索領域が各基準点のそれぞれについて設定される（ステップＳ１０３）。
　図７Ａおよび図７Ｂは基準点および探索領域を示す図である。ここでは、原点Ｏの周りに等角度間隔で８つの基準点Ｐ０～Ｐ７が設定される。しかしながら、基準点の数および配置はこれに限定されない。ただし、基準点はウェル９１の周縁部の近傍で、周方向には互いに位置を異ならせて複数設けられることが必要である。周縁部の全周にわたって精度よく境界位置を特定するためには、周方向に分散して基準点が設けられることが好ましい。
　まず基準点Ｐ０～Ｐ７の設定について説明する。図７Ａに破線で示すように、基準位置情報に基づき仮設定された原点Ｏに対し複数の（ここでは８つの）動径方向が選択される。そして、各動径上でウェル９１の周縁部の近傍に位置する点が、基準点Ｐ０～Ｐ７とされる。基準点をウェル９１の周縁部の位置に一致させる必要はない。後の演算を簡単にするためには、各基準点Ｐ０～Ｐ７は原点Ｏからの距離が互いに等しいことが好ましい。
　次に、各動径上で、基準点を含み、かつ、動径方向つまり径方向に延びる探索領域Ｒ０～Ｒ７が設定される。例えば基準点Ｐ０に対応する探索領域Ｒ０は、図７Ｂに示すように、基準点Ｐ０を中心として径方向に所定の長さを有するライン画像である。探索領域Ｒ０の幅は例えば１画素分とすることができる。探索領域Ｒ０の長さは、当該動径方向における有効領域Ａ１と無効領域との境界が探索領域内に含まれるように設定される。すなわち、予想される境界位置の変動を確実にカバーすることができるように、基準点Ｐ０の位置およびそこから延びる探索領域Ｒ０の長さが設定されればよい。他の基準点Ｐ１～Ｐ７および探索領域Ｒ１～Ｒ７についても同様である。
　なお、基準点は探索領域の中心である必要は必ずしもない。例えば基準点がウェル９１の外周部より外側に設定され、そこから探索領域が原点Ｏ方向に延びていてもよい。また、基準点の情報は後の処理に使用されないので、基準点を定めることなく各動径方向の探索領域が設定されてもよい。この場合には、原点Ｏから各探索領域までの距離が互いに等しいことが望ましい。また、探索領域の幅は１画素分に限定されず、複数画素分の幅であってもよい。
　このようにして設定された各探索領域Ｒ０～Ｒ７のそれぞれについて、エッジ検出が実行される（ステップＳ１０４）。そして、画像内容が急峻な変化を示すエッジの位置およびエッジ強度が求められる。各探索領域Ｒ０～Ｒ７のエッジ位置およびエッジ強度は、メモリ１４５に記憶される（ステップＳ１０５）。
　エッジ検出のアルゴリズムとしては特に限定されず、公知のものを用いることができる。ただし、エッジ強度が所定値以上の明確なエッジが検出されるものであり、よりエッジ強度の弱い輝度変化しかない場合にはエッジなしと判定されることが望ましい。また、各探索領域内でのエッジ検出は、図７Ｂに示すように、ウェル９１の中心側から周縁側に向けて探索が行われることが望ましい。
　図８は各探索領域内の画像における輝度変化の例を示す図である。図７Ａに例示する画像ＩＭにおいて設定された各探索領域Ｒ０～Ｒ７のそれぞれについて、ウェル中心側から周縁側へ向かう輝度変化を模式的に描画すると、図８のようになる。いずれの領域においても、ウェル中央側（図において左方）で培地Ｍの輝度に対応する高輝度の領域が広がっており、周縁側（図において右方）で輝度の低下が起こっている。ウェル周縁部の状態により、輝度低下が生じる位置やその変化態様はまちまちである。
　求めるべき有効領域Ａ１と無効領域との境界は、培地Ｍ由来の輝度が維持されているウェル中央部の領域と、より大きな輝度変動のある領域とを隔てるものである。したがって、図８の各グラフを左から右へ見たときに最初に輝度の低下が起こり始める位置に、境界があると考えてよい。このことから、エッジの探索は、ウェル中央部から周縁部に向かう方向に実行される。そして、最初に検出されたエッジが有効とされる。
　なお、周縁部での輝度変化の態様としては、高輝度から低輝度への変化と、低輝度から高輝度への変化とがあり得る。対象となる試料において輝度変化の方向が既知である場合には、その知見に基づき、高輝度から低輝度へ変化するエッジ、および低輝度から高輝度へ変化するエッジのいずれか一方のみを検出するようにしてもよい。
　図８においてグラフの横軸に付した黒丸印は、エッジ検出により特定されるエッジの位置を示している。探索領域Ｒ０～Ｒ３，Ｒ７においては急峻な輝度低下がありこの位置がエッジと判断される。一方、探索領域Ｒ６におけるエッジは輝度変化が比較的小さく、エッジ強度の弱いエッジである。また、探索領域Ｒ４，Ｒ５では輝度変化が緩やかでありエッジは検出されない。
　次に、各探索領域について、当該探索領域内の画像パターンと、周方向において当該探索領域に隣接する他の１つの探索領域内の画像パターンとが比較される（ステップＳ１０６）。図７Ａに示されるように、ウェル周縁部における画像パターンは、周方向において概ね緩やかに変化する。したがって、周方向における探索領域間の間隔が適切に設定されていれば、隣接する探索領域間での画像パターンの差異もさほど大きくはならない。このため、隣接する探索領域の間では、有効領域Ａ１と無効領域との境界の位置（以下、単に「境界位置」ということがある）は大きく異ならないと考えられる。
　一方の探索領域に対して他方の探索領域を動径方向に相対シフトさせながら画像パターンを比較したとき、画像パターンが緩やかに変化するという性質から、境界位置が概ね同じになるときに画像パターンの類似度が最も高くなると考えられる。言い換えれば、画像パターンの類似度が最も高くなるときのシフト量が、両探索領域の間での境界位置の差を表していると言える。
　そこで、隣接する探索領域間で画像パターンの類似度が最も高くなるときのシフト量を求めれば、両探索領域の間で境界位置がどのように推移しているかを把握することができる。類似度については、一方の画像パターンに対し他方の画像パターンをテンプレートとする一次元（または二次元）パターンマッチングの考え方を適用することができる。すなわち、他方の画像パターンを１画素ずつシフトさせながら一方の画像パターンとの画素ごとの差分を求める。差分の絶対値の合計値が最も小さくなるときの相対シフト量が、両探索領域間での境界位置の変化量を表す。この関係を用いれば、一方の境界位置から他方の境界位置を推定することが可能となる。こうして求められた相対シフト量は、メモリ１４５に記憶される（ステップＳ１０７）。ここでは画像パターンの類似度を評価する尺度として差分の絶対値の合計値を用い、これが最小となるときの相対シフト量を求めている。しかしながら、画像パターンの類似度の評価には、他の公知のパターンマッチング手法が用いられてもよい。
　図９Ａないし図９Ｃは画像パターン比較の例を示す図である。図９Ａは２つの探索領域Ｒ１，Ｒ２間の比較例を示す。図からわかるように、探索領域Ｒ２の画像パターンを一定量左にシフトさせた状態で両パターンを重ね合わせると差分が小さくなる。このことから、探索領域Ｒ２では探索領域Ｒ１と比較して境界位置が右側（すなわちウェル周縁側）に移動していることが示唆される。図８に示すように、検出されたエッジの位置も同様の傾向を示しており、このエッジ位置が境界位置である妥当性が高いと言える。
　このようなパターン比較による境界位置の推定は、エッジが検出されなかった場合にも有効に機能する。例えば、図９Ｂはエッジが検出された探索領域Ｒ３と、これと（＋θ）方向に隣接し、エッジが検出されなかった探索領域Ｒ４との比較例を示している。この場合、両者を重ねるとシフト量ゼロでも高い相関がある。このことから、探索領域Ｒ３，Ｒ４の間では境界位置の移動は少ないと考えられる。探索領域Ｒ３で検出されたエッジ位置が境界位置を示すものであるとすれば、探索領域Ｒ４における境界位置も同じ位置にあると推定できる。
　また、図９Ｃはいずれもエッジが検出されなかった探索領域Ｒ４，Ｒ５間での比較例を示す。この場合でも、例えば探索領域Ｒ５のパターンを一定量右方向へシフトさせることで差分を最小とすることができれば、そのときのシフト量が両探索領域間での境界位置の移動量を表していると考えられる。そして、上記のように探索領域Ｒ４における境界位置が、隣接する探索領域Ｒ３でのエッジ位置から推定可能であれば、そこからさらに探索領域Ｒ５の境界位置も推定することができる。
　このように、隣接する探索領域間でのパターン比較により、明確なエッジが含まれるか否かに関わらず、両探索領域間での境界位置の移動量を推定することが可能である。したがって、エッジ検出結果では境界位置が特定されない探索領域についても、その周辺の探索領域における境界位置から境界位置を推定することが可能である。
　図１０は各探索領域間でのパターン比較の結果を例示する図である。探索領域Ｒ０は探索領域Ｒ１とパターン比較される。また、探索領域Ｒ１は探索領域Ｒ２とパターン比較される。同様に、１つの探索領域Ｒｘは、（＋θ）方向に隣接する他の探索領域Ｒ（ｘ＋１）とパターン比較され、両者の差分を最小とするための相対シフト量が求められる。ここでｘは第ｘ番目の探索領域を表す添え字である。探索領域Ｒ７は、（＋θ）方向に隣接する探索領域Ｒ０とパターン比較される。
　この結果では、探索領域Ｒ２は探索領域Ｒ１に対し左方向に適宜の１単位（例えば画素単位）の相対シフト量となり、探索領域Ｒ３は探索領域Ｒ２に対し右方向に１単位の相対シフト量となる。例えば図において右方向を正とすれば、探索領域Ｒ２は探索領域Ｒ１に対し（－１）の相対シフト量を有し、探索領域Ｒ３は探索領域Ｒ２に対し（＋１）の相対シフト量を有すると表現することができる。隣接探索領域間の相対シフト量を積算してゆけば、隣接関係にない２つの探索領域間でのシフト量を表すことができる。これを「積算シフト量」と称することとする。積算シフト量は、周方向における境界の候補位置を指標する情報となる。
　図１１Ａおよび図１１Ｂは求められた情報から境界位置を特定する原理を示す図である。ここまで説明した処理により、図１１Ａに示すように、探索領域Ｒ０～Ｒ７のそれぞれについて、検出されたエッジの位置および強度と、隣接探索領域との間の相対シフト量と、相対シフト量の積算値として求まる積算シフト量とが求められ、これらはメモリ１４５に記憶されている。これらから、各探索領域Ｒ０～Ｒ７における境界位置が決定される。
　これらの結果から境界位置を求める方法は、図１１Ａの表を図１１Ｂに示すように図示することによって理解しやすくなる。なお、ここでは説明を単純化して原理をより理解しやすくするために、各探索領域Ｒ０～Ｒ７がそれぞれ９画素分の長さを有するものとする。すなわち、図１１Ａに示されるエッジ位置やシフト量は、画素単位で表される。図１１Ｂでは、正方形１つが１つの画素を表している。
　図１１Ｂ左端のバーグラフ状の図は、各探索領域Ｒ０～Ｒ７の画像パターンと、検出されたエッジ位置とを表したものである。それぞれの画像パターンは図７Ａに対応する濃淡を有している。黒丸印がエッジ位置を表している。その右側には検出されたエッジ強度が示される。さらにその右側には、境界位置の推移を示す積算シフト量がバーグラフ上の位置で表されている。
　これらを上から順に見てゆくと、探索領域Ｒ０から探索領域Ｒ３まではいずれ強いエッジが検出されている。しかも、検出されたエッジ位置の変化と、積算シフト量で表される境界位置の変化とが一致している。このことから、これらのエッジ位置が、有効領域と無効領域との境界の位置を表している蓋然性が高いと言える。したがって、これらのエッジ位置については、そのまま境界位置とみなすことができる。
　次に、探索領域Ｒ４では大きな輝度変化がなくエッジが検出されていない。このとき積算シフト量を見ると、１つ上の探索領域Ｒ３と同じ位置に境界があることが示されている。したがってこのとき、探索領域Ｒ３の境界位置と同じ位置が、探索領域Ｒ４の境界位置とみなされる。また、探索領域Ｒ５でもエッジが検出されていないが、積算シフト量は、近傍の探索領域よりも１つ左側の位置に境界位置があることを示している。したがって、積算シフト量により示唆される位置が境界位置とみなされる。
　探索領域Ｒ６ではエッジが検出されているが、その強度は他のエッジよりも弱い。またそのエッジ位置も、積算シフト量で示される近傍探索領域間の境界位置の関係と一致しない。この場合には、検出されたエッジ位置はそのまま境界位置とされない。すなわち、近傍の探索領域、特に強いエッジが検出されている探索領域Ｒ７における境界位置と積算シフト量とで決まる位置が、境界位置とされる。
　探索領域Ｒ７については強いエッジが検出されている。そのエッジ位置と、隣接する探索領域Ｒ０におけるエッジ位置との関係についても、積算シフト量で示される関係と一致している。したがって、この場合はエッジ位置を境界位置とみなすことができる。
　図１１Ｂの右端は確定された境界位置を示したものである。黒丸印はエッジ検出結果から推定された境界位置を示している。白丸印はパターン比較の結果を加味して補足・修正された境界位置を示している。左側の一様かつ高輝度の領域から低輝度の領域に遷移する位置に境界位置が設定されており、図５Ａに示した境界特定の目的が達成されていることがわかる。
　このように、上記の考え方によって各探索領域の境界位置を確定させてゆくことにより、十分な強度のエッジが検出されない部分についても、ウェル中央側の高輝度の領域（有効領域）と周縁部の低輝度の領域（無効領域）との境界を精度よく特定することができる。
　上記の境界特定方法の原理を整理すると以下の通りである。
（１）強いエッジが検出されている探索領域については、そのエッジ位置が境界位置を表す蓋然性が高いものとする。特に、近傍の探索領域の間でのエッジ位置の変化が積算シフト量で示される境界位置の変化とよく合致している場合には、その蓋然性がより高いものとする。また、このような強いエッジは、近傍の探索領域における境界位置の特定にも強い影響を及ぼすようにする。
（２）弱いエッジが検出されている探索領域およびエッジが検出されていない探索領域については、積算シフト量で示される境界位置の変化態様をより重視して、境界位置が特定される。すなわち、積算シフト量で示される境界位置の変化態様に基づき、当該探索領域の近傍で確定される境界位置から、境界位置が推定される。
　詳しい説明は省略するが、このような原理は、例えば下記の（式１）に基づく演算によって具現化することが可能である。
Figure JPOXMLDOC01-appb-M000001
　（式１）において、変数ｎは設定される探索領域の数（この例では８）を表し、変数ｘはそのうち１つを特定するためのパラメータである（すなわち、ｘは０≦ｘ＜ｎの関係を満たす整数）。左辺Ｐｌ（ｘ）は、第ｘ番目の探索領域Ｒｘにおいて境界に対応する画素の位置を表し、この演算によって求めようとする解である。また、右辺Ｐｅ（ｘ）は第ｘ番目の探索領域Ｒｘにおいて検出されたエッジ位置を画素位置で表したものであり、Ｓ（ｘ）はそのエッジ強度である。
　また、Ｇｓ（ｘ）は探索領域Ｒ０～Ｒｘの積算シフト量である。また、関数Ｍ（ｘ＋ｋ，ｎ）は剰余演算関数を略記したものであり、正確には次式（式２）：

　　Ｍ（ｘ＋ｋ，ｎ）＝ｍｏｄ（ｘ＋ｋ＋ｎ，ｎ）　…　（式２）
により表される。（式２）右辺は、値（ｘ＋ｋ＋ｎ）を値ｎで除したときの剰余を返す関数である。
　また、変数ｍは、１つの探索領域Ｐｘの境界位置を特定する際に参照される近傍の探索領域の数を示す整数パラメータである。具体的には、当該探索領域Ｒｘに対し、（－θ）方向および（＋θ）方向にそれぞれ幾つの探索領域を「近傍」とみなすかを表す。例えばｍ＝１である場合、当該探索領域と、周方向においてこれを挟む１つずつの探索領域Ｒ（ｘ－１），Ｒ（ｘ＋１）とが近傍範囲とみなされる。これらの探索領域について求められた情報から、中央の探索領域Ｒｘにおける境界位置が特定される。
　パラメータｍを大きくすると、１つの探索領域の境界位置に、当該探索領域から離れた探索領域の情報も反映されることになる。このため、ノイズや誤検出による影響を軽減することができる。その反面、局所的な境界位置の変動が打ち消されてしまうという問題がある。周方向における探索領域の配置ピッチ（これはパラメータｎが大きいほど小さくなる）が十分に小さければ、このような問題を生じることなくパラメータｍを大きくすることが可能である。これらのことから、ウェル周縁部に現れる輝度の不規則性の程度や、それをどこまで細かく検出する必要があるかに応じて、パラメータｍ，ｎが設定されることが望ましい。またこれらを大きくすることで処理時間も長くなるので、この点も考慮してパラメータが設定される必要がある。
　上記の原理に基づき、各探索領域Ｒ０～Ｒ７のそれぞれにおいて、有効領域と無効領域との境界の位置が特定される（ステップＳ１０８）。こうして境界位置を求めることは、図５Ａに示す黒丸印の位置を特定するのと等価である。したがって、これらの境界位置の間を補間する近似曲線を求めることで（ステップＳ１０９）、周方向の全周にわたって有効領域と無効領域との境界を特定することができる。近似方法については公知のものから適宜選択可能である。そして、例えばこうして特定された境界に基づきマスクを作成すれば、原画像から有効領域Ａ１のみを切り出すことが可能となる。
　以上説明したように、上記実施形態においては、ウェルプレート９が本発明の「容器」に相当しており、ウェル９１が本発明の「凹部」に相当している。また、上記実施形態の撮像装置１においては、撮像部１３が本発明の「画像取得部」として機能している。また、制御部１４、特にＣＰＵ１４１が本発明の「制御部」として機能している。なお、原画像データを外部装置から取得する態様においては、外部装置との通信を担うインターフェース部１４２が、本発明の「画像取得部」として機能することになる。
　なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では平面視において円形のウェル９１の画像を処理対象としている。しかしながら、ウェルの断面形状としては、この他にも矩形の四隅を丸めた、いわゆる角丸矩形のものも広く用いられている。上記実施形態の画像処理は、このような形状のウェルにも対応可能なものである。
　図１２Ａおよび図１２Ｂは角丸矩形ウェルの画像への対応例を示す図である。図１２Ａに破線で示すように、角丸矩形の断面形状を有するウェルＷの画像に対しても、その概略中心から放射状に複数の動径方向を設定することができる。そして、各動径上にそれぞれ探索領域Ｒ１０～Ｒ１７を設定し、上記と同様の処理によって各探索領域内での境界位置を特定することができる。
　各探索領域を中心から等距離に配置した場合、図１２Ｂに示すように、理想的な状態でも中心からウェル周縁部までの距離Ｒが周期的に変動する。したがって特定される境界の位置もうねることになるが、処理自体は上記と同じとすることができる。ただし、全周にわたって境界位置を表す近似曲線を精度よく求めるためには、探索領域の数については円形の場合より多くすることが好ましい。
　また、上記実施形態では、原画像および各探索領域においては原画像の各画素の輝度値がそのまま用いられている。しかしながら、適宜のフィルタ処理によって平滑化がなされてもよい。これにより、有効領域内に分布する細胞の像やノイズに起因する誤検出を低減することができる。ただし、境界位置の微小な変化の情報が失われる恐れがあることに留意する必要がある。
　また例えば、検出されたエッジ位置や相対シフト量についても計算値がそのまま使用されている。しかしながら、径方向および周方向において隣接する他の計算値との間で平滑化が行われてもよい。また例えば、最終的に特定された境界位置についても、周方向に平滑化を行うことで局所的な歪みが除去されるようにしてもよい。
　また、上記実施形態の（式１）では、パラメータｍで定まる近傍範囲のうち強いエッジ強度を持つエッジが強い影響力を持つように構成されている。しかしながら、周方向における当該探索領域からの距離の大小は反映されていない。現実的には、処理対象の探索領域から離れるほど与える影響は小さくなると考えられる。このことから、（式１）に探索距離ｋに応じた重み付けが加えられてもよい。
　また例えば、上記実施形態のパターン比較においては、探索領域間で画像の差分が最小となる相対シフト量が求められている。しかしながら、その差分値、つまり両画像がどの程度類似しているか（あるいは乖離しているか）の情報は用いられていない。隣接する対象領域間で画像の類似度が高いほど、相対シフト量が持つ情報の信頼性は高いと考えられる。このことから、例えばパターンマッチングにおけるマッチングスコアに応じて、シフト量に重み付けが加えられるようにしてもよい。
　以上、具体的な実施形態を例示して説明してきたように、本発明においては、エッジ強度が所定値より大きいエッジが検出された探索領域については、エッジ位置を境界の位置とする一方、エッジ強度が所定値より小さいまたはエッジが検出されない探索領域については、周方向において隣接する他の探索領域の境界の位置を当該探索領域の相対シフト量に応じて補正した位置を、当該探索領域の境界の位置とすることができる。このような構成によれば、十分な強度のエッジが存在しない探索領域についても、確実にかつ高い蓋然性で境界位置を定めることができる。
　また、複数の探索領域は、凹部の中央部に設定した仮想中心からの距離が互いに等しくなるように設定することができる。このような構成によれば、各探索領域間でのエッジ位置や画像内容の比較において仮想中心からの距離の違いを考慮する必要がない。そのため処理が簡単になる。特に凹部の形状が円形である場合に有効である。
　またこの場合、複数の探索領域は、周方向において等角度間隔で設けることができる。このような構成によれば、周方向において各探索領域の画像内容を比較するときに、それらの周方向における距離の違いを考慮する必要がない。これにより、やはり処理を簡単にすることができる。
　また、エッジ検出では、探索領域内を中央から周縁部へ向かう方向に探索して最初のエッジを検出することができる。凹部に培地が注入された一般的なケースでは、培地は透明に近い一方、周縁部では光が種々の方向に散乱するため周縁部が中央部よりも暗く映ることが多い。このことから、中央部から周縁部に向けてエッジを探索することで、仮に探索領域内にエッジに該当する箇所が複数あったとしても、それらのうち中央の有効領域とその外側の無効領域とのエッジを検出することができる。また、エッジ検出では、高輝度から低輝度へ変化するエッジ、低輝度から高輝度へ変化するエッジの少なくとも一方が検出されてもよい。特に、培地から周縁部に向かう方向における輝度変化が既知である場合には、高輝度から低輝度への変化、低輝度から高輝度への変化のいずれかのみの検出により、目的とするエッジを検出することが可能である。
　また、この発明では、探索領域ごとに求められた境界の位置に基づき、境界を近似する曲線を特定することができる。このような構成によれば、各探索領域について離散的に求められた境界位置の間を補間して、周方向の全周にわたって境界位置を表す情報を得ることができる。
　以上、特定の実施例に沿って発明を説明したが、この説明は限定的な意味で解釈されることを意図したものではない。発明の説明を参照すれば、本発明のその他の実施形態と同様に、開示された実施形態の様々な変形例が、この技術に精通した者に明らかとなるであろう。故に、添付の特許請求の範囲は、発明の真の範囲を逸脱しない範囲内で、当該変形例または実施形態を含むものと考えられる。
　この発明は、細胞、細胞塊等を撮像した画像から生きている細胞等を検出するものである。例えば創薬スクリーニングなど、医学や生化学の分野に対し、本発明の特に好適に適用可能である。
　１　撮像装置（画像処理装置）
　９　ウェルプレート（容器）
　１３　撮像部（画像取得部）
　１４　制御部
　９１　ウェル（凹部）
　Ｃ　細胞
　Ｍ　培地
　Ｒ０～Ｒ７　探索領域

Claims (10)

  1. 　培地を担持する容器の凹部を撮像した画像から、前記凹部の周縁部の無効領域とその内側の有効領域との境界を特定する画像処理方法において、
    　前記画像内の前記周縁部の近傍に、前記周縁部に沿った周方向の位置が互いに異なり、前記凹部の中央から前記周縁部へ向かう径方向に延びる所定サイズの探索領域を複数設定する工程と、
    　前記探索領域内でエッジ検出を実行し、検出されたエッジ位置およびエッジ強度を前記探索領域ごとに取得する工程と、
    　前記探索領域の各々について、前記周方向において当該探索領域と隣接する他の探索領域を、当該探索領域に対して前記径方向にシフトさせたときに画像パターンの類似度が最も高くなる相対シフト量を求める工程と、
    　一の前記探索領域内における前記境界の位置を、当該探索領域および前記周方向において近傍範囲にある前記探索領域それぞれの前記エッジ位置、前記エッジ強度および前記相対シフト量に基づき特定する工程と
    を備える画像処理方法。
  2. 　前記エッジ強度が所定値より大きいエッジが検出された前記探索領域については、前記エッジ位置を前記境界の位置とし、
    　前記エッジ強度が前記所定値より小さいまたはエッジが検出されない前記探索領域については、前記周方向において隣接する他の前記探索領域の前記境界の位置を当該探索領域の前記相対シフト量に応じて補正した位置を、当該探索領域の前記境界の位置とする請求項１に記載の画像処理方法。
  3. 　前記複数の探索領域は、前記凹部の中央部に設定した仮想中心からの距離が互いに等しい請求項１または２に記載の画像処理方法。
  4. 　前記複数の探索領域は、前記周方向において等角度間隔で設けられる請求項３に記載の画像処理方法。
  5. 　前記エッジ検出では、前記探索領域内を前記中央から前記周縁部へ向かう方向に探索して最初のエッジを検出する請求項１ないし４のいずれかに記載の画像処理方法。
  6. 　前記エッジ検出では、高輝度から低輝度へ変化するエッジ、低輝度から高輝度へ変化するエッジの少なくとも一方を検出する請求項１ないし５のいずれかに記載の画像処理方法。
  7. 　前記探索領域ごとに求められた前記境界の位置に基づき、前記境界を近似する曲線を特定する請求項１ないし６のいずれかに記載の画像処理方法。
  8. 　コンピュータに、請求項１ないし７のいずれかに記載の画像処理方法の各工程を実行させるプログラム。
  9. 　請求項８に記載のプログラムを記憶した、コンピュータ読み取り可能な記録媒体。
  10. 　容器の培地を担持する凹部を撮像した画像を取得する画像取得部と、
    　前記画像取得部が取得した前記画像に対し、請求項１ないし７のいずれかに記載の画像処理方法を実行する制御部と
    を備える画像処理装置。
PCT/JP2018/047281 2018-03-26 2018-12-21 画像処理方法、画像処理装置、プログラムおよび記録媒体 WO2019187420A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18912506.5A EP3779463A4 (en) 2018-03-26 2018-12-21 IMAGE PROCESSING METHOD, IMAGE PROCESSING DEVICE, PROGRAM AND RECORDING MEDIUM
US16/980,017 US11244200B2 (en) 2018-03-26 2018-12-21 Image processing method, image processing apparatus, and computer-readable recording medium having recorded thereon image processing program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018058221 2018-03-26
JP2018-058221 2018-03-26
JP2018214310A JP7076361B2 (ja) 2018-03-26 2018-11-15 画像処理方法、画像処理装置、プログラムおよび記憶媒体
JP2018-214310 2018-11-15

Publications (1)

Publication Number Publication Date
WO2019187420A1 true WO2019187420A1 (ja) 2019-10-03

Family

ID=68061167

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/047281 WO2019187420A1 (ja) 2018-03-26 2018-12-21 画像処理方法、画像処理装置、プログラムおよび記録媒体

Country Status (2)

Country Link
US (1) US11244200B2 (ja)
WO (1) WO2019187420A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161223A (zh) * 2019-12-13 2020-05-15 中国人民解放军国防科技大学 基于边缘强度相似度的图像受干扰程度评价方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107580715B (zh) * 2015-04-23 2022-05-31 Bd科斯特公司 用于自动计数微生物菌落的方法和系统
WO2019187420A1 (ja) * 2018-03-26 2019-10-03 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、画像処理装置、プログラムおよび記録媒体
CN113034527B (zh) * 2021-03-30 2022-05-03 长江存储科技有限责任公司 边界检测方法及相关产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5920994B2 (ja) 1976-12-09 1984-05-16 株式会社大興電機製作所 接点の時間特性測定装置
JPH07210687A (ja) * 1994-01-18 1995-08-11 Matsushita Electric Ind Co Ltd 形状検出装置
JP2011100222A (ja) * 2009-11-04 2011-05-19 Panasonic Electric Works Co Ltd 画像処理装置および画像処理方法
US20120212748A1 (en) * 2011-02-22 2012-08-23 Hollenbeck Ronald C Optical reader systems and methods for microplate position detection
JP2013526717A (ja) * 2010-05-19 2013-06-24 ゼネラル・エレクトリック・カンパニイ マイクロプレートのウェル壁境界を識別するための方法及びシステム
JP2014500955A (ja) * 2010-11-16 2014-01-16 エフ．ホフマン−ラ ロシュ アーゲー 容器内の液面上の泡を検出する方法および装置
WO2018055823A1 (ja) * 2016-09-21 2018-03-29 株式会社Ｓｃｒｅｅｎホールディングス 試料容器の位置ずれ検出方法およびそれを用いた撮像方法、ならびに試料容器の位置ずれ検出装置
JP2018160217A (ja) * 2017-03-24 2018-10-11 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法および画像処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8922860B2 (en) 2011-02-22 2014-12-30 Corning Incorporated Motion control systems and methods for biosensor scanning
ITMI20130692A1 (it) * 2013-04-26 2014-10-27 Copan Italia Spa Dispositivo e procedimento per il processamento automatico di piastre di coltura per campioni microbiologici
AU2016250791B2 (en) * 2015-04-23 2021-10-21 Bd Kiestra B.V. Colony contrast gathering
US10302923B2 (en) * 2016-10-26 2019-05-28 Molecular Devices, Llc Trans-illumination imaging with use of interference fringes to enhance contrast and find focus
WO2018173352A1 (ja) 2017-03-24 2018-09-27 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法および画像処理装置
WO2019187420A1 (ja) * 2018-03-26 2019-10-03 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、画像処理装置、プログラムおよび記録媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5920994B2 (ja) 1976-12-09 1984-05-16 株式会社大興電機製作所 接点の時間特性測定装置
JPH07210687A (ja) * 1994-01-18 1995-08-11 Matsushita Electric Ind Co Ltd 形状検出装置
JP2011100222A (ja) * 2009-11-04 2011-05-19 Panasonic Electric Works Co Ltd 画像処理装置および画像処理方法
JP2013526717A (ja) * 2010-05-19 2013-06-24 ゼネラル・エレクトリック・カンパニイ マイクロプレートのウェル壁境界を識別するための方法及びシステム
JP2014500955A (ja) * 2010-11-16 2014-01-16 エフ．ホフマン−ラ ロシュ アーゲー 容器内の液面上の泡を検出する方法および装置
US20120212748A1 (en) * 2011-02-22 2012-08-23 Hollenbeck Ronald C Optical reader systems and methods for microplate position detection
WO2018055823A1 (ja) * 2016-09-21 2018-03-29 株式会社Ｓｃｒｅｅｎホールディングス 試料容器の位置ずれ検出方法およびそれを用いた撮像方法、ならびに試料容器の位置ずれ検出装置
JP2018160217A (ja) * 2017-03-24 2018-10-11 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法および画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161223A (zh) * 2019-12-13 2020-05-15 中国人民解放军国防科技大学 基于边缘强度相似度的图像受干扰程度评价方法

Also Published As

Publication number Publication date
US11244200B2 (en) 2022-02-08
US20210012151A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
WO2019187420A1 (ja) 画像処理方法、画像処理装置、プログラムおよび記録媒体
JP5920994B2 (ja) マイクロプレートのウェル壁境界を識別するための方法及びシステム
CN103314293B (zh) 用于检测器皿内的液体表面上的泡沫的方法和设备
JP2013526717A5 (ja)
CN111985292A (zh) 用于图像处理结果的显微镜方法、显微镜和具有验证算法的计算机程序
TW202001228A (zh) 校正用於偵測樣本中之分析物之行動裝置之攝像機的校正方法
CN104641381B (zh) 用于检测圆形标签中的2d条形码的方法和系统
US10055638B2 (en) Image processing device, imaging device, microscope device, image processing method, and image processing program
JP7076361B2 (ja) 画像処理方法、画像処理装置、プログラムおよび記憶媒体
EP3629285B1 (en) Image processing method and image processing apparatus
JP5762315B2 (ja) 画像処理方法
JP6647903B2 (ja) 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN109754365B (zh) 一种图像处理方法及装置
JP2023552585A (ja) 試料の存在の検出方法及び関連装置
US20200271522A1 (en) Microspectroscope having automatic sample detection function
JP2017068349A (ja) 画像処理方法および制御プログラム
JP3864524B2 (ja) 円の検出方法および検出装置
JP7025124B2 (ja) 画像処理方法および画像処理装置
JP2000193435A (ja) 対象物の画像処理方法
KR200285409Y1 (ko) 영상처리를 용이하게 하는 마커를 갖춘 바이오 칩
CN117940990A (zh) 用于控制移动装置的自动白平衡设定以用于使用颜色参考卡的基于颜色的测量的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18912506

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018912506

Country of ref document: EP

Effective date: 20201026