WO2018173365A1 - 画像処理方法および画像処理装置 - Google Patents

画像処理方法および画像処理装置 Download PDF

Info

Publication number
WO2018173365A1
WO2018173365A1 PCT/JP2017/041911 JP2017041911W WO2018173365A1 WO 2018173365 A1 WO2018173365 A1 WO 2018173365A1 JP 2017041911 W JP2017041911 W JP 2017041911W WO 2018173365 A1 WO2018173365 A1 WO 2018173365A1
Authority
WO
WIPO (PCT)
Prior art keywords
approximate
image processing
coordinate group
edge
processing method
Prior art date
Application number
PCT/JP2017/041911
Other languages
English (en)
French (fr)
Inventor
拓矢 安田
Original Assignee
株式会社Ｓｃｒｅｅｎホールディングス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｓｃｒｅｅｎホールディングス filed Critical 株式会社Ｓｃｒｅｅｎホールディングス
Priority to CN201780063388.1A priority Critical patent/CN109863536B/zh
Priority to EP17902012.8A priority patent/EP3605466B1/en
Priority to US16/487,027 priority patent/US11087510B2/en
Publication of WO2018173365A1 publication Critical patent/WO2018173365A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6452—Individual samples arranged in a regular 2D-array, e.g. multiwell plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Definitions

  • the present invention relates to an image processing method and an image processing apparatus for detecting an edge (contour, line, etc.) of an analysis region from an analysis region for analyzing an object and image data obtained by imaging the periphery of the analysis region. About.
  • a plate-like container provided with a plurality of wells (dents) called a well plate or a microplate is used.
  • the cells to be analyzed are held together with the culture solution in a plurality of wells.
  • a cell is imaged with a camera and an analysis is performed.
  • imaging with a camera the well and its surroundings are imaged. For this reason, it is necessary to detect the boundary of the well wall, which is the cell analysis range, with high accuracy by image processing.
  • Patent Document 1 discloses a method for identifying a test well wall boundary of a microplate. The method described in Patent Document 1 detects the feature of the wall boundary of the test well from the image of the microplate. Then, using the feature of the wall boundary, a candidate edge image of the wall boundary is generated. The candidate edge image is analyzed to calculate the spatial position of the outer perimeter boundary of the test well and the information is used to determine the inner perimeter boundary. This inner peripheral boundary is defined as a test well region.
  • the edge of a circular or rectangular well is detected.
  • the well has a rectangular shape and each corner has an R shape.
  • the straight portion may be rounded or the adjacent straight portions may not be orthogonal.
  • the size or shape of the R shape may be different for each corner.
  • Such a distorted well edge cannot be detected by the method described in Patent Document 1. If an erroneous test well region is detected, cell analysis may not be performed accurately.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an image processing method and an image processing apparatus for accurately detecting a rounded rectangular analysis region.
  • the first invention of the present application is to analyze an object, and to analyze the object, and from the image data obtained by imaging the periphery of the analysis region, the edge of the analysis region A) extracting an edge coordinate group of the analysis area from the image data; and b) a side coordinate group corresponding to one side of the analysis area.
  • the second invention of the present application is the image processing method of the first invention, wherein the step g) generates an approximate curve with all pairs of contact candidate coordinates set in the step f).
  • a third invention of the present application is the image processing method of the first invention or the second invention, wherein the step d) extracts the angular coordinate group based on a distance from an intersection of two intersecting approximate lines. To do.
  • a fourth invention of the present application is an image processing method from the first invention to the third invention, and the step c) generates the approximate line by polynomial approximation using a least square method.
  • a fifth invention of the present application is the image processing method from the first invention to the fourth invention, wherein the approximate line is an approximate straight line.
  • the sixth invention of the present application is the image processing method from the first invention to the fifth invention, wherein the approximate curve is a spline curve.
  • the 7th invention of this application is an image processing apparatus, Comprising: The analysis area
  • An approximate curve that touches at least one pair of one contact candidate coordinate set as an approximate line and one contact candidate coordinate set as the second approximate line is defined as the first approximate line and the second approximate line.
  • the step e) to the step h) are performed for all combinations that can be taken by the four approximate lines.
  • an edge of an analysis region is represented by a combination of an approximate line of each side of a rectangle and an approximate curve of a corner generated using the approximate line.
  • the corner portion may not be able to extract the edge coordinate group from the image data more accurately than the side portion. In that case, the edge of the corner cannot be detected with high accuracy.
  • the accuracy of edge detection of the corner is improved. Thereby, the edge of the analysis region can be detected with high accuracy. Then, by grasping the edge of the analysis region, the object can be analyzed with high accuracy.
  • FIG. 1 It is a perspective view which shows an example of the well plate set to an imaging device. It is the figure which showed the structure of the imaging device. It is the block diagram which showed the connection of a control part and each part in an imaging device. It is a figure which shows the flowchart of an edge detection process. It is a figure for demonstrating an edge coordinate group. It is a figure for demonstrating a side coordinate group. It is a figure for demonstrating the approximate line calculated from the side coordinate group. It is a figure for demonstrating an angular coordinate group. It is a figure for demonstrating a contact candidate coordinate. It is a figure which shows the result of having calculated the edge of a well.
  • the “image processing apparatus” of the present invention will be described as an imaging apparatus that images a set well plate. The description will be made assuming that the “image processing method” of the present invention is executed in the imaging apparatus.
  • FIG. 1 is a perspective view showing an example of a well plate 9 set in the imaging apparatus 1.
  • the well plate 9 is a substantially plate-shaped sample container having a plurality of wells 91.
  • a transparent resin that transmits light is used as the material of the well plate 9.
  • a plurality of wells 91 are regularly arranged on the upper surface of the well plate 9.
  • the well 91 holds a plurality of cells 93 to be analyzed together with the culture solution 92.
  • the inside of the well 91 is an analysis region for analyzing the cell 93.
  • the shape of the well 91 in a top view is a rounded rectangle.
  • a rounded rectangle is a substantially square, and four corners are rounded.
  • FIG. 2 is a diagram illustrating a configuration of the imaging apparatus 1 according to the present embodiment.
  • the imaging apparatus 1 is an apparatus that captures a plurality of cells 93 in the well plate 9 a plurality of times while changing the focal position of the camera 40 and generates image data of the cells 93.
  • the imaging device 1 is used, for example, in a screening process for narrowing down compounds that are drug candidates in the field of drug research and development. The person in charge of the screening process adds compounds having different concentrations and compositions to the plurality of wells 91 of the well plate 9.
  • image data of the cells 93 in each well 91 of the well plate 9 is acquired. Then, based on the obtained image data, the effect of the compound added to the culture solution 92 is verified by comparing and analyzing the culture state of the cells 93.
  • the imaging device 1 may be used for observing cell differentiation in research and development of pluripotent stem cells such as IPS cells or ES cells.
  • the imaging apparatus 1 includes a stage 10, a light projecting unit 20, a light projecting unit moving mechanism 30, a camera 40, a camera moving mechanism 50, and a control unit 60.
  • the stage 10 is a mounting table that holds the well plate 9.
  • the position of the stage 10 in the imaging device 1 is fixed at least during photographing.
  • a rectangular opening 11 penetrating vertically is provided in the center of the stage 10.
  • the stage 10 has an annular support surface 12 at the edge of the opening 11.
  • the well plate 9 is fitted into the opening 11 and is supported horizontally by the support surface 12. Therefore, the upper and lower portions of each well 91 are exposed without being blocked by the stage 10.
  • the light projecting unit 20 is disposed above the well plate 9 held on the stage 10.
  • the light projecting unit 20 has a light source such as an LED.
  • the light source in the light projecting unit 20 emits light. Thereby, light is irradiated from the light projecting unit 20 downward.
  • the light projecting unit 20 only needs to irradiate light from the side opposite to the camera 40 toward the well plate 9. Therefore, the light source itself of the light projecting unit 20 may be arranged at a position off the upper side of the well plate 9, and the well plate 9 may be irradiated with light via an optical system such as a mirror.
  • the light projecting unit moving mechanism 30 is a mechanism for moving the light projecting unit 20 horizontally along the upper surface of the well plate 9 held on the stage 10.
  • a mechanism that converts the rotational motion of the motor into a straight motion via a ball screw is used for the light projecting unit moving mechanism 30.
  • the imaging apparatus 1 can arrange the light projecting unit 20 at a position above each well 91 by operating the light projecting unit moving mechanism 30. In FIG. 2, only one direction of arrow A ⁇ b> 1 is shown as the moving direction of the light projecting unit 20. However, the light projecting unit moving mechanism 30 may move the light projecting unit 20 in two directions (left and right direction and depth direction in FIG. 2) along the upper surface of the well plate 9.
  • the camera 40 is disposed below the well plate 9 held on the stage 10.
  • the camera 40 has an optical system such as a lens and an image sensor such as a CCD or CMOS.
  • the camera 40 photographs a part of the well plate 9 while irradiating light from the light projecting unit 20 toward a part of the well plate 9.
  • the image of the cell 93 in the well plate 9 can be acquired as digital data.
  • the acquired captured image is input from the camera 40 to the control unit 60.
  • the camera moving mechanism 50 is a mechanism that changes the height and horizontal position of the camera 40 while maintaining the posture of the camera 40.
  • the camera moving mechanism 50 includes an up / down moving mechanism 51 and a horizontal moving mechanism 52.
  • the elevating / lowering mechanism 51 moves the camera 40 up and down to change the height of the camera 40.
  • the distance between the well plate 9 held on the stage 10 and the camera 40 that is, the imaging distance between the cell 93 and the camera 40
  • the focal position of the camera 40 can be moved up and down along the optical axis.
  • the horizontal movement mechanism 52 moves the camera 40 and the elevation movement mechanism 51 horizontally as a unit.
  • the imaging apparatus 1 can place the camera 40 at a position below each well 91 by operating the horizontal movement mechanism 52.
  • FIG. 2 only one direction of arrow A ⁇ b> 2 is shown as the moving direction of the camera 40 by the horizontal moving mechanism 52.
  • the camera moving mechanism 50 may move the camera 40 in two directions (the left-right direction and the depth direction in FIG. 2) along the lower surface of the well plate 9.
  • the light projecting unit moving mechanism 30 and the horizontal moving mechanism 52 described above are driven synchronously. Thereby, the light projection part 20 and the camera 40 are always arrange
  • the control unit 60 is configured by a computer, for example.
  • the control unit 60 has a function of controlling the operation of each unit in the imaging apparatus 1 and a function of performing image processing on image data obtained by being captured by the camera 40.
  • FIG. 3 is a block diagram illustrating the connection between the control unit 60 and each unit in the imaging apparatus 1.
  • the control unit 60 includes a processor 61 such as a CPU, a memory 62 such as a RAM, and a storage unit 63 such as a hard disk drive.
  • a program P1 for controlling the operation of each unit in the imaging apparatus 1 and a program P2 for image processing image data are stored.
  • control unit 60 is connected to the above-described light projecting unit 20, the light projecting unit moving mechanism 30, the camera 40, the lifting and lowering moving mechanism 51, and the horizontal moving mechanism 52 so as to be able to communicate with each other.
  • the control unit 60 controls the operation of each unit described above according to the program P1. Thereby, the imaging process of the cells 93 held in each well 91 of the well plate 9 proceeds. Further, the control unit 60 processes the image data input from the camera 40 in accordance with the program P2, thereby detecting the edge of the well 91 and acquiring the image data of the cell 93 in the well 91.
  • the edge of the well 91 is a boundary between the inner wall of the well 91 and the periphery thereof in the well plate 9.
  • the imaging apparatus 1 performs a process of detecting the edge of each well 91 from image data obtained by imaging the well plate 9 (hereinafter referred to as “edge detection process”).
  • edge detection process a process of detecting the edge of each well 91 from image data obtained by imaging the well plate 9
  • FIG. 4 shows a flowchart of the edge detection process. Hereinafter, description will be given with reference to this flowchart.
  • the control unit 60 images the well plate 9 with the camera 40 (step S1). Next, the control unit 60 extracts an edge coordinate group for the well 91 from the image data obtained by imaging (step S2).
  • the edge coordinate group is a collection of coordinate data extracted from a change in luminance of each pixel of the image data, and is pixel information for specifying the edge of the well 91.
  • a known edge detection process is used to detect the edge coordinates.
  • FIG. 5 is a diagram for explaining the edge coordinate group 81. Black dots in FIG. 5 are pixels specified by the coordinates of the extracted edge coordinate group 81.
  • step S2 pixel coordinates unrelated to the edge of the well 91 may be extracted due to light refraction or the influence of the cell 93 or the like. For this reason, even if the edge of the well 91 is detected from the edge coordinate group 81 extracted in step S2, an accurate result may not be obtained. Therefore, in the following process, a process for accurately detecting the edge of the well 91 from the extracted edge coordinate group 81 is performed.
  • step S2 when a plurality of edge coordinate groups 81 are extracted due to the influence of light refraction or cells 93, a process of narrowing down to one edge coordinate group 81 is performed by various processes. Good.
  • the control unit 60 extracts the side coordinate group 82 from the edge coordinate group 81 (step S3).
  • FIG. 6 is a diagram for explaining the side coordinate group 82.
  • the side coordinate group 82 is a set of coordinates for specifying each of the four sides of the well 91 excluding the corners.
  • the control unit 60 extracts four side coordinate groups 82 for each of the four sides of the well 91.
  • the control unit 60 arbitrarily sets the center coordinates of the searched area in order to extract the edge coordinate group 81 in step S2. And the control part 60 sets the area
  • the ideal diameter of the well 91 is a so-called catalog value, and is a well diameter (vertical and horizontal length) of the well plate 9 set in the imaging device 1. This ideal diameter is stored in the storage unit 63.
  • the control unit 60 extracts coordinates in the set area from the edge coordinate group 81 as a side coordinate group 82.
  • the control unit 60 calculates the approximate straight line 83 from the extracted edge coordinate group 82 using the least square method (step S4).
  • FIG. 7 is a diagram for explaining the approximate straight line 83 calculated from the side coordinate group 82. From one side coordinate group 82, one approximate line 83 is calculated. Therefore, in the process of step S4, as shown in FIG. 7, four approximate lines 83 are calculated.
  • the control unit 60 extracts the angular coordinate group 84 from the edge coordinate group 81 extracted in step S2 (step S5).
  • the angular coordinate group 84 is a collection of coordinates for specifying the corners of the well 91. That is, in step S5, four angular coordinate groups 84 are extracted.
  • FIG. 8 is a diagram for explaining the angular coordinate group 84. In FIG. 8, the approximate straight line 83 of FIG. 7 is also shown.
  • control unit 60 assumes that the intersection of two adjacent approximate lines 83 among the four approximate lines 83 calculated in step S4 is the corner of the well 91. Then, the control unit 60 extracts coordinates within a predetermined distance from the intersection as an angular coordinate group 84 from the edge coordinate group 81. That is, the control unit 60 extracts the angular coordinate group 84 based on the distance from the intersection of the two approximate lines 83.
  • the control unit 60 may extract other coordinates from the edge coordinate group 81, excluding the side coordinate group 82 extracted in step S3, as the angular coordinate group 84.
  • step S6 to step S10 is processing for detecting an edge of one corner among the four corners of the well 91.
  • the control unit 60 repeats the processing from step S6 to step S10 to detect the edges of the four corners of the well 91.
  • the control unit 60 selects two intersecting approximate lines 83 from the approximate lines 83 calculated in step S4 (step S6).
  • one of the two approximate straight lines 83 that intersect is referred to as a “first approximate straight line 83a”, and the other is referred to as a “second approximate straight line 83b”.
  • the controller 60 sets the contact candidate coordinates 85 for each of the first approximate line 83a and the second approximate line 83b that are close to the angular coordinate group 84 (step S7).
  • the contact candidate coordinate 85 is a coordinate that can be a contact point of a corner curve of the well 91.
  • FIG. 9 is a diagram for explaining the contact candidate coordinates 85.
  • black points indicate contact candidate coordinates 85.
  • FIG. 9 shows a state where the contact candidate coordinates 85 are set for each of the four approximate lines 83.
  • the control unit 60 sets a plurality of contact candidate coordinates 85 on the first approximate line 83a and the second approximate line 83b.
  • the set position and the set number of the contact candidate coordinates 85 can be changed as appropriate.
  • the contact candidate coordinates 85 may be set at equal intervals or irregular intervals.
  • FIG. 9 shows an example in which three contact candidate coordinates 85 are set for each of the first approximate straight line 83a and the second approximate straight line 83b, but it may be two, or four or more.
  • the control unit 60 generates all pairs of one contact candidate coordinate 85 set on the first approximate line 83a and one contact candidate coordinate 85 set on the second approximate line 83b (step S8). As shown in FIG. 9, when three contact candidate coordinates 85 are set for each of the first approximate line 83a and the second approximate line 83b, the number of generated pairs is nine.
  • the control unit 60 calculates an approximate curve in contact with the two contact candidate coordinates 85 included in one pair generated in step S8 for all the pairs generated in step S8 (step S9).
  • the approximate curve is a spline curve calculated from the angular coordinate group 84 by polynomial approximation. In the case of FIG. 9, nine approximate curves are calculated for one corner.
  • the control unit 60 selects one approximate curve having the closest positional relationship with the angular coordinate group 84 extracted in step S5 from the multiple approximate curves generated in step S9 (step S10). For example, the control unit 60 selects the one having the smallest variation in the distance between each coordinate of the angular coordinate group 84 and the approximate curve.
  • the control unit 60 determines whether or not the processing from step S6 to step S10 has been performed for all corners of the well 91 (step S11). If the above processing has not been performed for all corners (NO in step S11), the control unit 60 returns to the processing of step S6, and selects two unselected lines from the approximate straight line 83 calculated in step S4. The approximate straight line 83 is selected, and the processing from step S6 to step S10 is executed. That is, the control part 60 performs the process from step S6 to step S10 4 times.
  • the control unit 60 determines that the edge of the well 91 is the four approximate straight lines 83 calculated in step S4 and the 4 selected in step S10. The edge of the well 91 is calculated from the approximate curve of the book (step S12).
  • FIG. 10 is a diagram showing the result of calculating the edge of the well 91. A portion (broken line portion in FIG. 10) outside the intersection of the approximate straight line 83 and the approximate curve 86 (black point in FIG. 10) is excluded, and the remaining portion is detected as the edge of the well 91.
  • the edge of the well 91 is represented by a combination of the approximate straight line 83 on each side and the approximate curve 86 at the corner.
  • the edge coordinates to be extracted tend to vary due to the influence of light refraction and the like, compared to the side portion. Therefore, by generating the approximate curve 86 at the corner using the approximate straight line 83 at each side of the rectangle, the accuracy of edge detection at the corner is improved. As a result, the edge of the well 91 can be detected with high accuracy. Then, by grasping the edge of the well 91, the cell 93 can be analyzed with high accuracy.
  • edge candidates using polynomial approximation
  • highly robust edge detection becomes possible.
  • edge coordinates detected due to the influence of the cell 93 and the like can be eliminated by using polynomial approximation.
  • the shape of the well 91 in a top view may be a substantially rectangular shape having a long side and a short side, and four corners may have an R shape. Furthermore, although each side of the well 91 is described as a straight line, each side may be a curve. In this case, the approximate line of each side calculated by the control unit 60 is an approximate curve. Further, although the approximate curve 86 calculated by the control unit 60 is a spline curve, the approximate curve 86 may be calculated using a known method other than this.
  • control unit 60 calculates the four approximate lines 83 in step S4 of FIG. 4, when the difference between the slopes of the two approximate lines 83 facing each other is equal to or larger than the allowable value, the two approximate lines 83 83 may be determined to be abnormal, and processing subsequent to step S4 may not be performed.
  • the control unit 60 does not perform the processing after step S4. You may do it.
  • the control unit 60 may start the process again from step S1 or stop the edge detection process. If the ratio of the distance between the two approximate straight lines facing each other and the distance between the other two approximate straight lines exceeds the allowable value, the processing after step S4 may be skipped.
  • control unit 60 selects an approximate curve 86 greatly different from the ideal locus of the R shape, for example, an approximate curve 86 whose direction is not uniform among the approximate curves 86 generated in step S9 of FIG. 4 in step S10. You may exclude from selection object in.
  • the least square method is used for image processing, but a known method such as Hough transform may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

ウェルの画像データから、ウェルのエッジ座標群を抽出する。ウェルの４辺それぞれに相当する辺座標群を、エッジ座標群から抽出する。辺座標群から近似線を生成する。ウェルの４つの角部それぞれに相当する角座標群を、エッジ座標群から抽出する。４本の近似線から、交差する２本の近似線を選択し、２本の近似線それぞれに、複数の接点候補座標を設定する。２本の近似線の一方に設定した接点候補座標と、他方に設定した接点候補座標とのとり得る全てのペアを生成する。ペアに含まれる２つの接点候補座標に接する近似曲線を、角座標群から、多項式近似により算出する処理を、生成した全てのペアに対して行う。算出した全ての近似曲線の中から、角座標群に最も近い近似曲線を選択する。

Description

画像処理方法および画像処理装置
　本発明は、対象物を解析する解析領域、および、前記解析領域の周囲を撮像して得られる画像データから、前記解析領域のエッジ（輪郭または線など）を検出する画像処理方法および画像処理装置に関する。
　細胞の解析には、ウェルプレート（Well　Plate）またはマイクロプレート（Microplate）と呼ばれる、複数のウェル（窪み）が設けられた平板状の容器が用いられる。解析対象物の細胞は、複数のウェル内に、培養液とともに保持される。そして、カメラで、細胞を撮像して、解析が行われる。カメラでの撮像の際、ウェルと、その周囲とが撮像される。このため、画像処理で、細胞の解析範囲となるウェル壁の境界を、精度よく検出する必要がある。
　特許文献１には、マイクロプレートの試験ウェル壁境界を識別する方法が開示されている。特許文献１に記載の方法は、マイクロプレートの画像から、試験ウェルの壁境界の特徴を検出する。そして、壁境界の特徴を使用して、壁境界の候補エッジ画像を生成する。その候補エッジ画像を解析して、試験ウェルの外周境界の空間的位置を計算し、その情報を使用して内周境界を決定する。この内周境界を、試験ウェル領域とする。
特許第５９２０９９４号
　特許文献１では、円形または矩形のウェルのエッジを検出している。しかしながら、ウェルには、様々な形状のものがある。例えば、ウェルが、矩形状であって、各角部がＲ形状となっているものもある。このような形状において、エッジを検出する際、ウェルの各辺の直線部、および、各角部の曲線部のそれぞれのエッジを検出する必要がある。ただし、ウェルは、樹脂成型されたものが一般的である。このため、成型時の精度によっては、直線部が丸みを帯びたり、隣接する直線部が直交する関係とならなかったりすることがある。そうすると、角部ごとに、Ｒ形状の大きさ、または形が異なる場合もある。このような歪みのあるウェルのエッジは、特許文献１に記載の方法では検出できない。誤った試験ウェル領域を検出すると、細胞の解析を精度よく行えない場合がある。
　本発明は、このような事情に鑑みなされたものであり、角丸矩形状の解析領域を精度よく検出する画像処理方法および画像処理装置を提供することを目的とする。
　上記課題を解決するため、本願の第１発明は、対象物を解析する、角丸矩形状の解析領域、および、前記解析領域の周囲を撮像して得られる画像データから、前記解析領域のエッジを検出する画像処理方法であって、ａ）前記画像データから、前記解析領域のエッジ座標群を抽出する工程と、ｂ）前記解析領域の１つの辺部に相当する辺座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の４つの辺部それぞれに対して行う工程と、ｃ）４つの前記辺座標群それぞれから、４本の近似線を生成する工程と、ｄ）前記解析領域の１つの角部に相当する角座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の４つの角部それぞれに対して行う工程と、ｅ）前記４本の近似線から、交差する第１近似線および第２近似線を選択する工程と、ｆ）前記第１近似線および前記第２近似線それぞれに、複数の接点候補座標を設定する工程と、ｇ）前記第１近似線に設定した一の接点候補座標と、前記第２近似線に設定した一の接点候補座標との少なくとも一つ以上のペアに接する近似曲線を、前記第１近似線および前記第２近似線の交点に最も近い前記角座標群から、多項式近似により生成する工程と、ｈ）前記工程ｇ）で用いた前記角座標群に最も近い近似曲線を、前記工程ｇ）で生成された近似曲線の中から選択する工程と、を含み、前記工程ｅ）から前記工程ｈ）を、前記４本の近似線で取り得る全ての組み合わせについて行う。
　本願の第２発明は、第１発明の画像処理方法であって、前記工程ｇ）は、前記工程ｆ）で設定された接点候補座標全てのペアで、近似曲線を生成する。
　本願の第３発明は、第１発明または第２発明の画像処理方法であって、前記工程ｄ）は、交差する２つの前記近似線の交点からの距離に基づいて、前記角座標群を抽出する。
　本願の第４発明は、第１発明から第３発明までの画像処理方法であって、前記工程ｃ）は、最小二乗法を用いた多項式近似により、前記近似線を生成する。
　本願の第５発明は、第１発明から第４発明までの画像処理方法であって、前記近似線は近似直線である。
　本願の第６発明は、第１発明から第５発明までの画像処理方法であって、前記近似曲線は、スプライン曲線である。
　本願の第７発明は、画像処理装置であって、対象物を解析する、角丸矩形状の解析領域、および、前記解析領域の周囲を撮像するカメラと、前記カメラで撮像して得られる画像データから、前記解析領域のエッジを検出する制御部と、を備え、前記制御部は、ａ）前記画像データから、前記解析領域のエッジ座標群を抽出する工程と、ｂ）前記解析領域の１つの辺部に相当する辺座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の４つの辺部それぞれに対して行う工程と、ｃ）４つの前記辺座標群それぞれから、４本の近似線を生成する工程と、ｄ）前記解析領域の１つの角部に相当する角座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の４つの角部それぞれに対して行う工程と、ｅ）前記４本の近似線から、交差する第１近似線および第２近似線を選択する工程と、ｆ）前記第１近似線および前記第２近似線それぞれに、複数の接点候補座標を設定する工程と、ｇ）前記第１近似線に設定した一の接点候補座標と、前記第２近似線に設定した一の接点候補座標との少なくとも一つ以上のペアに接する近似曲線を、前記第１近似線および前記第２近似線の交点に最も近い前記角座標群から、多項式近似により算出する工程と、ｈ）前記工程ｇ）で用いた前記角座標群に最も近い近似曲線を、前記工程ｇ）で生成された近似曲線の中から選択する工程と、を含み、前記工程ｅ）から前記工程ｈ）を、前記４本の近似線で取り得る全ての組み合わせについて行う。
　本願の第１発明～第７発明によれば、矩形の各辺の近似線と、その近似線を用いて生成した、角部の近似曲線との組み合わせで、解析領域のエッジを表す。角部は、辺部に比べて、画像データからエッジ座標群を精度よく抽出できないことがある。その場合、角部のエッジを精度よく検出できない。しかしながら、本発明によれば、角部の近似曲線を、矩形の各辺の近似線を用いて、生成することで、角部のエッジ検出の精度が向上する。これにより、解析領域のエッジを精度よく検出できる。そして、解析領域のエッジを把握することで、精度よく対象物の解析を行える。
撮像装置にセットされるウェルプレートの一例を示す斜視図である。 撮像装置の構成を示した図である。 制御部と、撮像装置内の各部との接続を示したブロック図である。 エッジ検出処理のフローチャートを示す図である。 エッジ座標群を説明するための図である。 辺座標群を説明するための図である。 辺座標群から算出した近似直線を説明するための図である。 角座標群を説明するための図である。 接点候補座標を説明するための図である。 ウェルのエッジを算出した結果を示す図である。
　以下、本発明の好適な実施形態について、図面を参照しつつ説明する。以下では、本発明の「画像処理装置」は、セットされたウェルプレートを撮像する撮像装置として説明する。そして、その撮像装置において、本発明の「画像処理方法」が実行されるものとして説明する。
　＜１．撮像装置の構成＞
　図１は、撮像装置１にセットされるウェルプレート９の一例を示す斜視図である。
　ウェルプレート９は、複数のウェル９１を有する略板状の試料容器である。ウェルプレート９の材料には、例えば、光を透過する透明な樹脂が使用される。ウェルプレート９の上面には、複数のウェル９１が規則的に配列されている。ウェル９１は、培養液９２とともに、解析対象物となる複数の細胞９３を保持する。ウェル９１の内側は、細胞９３を解析する解析領域である。上面視におけるウェル９１の形状は、角丸矩形である。角丸矩形は、略正方形であって、４つの角部がＲ形状となっている。
　図２は、本実施形態に係る撮像装置１の構成を示した図である。
　撮像装置１は、ウェルプレート９内の複数の細胞９３を、カメラ４０の焦点位置を変化させつつ複数回撮影して、細胞９３の画像データを生成する装置である。撮像装置１は、例えば、医薬品の研究開発分野において、医薬品の候補となる化合物を絞り込むスクリーニング工程に、使用される。スクリーニング工程の担当者は、ウェルプレート９の複数のウェル９１に、濃度や組成の異なる化合物を添加する。そして、撮像装置１において、ウェルプレート９の各ウェル９１内の細胞９３の画像データを取得する。その後、得られた画像データに基づいて、細胞９３の培養状態を比較・分析することにより、培養液９２に添加された化合物の効用を検証する。
　ただし、撮像装置１は、ＩＰＳ細胞またはＥＳ細胞等の多能性幹細胞の研究・開発において、細胞の分化などを観察するために用いられてもよい。
　撮像装置１は、ステージ１０、投光部２０、投光部移動機構３０、カメラ４０、カメラ移動機構５０、および制御部６０を備えている。
　ステージ１０は、ウェルプレート９を保持する載置台である。撮像装置１内におけるステージ１０の位置は、少なくとも撮影時には固定される。ステージ１０の中央には、上下に貫通する矩形の開口部１１が設けられている。また、ステージ１０は、開口部１１の縁に、環状の支持面１２を有する。ウェルプレート９は、開口部１１に嵌め込まれるとともに、支持面１２によって水平に支持される。したがって、各ウェル９１の上部および下部は、ステージ１０に塞がれることなく露出する。
　投光部２０は、ステージ１０に保持されたウェルプレート９の上方に配置されている。投光部２０は、ＬＥＤ等の光源を有する。撮影時には、投光部２０内の光源が発光する。これにより、投光部２０から下方へ向けて、光が照射される。なお、投光部２０は、カメラ４０とは反対側からウェルプレート９に向けて、光を照射するものであればよい。したがって、投光部２０の光源自体は、ウェルプレート９の上方から外れた位置に配置され、ミラー等の光学系を介して、ウェルプレート９に光が照射される構成であってもよい。
　投光部移動機構３０は、ステージ１０に保持されたウェルプレート９の上面に沿って、投光部２０を水平に移動させる機構である。投光部移動機構３０には、例えば、モータの回転運動を、ボールねじを介して直進運動に変換する機構が用いられる。撮像装置１は、投光部移動機構３０を動作させることにより、各ウェル９１の上方位置に、投光部２０を配置することができる。なお、図２では、投光部２０の移動方向として、矢印Ａ１の１方向のみが示されている。しかしながら、投光部移動機構３０は、投光部２０を、ウェルプレート９の上面に沿って２方向（図２中の左右方向および奥行き方向）に移動させるものであってもよい。
　カメラ４０は、ステージ１０に保持されたウェルプレート９の下方に配置されている。カメラ４０は、レンズ等の光学系と、ＣＣＤまたはＣＭＯＳ等の撮像素子とを有する。撮影時には、投光部２０からウェルプレート９の一部分へ向けて光を照射しつつ、カメラ４０が、ウェルプレート９の当該一部分を撮影する。これにより、ウェルプレート９内の細胞９３の画像を、デジタルデータとして取得することができる。取得された撮影画像は、カメラ４０から制御部６０へ入力される。
　カメラ移動機構５０は、カメラ４０の姿勢を維持しつつ、カメラ４０の高さおよび水平方向の位置を変化させる機構である。カメラ移動機構５０は、昇降移動機構５１と水平移動機構５２とを有する。
　昇降移動機構５１は、カメラ４０を上下に移動させて、カメラ４０の高さを変化させる。これにより、ステージ１０に保持されたウェルプレート９とカメラ４０との距離（すなわち、細胞９３とカメラ４０との間の撮影距離）が変化する。この結果、カメラ４０の焦点位置を、光軸に沿って上下に移動させることができる。
　水平移動機構５２は、カメラ４０および昇降移動機構５１を、一体として水平に移動させる。撮像装置１は、水平移動機構５２を動作させることにより、各ウェル９１の下方位置に、カメラ４０を配置することができる。なお、図２では、水平移動機構５２によるカメラ４０の移動方向として、矢印Ａ２の１方向のみが示されている。しかしながら、カメラ移動機構５０は、カメラ４０を、ウェルプレート９の下面に沿って２方向（図２中の左右方向および奥行き方向）に移動させるものであってもよい。
　なお、上述した投光部移動機構３０と、水平移動機構５２とは、同期駆動される。これにより、投光部２０とカメラ４０とは、上面視において、常に同じ位置に配置される。すなわち、投光部２０とカメラ４０とは、同じ向きに同じ距離だけ移動し、あるウェル９１の下方位置にカメラ４０が配置されたときには、必ず、そのウェル９１の上方位置に投光部２０が配置される。
　制御部６０は、例えば、コンピュータにより構成される。制御部６０は、撮像装置１内の各部を動作制御する機能と、カメラ４０で撮像されて得られる画像データを画像処理する機能と、を有する。図３は、制御部６０と、撮像装置１内の各部との接続を示したブロック図である。図３中に概念的に示したように、制御部６０は、ＣＰＵ等のプロセッサ６１、ＲＡＭ等のメモリ６２、およびハードディスクドライブ等の記憶部６３を有する。記憶部６３内には、撮像装置１内の各部を動作制御するためのプログラムＰ１と、画像データを画像処理するプログラムＰ２と、が記憶されている。
　また、制御部６０は、上述した投光部２０、投光部移動機構３０、カメラ４０、昇降移動機構５１、および水平移動機構５２と、それぞれ通信可能に接続されている。制御部６０は、プログラムＰ１に従って、上記の各部を動作制御する。これにより、ウェルプレート９の各ウェル９１に保持された細胞９３の撮影処理が進行する。また、制御部６０は、カメラ４０から入力された画像データを、プログラムＰ２に従って処理することにより、ウェル９１のエッジを検出し、また、ウェル９１内の細胞９３の画像データを取得する。ウェル９１のエッジとは、ウェルプレート９における、ウェル９１の内壁と、その周囲との境界である。
　＜２．画像処理について＞
　ウェルプレート９を撮像する際、ウェル９１と、その周囲とが撮像される。このため、ウェル９１内の細胞９３の画像データを取得する場合には、まず、ウェルプレート９における、ウェル９１のエッジを検出する必要がある。撮像装置１は、ウェルプレート９を撮像して得られる画像データから、各ウェル９１のエッジを検出する処理（以下、「エッジ検出処理」と称す。）を行う。以下、エッジ検出処理について説明する。
　図４は、エッジ検出処理のフローチャートを示す図である。以下、このフローチャートを参照しつつ、説明する。
　制御部６０は、ウェルプレート９を、カメラ４０で撮像する（ステップＳ１）。次に、制御部６０は、撮像して得られる画像データから、ウェル９１に対するエッジ座標群を抽出する（ステップＳ２）。エッジ座標群は、画像データの各画素の輝度の変化から抽出される座標データの集まりであって、ウェル９１のエッジを特定するための画素情報である。このエッジ座標の検出には、既知のエッジ検出処理が用いられる。図５は、エッジ座標群８１を説明するための図である。図５の黒点は、抽出されたエッジ座標群８１の各座標により特定される画素である。
　ステップＳ２の処理では、光の屈折または細胞９３などの影響により、ウェル９１のエッジとは無関係な画素の座標が抽出されることがある。このため、ステップＳ２で抽出したエッジ座標群８１から、ウェル９１のエッジを検出しても、精度の良い結果が得られないことがある。そこで、以下の処理で、抽出したエッジ座標群８１から、ウェル９１のエッジを精度よく検出する処理を行う。
　なお、ステップＳ２において、光の屈折または細胞９３などの影響により、複数のエッジ座標群８１が抽出された場合には、諸処理により、一つのエッジ座標群８１に絞り込む処理を行うようにしてもよい。
　制御部６０は、エッジ座標群８１から辺座標群８２を抽出する（ステップＳ３）。図６は、辺座標群８２を説明するための図である。辺座標群８２とは、図６に示すように、ウェル９１の、角部を除く各４辺それぞれを特定するための座標の集まりである。制御部６０は、ウェル９１の４辺それぞれに対する、４つの辺座標群８２を抽出する。
　制御部６０は、ステップＳ２で、エッジ座標群８１を抽出するために探索した領域の中心座標を、任意に設定する。そして、制御部６０は、その中心座標と、ウェル９１の理想径から、ウェル９１の各辺が位置すると推測される領域を設定する。ウェル９１の理想径とは、所謂、カタログ値であって、撮像装置１にセットされるウェルプレート９の設計上のウェル径（縦横の長さ）である。この理想径は、記憶部６３に記憶される。制御部６０は、エッジ座標群８１の中から、設定した領域にある座標を、辺座標群８２として抽出する。
　制御部６０は、抽出した辺座標群８２から、最小二乗法を用いて、近似直線８３を算出する（ステップＳ４）。図７は、辺座標群８２から算出した近似直線８３を説明するための図である。一の辺座標群８２からは、一の近似直線８３が算出される。したがって、ステップＳ４の処理では、図７に示すように、４本の近似直線８３が算出される。
　続いて、制御部６０は、ステップＳ２で抽出したエッジ座標群８１から角座標群８４を抽出する（ステップＳ５）。角座標群８４は、ウェル９１の角部を特定するための座標の集まりである。つまり、ステップＳ５では、４つの角座標群８４が抽出される。図８は、角座標群８４を説明するための図である。図８では、図７の近似直線８３も示す。
　例えば、制御部６０は、ステップＳ４で算出した４本の近似直線８３のうち、隣り合う２本の近似直線８３の交点を、ウェル９１の角部と仮定する。そして、制御部６０は、その交点から所定距離の範囲にある座標をエッジ座標群８１から、角座標群８４として抽出する。つまり、制御部６０は、２本の近似直線８３の交点からの距離に基づいて、角座標群８４を抽出する。
　なお、制御部６０は、エッジ座標群８１から、ステップＳ３で抽出した辺座標群８２を除いた他の座標を、角座標群８４として抽出してもよい。
　以降のステップＳ６からステップＳ１０までの処理は、ウェル９１の４つの角部のうち、１つの角部のエッジを検出する処理である。制御部６０は、ステップＳ６からステップＳ１０までの処理を繰り返して、ウェル９１の４つの角部それぞれのエッジを検出する。
　制御部６０は、ステップＳ４で算出した近似直線８３の中から、交差する２本の近似直線８３を選択する（ステップＳ６）。以下、交差する２本の近似直線８３の一方を、「第１近似直線８３ａ」と称し、他方を「第２近似直線８３ｂ」と称する。制御部６０は、角座標群８４に近接する、第１近似直線８３ａ、および、第２近似直線８３ｂそれぞれに対し、接点候補座標８５を設定する（ステップＳ７）。接点候補座標８５とは、ウェル９１の角部の曲線の接点となり得る座標である。
　図９は、接点候補座標８５を説明するための図である。図９では、黒点は、接点候補座標８５を示す。図９では、４本の近似直線８３それぞれに、接点候補座標８５が設定された状態を示す。
　制御部６０は、第１近似直線８３ａおよび第２近似直線８３ｂ上に、複数の接点候補座標８５を設定する。接点候補座標８５の設定位置、および、設定数は、適宜変更可能である。接点候補座標８５は、それぞれに等間隔に設定してもよいし、不規則な間隔で設定してもよい。また、図９では、第１近似直線８３ａおよび第２近似直線８３ｂそれぞれに、３つの接点候補座標８５を設定した例を示しているが、２つ、または４つ以上であってもよい。
　制御部６０は、第１近似直線８３ａに設定した一の接点候補座標８５と、第２近似直線８３ｂに設定した一の接点候補座標８５との全てのペアを生成する（ステップＳ８）。図９に示すように、第１近似直線８３ａおよび第２近似直線８３ｂそれぞれに、３つの接点候補座標８５が設定されている場合、生成されるペアの数は、９つである。
　制御部６０は、ステップＳ８で生成した一のペアに含まれる、２つの接点候補座標８５に接する近似曲線を、ステップＳ８で生成した全てのペアについて算出する（ステップＳ９）。近似曲線は、角座標群８４から、多項式近似により算出されるスプライン曲線である。図９の場合、１つの角部に対して、９本の近似曲線が算出される。
　制御部６０は、ステップＳ９で生成した複数の近似曲線から、ステップＳ５で抽出した角座標群８４との位置関係が最も一致する、一の近似曲線を選択する（ステップＳ１０）。例えば、制御部６０は、角座標群８４の各座標と、近似曲線との距離のばらつきが、最も少ないものを選択する。
　制御部６０は、ステップＳ６からステップＳ１０までの処理を、ウェル９１の全ての角部について行ったか否かを判定する（ステップＳ１１）。全ての角部について、前記処理を行っていない場合（ステップＳ１１でＮＯ）、制御部６０は、ステップＳ６の処理に戻り、ステップＳ４で算出した近似直線８３の中から、未選択の２本の近似直線８３を選択し、ステップＳ６からステップＳ１０までの処理を実行する。つまり、制御部６０は、ステップＳ６からステップＳ１０までの処理を４回実行する。
　全ての角部について、前記処理を行った場合（ステップＳ１１でＹＥＳ）、制御部６０は、ウェル９１のエッジは、ステップＳ４で算出した４本の近似直線８３と、ステップＳ１０で選択された４本の近似曲線とから、ウェル９１のエッジを算出する（ステップＳ１２）。
　図１０は、ウェル９１のエッジを算出した結果を示す図である。近似直線８３および近似曲線８６の交点（図１０の黒点）の外側にある部分（図１０の破線部分）は排除され、残った部分が、ウェル９１のエッジとして検出される。
　以上のように、本実施形態では、ウェル９１のエッジを、各辺の近似直線８３と、角部の近似曲線８６との組み合わせで、表している。角部は、辺部に比べて、光の屈折などの影響で、抽出するエッジ座標にばらつきがでやすい。そこで、角部の近似曲線８６を、矩形の各辺の近似直線８３を用いて、生成することで、角部のエッジ検出の精度が向上する。その結果、ウェル９１のエッジを精度よく検出できる。そして、ウェル９１のエッジを把握することで、精度よく細胞９３の解析を行える。
　また、多項式近似を用いて、エッジ候補を生成することで、ロバスト性の高いエッジ検出が可能となる。さらに、多項式近似を用いることで、細胞９３等の影響で検出されたエッジ座標を排除できる。
　＜３．変形例＞
　以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。
　ウェル９１の上面視の形状は、長辺と短辺とを有する略長方形であって、４つの角部がＲ形状となっていてもよい。さらに、ウェル９１の各辺は、直線として説明しているが、各辺は曲線であってもよい。この場合、制御部６０が算出する各辺の近似線は、近似曲線である。また、制御部６０が算出する近似曲線８６はスプライン曲線としているが、近似曲線８６は、これ以外の既知の手法を用いて算出されたものであってもよい。
　また、制御部６０は、図４のステップＳ４で４本の近似直線８３を算出した場合、対向する２本の近似直線８３の傾きの差が、許容値以上であるとき、２本の近似直線８３は異常と判定し、ステップＳ４以降の処理を行わないようにしてもよい。または、制御部６０は、対向する２本の近似直線８３の距離と、他の２本の近似直線８３の距離とが、ウェル９１の理想径と大きく異なる場合、ステップＳ４以降の処理を行わないようにしてもよい。ステップＳ４以降の処理を行わない場合、制御部６０は、再度、ステップＳ１から処理を開始してもよいし、エッジ検出処理を中止してもよい。また、対向する２本の近似直線の距離と、他の２本の近似直線との距離の比が、許容値を超える場合、ステップＳ４以降の処理をスキップしてもよい。
　また、制御部６０は、図４のステップＳ９で生成した近似曲線８６のなかで、Ｒ形状の理想的な軌跡から大きく異なる近似曲線８６、例えば、方向が一様でない近似曲線８６を、ステップＳ１０での選択対象から除外してもよい。
　また、上記の実施形態では、画像処理に最小二乗法を用いているが、ハフ変換等、既知の手法を用いてもよい。
　上記の実施形態および変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。
１　　撮像装置
９　　ウェルプレート
１０　ステージ
１１　開口部
１２　支持面
２０　投光部
３０　投光部移動機構
４０　カメラ
５０　カメラ移動機構
５１　昇降移動機構
５２　水平移動機構
６０　制御部
６１　プロセッサ
６２　メモリ
６３　記憶部
８１　エッジ座標群
８２　辺座標群
８３　近似直線
８４　角座標群
８５　接点候補座標
８６　近似曲線
９１　ウェル
９２　培養液
９３　細胞

Claims (7)

  1. 　対象物を解析する、角丸矩形状の解析領域、および、前記解析領域の周囲を撮像して得られる画像データから、前記解析領域のエッジを検出する画像処理方法であって、
    　ａ）前記画像データから、前記解析領域のエッジ座標群を抽出する工程と、
    　ｂ）前記解析領域の１つの辺部に相当する辺座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の４つの辺部それぞれに対して行う工程と、
    　ｃ）４つの前記辺座標群それぞれから、４本の近似線を生成する工程と、
    　ｄ）前記解析領域の１つの角部に相当する角座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の４つの角部それぞれに対して行う工程と、
    　ｅ）前記４本の近似線から、交差する第１近似線および第２近似線を選択する工程と、
    　ｆ）前記第１近似線および前記第２近似線それぞれに、複数の接点候補座標を設定する工程と、
    　ｇ）前記第１近似線に設定した一の接点候補座標と、前記第２近似線に設定した一の接点候補座標との少なくとも一つ以上のペアに接する近似曲線を、前記第１近似線および前記第２近似線の交点に最も近い前記角座標群から、多項式近似により生成する工程と、
    　ｈ）前記工程ｇ）で用いた前記角座標群に最も近い近似曲線を、前記工程ｇ）で生成された近似曲線の中から選択する工程と、
    　を含み、
    　前記工程ｅ）から前記工程ｈ）を、前記４本の近似線で取り得る全ての組み合わせについて行う、画像処理方法。
  2. 　請求項１に記載の画像処理方法であって、
    　前記工程ｇ）は、前記工程ｆ）で設定された接点候補座標全てのペアで、近似曲線を生成する、
    　画像処理方法。
  3. 　請求項１または請求項２に記載の画像処理方法であって、
    　前記工程ｄ）は、
    　交差する２つの前記近似線の交点からの距離に基づいて、前記角座標群を抽出する、
    　画像処理方法。
  4. 　請求項１から請求項３までのいずれか一つに記載の画像処理方法であって、
    　前記工程ｃ）は、
    　　最小二乗法を用いた多項式近似により、前記近似線を生成する、
    　画像処理方法。
  5. 　請求項１から請求項４までのいずれか一つに記載の画像処理方法であって、
    　前記近似線は近似直線である、
    　画像処理方法。
  6. 　請求項１から請求項５のいずれか一つに記載の画像処理方法であって、
    　前記近似曲線は、スプライン曲線である、
    　画像処理方法。
  7. 　対象物を解析する、角丸矩形状の解析領域、および、前記解析領域の周囲を撮像するカメラと、
    　前記カメラで撮像して得られる画像データから、前記解析領域のエッジを検出する制御部と、
    を備え、
    　前記制御部は、
    　ａ）前記画像データから、前記解析領域のエッジ座標群を抽出する工程と、
    　ｂ）前記解析領域の１つの辺部に相当する辺座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の４つの辺部それぞれに対して行う工程と、
    　ｃ）４つの前記辺座標群それぞれから、４本の近似線を生成する工程と、
    　ｄ）前記解析領域の１つの角部に相当する角座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の４つの角部それぞれに対して行う工程と、
    　ｅ）前記４本の近似線から、交差する第１近似線および第２近似線を選択する工程と、
    　ｆ）前記第１近似線および前記第２近似線それぞれに、複数の接点候補座標を設定する工程と、
    　ｇ）前記第１近似線に設定した一の接点候補座標と、前記第２近似線に設定した一の接点候補座標との少なくとも一つ以上のペアに接する近似曲線を、前記第１近似線および前記第２近似線の交点に最も近い前記角座標群から、多項式近似により算出する工程と、
    　ｈ）前記工程ｇ）で用いた前記角座標群に最も近い近似曲線を、前記工程ｇ）で生成された近似曲線の中から選択する工程と、
    　を含み、
    　前記工程ｅ）から前記工程ｈ）を、前記４本の近似線で取り得る全ての組み合わせについて行う、画像処理装置。
PCT/JP2017/041911 2017-03-24 2017-11-22 画像処理方法および画像処理装置 WO2018173365A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780063388.1A CN109863536B (zh) 2017-03-24 2017-11-22 图像处理方法及图像处理装置
EP17902012.8A EP3605466B1 (en) 2017-03-24 2017-11-22 Image processing method and image processing device
US16/487,027 US11087510B2 (en) 2017-03-24 2017-11-22 Image processing method and image processor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017058514A JP6842329B2 (ja) 2017-03-24 2017-03-24 画像処理方法および画像処理装置
JP2017-058514 2017-03-24

Publications (1)

Publication Number Publication Date
WO2018173365A1 true WO2018173365A1 (ja) 2018-09-27

Family

ID=63585300

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/041911 WO2018173365A1 (ja) 2017-03-24 2017-11-22 画像処理方法および画像処理装置

Country Status (6)

Country Link
US (1) US11087510B2 (ja)
EP (1) EP3605466B1 (ja)
JP (1) JP6842329B2 (ja)
CN (1) CN109863536B (ja)
TW (1) TWI682360B (ja)
WO (1) WO2018173365A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7254413B2 (ja) * 2018-12-20 2023-04-10 ヤマハ発動機株式会社 生体対象物の処理装置
US12056799B2 (en) * 2022-04-28 2024-08-06 Dassault Systemes Solidworks Corporation Converting images to sketches that are modifiable using computer-aided design (CAD) software

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5920994B2 (ja) 1976-12-09 1984-05-16 株式会社大興電機製作所 接点の時間特性測定装置
JP2002296761A (ja) * 2001-03-29 2002-10-09 Toshiba Corp パターン測定方法、及びパターン測定装置
JP2009521686A (ja) * 2005-12-21 2009-06-04 メソ スケール テクノロジーズ エルエルシー アッセイ試薬を具備するアッセイモジュールとその製造方法およびその使用方法
JP2009300125A (ja) * 2008-06-10 2009-12-24 Keyence Corp 画像計測装置、画像計測方法及びコンピュータプログラム
JP2013526717A (ja) * 2010-05-19 2013-06-24 ゼネラル・エレクトリック・カンパニイ マイクロプレートのウェル壁境界を識別するための方法及びシステム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3020505B2 (ja) * 1988-07-26 2000-03-15 株式会社東芝 画像符号化装置、画像復号化装置および画像伝送装置
US6868175B1 (en) * 1999-08-26 2005-03-15 Nanogeometry Research Pattern inspection apparatus, pattern inspection method, and recording medium
JP4068596B2 (ja) * 2003-06-27 2008-03-26 株式会社東芝 図形処理方法、図形処理装置およびコンピュータ読取り可能な図形処理プログラム
WO2005015500A1 (en) * 2003-08-08 2005-02-17 Applied Materials Israel, Ltd. Measurement of corner roundness
US7496229B2 (en) * 2004-02-17 2009-02-24 Microsoft Corp. System and method for visual echo cancellation in a projector-camera-whiteboard system
JP3888465B2 (ja) * 2004-05-26 2007-03-07 セイコーエプソン株式会社 画像処理システム、プロジェクタおよび画像処理方法
JP2006107018A (ja) * 2004-10-04 2006-04-20 Konica Minolta Photo Imaging Inc 画像解析方法及び装置、画像処理方法及びシステム、これらの動作プログラム
JP4712487B2 (ja) * 2005-08-25 2011-06-29 株式会社リコー 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
US8120665B2 (en) * 2005-08-25 2012-02-21 Ricoh Company, Ltd. Image processing method and apparatus, digital camera, and recording medium recording image processing program
JP5658873B2 (ja) * 2009-11-13 2015-01-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
TWI393071B (zh) 2010-02-12 2013-04-11 Nat Univ Tsing Hua 可保留影像特徵之影像處理方法及系統
CN102870121B (zh) * 2010-03-11 2015-04-29 得利捷Ip科技有限公司 图像捕捉装置
JP5815513B2 (ja) * 2010-05-10 2015-11-17 株式会社日立メディコ 画像処理装置及び画像処理方法
JP5851160B2 (ja) * 2011-08-31 2016-02-03 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5766073B2 (ja) * 2011-09-08 2015-08-19 株式会社Pfu 画像処理装置、画像処理方法、画像処理プログラム及び画像処理システム
JP5975281B2 (ja) * 2012-09-06 2016-08-23 カシオ計算機株式会社 画像処理装置及びプログラム
JP2014092899A (ja) * 2012-11-02 2014-05-19 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
JP5979096B2 (ja) * 2013-08-06 2016-08-24 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US10318067B2 (en) * 2014-07-11 2019-06-11 Hewlett-Packard Development Company, L.P. Corner generation in a projector display area
EP3029238B1 (de) 2014-12-04 2021-09-08 dormakaba Deutschland GmbH Eckbeschlag mit einstellbarem einspannbereich
US10430920B2 (en) * 2015-04-07 2019-10-01 Adobe Inc. Content-conforming stamp tool
CN105913415B (zh) * 2016-04-06 2018-11-30 博众精工科技股份有限公司 一种具有广泛适应性的图像亚像素边缘提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5920994B2 (ja) 1976-12-09 1984-05-16 株式会社大興電機製作所 接点の時間特性測定装置
JP2002296761A (ja) * 2001-03-29 2002-10-09 Toshiba Corp パターン測定方法、及びパターン測定装置
JP2009521686A (ja) * 2005-12-21 2009-06-04 メソ スケール テクノロジーズ エルエルシー アッセイ試薬を具備するアッセイモジュールとその製造方法およびその使用方法
JP2009300125A (ja) * 2008-06-10 2009-12-24 Keyence Corp 画像計測装置、画像計測方法及びコンピュータプログラム
JP2013526717A (ja) * 2010-05-19 2013-06-24 ゼネラル・エレクトリック・カンパニイ マイクロプレートのウェル壁境界を識別するための方法及びシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3605466A4

Also Published As

Publication number Publication date
CN109863536B (zh) 2022-10-25
JP6842329B2 (ja) 2021-03-17
CN109863536A (zh) 2019-06-07
EP3605466A1 (en) 2020-02-05
US20200234473A1 (en) 2020-07-23
TW201835853A (zh) 2018-10-01
US11087510B2 (en) 2021-08-10
JP2018160218A (ja) 2018-10-11
EP3605466A4 (en) 2020-08-12
TWI682360B (zh) 2020-01-11
EP3605466B1 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
US11754392B2 (en) Distance determination of a sample plane in a microscope system
JP2020502490A (ja) 空気試料の自動分析を実行するためのシステム及び方法
US20220350130A1 (en) System and Method for Template-Based Image Analysis
CN1584729A (zh) 图像投影方法和设备
US10182185B2 (en) Image generation device, image generation method, recording medium, and method for generating an in-focus image based on feature points
US10295525B2 (en) Image generation device, image generation method, recording medium, and processing method
WO2018042786A1 (ja) 画像処理方法、画像処理装置、および撮像装置
WO2018173365A1 (ja) 画像処理方法および画像処理装置
US10282837B2 (en) Image measuring apparatus and non-temporary recording medium on which control program of same apparatus is recorded
JP7112181B2 (ja) 画像処理方法および画像処理装置
TWI657411B (zh) 圖像處理方法及圖像處理裝置
CN111276412A (zh) 中心检测方法
JP5686012B2 (ja) 表面欠陥検査装置及び方法
JP5762315B2 (ja) 画像処理方法
JP2009109682A (ja) 自動焦点調節装置、および自動焦点調節方法
JP2010025597A (ja) 欠陥検出装置、欠陥検出方法およびプログラム
JP2021103152A (ja) 異物検査装置
JP6512852B2 (ja) 情報処理装置、情報処理方法
JP4634250B2 (ja) 矩形部品の画像認識方法及び装置
JP7025124B2 (ja) 画像処理方法および画像処理装置
JP7051571B2 (ja) 教師データ作成装置および方法
JP2017015440A (ja) 撮像装置のキャリブレーション用治具及び撮像装置のキャリブレーション方法
CN112775961A (zh) 控制装置、控制装置的控制方法以及控制系统
JP5972715B2 (ja) 画像切り出し方法および画像取得装置
CN107403432A (zh) 自动识别样本拍照区域方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17902012

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017902012

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017902012

Country of ref document: EP

Effective date: 20191024