WO2020208899A1 - 画像処理装置、自動分析システム及び画像処理方法 - Google Patents

画像処理装置、自動分析システム及び画像処理方法 Download PDF

Info

Publication number
WO2020208899A1
WO2020208899A1 PCT/JP2020/002860 JP2020002860W WO2020208899A1 WO 2020208899 A1 WO2020208899 A1 WO 2020208899A1 JP 2020002860 W JP2020002860 W JP 2020002860W WO 2020208899 A1 WO2020208899 A1 WO 2020208899A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
container
image processing
unit
region
Prior art date
Application number
PCT/JP2020/002860
Other languages
English (en)
French (fr)
Inventor
容弓 柿下
英春 服部
卓 坂詰
洋一郎 鈴木
Original Assignee
株式会社日立ハイテク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテク filed Critical 株式会社日立ハイテク
Priority to CN202080025465.6A priority Critical patent/CN113646641A/zh
Priority to US17/599,370 priority patent/US20220172341A1/en
Priority to EP20788579.9A priority patent/EP3955008A4/en
Publication of WO2020208899A1 publication Critical patent/WO2020208899A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01FMEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F23/00Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm
    • G01F23/22Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water
    • G01F23/28Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water by measuring the variations of parameters of electromagnetic or acoustic waves applied directly to the liquid or fluent solid material
    • G01F23/284Electromagnetic waves
    • G01F23/292Light, e.g. infrared or ultraviolet
    • G01F23/2921Light, e.g. infrared or ultraviolet for discrete levels
    • G01F23/2928Light, e.g. infrared or ultraviolet for discrete levels using light reflected on the material surface
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/0096Casings for storing test samples
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Definitions

  • the present invention relates to a technique for determining the state of a container containing a collection target such as a sample, a reagent, a reaction solution, or the state of a collection target in an automatic analysis system including an immunoassay device or the like.
  • an automatic analysis system equipped with an immunoassay device or the like, in order to analyze the components of a sample such as blood and urine, the state of color development and luminescence generated from the reaction solution obtained by reacting the sample and the reagent is measured.
  • Samples, reagents, reaction solutions, etc. used for analysis are stored in a container such as a test tube, and are collected from the container by a collection unit such as a dispensing probe.
  • a collection unit such as a dispensing probe.
  • Patent Document 1 discloses that the type of container is discriminated by comparing a figure obtained by imaging a container from two directions, an opening direction and a side direction, with a standard figure stored in a memory. Has been done.
  • Patent Document 1 in order to determine the type of container, a plurality of cameras that image the container from two directions, the opening direction and the side surface direction, are required, which requires hardware cost. Further, Patent Document 1 only determines the type of the container, and does not give consideration to the determination of the state of the container or the collection target such as the inclination of the container and the amount of the collection target.
  • an object of the present invention is to provide an image processing device, an automatic analysis system, and an image processing method capable of determining the state of a container or a collection target from an image acquired by a single camera.
  • the present invention has an image acquisition unit that acquires an upper image, which is an image obtained by imaging a container containing a sample, a reagent, and a reaction solution containing a sample, a reagent, and a reaction solution from above, and the upper image. It is provided with an area calculation unit for calculating the edge region of the container or the upper surface region of the collection target, and a state determination unit for determining the state of the container or the collection target based on the edge region or the upper surface region. It is a featured image processing device.
  • the present invention is an automatic analysis system including the image processing device, which includes a collection unit that collects a collection target from the container and a control unit that controls the collection unit based on the determination result of the state determination unit. It is an automatic analysis system characterized by this.
  • the present invention includes an image acquisition step of acquiring an upper image which is an image obtained by imaging a container containing a sample, a reagent, and a reaction solution containing a sample, a reagent, and a reaction solution from above, and an edge region of the container or the edge region of the container from the upper image.
  • An image processing method comprising: a region calculation step for calculating the upper surface region of the collection target, and a state determination step for determining the state of the container or the collection target based on the edge region or the upper surface region.
  • the present invention is an image processing method for dividing an image into a plurality of regions, and comprises a step of creating a dilate kernel by inserting a predetermined number of zeros between kernel elements used for Convolution processing and Pooling processing. , The step of executing the Convolution process and the Pooling process using the dilate kernel.
  • an image processing device capable of determining the state of a container or a collection target from an image acquired by a single camera.
  • FIG. It is a figure which shows an example of the hardware configuration of an automatic analysis system. It is an example of the functional block diagram of the first embodiment. It is a figure which shows an example of the process flow of Example 1.
  • FIG. It is a figure which shows an example of the result of the area division processing. It is a figure explaining to calculate the edge area of a container.
  • FIG. It is a figure which shows an example of the upper image in a non-telecentric. It is a figure which shows an example of the upper image in telecentric. It is a figure which shows an example of the orthorhombic image in telecentric. It is a figure which shows an example of the table for finding the distance from the edge of a container to the upper surface of a collection target. It is a figure which shows an example of the process flow of Example 3.
  • FIG. It is a figure explaining the tilt determination based on the upper image in the non-telecentric. It is a figure explaining the tilt determination based on the upper image in telecentric. It is a figure explaining the calculation of the tilt angle based on the upper image in the non-telecentric.
  • Example 4 It is a figure explaining the calculation of the tilt angle based on the upper image by telecentric. It is an example of the functional block diagram of Example 4. It is a figure which shows an example of the process flow of Example 4. FIG. It is a figure which shows an example of the screen which displays the list of the image which gives a teacher signal. It is a figure which shows an example of the operation screen for designating the area to which a teacher signal is given. It is a figure which shows an example of the operation screen for giving a teacher signal.
  • the automatic analysis system 100 includes an image processing device 101, an imaging unit 111, a control unit 121, a sampling unit 122, and an analysis unit 123.
  • the image processing device 101 is a so-called computer, and specifically, includes an input unit 102, a calculation unit 103, a memory 104, and an output unit 105, and is connected to an image pickup unit 111 and a control unit 121.
  • the image processing device 101 may be provided in a system other than the automatic analysis system 100. Each part will be described below.
  • the imaging unit 111 is a device that images the container 112 and the collection target 113 housed in the container 112, for example, a camera.
  • the container 112 is a test tube or the like, and has a bottom surface at one end and an opening at the other end in a cylindrical or tapered shape. Further, the container 112 has a plurality of types having different inner diameters and lengths.
  • the collection target 113 is a sample such as blood and urine, a reagent to be reacted with the sample, a reaction solution obtained by reacting the sample with the reagent, and the like, and is a liquid or powder.
  • the imaging unit 111 is single and is installed on the opening side of the container 112, that is, above the container 112, and images the container 112 and the collection target 113 from above the container 112.
  • the image captured from above the container 112 by the imaging unit 111 is called an upper image.
  • a telecentric or non-telecentric lens is attached to the imaging unit 111.
  • the input unit 102 is an interface for receiving the data of the upper image from the imaging unit 111 or the recording device in which the upper image is recorded, and receiving the operation signal generated by the operator operating the keyboard, mouse, or the like. ..
  • the upper image may be a still image such as BMP, PNG, JPEG, or MPEG, H.I.
  • a frame image extracted at regular intervals from a moving image such as 264 may be used.
  • the calculation unit 103 is a device that executes various processes in the image processing device 101, such as a CPU (Central Processing Unit) and an FPGA (Field-Programmable Gate Array). The function executed by the calculation unit 103 will be described later with reference to FIG.
  • the memory 104 is a device for storing programs executed by the arithmetic unit 103, parameters, coefficients, processing results, etc., and is an HDD, RAM, ROM, flash memory, or the like.
  • the output unit 105 is an interface for transmitting the processing result of the calculation unit 103 to the outside, for example, for a display device such as a display or a printer, a recording device for recording the processing result, and a control device for controlling other devices. And output the processing result.
  • FIG. 1 illustrates that the processing result is output to the control unit 121, which is an example of a control device that controls other devices.
  • the control unit 121 is a device that controls the operation of the collection unit 122 based on the result of processing output from the output unit 105, and specifically is a CPU (Central Processing Unit) or the like.
  • CPU Central Processing Unit
  • the collection unit 122 is a device that collects the collection target 113 from the container 112 by the control unit 121, for example, a dispensing probe or the like.
  • the analysis unit 123 is an apparatus for performing analysis using the collection target 113, for example, an immunoassay apparatus and the like.
  • the result of the analysis by the analysis unit 123 is displayed on a display or the like.
  • This embodiment includes an image acquisition unit 201, an area calculation unit 202, and a state determination unit 203. Each part will be described below.
  • the image acquisition unit 201 acquires the upper image 212 imaged by the image pickup unit 111.
  • the upper image 212 includes an edge 213 and an inner wall 214 of the container 112, an upper surface 215 of the sampling target 113, a mixture 216, and a fixing portion 217.
  • the mixture 216 is a bubble, a lipid, or the like existing inside or on the upper surface of the collection target 113.
  • the fixing portion 217 is a holder or the like for fixing the container 112. See also side view 211 for each part included in the upper image 212.
  • the area calculation unit 202 calculates any area of each part, for example, the area of the edge 213 of the container 112 or the area of the upper surface 215 of the collection target 113 from the upper image 212 acquired by the image acquisition unit 201.
  • threshold processing using the brightness value of the image region division processing using FCN (Fully Convolutional Networks), and the like are executed.
  • the state determination unit 203 determines the state of the container 112 and the collection target 113, for example, the type of the container 112, the inclination of the container 112, and the amount of the collection target 113 based on any of the areas calculated by the area calculation unit 202. To do.
  • the type of the container 112 is determined based on the region of the edge 213 of the container 112 calculated from the upper image 212.
  • the image acquisition unit 201 acquires the upper image 212 via the input unit 102.
  • the upper image 212 to be acquired may be an image taken by the imaging unit 111 or an image recorded by a recording device or the like (not shown).
  • the area calculation unit 202 calculates the area of the edge 213 of the container 112 from the upper image 212 acquired in S301. In order to calculate the region of the edge 213, any processing such as a threshold value processing using the brightness value of the upper image 212 and a region division processing using FCN is executed. The area division process using FCN will be described later with reference to FIGS. 7 to 15.
  • the region division image 401 is composed of an edge region 402, an inner wall region 403, an upper surface region 404, and a background region 405.
  • the edge region 402 is the region of the edge 213 of the container 112.
  • the inner wall region 403 is a region of the inner wall 214 of the container 112, and is a region between the edge 213 of the container 112 and the collection target 113.
  • the upper surface region 404 is a region of the upper surface 215 of the collection target 113, and the mixture 216 is also included in the upper surface region 404.
  • the background region 405 is the entire region outside the edge region 402, and the fixed portion 217 is also included in the background region 405.
  • the state determination unit 203 determines the type of the container 112 based on the edge region 402 calculated in S302. This step will be described with reference to FIGS. 5 and 6.
  • the state determination unit 203 creates an edge binarized image 501 based on the calculation result in S302.
  • the edge binarized image 501 includes an edge region 402 and other regions 503 other than the edge region 402. For example, a brightness value of 0 is given to the edge region 402, and a brightness value of 255 is given to the other region 503.
  • the state determination unit 203 applies a sobel filter or the like to the edge binarized image 501 to extract the boundary of the edge region 402, and creates an edge boundary image 502. Since the edge 213 of the container 112 has a ring shape, the boundary image 502 of the edge includes the inner boundary 505, which is the boundary on the inner wall side of the container 112, and the outer boundary 506, which is the boundary on the outer wall side.
  • the state determination unit 203 performs elliptical fitting on the inner boundary 505 and the outer boundary 506, calculates the major axis of the inner boundary 505 and the outer boundary 506, sets the major axis of the inner boundary 505 as the inner diameter of the container 112, and uses the major axis of both.
  • the thickness of the container 112 is determined using the following equation.
  • D is the thickness of the container 112
  • Lo is the major axis of the outer boundary 506
  • Lc is the major axis of the inner boundary 505.
  • the reason for using the long diameter instead of the short diameter is to reduce the influence of the inclination of the container 112. That is, as the container 112 is tilted from the upright state, the minor axis of the inner boundary 505 and the outer boundary 506 becomes shorter, but the major axis does not change easily.
  • all points of the inner boundary 505 or the outer boundary 506 may be used, or at least three extraction points 508 arbitrarily extracted from the inner boundary 505 or the outer boundary 506 may be used.
  • a point that reaches the inner boundary 505 or the outer boundary 506 is extracted by scanning in the vertical and horizontal directions from the center of gravity 507 obtained by arithmetically averaging the coordinates of the edge region 402.
  • the state determination unit 203 determines the type of the container 112 by collating the inner diameter and the thickness of the container 112 obtained from the major diameters of the inner boundary 505 and the outer boundary 506 with the table illustrated in FIG. 6A. For example, when the obtained inner diameter of the container 112 is 60 pixels and the thickness is 10 pixels, it is determined that the type of the container is ⁇ . Which item in the table the obtained inner diameter and thickness correspond to may be determined by the absolute value of the difference between the obtained value and the numerical value of each item. For example, when the obtained inner diameter is 98 pixels and the thickness is 6 pixels, the inner diameter of 100 pixels and the thickness of 6 pixels are selected from the table, and it is determined that the type of the container 112 is ⁇ .
  • the table illustrated in FIG. 6A is created in advance by measuring the inner diameter and thickness of a plurality of types of containers 112, and is stored in a memory 104 or the like. Further, the blanks in the table indicate an unknown container, and when the inner diameter and the thickness obtained in this step correspond to the blanks, the container 112 included in the upper image 212 is determined to be an unknown container.
  • the output unit 105 outputs the type of the container 112 determined in S303.
  • the determination result is transmitted to, for example, the control unit 121, and the control unit 121 controls the collection unit 122 based on the determination result.
  • the control unit 121 may stop the collection unit 122.
  • the collision between the collection unit 122 and the container 112 can be avoided by stopping the collection unit 122.
  • control unit 121 may adjust the height of the sampling unit 122 according to the type of the container 112.
  • the height of the sampling unit 122 may be adjusted based on the length of the container 112 obtained by collating the type of the container 112, which is the determination result, with the table illustrated in FIG. 6B.
  • the table illustrated in FIG. 6B is created in advance by measuring the inner diameter, thickness, length, and presence / absence of taper of a plurality of types of containers 112, stored in a memory 104 or the like, and referred to as necessary. To.
  • the output unit 105 may output the determination result to a display or a printer and present the type of the container 112 to the operator. If the container is an unknown container, a message prompting the change of the container 112 is displayed. Is also good. Further, the output unit 105 may output the type of the container 112 to another image processing device, and may also output an image that has been corrected according to the type of the container 112.
  • the correction process according to the type of the container 112 is, for example, a process of normalizing the image size according to the inner diameter of the container 112, or a process of correcting the contrast according to the type of the container 112.
  • the image processing apparatus 101 can determine the type of the container 112, which is one of the states of the container 112, from the upper image 212 acquired by the single imaging unit 111. Further, since the automatic analysis system 100 can appropriately control the sampling unit 122 according to the determination result by the image processing device 101, more accurate analysis can be performed without lowering the inspection efficiency.
  • FCN is one of DNN (Deep Neural Network), and is an area division process for dividing an image into each area by configuring all layers with CNN (Convolutional Neural Network).
  • CNN is composed of three processes: Convolution process, Pooling process, and Activation process.
  • the Convolution process is a process for creating a map of the feature amount from the input data
  • the Pooling process is a process for extracting a representative value from the input data
  • the Activation process is a process for applying a nonlinear function to the input data.
  • Equation 2 shows an example of the calculation formula for Convolution processing.
  • the input data Ic is data having three dimensions of the channel ch, the vertical position y, and the horizontal position x
  • the output data Occ is the three dimensions of the feature quantity number d, the vertical position y, and the horizontal position x. It is data with dimensions.
  • the multiplication coefficient Wc is a coefficient having four dimensions of feature quantity number d, channel ch, vertical position fy, and horizontal position fx, and is also called a kernel.
  • the addition coefficient Bc is a coefficient having the dimension of feature quantity number d. Is.
  • the size of the kernel is represented by the kernel height Fy and the kernel width Fx, and the amount that the kernel slides at one time is represented by the vertical stride amount Sy and the horizontal stride amount Sx.
  • the multiplication coefficient Wc and the addition coefficient Bc are obtained in advance by machine learning using a stochastic gradient descent method or the like, using the teacher image which is an image in which each region is correctly divided as input data, and are used as the coefficients of the region division processing. It is stored in the memory 104. That is, machine learning is performed using a teacher signal that correctly indicates which of the edge region 402, the inner wall region 403, the upper surface region 404, and the background region 405 each pixel of the plurality of upper images 212 belongs to.
  • the acquired luminance values of the plurality of pixels are slid from the upper left to the lower right of the input data Ip with a constant step size.
  • the output data Op is calculated by extracting the representative value from.
  • the maximum value or the average value of the brightness values of a plurality of pixels is used as the representative value, and the representative value extracted in this embodiment is the maximum value.
  • Equation 3 shows an example of the calculation formula for the Pooling process.
  • the input data Ip and the output data Op are data having three dimensions of the channel ch, the vertical position y, and the horizontal position x.
  • the acquired luminance values of multiple pixels are multiplied by a coefficient called the kernel, the size of the kernel is represented by Fy and Fx, and the stride amount of the kernel is represented by Sy and Sx. Kernel.
  • the kernel used for the Pooling process is called the P kernel
  • the kernel used for the Convolution process is called the C kernel.
  • the activation process is a process of applying a nonlinear function of the equation 4 or the equation 5 to the output data Oct of the Convolution process or the output data Op of the Pooling process, and for example, identifying whether or not a pixel is the edge region 402. ..
  • CNN combines the above-mentioned Convolution treatment, Pooling treatment, and Activation treatment to obtain feature quantities and identification results.
  • FCN is a region divider composed of only CNN, and it is possible to input an image of any size.
  • FIG. 9 shows an example of area division processing by FCN. It is assumed that the input image 901 is an image input to the FCN and has a width and a height of 8 pixels.
  • the first kernel 902 shows the first processing area in each layer. The shaded area represents the processing target location.
  • the second kernel 903 shows the second processing target area in each layer. The amount of deviation between the first kernel 902 and the second kernel 903 is determined by the stride amounts Sy and Sx.
  • the first layer output data 904 is the result of applying the Convolution process to the input image 901
  • the second layer output data 905 is the result of applying the Pooling process to the first layer output data 904.
  • the third layer output data 906 is the result of applying the Convolution process to the second layer output data 905
  • the fourth layer output data 907 is the result of applying the Pooling process to the third layer output data 906.
  • the region division result 908 indicates which position in the input image the output data 907 of the fourth layer corresponds to the identification result.
  • the kernel sizes Fy, Fx and stride amount Sy, Sx of the Convolution process and the Pooling process are as shown in FIG.
  • each time a process having a stride amount of 2 or more is executed the size of the output data of each layer is reduced according to the stride amount.
  • the final output, the fourth layer output data 907, has been reduced to 2x2 pixels, and only the four locations shown in the black squares of the region division result 908 are applied on the input image 901. That is, only the identification result of the black square of the region division result 908 is obtained, and the white square portion is in a state where the identification result is not obtained, and the region division processing with low resolution is performed.
  • a high-resolution area division process will be described with reference to FIG.
  • images having different acquisition positions are input to the FCN, and the area division result for each image is acquired. That is, the first input image 1001, the second input image 1002, the third input image 1003, the fourth input image 1004, ... Are input, and the first area division result 1005, the second area division result 1006, The third region division result 1007, the fourth region division result 10008, ... Are acquired.
  • the first input image 1001 is the same image as the input image 901 of FIG. 9, the second input image 1002 is the input image 901 one pixel right, the third input image 1003 is two pixels right, and the third.
  • the input image 1004 of No. 4 is an image slid down by one pixel.
  • the brightness value of 0 or the brightness value of the adjacent pixel is filled in the portion where the pixel does not exist by sliding the pixel.
  • the integrated region division result 1009 can be obtained.
  • a high-resolution area division result can be obtained, but the number of times of the area division process increases. For example, in the example of FIG.
  • the kernel used for the FCN Convolution process and the Pooling process is changed by the dilate process, and a high-resolution area division result is acquired by one area division process.
  • the dilate process is a process of inserting a predetermined number of zeros between the elements of the kernel to expand the kernel, and the kernel after the dilate process is called a dilate kernel or a D kernel.
  • the Convolution process and the Pooling process using the D kernel are called a Dilated Convolution process and a Dilated Planning process.
  • the C kernel 1101 is an example of a kernel used for Convolution processing, and is composed of nine elements a to i.
  • Equation 6 shows an example of the calculation formula for the Dilated Convolution process.
  • the D kernel in the Dilated Pooling process will be described with reference to FIG.
  • the P kernel 1201 is an example of a kernel used for the Pooling process, and all nine elements are composed of 1.
  • the DP kernel 1202 is an example of a kernel used for the Dilated Pooling process, and is configured by inserting one zero between the elements of the P kernel 1201.
  • Equation 7 shows an example of the calculation formula for the Dilated Pooling process.
  • the Dilated Convolution process and the Dilated Polling process will be described with reference to FIG.
  • the first kernel 1301 and the second kernel 1302 are kernels used for Convolution processing or Pooling processing.
  • the first D kernel 1303 and the second D kernel 1304 are kernels used for Dilated Convolution processing or Dilated Pooling processing.
  • the kernel sizes Fy and Fx are all 3, and the stride amounts Sy and Sx are both 2.
  • the Convolution process or the Pooling process corresponds to the Dilated Convolution process or the Dilated Pooling process when both the dilate amounts Dy and Dx are 1.
  • the dilate amounts Dy and Dx of the first D kernel 1303 and the second D kernel 1304 are both 2.
  • each kernel may include areas outside the input data.
  • the first line corresponds to the area outside the input data.
  • the luminance value 0 is filled in the area outside the input data.
  • DFSN Dilated FCN
  • the FCN model is input, and the DFSN model that calculates the area division result in units of Ky in the vertical direction and Kx pixels in the horizontal direction is output.
  • Ky and Kx are one of the divisors of the products Psy and Psx of the stride amounts of all layers in the FCN model.
  • the FCN model is composed of any of a Convolution layer, a Pooling layer, and an Activation layer.
  • the Convolution layer, the Pooling layer, and the Activation layer perform a Convolution process, a Pooling process, and an Activation process, respectively.
  • variable L is initialized.
  • the variable L represents the index of the layer to be processed.
  • the layer type is determined. If the layer type is a Convolution layer or a Pooling layer, it transitions to S1403, and if it is an Activation layer, it transitions to S1406.
  • the layer type is converted. If the L-th layer is a Convolution layer, it is converted into a Dilated Convolution layer, and if it is a Polling layer, it is converted into a Dilated Pooling layer.
  • the parameters such as the kernel size, the number of kernel types, the kernel coefficients, and the pooling size of the converted Convolution layer and the Dilated Pooling layer after conversion are the same as the setting values of the Convolution layer and the Pooling layer before the conversion.
  • the dilate amount of the L layer is determined.
  • An example of the procedure for determining the amount of dilate Dy in the vertical direction will be described.
  • the amount of dilate Dx in the horizontal direction is also determined in the same manner by reading the subscript from y to x.
  • the product PSy of the vertical stride amount Sy from the 0th layer to the L-1th layer of the input FCN model is calculated.
  • the greatest common divisor GCy of the product PSy of the stride amount Sy and the vertical step width Ky of the region division result is obtained.
  • the product PSy of the stride amount Sy and the greatest common divisor GCy are substituted into the following equation, and the vertical dilate amount Dy of the Lth layer is determined.
  • step size Ky is updated by the following equation.
  • the stride amount of the L layer is determined.
  • An example of the procedure for determining the amount of stride Sy in the vertical direction will be described.
  • the stride amount Sx in the horizontal direction is also determined in the same manner by reading the subscript from y to x.
  • the greatest common divisor GCy calculated in 1404 is substituted into the following equation, and the stride amount Sy in the vertical direction of the L layer is determined.
  • variable L is incremented. That is, the processing target is switched to the next layer.
  • the FCN model can be converted into a DFSN model that can obtain high-resolution region division results at high speed.
  • FIG. 15 shows an example of the area division process by DFSN. It is assumed that the input image 1501 is an image input to the DFSN and has a width and a height of 8 pixels.
  • the first kernel 1502 shows the first processing target area in each layer.
  • the shaded area represents the processing target location.
  • the second kernel 1503 shows the second processing target area in each layer.
  • the first layer output data 1504 is the result of applying the Dilated Convolution process to the input image 1501
  • the second layer output data 1505 is the result of applying the Dilated Pooling process to the first layer output data 1504.
  • the third layer output data 1506 is the result of applying the Dilated Convolution process to the second layer output data 1505
  • the fourth layer output data 1507 is the result of applying the Dilated Pooling process to the third layer output data 1506. Since the resolution is not lowered by the processing of each layer, the output data 1507 of the fourth layer is a region division result having the same resolution as the input image 1501.
  • FIG. 14 explained that the FCN model is converted to the DFSN model, the DFSN model may be constructed from the beginning. Further, an input image of a certain size may be converted from a DNN-based image classifier for identification to FCN, and further converted to DFSN. Machine learning for region segmentation may be performed with any model of DNN-based image classifier, FCN, or DFSN.
  • Example 1 it has been described that the type of the container 112 is determined based on the edge region 402 of the container 112 calculated from the upper image 212.
  • the determination result output by the image processing device 101 is not limited to the type of the container 112.
  • the amount of the collection target 113 is determined based on the edge region 402 of the container 112 and the upper surface region 404 of the collection target 113 calculated from the upper image 212. Since the hardware configuration and the functional block diagram of this embodiment are the same as those of the first embodiment, the description thereof will be omitted.
  • the area calculation unit 202 calculates the upper surface area 404 of the collection target 113 from the upper image 212 acquired in S301. Similar to S302, the calculation of the upper surface region 404 includes a threshold value process using the brightness value of the upper image 212, a region division process using FCN and DFSN, and the like.
  • the state determination unit 203 determines the amount of the collection target 113 based on the edge region 402 calculated in S302 and the upper surface region 404 calculated in S1604. This step will be described with reference to FIGS. 17 and 18. First, the upper surface region 404 will be described with reference to FIG.
  • the state determination unit 203 creates a binarized image 1701 on the upper surface of the collection target 113 based on the calculation result in S1604.
  • the upper surface binarized image 1701 includes an upper surface region 404 and other regions 1704 other than the upper surface region 404. For example, a luminance value of 0 is given to the upper surface region 404, and a luminance value of 255 is given to the other region 1704.
  • the state determination unit 203 applies a sobel filter or the like to the binarized image 1701 on the upper surface to extract the boundary of the upper surface region 404, and creates the boundary image 1702 on the upper surface.
  • the upper surface boundary image 1702 includes the upper surface boundary 1705.
  • the state determination unit 203 performs elliptical fitting to at least three extraction points 1706 arbitrarily extracted from the upper surface boundary 1705, and calculates the major axis and the minor axis of the upper surface region 404. Since the minor diameter of the upper surface region 404 is less likely to change than the major diameter even if the container 112 is tilted, it will be used in the subsequent processing.
  • the determination of the amount of the collection target 113 will be described with reference to FIG. A case where the lens of the imaging unit 111 is non-telecentric and a case where the lens is telecentric will be described.
  • the lens is non-telecentric, the size of the imaged object decreases as the distance from the imaging unit 111 to the imaged object increases, whereas when the lens is telecentric, the distance from the imaging unit 111 to the imaged object becomes smaller.
  • the size of the object to be imaged is the same regardless.
  • FIG. 18A shows side views or upper images of the collection target 113 when the amount is large and small, that is, side views 1801 when the amount is large and upper image 1802 when the amount is large, side views 1804 when the amount is small, and upper image 1805 when the amount is small. Shown. As can be seen from the comparison between the upper image 1802 when the amount is large and the upper image 1805 when the amount is small, the upper surface 1803 when the amount is large has a larger area than the upper surface 1806 when the amount is small. Therefore, the state determination unit 203 determines the amount of the collection target 113 based on the minor diameter of the upper surface region 404.
  • the minor axis of the upper surface region 404 is collated with the table illustrated in FIG. 19, and the distance H from the edge 213 of the container 112 to the upper surface 215 of the sampling target 113 is obtained.
  • the table of FIG. 19 is created in advance by measuring the minor axis and the distance H of the upper surface region 404 when different amounts of collection targets 113 are housed in a plurality of types of containers 112, and is stored in a memory 104 or the like. Will be done.
  • the type of the container 112 determined based on the edge region 402 is collated with the table of FIG. 6B, and the length G and the inner diameter D of the container 112 are obtained.
  • the distance H, the length G, and the inner diameter D are substituted into the following equation, and the quantity Q of the sampling target 113 is obtained.
  • the equation 11 is an equation when the inner diameter D of the container 112 is constant regardless of the distance H.
  • the container 112 has a tapered shape or the like and the inner diameter D of the container 112 changes depending on the distance H, the relationship between the distance H and the inner diameter D is stored in advance in the memory 104 or the like and referred to as necessary.
  • the quantity Q of the collection target 113 is obtained using the equation 11.
  • FIG. 18B Similar to FIG. 18A, FIG. 18B also shows a side view 1801 when the amount is large and an upper image 1802 when the amount is large, and a side view 1804 when the amount is large and an upper image 1805 when the amount is small.
  • the areas of the upper surface 1803 at the time of large amount and the upper surface 1806 at the time of small amount are the same, and the minor axis of the upper surface area 404 The amount of the collection target 113 cannot be determined based on this.
  • the amount of the sampling target 113 is determined based on the upper image captured by tilting the imaging unit 111 as shown in FIG. 18C. That is, as can be seen from the comparison between the upper image 1802 when the amount is large and the upper image 1805 when the amount is small, the distance 1807 from the edge to the upper surface is shorter when the collection target 113 is large than when the amount is small, and therefore the distance 1807 from the edge to the upper surface.
  • the amount of the collection target 113 is determined based on.
  • the container 112 has a tapered shape or the like, the relationship between the distance H and the inner diameter D stored in advance in the memory 104 or the like is referred to as necessary, as in the case of the non-telecentric case, and the container 112 is collected using the number 11.
  • the quantity Q of the target 113 is obtained.
  • the output unit 105 outputs the amount of the collection target 113 determined in S1605.
  • the determination result is transmitted to, for example, the control unit 121, and the control unit 121 controls the collection unit 122 based on the determination result. For example, when it is determined that the amount of the collection target 113 has not reached a predetermined amount, the control unit 121 may stop the collection unit 122. Further, the output unit 105 may output the determination result to a display or a printer and present the amount of the collection target 113 to the operator. If the amount of the collection target 113 does not reach a predetermined amount, the amount of the collection target 113 may be presented to the operator. A message to that effect may be displayed.
  • the image processing apparatus 101 can determine the amount of the collection target 113, which is one of the states of the collection target 113, from the upper image 212 acquired by the single image pickup unit 111. Further, since the automatic analysis system 100 can appropriately control the sampling unit 122 according to the determination result by the image processing device 101, more accurate analysis can be performed without lowering the inspection efficiency.
  • Example 1 the type of the container 112 is determined, and in Example 2, the amount of the collection target 113 is determined.
  • the inclination of the container 112 is determined based on the edge region 402 of the container 112 and the upper surface region 404 of the collection target 113 calculated from the upper image 212. Since the hardware configuration and the functional block diagram of this embodiment are the same as those of the first embodiment, the description thereof will be omitted.
  • the state determination unit 203 determines the inclination of the container 112 based on the edge region 402 calculated in S302 and the upper surface region 404 calculated in S1604. In the determination of the inclination of the container 112, the presence or absence of the inclination or the determination of the inclination angle is determined.
  • FIG. 21A shows a side view or an upper image of the container 112 when standing and tilting, that is, a side view 2101 when standing upright and an upper image 2102 when standing upright, and a side view 2105 when standing and an upper image 2106 when tilting.
  • the center 2103 of the edge region 402 and the center 2104 of the upper surface region 404 are based on the edge region 402 calculated in S302 and the upper surface region 404 calculated in S1604. Desired.
  • the state determination unit 203 determines whether or not the container 112 is tilted based on the distance between the center 2103 of the edge region 402 and the center 2104 of the upper surface region 404.
  • FIG. 21B Similar to FIG. 21A, FIG. 21B also shows a side view 2101 when standing upright and an upper image 2102 when standing upright, and a side view 2105 when standing upright and an upper image 2106 when tilted.
  • the center 2103 of the edge region 402 and the center 2104 of the upper surface region 404 are obtained, and in the case of telecentric, the presence or absence of inclination of the container 112 is determined based on the distance between the center 2103 and the center 2104. Will be done. Whether or not the container 112 is tilted based on the distance between the center 2103 and the center 2104 can be determined even when the container 112 has a tapered shape.
  • the presence or absence of inclination of the container 112 may be determined based on the inner wall region 403 of the container 112 or the like. For example, since the shape of the inner wall region 403 changes when the container 112 is tilted as compared with when the container 112 is upright, the presence or absence of the tilt of the container 112 may be determined using the width and area of the inner wall region 403. Further, not only the inner wall region 403 but also the outer wall region of the container 112 may be used for determining whether or not the container 112 is tilted.
  • the determination of the inclination angle of the container 112 will be described with reference to FIG. Also in this embodiment, a case where the lens of the imaging unit 111 is non-telecentric and a case where the lens is telecentric will be described.
  • FIG. 22A shows a side view 2201 of the container 112 when tilted and an upper image 2202 when tilted.
  • the horizontal distance and the vertical distance between the center 2203 of the edge 213 of the container 112 and the center 2204 of the upper surface 215 of the sampling target 113 can be calculated. .. That is, the inclination angle ⁇ of the container 112 with respect to the vertical direction can be obtained from the horizontal distance 2205 between the centers, which is the horizontal distance between the centers 2203 and 2204, and the vertical distance 2206 between the centers, which is the distance in the vertical direction. ..
  • Sh is the horizontal distance between the centers 2205
  • H is the vertical distance between the centers 2206.
  • the horizontal distance between the centers 2205 is set from the upper image 2202 when tilted. It is necessary to obtain the vertical distance 2206 between the centers.
  • the vertical distance between the centers 2206 that is, the distance H from the edge 213 of the container 112 to the upper surface 215 of the sampling target 113 collates the minor axis of the upper surface region 404 with the table exemplified in FIG. 19 as described in Example 2. It is required by doing.
  • the horizontal distance between the centers 2205 is obtained from the upper image 2202 when tilted.
  • the size of the object to be imaged decreases as the distance from the image pickup unit 111 to the object to be imaged increases.
  • the treatment is corrected to.
  • the region center distance 2209 which is the distance between the center 2207 of the edge region 402 and the center 2208 of the upper surface region 404 in the upper image 2202 when tilted, is the minor axis of the upper surface region 404 and the inner diameter of the edge region 402. It is preferable that the correction is made based on the ratio of.
  • Sh having a horizontal distance between centers of 2205 is calculated by the following equation.
  • F1 is the first center distance 2212, which is the distance from the lens center 2210 to the center 2208 of the upper surface region 404
  • F0 is the second center distance 2211, which is the distance from the lens center 2210 to the center 2207 of the edge region 402. is there.
  • B0 is the inner diameter 2213 of the edge region 402
  • B1 is the minor diameter 2214 of the upper surface region 404.
  • the difference from the first center distance 2212 is calculated after the second center distance 2211, which is the length of the collection target 113 on the upper surface 215, is corrected to the length at the edge 213 of the container 112.
  • the absolute value is calculated as Sh, which is the horizontal distance between the centers of 2205. That is, the size of the object to be imaged, which changes according to the distance from the image pickup unit 111 to the object to be imaged, is corrected, and Sh, which is the horizontal distance between centers 2205, is calculated.
  • FIG. 22B Similar to FIG. 22A, FIG. 22B also shows a side view 2201 when the container 112 is tilted and an upper image 2202 when the container 112 is tilted.
  • the center-to-center horizontal distance 2205 is obtained as the region center-to-center distance 2209, which is the distance between the center 2207 of the edge region 402 and the center 2208 of the upper surface region 404 in the upper image 2202 when tilted.
  • center-to-center vertical distance 2206 is obtained in the same manner as in the second embodiment, the center-to-center horizontal distance 2205 and the center-to-center vertical distance 2206 are substituted into Equation 13 to obtain the inclination angle ⁇ of the container 112.
  • the tilt angle of the image pickup unit 111 when the image pickup unit 111 is tilted while taking an image and the inner wall region 403 of the container 112 is no longer included in the upper image may be set as the tilt angle ⁇ of the container 112.
  • the output unit 105 outputs the inclination of the container 112 determined in S2005.
  • the determination result is transmitted to, for example, the control unit 121, and the control unit 121 controls the collection unit 122 based on the determination result. For example, when it is determined that the container 112 is tilted or the tilt angle of the container 112 exceeds a predetermined threshold value, the control unit 121 may stop the sampling unit 122. Alternatively, the position and inclination of the sampling unit 122 may be adjusted according to the inclination angle of the container 112.
  • the output unit 105 may output the determination result to a display or a printer and present to the operator whether or not the container 112 is tilted and the tilt angle, and the ratio of the number of tilted containers 112 is predetermined. A message or the like calling attention when the threshold value is exceeded may be displayed. Further, the output unit 105 may output the tilt angle of the container 112 to another image processing device, and may also output an image that has been corrected according to the tilt angle of the container 112.
  • the correction process according to the tilt angle of the container 112 is, for example, a process of correcting the deformation of the image due to the tilt of the container 112 by converting the coordinates of the image according to the tilt angle of the container 112.
  • the image processing apparatus 101 can determine the inclination of the container 112, which is one of the states of the container 112, from the upper image 212 acquired by the single imaging unit 111. Further, since the automatic analysis system 100 can appropriately control the sampling unit 122 according to the determination result by the image processing device 101, more accurate analysis can be performed without lowering the inspection efficiency.
  • Examples 1 to 3 it has been described that the state of the container 112 and the collection target is determined based on the edge region 402 of the container 112 and the upper surface region 404 of the collection target 113 calculated from the upper image 212.
  • an appropriate teacher signal used for machine learning is required.
  • a teacher signal for machine learning is efficiently created. Since the hardware configuration of this embodiment is the same as that of the first embodiment, the description thereof will be omitted.
  • This embodiment includes an image acquisition unit 201 and an area calculation unit 202, as well as a likelihood acquisition unit 2301, an image selection / display unit 2302, a teacher signal acquisition unit 2303, and a learning unit 2304.
  • a likelihood acquisition unit 2301 for acquiring images from the image acquisition unit 201 and an area calculation unit 202.
  • an image selection / display unit 2302 for example, a teacher signal acquisition unit 2303.
  • each unit other than the image acquisition unit 201 and the area calculation unit 202 described in the first embodiment will be described.
  • the likelihood acquisition unit 2301 acquires the likelihood of whether each pixel in each region calculated by the region calculation unit 202 is, for example, an edge region 402, an inner wall region 403, an upper surface region 404, or the like.
  • the likelihood is normalized so that the sum is 1.0 for each pixel, and the maximum likelihood in each pixel is called the maximum likelihood.
  • a pixel with a large maximum likelihood has a high certainty of the corresponding area, and a pixel with a small maximum likelihood has a low certainty.
  • the image selection / display unit 2302 selects an image to be used for adding a teacher signal based on, for example, the maximum likelihood of each pixel in the image, and displays the selected image on a display or the like.
  • the teacher signal acquisition unit 2303 acquires the teacher signal from the teacher image which is an image including the teacher signal.
  • the teacher signal is given by the operation of the operator or the area division processing by another image processing device.
  • the learning unit 2304 performs machine learning using the teacher signal included in the teacher image, and the area calculation unit 202 calculates and updates parameters such as coefficients used for the area division process.
  • an image having a relatively low certainty of each divided region is selected and displayed, and machine learning is performed using a teacher signal given by the operator to the displayed image.
  • the image selection / display unit 2302 selects an image for applying a teacher signal from a group of images recorded on a recording device or the like based on the likelihood of each pixel in the image, and displays the image on a display or the like. For example, an image in which the average value of the maximum likelihood of each pixel is less than a predetermined threshold value, that is, an image in which the certainty of each region is relatively low is selected.
  • the screen shown in FIG. 25 is an image list showing the number of images to which the teacher signal has been given and the number of unfinished images among the plurality of images selected in this step for each type of the container 112. .
  • any cell in the image list for example, a cell in which 100 unfinished container ⁇ is displayed is selected by a mouse cursor or the like, even if an image including container ⁇ which is an image corresponding to the cell is displayed. good.
  • the operator can check the number of images with and without the teacher signal for each type of container 112, and can determine which type of image including the container 112 should be given the teacher signal. Since the judgment can be made, the efficiency of the work of giving the teacher signal can be improved.
  • the displayed image list is not limited to those classified by the type of the container 112.
  • the teacher signal acquisition unit 2303 acquires a teacher signal for the image displayed in S2401 based on the operation of the operator. An example of the screen used in this step will be described with reference to FIGS. 26 and 27.
  • the screen shown in FIG. 26 is an example of an operation screen for designating an area to which a teacher signal is applied, and has an image display unit 2601, an image selection unit 2602, a correction tool 2603, a save button 2604, and a read button 2605.
  • the image display unit 2601 displays an image according to the selection made by the image selection unit 2602.
  • the image selection unit 2602 selects the conditions of the image displayed on the image display unit 2601. In FIG. 26, the original image and the area division result are selected by the image selection unit 2602, and the result of the area calculation unit 202 dividing the original image into areas is displayed on the image display unit 2601.
  • the area where the teacher signal is to be corrected is selected. For example, when the liquid surface, that is, the upper surface when the sampling target 113 is a liquid is selected by the correction tool 2603, and any pixel of the image displayed on the image display unit 2601 is selected, the selected pixel is selected.
  • the teacher signal of the upper surface region 404 is given. Pixels in the image displayed on the image display unit 2601 are selected by a mouse or the like.
  • the save button 2604 is a button that is pressed when the modified teacher signal is saved. That is, when the save button 2604 is pressed, the teacher signal acquisition unit 2303 acquires the teacher signal given via the correction tool 2603. The original teacher signal is acquired for the pixels that have not been corrected by the correction tool 2603.
  • the read button 2605 is a button that is pressed when selecting another image. By pressing the read button 2605, for example, the image displayed on the image display unit 2601 may be updated, or the screen illustrated in FIG. 25 may be displayed.
  • the screen shown in FIG. 27 is an example of an operation screen for applying a teacher signal, and has an upper image display unit 2701, a container type display unit 2702, a teacher signal input unit 2703, a save button 2604, and a read button 2605. Since the save button 2604 and the read button 2605 have the same functions as the screen of FIG. 26, the description thereof will be omitted.
  • the upper image display unit 2701 displays the upper image 212, which is an image captured by the imaging unit 111.
  • a state in which a mixture 216 such as air bubbles and lipids is floating is displayed on the upper surface 215 of the collection target 113.
  • the container type display unit 2702 displays the type of the container 112 determined based on the area calculated by the area calculation unit 202 together with the inner diameter and the thickness.
  • the length of the container 112, the printed content, the printed position, the presence or absence of a screw around the edge, the rib on the bottom surface, and the like may be displayed. Further, various information displayed on the container type display unit 2702 may be modified by the operator.
  • a teacher signal applied to an arbitrary area of the image displayed on the upper image display unit 2701 is input.
  • a teacher signal corresponding to the upper surface region 404 is input to bubbles, lipids, and the like in the image displayed on the upper image display unit 2701.
  • the teacher signal input unit 2703 is not limited to the text box as illustrated in FIG. 27, and may be in a format in which options such as radio buttons and pull-down menus are presented.
  • the use of the screen as shown in FIGS. 26 and 27 supports the work of giving the teacher signal by the operator, so that the work of giving the teacher signal can be made more efficient.
  • the learning unit 2304 updates the coefficient by machine learning using a certain number or more of teacher images. For example, a stochastic gradient descent method is used to update the coefficient. As the initial value of the coefficient, the coefficient stored in the memory 104 may be used, or a random number may be used.
  • the learning unit 2304 evaluates the updated coefficient. For example, image groups with correct answer information are prepared in advance for coefficient evaluation, and region division processing using the coefficient updated in S2404 and the coefficient before update is performed on these image groups, respectively, and the correct answer rate is obtained. The updated coefficient is evaluated depending on whether or not the factor has increased.
  • S2406 Whether or not to overwrite the coefficient in the memory 104 is determined.
  • the evaluation result of S2405 may be used for determining whether or not it is overwritten. If the coefficient is overwritten, the process proceeds to S2407, and if it is not overwritten, the processing flow ends.
  • the learning unit 2304 overwrites the coefficients in the memory 104 and saves the coefficients before and after the update.
  • an appropriate teacher signal is efficiently applied to an image having a relatively low certainty of the area division result, so that the image processing apparatus 101 can efficiently perform appropriate machine learning. it can. Further, an appropriate teacher signal can be given to air bubbles, foreign substances, and the like. Since the accuracy of the area division process can be improved by appropriate machine learning, the image processing device 101 can more accurately determine the state of the container 112 and the collection target 113, and the automatic analysis system 100 can perform more accurate analysis.
  • the plurality of examples of the present invention have been described above.
  • the present invention is not limited to these examples, but includes various modifications.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not limited to the one including all the configurations described.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Immunology (AREA)
  • Geometry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computing Systems (AREA)
  • Thermal Sciences (AREA)
  • Fluid Mechanics (AREA)
  • Image Analysis (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

単一のカメラで取得した画像により、容器または採取対象の状態を判定可能な画像処理装置、自動分析システム及び画像処理方法を提供するために、試料や試薬、反応溶液を含む採取対象を収容する容器を上方から撮像して得られる画像である上方画像を取得する画像取得部と、前記上方画像から前記容器の縁領域または前記採取対象の上面領域を算出する領域算出部と、前記縁領域または前記上面領域に基づいて前記容器または前記採取対象の状態を判定する状態判定部と、を備えることを特徴とする。

Description

画像処理装置、自動分析システム及び画像処理方法
 本発明は免疫分析装置等を備える自動分析システムにおいて、試料、試薬、反応溶液等の採取対象が収容される容器の状態または採取対象の状態を判定する技術に関する。
 免疫分析装置等を備える自動分析システムでは、血液および尿等の試料の成分等を分析するために、試料と試薬を反応させた反応溶液から生じる発色や発光の状態が測定される。分析に用いられる試料や試薬、反応溶液等は試験管等の容器に収容され、分注プローブ等の採取部によって容器から採取される。採取部の採取対象である試料、試薬、反応溶液等が収容される容器には、内径や長さの異なる複数の種別があり、複数の容器が混在している状況では容器の種別が自動的に判別されることが望まれる。
 特許文献1には、容器を開口部方向と側面方向の二方向からそれぞれ撮像して得られた図形を、メモリに格納された標準図形と比較することにより、容器の種別を判別することが開示されている。
特開2004-151025号公報
 しかしながら特許文献1では、容器の種別を判別するために、容器を開口部方向と側面方向の二方向からそれぞれ撮像する複数のカメラが必要であり、ハードウェアコストがかかる。また特許文献1では、容器の種別を判別することに留まっており、容器の傾きや採取対象の量といった容器または採取対象の状態の判定に対する配慮はなされていない。
 そこで本発明は、単一のカメラで取得した画像により、容器または採取対象の状態を判定可能な画像処理装置、自動分析システム及び画像処理方法を提供することを目的とする。
 上記目的を達成するために本発明は、試料や試薬、反応溶液を含む採取対象を収容する容器を上方から撮像して得られる画像である上方画像を取得する画像取得部と、前記上方画像から前記容器の縁領域または前記採取対象の上面領域を算出する領域算出部と、前記縁領域または前記上面領域に基づいて前記容器または前記採取対象の状態を判定する状態判定部と、を備えることを特徴とする画像処理装置である。
 また本発明は、前記画像処理装置を備える自動分析システムであって、前記容器から採取対象を採取する採取部と、前記状態判定部の判定結果に基づいて前記採取部を制御する制御部を備えることを特徴とする自動分析システムである。
 また本発明は、試料や試薬、反応溶液を含む採取対象を収容する容器を上方から撮像して得られる画像である上方画像を取得する画像取得ステップと、前記上方画像から前記容器の縁領域または前記採取対象の上面領域を算出する領域算出ステップと、前記縁領域または前記上面領域に基づいて前記容器または前記採取対象の状態を判定する状態判定ステップと、を備えることを特徴とする画像処理方法である。
 また本発明は、画像を複数の領域に分割する画像処理方法であって、Convolution処理およびPooling処理に用いられるカーネルの要素間に所定数のゼロを挿入することによりダイレートカーネルを作成するステップと、前記ダイレートカーネルを用いてConvolution処理およびPooling処理を実行するステップと、を備えることを特徴とする。
 本発明によれば、単一のカメラで取得した画像により、容器または採取対象の状態を判定可能な画像処理装置、自動分析システム及び画像処理方法を提供することができる。
自動分析システムのハードウェア構成の一例を示す図である。 実施例1の機能ブロック図の一例である。 実施例1の処理の流れの一例を示す図である。 領域分割処理の結果の一例を示す図である。 容器の縁領域を算出することについて説明する図である。 容器の種別の判定に用いられるテーブルの一例を示す図である。 容器の種別から容器の長さ等を求めるためのテーブルの一例を示す図である。 Convolution処理の概念を示す図である。 Pooling処理の概念を示す図である。 FCN(Fully Convolutional Networks)による領域分割処理の一例を示す図である。 FCNによる高解像度領域分割処理の一例を示す図である。 Convolution処理とDilated Convolution処理におけるカーネルの一例を示す図である。 Pooling処理とDilated Pooling処理におけるカーネルの一例を示す図である。 ダイレート処理の概念を示す図である。 ダイレートカーネルを用いた領域分割の手順の一例を示す図である。 ダイレートカーネルを用いた領域分割について説明する図である。 実施例2の処理の流れの一例を示す図である。 採取対象の上面領域の算出について説明する図である。 非テレセントリックでの上方画像の一例を示す図である。 テレセントリックでの上方画像の一例を示す図である。 テレセントリックでの斜方画像の一例を示す図である。 容器の縁から採取対象の上面までの距離を求めるためのテーブルの一例を示す図である。 実施例3の処理の流れの一例を示す図である。 非テレセントリックでの上方画像に基づく傾き判定を説明する図である。 テレセントリックでの上方画像に基づく傾き判定を説明する図である。 非テレセントリックでの上方画像に基づく傾き角度の算出について説明する図である。 テレセントリックでの上方画像に基づく傾き角度の算出について説明する図である。 実施例4の機能ブロック図の一例である。 実施例4の処理の流れの一例を示す図である。 教師信号を付与する画像のリストを表示する画面の一例を示す図である。 教師信号を付与する領域を指定するための操作画面の一例を示す図である。 教師信号を付与するための操作画面の一例を示す図である。
 以下、添付図面に従って本発明に係る画像処理装置、自動分析システム及び画像処理方法の好ましい実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 図1を用いて本実施例の自動分析システム100のハードウェア構成の一例について説明する。自動分析システム100は、画像処理装置101と撮像部111、制御部121、採取部122、分析部123を備える。画像処理装置101は、いわゆるコンピュータであり、具体的には、入力部102、演算部103、メモリ104、出力部105を備え、撮像部111や制御部121に接続される。なお、画像処理装置101は自動分析システム100以外のシステムに備えられても良い。以下、各部について説明する。
 撮像部111は、容器112と、容器112に収容される採取対象113を撮像する装置であり、例えばカメラである。容器112は試験管等であり、円筒形状またはテーパ形状の一端には底面を、他端には開口部を有する。また容器112には、内径や長さの異なる複数の種別がある。採取対象113は、血液および尿等の試料や、試料に反応させられる試薬、試料と試薬を反応させた反応溶液等であり、液体または粉末である。撮像部111は単一であり、容器112の開口部側、すなわち容器112の上方に設置され、容器112と採取対象113を容器112の上方から撮像する。撮像部111によって容器112の上方から撮像された画像を上方画像と呼ぶ。撮像部111には、テレセントリックまたは非テレセントリックのレンズが取り付けられる。
 入力部102は、撮像部111や上方画像が記録された記録装置から上方画像のデータを受信したり、操作者がキーボードやマウス等を操作することによって生じる操作信号を受信したりするインターフェースである。上方画像はBMP、PNG、JPEG等の静止画像でも良いし、MPEG、H.264等の動画像から一定の間隔で抽出したフレーム画像でも良い。
 演算部103は、画像処理装置101内での各種の処理を実行する装置であり、例えばCPU(Central Processing Unit)やFPGA(Field-Programmable Gate Array)等である。演算部103によって実行される機能については、図2を用いて後述する。
 メモリ104は、演算部103が実行するプログラムや、パラメータ、係数、処理結果等を保存する装置であり、HDDやRAM、ROM、フラッシュメモリ等である。
 出力部105は、演算部103による処理の結果を外部に送信するインターフェースであり、例えばディスプレイ、プリンタ等の表示装置や、処理の結果を記録する記録装置、その他の装置を制御する制御装置に対して、処理の結果を出力する。図1には、その他の装置を制御する制御装置の一例である制御部121に処理の結果が出力されることが例示される。
 制御部121は、出力部105から出力された処理の結果に基づいて、採取部122の動作を制御する装置であり、具体的にはCPU(Central Processing Unit)等である。
 採取部122は、制御部121によって、容器112から採取対象113を採取する装置であり、例えば分注プローブ等である。
 分析部123は、採取対象113を用いて分析を行う装置であり、例えば免疫分析装置等である。分析部123による分析の結果は、ディスプレイ等に表示される。
 図2を用いて本実施例の機能ブロック図の一例について説明する。なおこれらの機能は、専用のハードウェアで構成されても良いし、演算部103上で動作するソフトウェアで構成されても良い。本実施例は、画像取得部201と領域算出部202と状態判定部203を備える。以下、各部について説明する。
 画像取得部201は、撮像部111によって撮像された上方画像212を取得する。上方画像212には、容器112の縁213と内壁214、採取対象113の上面215、混在物216、固定部217が含まれる。混在物216は採取対象113の内部や上面に存在する気泡や脂質等である。固定部217は容器112を固定するホルダ等である。上方画像212に含まれる各部については側面図211も参照されたい。
 領域算出部202は、画像取得部201によって取得された上方画像212から、各部のいずれかの領域、例えば容器112の縁213の領域や採取対象113の上面215の領域を算出する。領域を算出するには、画像の輝度値を用いた閾値処理や、FCN(Fully Convolutional Networks)を用いた領域分割処理等が実行される。
 状態判定部203は、領域算出部202によって算出されたいずれかの領域に基づいて、容器112や採取対象113の状態、例えば容器112の種別や、容器112の傾き、採取対象113の量を判定する。
 図3を用いて、本実施例の処理の流れの一例について説明する。本実施例では、上方画像212から算出される容器112の縁213の領域に基づいて、容器112の種別が判定される。
 (S301)
 画像取得部201が入力部102を介して上方画像212を取得する。取得される上方画像212は、撮像部111で撮影された画像であっても、図示されない記録装置等に記録される画像であっても良い。
 (S302)
 領域算出部202がS301で取得された上方画像212から容器112の縁213の領域を算出する。縁213の領域を算出するには、上方画像212の輝度値を用いた閾値処理や、FCNを用いた領域分割処理等のいずれかの処理が実行される。FCNを用いた領域分割処理については図7~図15を用いて後述する。
 図4を用いて上方画像212を領域分割処理して得られた領域分割像401の一例について説明する。領域分割像401は、縁領域402、内壁領域403、上面領域404、背景領域405から構成される。縁領域402は、容器112の縁213の領域である。内壁領域403は、容器112の内壁214の領域であり、容器112の縁213と採取対象113との間の領域である。上面領域404は、採取対象113の上面215の領域であり、混在物216も上面領域404に含まれる。背景領域405は、縁領域402よりも外側の領域全体であり、固定部217も背景領域405に含まれる。
 (S303)
 状態判定部203が、S302で算出された縁領域402に基づいて、容器112の種別を判定する。図5と図6を用いて本ステップについて説明する。
 状態判定部203は、S302での算出結果に基づいて、縁の二値化画像501を作成する。縁の二値化画像501には、縁領域402と、縁領域402以外のその他領域503が含まれる。縁領域402には例えば輝度値0が、その他領域503には輝度値255が与えられる。
 状態判定部203は、縁の二値化画像501にソーベルフィルタ等を適用して縁領域402の境界を抽出し、縁の境界像502を作成する。容器112の縁213は円環形状であるので、縁の境界像502には容器112の内壁側の境界である内側境界505と、外壁側の境界である外側境界506が含まれる。
 状態判定部203は、内側境界505と外側境界506に対して楕円フィッティングを行い、内側境界505と外側境界506の長径を算出し、内側境界505の長径を容器112の内径とし、両者の長径から次式を用いて容器112の厚みを求める。
Figure JPOXMLDOC01-appb-M000001
ここでDは容器112の厚み、Loは外側境界506の長径、Lcは内側境界505の長径である。
 なお短径ではなく長径を用いる理由は、容器112の傾きの影響を低減するためである。すなわち、容器112が直立状態から傾くに従い、内側境界505と外側境界506の短径は短くなるのに対し長径は変化しにくいためである。楕円フィッティングには、内側境界505または外側境界506の全点が用いられても良いし、内側境界505または外側境界506から任意に抽出される少なくとも3つの抽出点508が用いられても良い。抽出点508には、例えば縁領域402の各座標を算術平均することで求められる重心507から上下左右方向にスキャンすることにより、内側境界505または外側境界506に達した点が抽出される。
 状態判定部203は、内側境界505と外側境界506の長径から求められた容器112の内径と厚みを、図6Aに例示されるテーブルと照合することにより、容器112の種別を判定する。例えば、求められた容器112の内径が60ピクセル、厚みが10ピクセルであった場合、容器の種別がαであると判定される。なお求められた内径と厚みがテーブル中のいずれの項目に該当するかは、求められた値と各項目の数値との差分の絶対値によって判定されても良い。例えば求められた内径が98ピクセル、厚みが6ピクセルであった場合、テーブルからは内径100ピクセルと厚み6ピクセルが選択され、容器112の種別はδであると判定される。
 なお図6Aに例示されるテーブルは、複数の種別の容器112の内径や厚みが計測されることにより予め作成され、メモリ104等に保管される。またテーブル中の空欄は未知容器を示し、本ステップで求められた内径と厚みが空欄に該当した場合、上方画像212に含まれる容器112は未知容器であると判定される。
 (S304)
 出力部105が、S303で判定された容器112の種別を出力する。判定の結果は、例えば制御部121へ送信され、制御部121は判定の結果に基づいて採取部122を制御する。例えば、容器112が未知容器であると判定された場合、制御部121は採取部122を停止させても良い。容器112が未知容器であるとき、採取部122を停止させることにより、採取部122と容器112との衝突を避けることができる。
 また、容器112の種別に応じて、制御部121は採取部122の高さを調整しても良い。例えば判定結果である容器112の種別が図6Bに例示されるテーブルに照合されることにより取得される容器112の長さに基づいて、採取部122の高さが調整されても良い。 なお図6Bに例示されるテーブルは、複数の種別の容器112の内径や厚み、長さ、テーパの有無が計測されることにより予め作成され、メモリ104等に保管され、必要に応じて参照される。
 また、出力部105は判定の結果をディスプレイやプリンタへ出力し、容器112の種別を操作者に提示しても良いし、未知容器である場合には容器112の変更を促すメッセージが表示されても良い。さらに出力部105は、他の画像処理装置へ容器112の種別を出力しても良く、それとともに容器112の種別に応じた補正処理を行った画像を出力しても良い。容器112の種別に応じた補正処理とは、例えば容器112の内径に応じて画像サイズを正規化する処理であったり、容器112の種別に応じてコントラストを補正する処理であったりする。
 以上説明した処理の流れにより、画像処理装置101は単一の撮像部111で取得された上方画像212により容器112の状態の一つである容器112の種別を判定できる。また自動分析システム100は、画像処理装置101による判定結果に応じて、採取部122を適切に制御できるので、検査効率を低下させることなく、より正確な分析を行うことができる。
 ここでFCNを用いた領域分割処理について説明する。FCNはDNN(Deep Neural Network)の一つであり、全ての層をCNN(Convolutional Neural Network)で構成することで、画像を領域毎に分割する領域分割処理である。CNNはConvolution処理 、Pooling処理 、Activation処理 の3つの処理から構成される。Convolution処理は入力データから特徴量のマップを作成する処理であり、Pooling処理は入力データから代表値を抽出する処理であり、Activation処理は入力データに非線形関数を適用する処理である。
 図7を用いてConvolution処理の動作の一例について説明する。図7に示すように、Convolution処理では、入力データIcの左上から右下に向かって複数のピクセルの輝度値を取得する位置をスライドさせながら、取得された複数のピクセルの輝度値への係数Wcの乗算と係数Bcの加算を行うことにより出力データOcが算出される。
 数2にConvolution処理の算出式の一例を示す。
Figure JPOXMLDOC01-appb-M000002
ここで、入力データIcはチャンネルch、垂直方向位置y、水平方向位置xの3つの次元を持つデータであり、出力データOcは特徴量番号d、垂直方向位置y、水平方向位置xの3つの次元を持つデータである。また乗算係数Wcは特徴量番号d、チャンネルch、垂直方向位置fy、水平方向位置fxの4つの次元を持つ係数であってカーネルとも呼ばれ、加算係数Bcは特徴量番号dの次元を持つ係数である。なおカーネルの大きさはカーネル高さFyとカーネル幅Fxによって表され、カーネルが1回当たりにスライドする量は垂直方向ストライド量Syと水平方向ストライド量Sxによって表される。
 また、乗算係数Wcと加算係数Bcは、各領域が正しく分割された画像である教師画像を入力データとして、確率的勾配降下法等を用いる機械学習により予め求められて、領域分割処理の係数としてメモリ104に格納される。すなわち、複数の上方画像212の各ピクセルが縁領域402、内壁領域403、上面領域404、背景領域405のいずれに属するかを正しく表す教師信号を用いて機械学習が行われる。
 図8を用いてPooling処理の動作の一例について説明する。図8に示すようにPooling処理では、入力データIpの左上から右下に向かって複数のピクセルの輝度値を取得する位置を一定の刻み幅でスライドさせながら、取得された複数のピクセルの輝度値から代表値を抽出することにより出力データOpが算出される。代表値には例えば複数のピクセルの輝度値の最大値や平均値が用いられ、本実施例で抽出される代表値は最大値である。
 数3にPooling処理の算出式の一例を示す。
Figure JPOXMLDOC01-appb-M000003
ここで入力データIpと出力データOpはチャンネルch、垂直方向位置y、水平方向位置xの3つの次元を持つデータである。またPooling処理においても、Convolution処理と同様に、取得された複数のピクセルの輝度値にカーネルと呼ばれる係数が乗じられ、カーネルの大きさはFyとFx、カーネルのストライド量はSyとSxによって表される。なおPooling処理では、Sy=Fy、Sx=Fxとする場合が多く、カーネルの全要素は1である。なおPooling処理に用いられるカーネルをPカーネル、Convolution処理に用いられるカーネルをCカーネルと呼ぶ。
 Activation処理はConvolution処理の出力データOcやPooling処理の出力データOpに対して、数4や数5の非線形関数を適用し、例えばあるピクセルが縁領域402であるか否かを識別する処理である。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
 CNNは上記のConvolution処理、Pooling処理、Activation処理を組み合わせて、特徴量や識別結果を得る。FCNはCNNのみで構成された領域分割器であり、任意サイズの画像を入力することが可能である。
 図9にFCNによる領域分割処理の一例を示す。入力画像901はFCNに入力される画像であり、幅と高さがいずれも8ピクセルであるとする。1番目のカーネル902は各層における最初の処理対象領域を示している。網掛け部分は処理対象箇所を表す。2番目のカーネル903は各層における2番目の処理対象領域を示している。1番目のカーネル902と2番目のカーネル903のずれ量はストライド量Sy、Sxによって決定される。
 1層目出力データ904は、入力画像901にConvolution処理を適用した結果、2層目出力データ905は1層目出力データ904にPooling処理を適用した結果である。また3層目出力データ906は2層目出力データ905にConvolution処理を適用した結果、4層目出力データ907は3層目出力データ906にPooling処理を適用した結果である。さらに領域分割結果908は4層目出力データ907が入力画像中のどの位置の識別結果に相当するかを表す。なおConvolution処理およびPooling処理のカーネルサイズFy、Fxとストライド量Sy、Sxは図9に記載の通りである。
 図9に示す通りストライド量が2以上の処理が実行される毎に、各層の出力データはストライド量に応じてサイズが縮小する。最終出力である4層目出力データ907は2x2ピクセルまで縮小しており、入力画像901上に当てはめられるのは領域分割結果908の黒マスに示した4箇所に過ぎない。すなわち領域分割結果908の黒マスの識別結果しか得られておらず、白マス部分は識別結果が得られていない状態であり、低解像度の領域分割処理となる。
 図10を用いて高解像度の領域分割処理について説明する。図10では取得位置の異なる画像をFCNに入力し、各画像に対する領域分割結果を取得する。すなわち第1の入力画像1001、第2の入力画像1002、第3の入力画像1003、第4の入力画像1004、…が入力され、第1の領域分割結果1005、第2の領域分割結果1006、第3の領域分割結果1007、第4の領域分割結果1008、…が取得される。なお第1の入力画像1001は、図9の入力画像901と同じ画像であり、第2の入力画像1002は入力画像901を1ピクセル右に、第3の入力画像1003は2ピクセル右に、第4の入力画像1004は1ピクセル下に、それぞれスライドさせた画像である。ピクセルのスライドにより画素が存在しない部分には輝度値0や隣接画素の輝度値が埋められる。取得された複数の領域分割結果を統合することにより、統合領域分割結果1009が得られる。図10の領域分割処理によれば、高解像度の領域分割結果を取得できるものの、領域分割処理の回数が増え、例えば図10の例では16回となるので処理時間も増大する。
 そこで本実施例では、FCNのConvolution処理とPooling処理に用いられるカーネルをダイレート処理により変更し、1回の領域分割処理で高解像度の領域分割結果を取得する。ダイレート処理とはカーネルの要素間に所定数のゼロを挿入し、カーネルを拡大する処理であり、ダイレート処理後のカーネルをダイレートカーネルあるいはDカーネルと呼ぶ。またDカーネルを用いるConvolution処理およびPooling処理をDilated Convolution処理、Dilated Pooling処理と呼ぶ。
 図11を用いてDilated Convolution処理におけるDカーネルの一例について説明する。Cカーネル1101はConvolution処理に用いられるカーネルの一例であり、a~iの9個の要素で構成される。DCカーネル1102はDilated Convolution処理に用いられるカーネルの一例であり、Cカーネル1101の要素間のそれぞれに1つのゼロが挿入されて構成される。なお挿入されるゼロの数に1を加算した値をダイレート量Dy、Dxと呼び、図11のDCカーネル1102はDy、Dx=2、2である。
 数6にDilated Convolution処理の算出式の一例を示す。
Figure JPOXMLDOC01-appb-M000006
数6において、Dy、Dx=1、1とすると数2になる。
 図12を用いてDilated Pooling処理におけるDカーネルの一例について説明する。Pカーネル1201はPooling処理に用いられるカーネルの一例であり、9個の全要素が1で構成される。DPカーネル1202はDilated Pooling処理に用いられるカーネルの一例であり、Pカーネル1201の要素間のそれぞれに1つのゼロが挿入されて構成される。ダイレート量Dy、Dxに関しては、Dilated Convolution処理と同様であり、図12のDPカーネル1202もDy、Dx=2、2である。
 数7にDilated Pooling処理の算出式の一例を示す。
Figure JPOXMLDOC01-appb-M000007
数7において、Dy、Dx=1、1とすると数3になる。
 図13を用いてDilated Convolution処理とDilated Pooling処理について説明する。1番目のカーネル1301および2番目のカーネル1302はConvolution処理またはPooling処理に用いられるカーネルである。また1番目のDカーネル1303および2番目のDカーネル1304はDilated Convolution処理またはDilated Pooling処理に用いられるカーネルである。カーネルサイズFy、Fxはいずれも3、ストライド量Sy、Sxはいずれも2である。
 Convolution処理またはPooling処理は、ダイレート量Dy、Dxをいずれも1とした場合のDilated Convolution処理またはDilated Pooling処理に相当する。また1番目のDカーネル1303および2番目のDカーネル1304のダイレート量Dy、Dxはいずれも2である。
 なお各カーネルの処理範囲には、入力データ外の領域が含まれる場合がある。例えば2番目のカーネル1302の場合、1行目が入力データ外の領域にあたる。本実施例では入力データ外の領域に輝度値0が埋められる。またDilated Convolution処理とDilated Pooling処理を用いたFCNをDFCN(Dilated FCN)と呼ぶ。
 図14を用いてFCNモデルをDFCNモデルに変換する処理の流れの一例について説明する。図14の処理の流れではFCNモデルを入力し、垂直方向Ky、水平方向Kxピクセル単位の領域分割結果を算出するDFCNモデルを出力する。Ky、Kxは1に近いほど高解像度であり、大きな値になるほど解像度が低下するものの処理速度が高速になる。ただし、Ky、KxはFCNモデル内の全層のストライド量の積Psy、Psxの約数の1つであるとする。また、FCNモデルはConvolution層、Pooling層、Activation層のいずれかで構成されているとする。Convolution層、Pooling層、Activation層はそれぞれConvolution処理、Pooling処理、Activation処理を行う。
 S1401では変数Lが初期化される。変数Lは処理対象となる層のインデックスを表す。
 S1402では層の型が判定される。層の型がConvolution層またはPooling層であればS1403に遷移し、Activation層であればS1406に遷移する。
 S1403では層の型が変換される。L層目がConvolution層であればDilated Convolution層に、Pooling層であればDilated Pooling層に変換される。なお変換後のDilated Convolution層やDilated Pooling層のカーネルのサイズ、カーネルの種類数、カーネルの係数、プーリングサイズ等のパラメータは変換前のConvolution層やPooling層の設定値と同じである。
 S1404ではL層目のダイレート量が決定される。垂直方向のダイレート量Dyの決定手順の一例について説明する。なお水平方向のダイレート量Dxについても添え字をyからxに読み替えることで同様に決定される。まず入力されたFCNモデルの0層目からL-1層目までの垂直方向のストライド量Syの積PSyが算出される。次にストライド量Syの積PSyと領域分割結果の垂直方向の刻み幅Kyとの最大公約数GCyが求められる。ストライド量Syの積PSyと最大公約数GCyが次式に代入され、L層目の垂直方向のダイレート量Dyが決定される。
Figure JPOXMLDOC01-appb-M000008
さらに次式により刻み幅Kyが更新される。
Figure JPOXMLDOC01-appb-M000009
 S1405ではL層目のストライド量が決定される。垂直方向のストライド量Syの決定手順の一例について説明する。なお水平方向のストライド量Sxについても添え字をyからxに読み替えることで同様に決定される。1404にて算出された最大公約数GCyが次式に代入され、L層目の垂直方向のストライド量Syが決定される。
Figure JPOXMLDOC01-appb-M000010
 S1406では変数Lがインクリメントされる。すなわち処理対象が次の層に切り替えられる。
 S1407では全ての層に対する変換処理が完了したか否かが判定される。例えば変数LがFCNモデルを構成する層の数以上であれば完了、そうでなければ未完了と判定される。完了であれば処理の流れは終了し、未完了であればS1402に遷移する。
 以上の処理の流れによりFCNモデルを、高解像度の領域分割結果を高速に得ることが可能なDFCNモデルに変換することができる。
 図15にDFCNによる領域分割処理の一例を示す。入力画像1501はDFCNに入力される画像であり、幅と高さがいずれも8ピクセルであるとする。1番目のカーネル1502は各層における最初の処理対象領域を示している。網掛け部分は処理対象箇所を表す。2番目のカーネル1503は各層における2番目の処理対象領域を示している。
 1層目出力データ1504は、入力画像1501にDilated Convolution処理を適用した結果、2層目出力データ1505は1層目出力データ1504にDilated Pooling処理を適用した結果である。また3層目出力データ1506は2層目出力データ1505にDilated Convolution処理を適用した結果、4層目出力データ1507は3層目出力データ1506にDilated Pooling処理を適用した結果である。各層の処理により解像度の低下が生じないため、4層目出力データ1507は入力画像1501と同じ解像度を有する領域分割結果となる 。
 FCNで高解像度の領域分割結果を得るには、図10に示したように取得位置の異なる画像毎に領域分割処理をする必要があり、一部の処理が重複しているために処理時間が増大していた。DFCNによる領域分割処理では、高解像度のFCNでは重複していた処理を一度に済ませられるので、高解像度の領域分割結果を高速に得ることができる。
 なお図14ではFCNモデルをDFCNモデルに変換することについて説明したが、最初からDFCNモデルを構築しても良い。また一定サイズの入力画像を識別対象とするDNNベースの画像識別器からFCNへ変換し、さらにDFCNへ変換しても良い。領域分割のための機械学習は、DNNベースの画像識別器、FCN、DFCNのいずれのモデルで行っても良い。
 実施例1では、上方画像212から算出される容器112の縁領域402に基づいて、容器112の種別が判定されることについて説明した。画像処理装置101が出力する判定結果は、容器112の種別に限られない。本実施例では、上方画像212から算出される容器112の縁領域402と採取対象113の上面領域404に基づいて、採取対象113の量が判定されることについて説明する。なお、本実施例のハードウェア構成と機能ブロック図は実施例1と同じであるので説明を省略する。
 図16を用いて、本実施例の処理の流れの一例について説明する。なおS301~S303は実施例1と同じ処理であるので説明を省略し、S303以降のS1604~S1606について説明する。
 (S1604)
 領域算出部202がS301で取得された上方画像212から採取対象113の上面領域404を算出する。上面領域404の算出には、S302と同様に、上方画像212の輝度値を用いた閾値処理や、FCNやDFCNを用いた領域分割処理等が実行される。
 (S1605)
 状態判定部203が、S302で算出された縁領域402とS1604で算出された上面領域404とに基づいて、採取対象113の量を判定する。図17と図18を用いて本ステップについて説明する。まず図17を用いて、上面領域404について説明する。
 状態判定部203は、S1604での算出結果に基づいて、採取対象113の上面の二値化画像1701を作成する。上面の二値化画像1701には、上面領域404と、上面領域404以外のその他領域1704が含まれる。上面領域404には例えば輝度値0が、その他領域1704には輝度値255が与えられる。
 状態判定部203は、上面の二値化画像1701にソーベルフィルタ等を適用して上面領域404の境界を抽出し、上面の境界画像1702を作成する。上面の境界画像1702には上面境界1705が含まれる。状態判定部203は、上面境界1705から任意に抽出される少なくとも3つの抽出点1706に対して楕円フィッティングを行い、上面領域404の長径と短径を算出する。なお上面領域404の短径は、容器112が傾いても長径に比べて変化しにくいので、以降の処理で用いられる。
 図18を用いて採取対象113の量の判定について説明する。なお、撮像部111のレンズが非テレセントリックである場合とテレセントリックである場合とについてそれぞれ説明する。レンズが非テレセントリックである場合、撮像部111から被撮像物までの距離が長くなるに従って被撮像物の大きさは小さくなるのに対し、テレセントリックである場合、撮像部111から被撮像物までの距離にかかわらず被撮像物の大きさは同じである。
 図18Aを用いて非テレセントリックの場合について説明する。図18Aには、採取対象113が多量時と少量時の側面図または上方画像、すなわち多量時の側面図1801と多量時の上方画像1802、少量時の側面図1804と少量時の上方画像1805が示される。多量時の上方画像1802と少量時の上方画像1805との比較から分かるように、多量時の上面1803は少量時の上面1806よりも面積が大きい。そこで状態判定部203は、上面領域404の短径に基づいて採取対象113の量を判定する。
 具体的には、まず上面領域404の短径が図19に例示されるテーブルと照合されて、容器112の縁213から採取対象113の上面215までの距離Hが求められる。なお図19のテーブルは、複数の種別の容器112に異なる量の採取対象113が収容されたときの上面領域404の短径や距離Hが計測されることにより予め作成され、メモリ104等に保管される。次に縁領域402に基づいて判定される容器112の種別が図6Bのテーブルに照合されて、容器112の長さGと内径Dが求められる。そして距離Hと長さG、内径Dが次式に代入され、採取対象113の量Qが求められる。
Figure JPOXMLDOC01-appb-M000011
なお数11は容器112の内径Dが距離Hによらず一定である場合の式である。容器112がテーパ形状等を有し、距離Hによって容器112の内径Dが変わる場合には、距離Hと内径Dとの関係がメモリ104等に予め保管され、必要に応じて参照されることにより、数11を用いて採取対象113の量Qが求められる。
 図18Bを用いてテレセントリックの場合について説明する。図18Bにも図18Aと同様に、多量時の側面図1801と多量時の上方画像1802、少量時の側面図1804と少量時の上方画像1805が示される。多量時の上方画像1802と少量時の上方画像1805との比較から分かるように、テレセントリックの場合は多量時の上面1803と少量時の上面1806の面積は同等であり、上面領域404の短径に基づく採取対象113の量の判定ができない。
 そこでテレセントリックの場合には、図18Cに示すように撮像部111を傾けて撮像される上方画像に基づいて採取対象113の量が判定される。すなわち多量時の上方画像1802と少量時の上方画像1805との比較から分かるように、採取対象113が多量時には少量時よりも縁から上面までの距離1807が短いので、縁から上面までの距離1807に基づいて採取対象113の量が判定される。具体的には、縁から上面までの距離1807をH’、鉛直方向に対する撮像部111の傾き角度をΨとするとき、次式により容器112の縁213から採取対象113の上面215までの距離Hが求められ、さらに数11により採取対象113の量Qが求められる。
Figure JPOXMLDOC01-appb-M000012
なお容器112がテーパ形状等を有する場合は、非テレセントリックの場合と同様に、メモリ104等に予め保管される距離Hと内径Dとの関係が必要に応じて参照され、数11を用いて採取対象113の量Qが求められる。
 (S1606)
 出力部105が、S1605で判定された採取対象113の量を出力する。判定の結果は、例えば制御部121へ送信され、制御部121は判定の結果に基づいて採取部122を制御する。例えば、採取対象113の量が所定の量に達していないと判定された場合、制御部121は採取部122を停止させても良い。また、出力部105は判定の結果をディスプレイやプリンタへ出力し、採取対象113の量を操作者に提示しても良いし、採取対象113の量が所定の量に達していない場合にはその旨を示すメッセージが表示されても良い。
 以上説明した処理の流れにより、画像処理装置101は単一の撮像部111で取得された上方画像212により採取対象113の状態の一つである採取対象113の量を判定できる。また自動分析システム100は、画像処理装置101による判定結果に応じて、採取部122を適切に制御できるので、検査効率を低下させることなく、より正確な分析を行うことができる。
 実施例1では容器112の種別が判定されることについて、実施例2では採取対象113の量が判定されることについて説明した。本実施例では、上方画像212から算出される容器112の縁領域402と採取対象113の上面領域404に基づいて、容器112の傾きが判定されることについて説明する。なお、本実施例のハードウェア構成と機能ブロック図は実施例1と同じであるので説明を省略する。
 図20を用いて、本実施例の処理の流れの一例について説明する。なおS301~S302は実施例1と同じ処理であり、S1604は実施例2と同じ処理であるので説明を省略し、S1604以降のS2005~S2006について説明する。
 (S2005)
 状態判定部203が、S302で算出された縁領域402とS1604で算出された上面領域404とに基づいて、容器112の傾きを判定する。容器112の傾きの判定では、傾きの有無の判定、あるいは傾き角度の判定が行われる。
 図21を用いて容器112の傾きの有無の判定について説明する。本実施例においても撮像部111のレンズが非テレセントリックである場合とテレセントリックである場合とについてそれぞれ説明する。
 図21Aを用いて非テレセントリックの場合について説明する。図21Aには、容器112の直立時と傾斜時の側面図または上方画像、すなわち直立時の側面図2101と直立時の上方画像2102、傾斜時の側面図2105と傾斜時の上方画像2106が示される。直立時の上方画像2102と傾斜時の上方画像2106では、S302で算出された縁領域402とS1604で算出された上面領域404に基づいて、縁領域402の中心2103と上面領域404の中心2104が求められる。
 直立時の上方画像2102と傾斜時の上方画像2106との比較から分かるように、直立時には縁領域402の中心2103と上面領域404の中心2104は一致するのに対し、傾斜時には中心2103と中心2104は一致せず、傾斜が大きくなるに従って中心2103と中心2104との距離が大きくなる。そこで状態判定部203は、縁領域402の中心2103と上面領域404の中心2104との距離に基づいて、容器112の傾きの有無を判定する。すなわち、縁領域402の中心2103と上面領域404の中心2104との距離が予め定められた閾値以上であるときは容器112が傾いていると判定され、閾値未満であるときは傾いていないと判定される。
 図21Bを用いてテレセントリックの場合について説明する。図21Bにも図21Aと同様に、直立時の側面図2101と直立時の上方画像2102、傾斜時の側面図2105と傾斜時の上方画像2106が示される。また非テレセントリックの場合と同様に、縁領域402の中心2103と上面領域404の中心2104が求められ、テレセントリックの場合も中心2103と中心2104との距離に基づいて、容器112の傾きの有無が判定される。中心2103と中心2104との距離に基づく容器112の傾きの有無の判定は、容器112がテーパ形状を有する場合にも可能である。
 また縁領域402の中心2103と上面領域404の中心2104との距離以外にも、容器112の内壁領域403等に基づいて容器112の傾きの有無が判定されても良い。例えば、容器112の直立時に比べて傾斜時では内壁領域403の形状が変化するので、内壁領域403の幅や面積を用いて容器112の傾きの有無が判定されても良い。また内壁領域403に限らず容器112の外壁領域が容器112の傾きの有無の判定に用いられても良い。
 図22を用いて容器112の傾き角度の判定について説明する。本実施例においても撮像部111のレンズが非テレセントリックである場合とテレセントリックである場合とについてそれぞれ説明する。
 図22Aを用いて非テレセントリックの場合について説明する。図22Aには、容器112の傾斜時の側面図2201と傾斜時の上方画像2202が示される。傾斜時の側面図2201において容器112の傾き角度を求めるには、容器112の縁213の中心2203と採取対象113の上面215の中心2204との水平方向の距離と鉛直方向の距離が算出できれば良い。すなわち中心2203と中心2204との水平方向の距離である中心間水平距離2205と、鉛直方向の距離である中心間鉛直距離2206とから次式により、鉛直方向に対する容器112の傾き角度θが求められる。
Figure JPOXMLDOC01-appb-M000013
ここでShは中心間水平距離2205であり、Hは中心間鉛直距離2206である。
 ただし、撮像部111により撮像される画像は傾斜時の上方画像2202であるので、数13を用いて容器112の傾き角度θを求めるには、傾斜時の上方画像2202から中心間水平距離2205と中心間鉛直距離2206を取得する必要がある。まず中心間鉛直距離2206すなわち容器112の縁213から採取対象113の上面215までの距離Hは、実施例2で説明したように、上面領域404の短径を図19に例示されるテーブルと照合することにより求められる。
 次に傾斜時の上方画像2202から中心間水平距離2205を求める。非テレセントリックの場合、撮像部111から被撮像物までの距離が長くなるに従って被撮像物の大きさが小さくなるので、採取対象113の上面215での長さは容器112の縁213での長さに補正されて扱われることが好ましい。具体的には、傾斜時の上方画像2202における縁領域402の中心2207と上面領域404の中心2208との距離である領域中心間距離2209は、上面領域404の短径と縁領域402の内径との比率に基づいて補正されることが好ましい。例えば、中心間水平距離2205であるShは次式によって算出される。
Figure JPOXMLDOC01-appb-M000014
ここでF1はレンズ中心2210から上面領域404の中心2208までの距離である第一中心間距離2212、F0はレンズ中心2210から縁領域402の中心2207までの距離である第二中心間距離2211である。またB0は縁領域402の内径2213、B1は上面領域404の短径2214である。数14によれば、採取対象113の上面215での長さである第二中心間距離2211が容器112の縁213での長さに補正されてから第一中心間距離2212との差分が演算されて、その絶対値が中心間水平距離2205であるShとして算出される。すなわち撮像部111から被撮像物までの距離に応じて変化する被撮像物の大きさが補正されて中心間水平距離2205であるShが算出される。
 算出されたShと先に求められた距離Hとが数13に代入されることにより、容器112の傾き角度θが求められる。
 図22Bを用いてテレセントリックの場合について説明する。図22Bにも図22Aと同様に、容器112の傾斜時の側面図2201と傾斜時の上方画像2202が示される。テレセントリックの場合、中心間水平距離2205は、傾斜時の上方画像2202における縁領域402の中心2207と上面領域404の中心2208との距離である領域中心間距離2209として求められる。また中心間鉛直距離2206は実施例2と同様に求められるので、中心間水平距離2205と中心間鉛直距離2206が数13に代入されて容器112の傾き角度θが求められる。
 また図18Cのように撮像部111を傾けながら撮像し、容器112の内壁領域403が上方画像に含まれなくなった時の撮像部111の傾斜角を容器112の傾き角度θとしても良い。
 (S2006)
 出力部105が、S2005で判定された容器112の傾きを出力する。判定の結果は、例えば制御部121へ送信され、制御部121は判定の結果に基づいて採取部122を制御する。例えば、容器112が傾いていると判定されたり、容器112の傾き角度が予め定められた閾値を超過すると判定されたりした場合、制御部121は採取部122を停止させても良い。もしくは容器112の傾き角度に応じて、採取部122の位置や傾きが調整されても良い。
 また出力部105は判定の結果をディスプレイやプリンタへ出力し、容器112の傾きの有無や傾き角度を操作者に提示しても良いし、傾いている容器112の数の比率が予め定められた閾値を超過する場合に注意を促すメッセージ等が表示されても良い。さらに出力部105は、他の画像処理装置へ容器112の傾き角度を出力しても良く、それとともに容器112の傾き角度に応じた補正処理を行った画像を出力しても良い。容器112の傾き角度に応じた補正処理とは、例えば容器112の傾き角度に応じて画像の座標変換をすることにより、容器112の傾きによる画像の変形を補正する処理等である。
 以上説明した処理の流れにより、画像処理装置101は単一の撮像部111で取得された上方画像212により容器112の状態の一つである容器112の傾きを判定できる。また自動分析システム100は、画像処理装置101による判定結果に応じて、採取部122を適切に制御できるので、検査効率を低下させることなく、より正確な分析を行うことができる。
 実施例1乃至3では、上方画像212から算出される容器112の縁領域402や採取対象113の上面領域404に基づいて、容器112や採取対象の状態が判定されることについて説明した。画像処理装置101がFCNやDFCN等を用いて上方画像212を精度良く領域分割処理するには、機械学習に用いられる適切な教師信号が必要である。本実施例では、機械学習用の教師信号を効率的に作成することについて説明する。なお、本実施例のハードウェア構成は実施例1と同じであるので説明を省略する。
 図23を用いて本実施例の機能ブロック図の一例について説明する。なおこれらの機能は、専用のハードウェアで構成されても良いし、演算部103上で動作するソフトウェアで構成されても良い。本実施例は、画像取得部201、領域算出部202とともに、尤度取得部2301、画像選択・表示部2302、教師信号取得部2303、学習部2304を備える。以下、実施例1で説明された画像取得部201、領域算出部202以外の各部について説明する。
 尤度取得部2301は、領域算出部202によって算出された各領域中の各ピクセルが、例えば縁領域402、内壁領域403、上面領域404等のいずれの領域であるかの尤度を取得する。なお尤度はピクセル毎に総和が1.0になるように正規化され、各ピクセルの中の最大の尤度は最大尤度と呼ばれる。最大尤度が大きいピクセルは該当領域である確信度が高く、最大尤度が小さいピクセルは確信度が低いことになる。
 画像選択・表示部2302は、例えば画像中の各ピクセルの最大尤度に基づいて、教師信号の付与に用いられる画像を選択し、選択された画像をディスプレイ等に表示させる。
 教師信号取得部2303は、教師信号を含む画像である教師画像から教師信号を取得する。教師信号は操作者の操作や他の画像処理装置による領域分割処理によって付与される。
 学習部2304は、教師画像に含まれる教師信号を用いて機械学習をし、領域算出部202が領域分割処理に用いる係数等のパラメータを算出したり、更新したりする。
 図24を用いて、本実施例の処理の流れの一例について説明する。本実施例では、分割された各領域の確信度が比較的低い画像が選択・表示され、表示された画像に対して操作者が付与する教師信号を用いて機械学習が行われる。
 (S2401)
 画像選択・表示部2302が、画像中の各ピクセルの尤度に基づいて、教師信号を付与するための画像を記録装置等に記録される画像群の中から選択し、ディスプレイ等に表示させる。例えば、各ピクセルの最大尤度の平均値が所定の閾値未満の画像、すなわち各領域の確信度が比較的低い画像が選択される。
 図25を用いて、本ステップにて表示される画面の一例について説明する。図25に示される画面は、本ステップで選択された複数の画像のうち、教師信号が付与済みの画像の枚数と、未済の画像の枚数とを、容器112の種別毎に示す画像リストである。画像リスト中の任意のセル、例えば容器βの未済である100が表示されるセルがマウスのカーソル等によって選択されると、当該セルに対応する画像である容器βを含む画像が表示されても良い。
 操作者は本画面から教師信号が付与された画像と付与されていない画像の各枚数を容器112の種別毎に確認でき、どの種別の容器112を含む画像に教師信号を付与したほうが良いかを判断できるので、教師信号を付与する作業の効率化が可能となる。なお表示される画像リストは、容器112の種別毎に分類されたものに限定されない。
 (S2402)
 教師信号取得部2303が、操作者の操作に基づいて、S2401にて表示された画像に対する教師信号を取得する。図26と図27を用いて、本ステップにて使用される画面の一例について説明する。
 図26に示される画面は、教師信号を付与する領域を指定するための操作画面の一例であり、画像表示部2601、画像選択部2602、修正ツール2603、保存ボタン2604、読込ボタン2605を有する。
 画像表示部2601には、画像選択部2602での選択に応じた画像が表示される。画像選択部2602では、画像表示部2601に表示される画像の条件が選択される。図26では、画像選択部2602で原画像と領域分割結果が選択されており、領域算出部202が原画像を領域分割した結果が画像表示部2601に表示されている。
 修正ツール2603では、教師信号を修正したい領域が選択される。例えば修正ツール2603で液面、すなわち採取対象113が液体であるときの上面が選択された状態で、画像表示部2601に表示される画像の任意のピクセルが選択されると、選択されたピクセルは上面領域404の教師信号が付与される。画像表示部2601に表示される画像中のピクセルの選択は、マウス等によって行われる。
 保存ボタン2604は、修正後の教師信号が保存されるときに押下されるボタンである。すなわち保存ボタン2604が押下されると、教師信号取得部2303は、修正ツール2603を介して付与された教師信号を取得する。なお修正ツール2603にて修正されなかったピクセルについてはもともとの教師信号が取得される。
 読込ボタン2605は、別の画像を選択するときに押下されるボタンである。読込ボタン2605が押下されることにより、例えば画像表示部2601に表示される画像が更新されても良いし、図25に例示される画面が表示されても良い。
 図27に示される画面は、教師信号を付与するための操作画面の一例であり、上方画像表示部2701、容器種別表示部2702、教師信号入力部2703、保存ボタン2604、読込ボタン2605を有する。保存ボタン2604と読込ボタン2605は図26の画面と同じ機能を有するので説明を省略する。
 上方画像表示部2701には、撮像部111により撮像された画像である上方画像212が表示される。図27では、採取対象113の上面215に気泡や脂質等の混在物216が浮いている状態が表示されている。
 容器種別表示部2702には、領域算出部202が算出した領域に基づいて判定された容器112の種別が内径や厚みとともに表示される。なお容器112の長さや印字内容、印字位置、縁周辺のスクリューの有無、底面のリブ等が表示されても良い。また容器種別表示部2702に表示される各種情報は操作者によって修正されても良い。
 教師信号入力部2703では、上方画像表示部2701に表示される画像の任意の領域に付与される教師信号が入力される。例えば、上方画像表示部2701に表示される画像中の気泡や脂質等に対し、上面領域404に対応する教師信号が入力される。なお教師信号入力部2703は、図27に例示されるようなテキストボックスに限定されず、ラジオボタンやプルダウンメニューのような選択肢が提示される形式でも良い。
 図26や図27に示されるような画面の使用は、操作者による教師信号の付与の作業支援になるので教師信号を付与する作業の効率化が可能となる。
 (S2403)
 一定数以上の新たな教師画像が収集されたか否かが判別される。一定数以上の教師画像が収集されればS2404へ処理が進み、一定数に達していなければS2401へ処理が戻る。
 (S2404)
 学習部2304が、一定数以上の教師画像を用いた機械学習により係数を更新する。係数の更新には、例えば確率的勾配降下法等が用いられる。係数の初期値には、メモリ104に保存されている係数が用いられても良いし、乱数が用いられても良い。
 (S2405)
 学習部2304が、更新された係数の評価を実施する。例えば、係数の評価用に正解情報付きの画像群が予め準備され、これらの画像群に対してS2404にて更新された係数と更新前の係数を用いた領域分割処理をそれぞれ実施し、正解率が上昇したか否かにより更新後の係数が評価される。
 (S2406)
 メモリ104内の係数を上書きするか否かが判別される。上書きされるか否かの判別には、S2405の評価結果が用いられても良い。係数が上書きされるならばS2407へ処理が進み、上書きされなければ処理の流れは終了となる。
 (S2407)
 学習部2304が、メモリ104内の係数を上書きしたり、更新前後の係数を保存したりする。
 以上説明した処理の流れにより、領域分割結果の確信度が比較的低い画像に対して、適切な教師信号が効率よく付与されるので、画像処理装置101は効率よく適切な機械学習を行うことができる。また気泡や異物等に対しても適切な教師信号を付与することができる。適切な機械学習によって領域分割処理の精度を向上できるので、画像処理装置101が容器112や採取対象113の状態をより正しく判定可能となり、自動分析システム100はより正確な分析を行うことができる。
 以上、本発明の複数の実施例について説明した。本発明はこれらの実施例に限定されるものではなく、さまざまな変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したのであり、説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能である。さらに、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
100:自動分析システム、101:画像処理装置、102:入力部、103:演算部、104:メモリ、105:出力部、106:バス、111:撮像部、112:容器、113:採取対象、121:制御部、122:採取部、123:分析部、201:画像取得部、202:領域算出部、203:状態判定部、211:側面図、212:上方画像、213:容器の縁、214:容器の内壁、215:採取対象の上面、216:混在物、217:固定部、401:領域分割像、402:縁領域、403:内壁領域、404:上面領域、405:背景領域、501:縁の二値化像、502:縁の境界像、503:その他領域、505:内側境界、506:外側境界、507:縁領域の重心、508:抽出点、901:入力画像、902:1番目のカーネル、903:2番目のカーネル、904:1層目出力データ、905:2層目出力データ、906:3層目出力データ、907:4層目出力データ、908:領域分割結果、1001:第1の入力画像、1002:第2の入力画像、1003:第3の入力画像、1004:第4の入力画像、1005:第1の領域分割結果、1006:第2の領域分割結果、1007:第3の領域分割結果、1008:第4の領域分割結果、1009:統合領域分割結果、1101:Cカーネル、1102:DCカーネル、1201:Pカーネル、1202:DPカーネル、1301:1番目のカーネル、1302:2番目のカーネル、1303:1番目のDカーネル、1304:2番目のDカーネル、1501:入力画像、1502:1番目のカーネル、1503:2番目のカーネル、1504:1層目出力データ、1505:2層目出力データ、1506:3層目出力データ、1507:4層目出力データ、1701:上面の二値化像、1702:上面の境界画像、1704:その他領域、1705:上面境界、1706:抽出点、1801:多量時の側面図、1802:多量時の上方画像、1803:多量時の上面、1804:少量時の側面図、1805:少量時の上方画像、1806:少量時の上面、1807:縁から上面までの距離、2101:直立時の側面図、2102:直立時の上方画像、2103:縁領域の中心、2104:上面領域の中心、2105:傾斜時の側面図、2106:傾斜時の上方画像、2201:傾斜時の側面図、2202:傾斜時の上方画像、2203:縁の中心、2204:上面の中心、2205:中心間水平距離、2206:中心間鉛直距離、2207:縁領域の中心、2208:上面領域の中心、2209:領域中心間距離、2210:レンズ中心、2211:第二中心間距離、2212:第一中心間距離、2213:縁領域の内径、2214:上面領域の短径、2301:尤度取得部、2302:画像選択・表示部、2303:教師信号取得部、2304:学習部、2601:画像表示部、2602:画像選択部、2603:修正ツール、2604:保存ボタン、2605:読込ボタン、2701:上方画像表示部、2702:容器種別表示部、2703:教師信号入力部

Claims (15)

  1.  試料や試薬、反応溶液を含む採取対象を収容する容器を上方から撮像して得られる画像である上方画像を取得する画像取得部と、
     前記上方画像から前記容器の縁領域または前記採取対象の上面領域を算出する領域算出部と、
     前記縁領域または前記上面領域に基づいて前記容器または前記採取対象の状態を判定する状態判定部と、を備えることを特徴とする画像処理装置。
  2.  請求項1に記載の画像処理装置であって、
     前記領域算出部は前記縁領域を算出し、
     前記状態判定部は前記縁領域の外径と内径に基づいて前記容器の種別を判定することを特徴とする画像処理装置。
  3.  請求項2に記載の画像処理装置であって、
     前記領域算出部は、前記上面領域をさらに算出し、
     前記状態判定部は、前記容器の種別と、前記上面領域の大きさ又は前記上面領域から前記縁領域までの距離に基づいて前記採取対象の量を判定することを特徴とする画像処理装置。
  4.  請求項1に記載の画像処理装置であって、
     前記領域算出部は、前記縁領域と前記上面領域を算出し、
     前記状態判定部は、前記縁領域の中心と前記上面領域の中心との一致度に基づいて前記容器の傾きの有無を判定することを特徴とする画像処理装置。
  5.  請求項3に記載の画像処理装置であって、
     前記状態判定部は、前記容器の種別と前記上面領域の大きさとを用いて求められる前記採取対象の高さと、前記縁領域の中心と前記上面領域の中心との距離である中心距離と、に基づいて容器の傾き角度を判定することを特徴とする画像処理装置。
  6.  請求項5に記載の画像処理装置であって、
     前記上方画像が非テレセントリックのレンズを用いて撮像された場合、前記状態判定部は、前記上面領域の短径と前記縁領域の内径との比率に基づいて前記中心距離を補正することを特徴とする画像処理装置。
  7.  請求項1に記載の画像処理装置であって、
     選択された画像を表示する表示部と、
     前記表示部に表示された画像に対する教師信号を入力するための操作画面を表示する教師信号取得部をさらに備えることを特徴とする画像処理装置。
  8.  請求項7に記載の画像処理装置であって、
     前記表示部は、選択された画像の枚数を示す画面をさらに表示することを特徴とする画像処理装置。
  9.  請求項1に記載の画像処理装置であって、
     前記領域算出部は、カーネルの要素間に所定数のゼロを挿入することにより作成されるダイレートカーネルを用いてConvolution処理およびPooling処理を実行することにより前記上方画像を複数の領域に分割して、前記縁領域または前記上面領域を算出することを特徴とする画像処理装置。
  10.  請求項9に記載の画像処理装置であって、
     前記領域算出部は、前記Convolution処理および前記Pooling処理を実行するときに前記ダイレートカーネルをずらす量であるストライド量に基づいて前記カーネルに挿入されるゼロの数を決めることを特徴とする画像処理装置。
  11.  請求項1に記載の画像処理装置を備える自動分析システムであって、
     前記容器から前記採取対象を採取する採取部と、
     前記状態判定部の判定結果に基づいて前記採取部を制御する制御部を備えることを特徴とする自動分析システム。
  12.  請求項11に記載の自動分析システムであって、
     前記状態判定部が前記容器の種別を未知の種別と判定したか、前記採取対象の量が閾値未満であると判定したか、前記容器の傾き角度が閾値以上であると判定したときに、前記制御部は前記採取部を停止させることを特徴とする自動分析システム。
  13.  請求項11に記載の自動分析システムであって、
     前記状態判定部が判定した前記容器の種別や、前記採取対象の量、前記容器の傾き角度に応じて、前記制御部は前記採取部の高さや角度を調整することを特徴とする自動分析システム。
  14.  試料や試薬、反応溶液を含む採取対象を収容する容器を上方から撮像して得られる画像である上方画像を取得する画像取得ステップと、
     前記上方画像から前記容器の縁領域または前記採取対象の上面領域を算出する領域算出ステップと、
     前記縁領域または前記上面領域に基づいて前記容器または前記採取対象の状態を判定する状態判定ステップと、を備えることを特徴とする画像処理方法。
  15.  画像を複数の領域に分割する画像処理方法であって、
     Convolution処理およびPooling処理に用いられるカーネルの要素間に所定数のゼロを挿入することによりダイレートカーネルを作成するステップと、
     前記ダイレートカーネルを用いてConvolution処理およびPooling処理を実行するステップと、を備えることを特徴とする画像処理方法。
PCT/JP2020/002860 2019-04-08 2020-01-28 画像処理装置、自動分析システム及び画像処理方法 WO2020208899A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080025465.6A CN113646641A (zh) 2019-04-08 2020-01-28 图像处理装置、自动分析系统以及图像处理方法
US17/599,370 US20220172341A1 (en) 2019-04-08 2020-01-28 Image processing apparatus, automatic analysis system, and image processing method
EP20788579.9A EP3955008A4 (en) 2019-04-08 2020-01-28 IMAGE PROCESSING DEVICE, AUTOMATIC ANALYSIS SYSTEM AND AND IMAGE PROCESSING METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019073334A JP7320972B2 (ja) 2019-04-08 2019-04-08 画像処理装置、自動分析システム及び画像処理方法
JP2019-073334 2019-04-08

Publications (1)

Publication Number Publication Date
WO2020208899A1 true WO2020208899A1 (ja) 2020-10-15

Family

ID=72750536

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002860 WO2020208899A1 (ja) 2019-04-08 2020-01-28 画像処理装置、自動分析システム及び画像処理方法

Country Status (5)

Country Link
US (1) US20220172341A1 (ja)
EP (1) EP3955008A4 (ja)
JP (1) JP7320972B2 (ja)
CN (1) CN113646641A (ja)
WO (1) WO2020208899A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949829A (zh) * 2021-03-05 2021-06-11 深圳海翼智新科技有限公司 特征图的池化方法、数据处理方法和计算设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117268498B (zh) * 2023-11-20 2024-01-23 中国航空工业集团公司金城南京机电液压工程研究中心 一种油量测量方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151025A (ja) 2002-10-31 2004-05-27 Teruaki Ito 試験管種類判別装置
JP2005304303A (ja) * 2004-04-16 2005-11-04 Olympus Corp 給排ロボットおよび自動培養装置
JP2007298445A (ja) * 2006-05-01 2007-11-15 Olympus Corp 液面検知装置
JP2014500955A (ja) * 2010-11-16 2014-01-16 エフ.ホフマン−ラ ロシュ アーゲー 容器内の液面上の泡を検出する方法および装置
JP2015087265A (ja) * 2013-10-31 2015-05-07 株式会社日立ハイテクノロジーズ 自動分析装置
JP2018146587A (ja) * 2017-03-08 2018-09-20 清華大学Tsinghua University 検査機器と車両の画像を分割する方法
JP2019028657A (ja) * 2017-07-28 2019-02-21 株式会社パスコ 建物領域抽出用の学習済みモデル
JP2019027927A (ja) * 2017-07-31 2019-02-21 株式会社日立ハイテクノロジーズ 装置、試料の状態の判別方法、及び分析システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014202721A (ja) * 2013-04-10 2014-10-27 株式会社日立ハイテクノロジーズ 液体試料導入装置及び液体クロマトグラフ装置
WO2015056649A1 (ja) * 2013-10-17 2015-04-23 株式会社日立ハイテクノロジーズ 検体検査自動化システムおよび容量チェックモジュールならびに生体試料のチェック方法
EP3070478B1 (en) * 2013-11-12 2023-08-09 Hitachi High-Tech Corporation Analyte testing automation system and biological sample check method
US10140705B2 (en) * 2014-06-10 2018-11-27 Siemens Healthcare Diagnostics Inc. Drawer vision system
JP6767791B2 (ja) * 2016-06-30 2020-10-14 キヤノン株式会社 情報処理装置及びその制御方法並びにプログラム
JP2018096915A (ja) * 2016-12-15 2018-06-21 株式会社堀場製作所 自動分析装置
WO2019013960A1 (en) * 2017-07-11 2019-01-17 Siemens Healthcare Diagnostics Inc. METHODS AND SYSTEMS FOR LEARNING BASED IMAGE EDGE IMPROVEMENT FOR HIGHER SAMPLE TUBE CIRCLES
EP3428586B1 (en) * 2017-07-14 2020-09-09 CSEM Centre Suisse D'electronique Et De Microtechnique SA Liquid level detection in receptacles using a plenoptic camera

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151025A (ja) 2002-10-31 2004-05-27 Teruaki Ito 試験管種類判別装置
JP2005304303A (ja) * 2004-04-16 2005-11-04 Olympus Corp 給排ロボットおよび自動培養装置
JP2007298445A (ja) * 2006-05-01 2007-11-15 Olympus Corp 液面検知装置
JP2014500955A (ja) * 2010-11-16 2014-01-16 エフ.ホフマン−ラ ロシュ アーゲー 容器内の液面上の泡を検出する方法および装置
JP2015087265A (ja) * 2013-10-31 2015-05-07 株式会社日立ハイテクノロジーズ 自動分析装置
JP2018146587A (ja) * 2017-03-08 2018-09-20 清華大学Tsinghua University 検査機器と車両の画像を分割する方法
JP2019028657A (ja) * 2017-07-28 2019-02-21 株式会社パスコ 建物領域抽出用の学習済みモデル
JP2019027927A (ja) * 2017-07-31 2019-02-21 株式会社日立ハイテクノロジーズ 装置、試料の状態の判別方法、及び分析システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3955008A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949829A (zh) * 2021-03-05 2021-06-11 深圳海翼智新科技有限公司 特征图的池化方法、数据处理方法和计算设备

Also Published As

Publication number Publication date
CN113646641A (zh) 2021-11-12
EP3955008A1 (en) 2022-02-16
JP2020173101A (ja) 2020-10-22
EP3955008A4 (en) 2023-03-29
US20220172341A1 (en) 2022-06-02
JP7320972B2 (ja) 2023-08-04

Similar Documents

Publication Publication Date Title
US20230419696A1 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
US20190156476A1 (en) Image analysis method, image analysis apparatus, program, learned deep layer learning algorithm manufacturing method and learned deep layer learning algorithm
CN108876761B (zh) 图像处理装置、电脑可读取记录媒体、图像处理系统
CN110502982B (zh) 一种检测高速公路中障碍物的方法、装置及计算机设备
JP6517666B2 (ja) 物品管理装置、その方法、及びそのプログラム
WO2020208899A1 (ja) 画像処理装置、自動分析システム及び画像処理方法
EP3910550A1 (en) Image processing apparatus and image processing method each for obtaining a region of object and pixels of the object using neural network
US20050053276A1 (en) Method of obtaining a depth map from a digital image
CN103714338A (zh) 图像处理装置和图像处理方法
EP3843036B1 (en) Sample labeling method and device, and damage category identification method and device
CN110892272B (zh) 装置、试料的状态的判别方法以及分析系统
US20150262030A1 (en) Image processing device, image processing method, and image processing program
US9466105B2 (en) Magnetic resonance imaging white matter hyperintensities region recognizing method and system
JP2016099668A (ja) 学習方法、学習装置、画像認識方法、画像認識装置及びプログラム
CN110569774A (zh) 基于图像处理与模式识别的折线图图像自动数字化方法
CN102682308B (zh) 图像处理方法和图像处理设备
CN112992297B (zh) 用于评定样本管在实验室自动化系统中使用的适合性的方法和设备
JP2001314374A (ja) 角膜内皮細胞測定装置
KR102505705B1 (ko) 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템
CN113516328B (zh) 数据处理方法、服务提供方法、装置、设备和存储介质
JP2023031658A (ja) 検査装置、検査装置の制御方法、及びプログラム
CN109559294B (zh) 一种吊牌圆孔质量的检测方法及装置
JP6983451B1 (ja) 計数方法、計数システム、及び計数のためのコンピュータプログラム
CN110930364B (zh) 一种基于ai的视频显微镜的实现方法
CN115265620B (zh) 一种仪器显示数据的获取录入方法、装置和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20788579

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020788579

Country of ref document: EP

Effective date: 20211108