WO2014030379A1 - 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム - Google Patents

画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム Download PDF

Info

Publication number
WO2014030379A1
WO2014030379A1 PCT/JP2013/059677 JP2013059677W WO2014030379A1 WO 2014030379 A1 WO2014030379 A1 WO 2014030379A1 JP 2013059677 W JP2013059677 W JP 2013059677W WO 2014030379 A1 WO2014030379 A1 WO 2014030379A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
target
image feature
feature amount
image processing
Prior art date
Application number
PCT/JP2013/059677
Other languages
English (en)
French (fr)
Inventor
亮子 薄葉
加藤　典司
尾崎　良太
熊澤　幸夫
Original Assignee
富士ゼロックス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士ゼロックス株式会社 filed Critical 富士ゼロックス株式会社
Priority to EP13830325.0A priority Critical patent/EP2889618B1/en
Priority to US14/403,877 priority patent/US9684958B2/en
Priority to CN201380038145.4A priority patent/CN104487843B/zh
Publication of WO2014030379A1 publication Critical patent/WO2014030379A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an image processing apparatus, a program, an image processing method, a computer readable medium, and an image processing system.
  • Patent Document 1 describes a technique for mechanically detecting NRBCs by searching for a cell matching the conditions such as color, shape, positional relationship, area ratio, and the like of NRBCs from a target image.
  • An object of the present invention is to provide an image processing apparatus, a program and an image processing system which make it easy to identify candidate regions similar to a reference candidate region in a feature which is not machine-learned among a plurality of candidate regions of target cells. It is in.
  • an acquisition unit for acquiring a captured image obtained by imaging a sample containing a target cell, and a condition for identifying the target cell correspond to a positive example and a negative example of the target cell, respectively.
  • a unit that performs machine learning based on a first image feature value calculated for a sample image to be scanned, a setting unit that sets a plurality of target areas for detecting the target cells in the captured image, and the plurality of target areas A first display control unit configured to control the display of the plurality of target areas in the order determined based on the first image feature quantity; and a second display control section that is different from the first image feature quantity for the plurality of target areas
  • the image processing apparatus further including a reception unit that receives the selection of the target area of the reference from among the displayed plurality of target areas based on user specification. Good.
  • the second image feature amount includes a plurality of feature amounts and a weight of the plurality of feature amounts, and the image processing device determines the second image feature amount based on a classification determined based on an analysis result of the captured image.
  • the image processing apparatus according to [1] or [2] may further include a weight setting unit configured to set a weight of each of the plurality of feature amounts included in the second image feature amount.
  • the target cell is a nucleated red blood cell having a nucleus
  • the image processing apparatus determines from the plurality of captured images a color or a brightness that the nucleus should have as a candidate nucleus of the nucleus. Further comprising an extraction unit for extracting based on at least one of the above, and the setting unit sets the target region based on the range of sizes that can be taken by the nuclear candidate region and the target cell [1] to [4] It may be the image processing apparatus described in any one.
  • an acquisition unit for acquiring a captured image obtained by imaging a sample containing a target cell, and a condition for identifying the target cell are respectively a positive example and a negative example of the target cell.
  • a learning unit that performs machine learning based on a first image feature value calculated for a corresponding sample image, a setting unit that sets a plurality of target regions for detecting the target cells in the captured image, and the plurality of target regions
  • a first display control unit configured to control display of the plurality of target areas in an order determined based on the first image feature quantity of each of the first image feature quantity, and a first display control section that differs from the first image feature quantity for the plurality of target areas
  • a calculation unit that calculates the second image feature amount, and a second image feature amount similar to the second image feature amount of the reference target region selected from the plurality of target regions, and the plurality of displayed target regions
  • a captured image obtained by imaging a sample containing target cells is obtained, and conditions for identifying the target cells correspond to the positive and negative examples of the target cells, respectively.
  • Machine learning is performed based on a first image feature calculated for an image, a plurality of target areas for detecting the target cells are set for the captured image, and a first image feature of each of the plurality of target areas is set.
  • the computer performs processing of displaying and controlling the display order by arranging the target area in the order having the second image feature similar to the second image feature of the reference target area selected from the plurality of target areas.
  • the picture to be executed It is a processing method.
  • Machine learning is performed based on a first image feature calculated for an image, a plurality of target areas for detecting the target cells are set for the captured image, and a first image feature of each of the plurality of target areas is set. And control the display of the plurality of target regions in the order determined based on the second image feature amount different from the first image feature amount for the plurality of target regions, and displaying the plurality of displayed For image processing, the target area is rearranged and displayed in an order having a second image feature similar to the second image feature of the reference target area selected from among the plurality of target areas.
  • Computer processing Is a non-transitory computer readable medium storing a program to be executed by the.
  • the image processing apparatus includes an image processing apparatus, an optical microscope connected to the image processing apparatus, and a display apparatus connected to the image processing apparatus,
  • An acquisition unit for acquiring a captured image obtained by imaging a sample containing a target cell, and a condition for identifying the target cell are first image features calculated for sample images respectively corresponding to the positive and negative examples of the target cell
  • a machine learning unit based on an amount a setting unit for setting a plurality of target areas for detecting the target cells in the captured image, and an order determined based on respective first image feature amounts of the plurality of target areas
  • a display control unit for controlling the display of the plurality of target areas, a calculation unit for calculating a second image feature quantity different from the first image feature quantity, and the display section for the plurality of target areas;
  • a second control method is configured to rearrange and control a plurality of target areas in an order having a second image feature similar to a second image feature of a reference target area selected from the plurality of target areas.
  • a display control method is configured to
  • the candidate of the reference in the feature that is not machine learning among the plurality of candidate regions of the target cell It becomes easy to confirm the candidate area similar to the area.
  • candidate regions similar to the reference candidate region can be easily confirmed in consideration of the feature of the sample.
  • candidate regions similar to the reference candidate region can be easily confirmed in the feature that is not machine learning.
  • FIG. 1 shows an example of the system configuration of the image processing system 1 according to the present embodiment.
  • the image processing system 1 includes an optical microscope 10, an image processing device 20, an input device 50, and a display device 60.
  • the image processing device 20, the optical microscope 10, the input device 50, and the display device 60 are connected so as to be capable of data communication.
  • the optical microscope 10 captures an image of a sample on a slide glass 11 disposed on a sample stage with a CCD camera 14 via an optical system such as an objective lens 12.
  • the optical microscope 10 includes a focusing mechanism 13 that changes the distance between the slide glass 11 and the objective lens 12, and can change the focal length of the sample on the slide glass 11 to capture an image.
  • maternal blood is applied to the slide glass 11 and subjected to May-Giemsa staining.
  • NRBCs fetal-derived nucleated red blood cells
  • the NRBCs are hereinafter referred to as target cells.
  • the image processing apparatus 20 acquires a captured image captured by the optical microscope 10, detects a candidate image of a target cell from the acquired captured image, and displays a list of detected candidate images. Then, the image processing apparatus 20 rearranges and displays the candidate images in the order of similarity to the reference image, using the image selected from among the listed candidate images as the reference image. Details of the above-described processing performed in the image processing apparatus 20 will be described later.
  • the input device 50 is, for example, a device such as a keyboard or a mouse, and inputs an operation accepted from the user to the image processing device 20. For example, with respect to the image displayed on the display device 60, the image processing device 20 learns the information of the image area designated by the user using the input device 50 as learning information for learning image features of positive and negative examples of target cells. Get as.
  • the input device 50 also receives an input from the user when selecting a reference image from among the candidate images of the target cells displayed in a list.
  • the display device 60 is, for example, a liquid crystal display device or the like, and displays a screen based on the result of processing by the image processing device 20.
  • the display device 60 displays a captured image captured by the optical microscope 10, a list of target cells detected from the captured image, a sort result of the list, and the like.
  • FIG. 2 shows a functional block diagram of the image processing apparatus 20.
  • the image processing apparatus 20 includes a captured image acquisition unit 21, a learning area specification reception unit 22, a candidate area setting unit 23, a first image feature quantity calculation unit 24, a discrimination model learning unit 25, and a discrimination model.
  • Data storage unit 26, target cell identification unit 27, first evaluation value calculation unit 28, sample classification unit 29, additional feature amount determination unit 30, second image feature amount calculation unit 31, reference image selection unit 32, second evaluation value A calculation unit 33 and a display control unit 34 are provided.
  • the functions of the above-described units included in the image processing apparatus 20 are computer readable information storage media readable by a computer including control means such as a CPU, storage means such as a memory, and input / output means for transmitting and receiving data with external devices. It may be realized by reading and executing a program stored in.
  • the program may be supplied to the image processing apparatus 20 as a computer by means of an information storage medium such as an optical disc, a magnetic disc, a magnetic tape, a magneto-optical disc, a flash memory, etc. It may be supplied to the processing device 20.
  • the captured image acquisition unit 21 acquires, from the optical microscope 10, a captured image obtained by capturing an image of a sample by the CCD camera 14 provided in the optical microscope 10.
  • the image acquired by the captured image acquisition unit 21 may be displayed on the display device 60 by the display control unit 34.
  • the learning area specification receiving unit 22 receives specification of an image area used for learning processing in the image acquired by the captured image acquiring unit 21.
  • the designation of the image area may be performed via the input device 50.
  • the learning area specification receiving unit 22 takes as an example an image area in which the target cell is projected in the imaged image. Accept an image area where the target cell is not projected as a negative example.
  • the learning area specification receiving unit 22 outputs the image cut out based on the received image area to the first image feature amount calculating unit 24 together with type information on whether the image is a positive example or a negative example. It is good.
  • the candidate area setting unit 23 sets a candidate area that can be a candidate for a target cell inside the captured image acquired by the captured image acquisition unit 21.
  • a specific example of processing by the candidate area setting unit 23 will be described.
  • the candidate area setting unit 23 sets a candidate area for a nucleus based on pixels whose color (RGB value) or density is in a predetermined range for each captured image acquired by the captured image acquisition unit 21. Extract For example, the candidate area setting unit 23 may binarize the pixels in the captured image with a predetermined color (or density) threshold value. Specifically, the color (or density) is higher than the threshold value A dark pixel (or more than a threshold value) may be extracted as a black pixel.
  • the candidate area setting unit 23 calculates a plurality of sets (pixel groups) in which pixels extracted from the respective images acquired by the captured image acquisition unit 21 are connected, and sets an area circumscribing each set as a nucleus candidate area. It is good.
  • the candidate area setting unit 23 estimates the possible range of cell size based on the projection size of the nucleus candidate area extracted by the candidate area setting unit 23 onto the slide glass surface and a predetermined relational expression.
  • the candidate region setting unit 23 estimates a range (for example, a rectangular region) which can be taken by the nucleated red blood cell on the slide glass surface based on the relational expression between the nucleus and the size range of the cell in the nucleated red blood cell.
  • the candidate area setting unit 23 sets a rectangular area of the estimated range as a cell existing area, centering on one point in the nucleus candidate area.
  • the candidate area setting unit 23 may include target cells based on the nucleus candidate area extracted by the candidate area setting unit 23 and the cell existing area on the slide glass surface estimated by the candidate area setting unit 23. A cell candidate area is determined, and the captured image in the determined cell candidate area is output to the first image feature quantity calculating unit 24.
  • the first image feature quantity calculating unit 24 enlarges or reduces the captured image input from the learning area specification receiving unit 22 or the candidate area setting unit 23 to the specified image size, and then reduces the first image feature quantity of them. calculate.
  • the first image feature amount is an image feature amount for learning / identification used for learning processing by the identification model learning unit 25 and identification processing by the target cell identification unit 27.
  • an HOG feature amount may be used.
  • the HOG feature may be calculated as follows.
  • the target image is divided into B blocks consisting of A cells, and the direction of the brightness gradient from the brightness gradient direction and the brightness gradient strength in the plane of the image (X direction and Y direction) for each cell constituting each block Histograms ([the value of the first gradient direction, the value of the second gradient direction, ..., the value of the Nth gradient direction]) are determined, and normalization is performed in block units such that the root mean square thereof becomes 1 .
  • a ⁇ N values generated by combining normalized luminance gradient direction histograms in blocks are used as feature amounts of blocks, and A ⁇ B ⁇ N items are generated by combining all blocks in the target image. The value of is used as the HOG feature of the target image.
  • the first image feature calculation unit 24 calculates the image feature from the input captured image, and then identifies the calculated image feature as a model learning Output to the unit 25. Further, when the captured image is input from the candidate area setting unit 23, the first image feature calculation unit 24 calculates the image feature from the input captured image, and then calculates the calculated image feature as a target cell. It is output to the identification unit 27.
  • the identification model learning unit 25 identifies the target cell based on the first image feature quantity calculated by the first image feature quantity calculation unit 24 for the positive example and negative example images received by the learning area specification receiving unit 22. Learning about the target cell identification unit 27 to be performed is performed. Specifically, the identification model learning unit 25 sets the first image feature calculated for the captured image of the target cell as a positive example, and the first image calculated for the other captured images as a negative example. Model parameters for the identification unit 27 are generated.
  • the target cell identification unit 27 may use a machine learning model such as AdaBoost or Support Vector Machine.
  • the identification model data storage unit 26 stores the model parameters of the target cell identification unit 27 generated by the identification model learning unit 25.
  • the target cell identification unit 27 uses the first image feature calculated for the captured image of the cell candidate region determined by the candidate region setting unit 23 and the target cell identification unit 27 stored in the identification model data storage unit 26. Based on such model parameters, it is identified whether the cells included in the cell candidate region are target cells.
  • the first evaluation value calculating unit 28 is configured to rank the candidate images in the descending order of possibility of being a target cell based on the learned first image feature amount and the first image feature amount of the candidate image. Calculate the evaluation value. For example, the first evaluation value calculation unit 28 calculates the first image feature of the candidate region identified as the target cell by the target cell identification unit 27 and the representative image feature of the first image feature which is a positive example learned. The distance to the center or the average of the first image feature amount in the positive example may be calculated as the first evaluation value of the candidate area. In addition, the first evaluation value calculation unit 28 calculates the first image feature of the candidate area identified as the target cell by the target cell identification unit 27, the first image feature of the positive example, and the first image feature of the negative example. The distance from the hyperplane separating 1 and 2 may be calculated as the first evaluation value of the candidate area.
  • the display control unit 34 causes the display device to display a list of candidate images identified by the target cell identification unit 27 as target cells.
  • the display control unit 34 may sort and display a list of candidate images identified as target cells by the target cell identification unit 27 in the order of the first evaluation value of the candidate images. For example, when the first evaluation value is a distance from the representative image feature amount of the positive example, candidate images may be displayed in ascending order of distance.
  • the sample classification unit 29 analyzes the feature of the sample corresponding to the captured image based on the captured image to be processed, and sorts the sample based on the analyzed feature. Specifically, as shown in FIG. 3A to FIG. 3C, each specimen has a class with many neutrophils (class A), a class with many lymphocytes (class B), and a class with many trash (class C). Since there is a tendency of), etc., the sample classification unit 29 classifies to which of these classes it does or does not fall.
  • FIG. 3A shows an example of a sample having a large amount of neutrophils
  • FIG. 3B shows an example of a sample having a large number of lymphocytes
  • FIG. 3C shows an example of a sample having a large amount of dust.
  • neutrophils are similar in color to nucleated red blood cells, but differ in that the nuclei are branched.
  • Lymphocytes are similar in shape to nucleated red blood cells, but differ in that they are lighter in color than nucleated red blood cells.
  • the sample classification unit 29 extracts an area (FIG. 4B) having a specific density or more (for example, each luminance value of R, G, B is 100 or less) from the candidate area (FIG. 4A), and extracts R, The average value (color average value) of each of the luminance values of G and B is calculated.
  • the sample classification unit 29 obtains the frequency distribution (FIG. 4C) of the color average value for each candidate area.
  • the sample classification unit 29 determines that the image is a low-error image and does not correspond to any of classes A to C.
  • the sample classification unit 29 uses the threshold (for example, 60 in B) for the color average value as the cumulative frequency below the threshold. If it is larger, it is determined that the class A is rich in neutrophils, and if not, it is determined that the class B is rich in lymphocytes. Whether or not there is a large amount of dust in class C may be determined, for example, based on whether or not the size of the area above the specific density is above the threshold.
  • the additional feature quantity determination unit 30 determines an image feature quantity different from the first image feature quantity as an additional feature quantity for each of the candidate images including the candidate area.
  • the candidate image may be an area of a predetermined size including the candidate area.
  • the first feature amount may be information representing the feature of the cell included in the candidate image. Specifically, information such as the size of the nucleus, the average value of the color of the nucleus, the area ratio between the nucleus and the cell membrane, the size of the cell membrane, and the thickness of the cell membrane may be used.
  • FIG. 5A shows an example of the first feature amount for a sample with many neutrophils
  • FIG. 5B shows the sample with a large number of lymphocytes.
  • An example of the first feature amount is shown in FIG. 5C, and an example of the first feature amount of a sample with a large amount of dust is shown.
  • the second feature value may be a feature value that distinguishes between nucleated red blood cells and other cells.
  • 6A to 6C show diagrams for explaining an example of the second feature amount.
  • a plurality of block areas are set in the candidate image including the candidate area, and color information of the set block areas (for example, information of 5 ⁇ 5 ⁇ 3 (RGB) dimensions)
  • color information of the set block areas for example, information of 5 ⁇ 5 ⁇ 3 (RGB) dimensions
  • FIG. 6A shows an example of the second feature for a sample with a large amount of neutrophils
  • FIG. 6B shows an example of the second feature for a sample with a large amount of dust
  • FIG. The example of the 2nd feature-value about the sample with many balls was shown.
  • the third feature amount may be the number of nucleus candidate regions included in the candidate image.
  • the nucleus candidate region may be a pixel group of a predetermined density or more in the candidate image.
  • FIGS. 7A to 7B show diagrams for explaining an example of the third additional feature value.
  • FIG. 7A shows the case of neutrophils
  • FIG. 7B shows the case of nucleated red blood cells.
  • neutrophils a plurality of nuclear candidate regions appear in the candidate image, while in the case of nucleated red blood cells, one nuclear candidate region appears.
  • the fourth feature value may use the first evaluation value calculated by the first evaluation value calculation unit 28 for the candidate area included in the candidate image.
  • the additional feature quantity determination unit 30 may configure the additional feature quantity by combining any one of the first to fourth feature quantities or two or more of them.
  • the second image feature quantity calculation unit 31 generates the second image feature quantity based on the first image feature quantity, the plurality of additional feature quantities determined by the additional feature quantity determination unit 30, and the respective weights. While making the determination, the second image feature amount is calculated for each of the candidate images identified as the target cells by the target cell identification unit 27.
  • the second image feature quantity calculation unit 31 may set the first image feature quantity A, the additional feature quantity (first feature quantity B1, second feature quantity B2, third feature quantity B3, fourth feature quantity B4 And the weights Wb1 to Wb4 of the weights Wa and B1 to B4 of A, the second image feature amount is (Wa ⁇ A, Wb1 ⁇ B1, Wb2 ⁇ B2, Wb3 ⁇ B3, Wb4 ⁇ B4) It may be generated as Here, the weights Wa and Wb1 to Wb4 may be determined in advance, but of these, Wb2 and Wb3 may be changed based on the classification result by the sample classification unit 29.
  • the value of Wb2 is set larger than a predetermined value or other weight
  • the sample classification unit 29 If the class B is classified as having many spheres, the value of Wb3 may be set larger than a predetermined value or other weight.
  • any other weight may be set to 0.
  • the reference image selection unit 32 receives a selection of a candidate image serving as a reference of a target cell from the list display of candidate images identified as target cells by the target cell identification unit 27 via the input device, and receives the candidate image received Is selected as the reference image.
  • the second evaluation value calculation unit 33 calculates the second image feature amount calculated by the second image feature amount calculation unit 31 for the reference image selected by the reference image selection unit 32 and the second image feature amount for other candidate images. A distance to the second image feature value calculated by the calculation unit 31 is calculated as a second evaluation value of each candidate image.
  • the display control unit 34 may display a list of candidate images identified as target cells by the target cell identification unit 27 in the order of the second evaluation values of the candidate images. For example, when the second evaluation value is a distance from the second image feature amount of the reference image, the candidate images may be displayed in ascending order of distance.
  • FIG. 8 shows a flowchart related to the learning process of the classifier.
  • the image processing apparatus 20 acquires a captured image of a positive example (that is, an image including target cells) (S101), and corresponds to an image area designated for the acquired captured image (that is, target cells). Image region) is cut out (S102).
  • the image processing apparatus 20 calculates a first example image feature amount of a positive example based on the image area of the clipped captured image (S103).
  • the first image feature may be, for example, an HOG feature. If there is another positive example image to be learned (S104: Y), the image processing apparatus 20 returns to S101, and if there is no other positive example image to be learned (S104: N), It progresses to S105.
  • the image processing apparatus 20 acquires a negative example captured image (that is, an image including cells that are not target cells) (S105), and an image area specified for the acquired captured image (that is, an image area corresponding to the negative example cells). ) Is cut out (S106).
  • the image processing apparatus 20 calculates a negative example first image feature amount based on the image area of the clipped captured image (S107). If there is another negative example image to be learned (S108: Y), the image processing apparatus 20 returns to S105, and if there is no other negative example image to be learned (S108: N), Proceed to S109.
  • the image processing apparatus 20 executes the learning process of the classifier for identifying the target cell using the positive first image feature and the negative first image feature obtained by the above process (S109).
  • the model parameters of the classifier obtained by the learning process are stored (S110), and the learning process is ended.
  • the image processing apparatus 20 acquires a captured image to be processed (S201), and performs binarization processing on each of the acquired captured images (S202). Next, the image processing apparatus 20 sets (N) nuclear candidate regions that can be nuclei of target cells in the captured image after the binarization process (S203).
  • the image processing apparatus 20 sets the initial value of the variable j to 1 and acquires the j-th nucleus candidate region (S204), and the projection size of the acquired nucleus candidate region to the slide glass surface and a predetermined relational expression Based on the above, the possible range of cell size S (Smin ⁇ S ⁇ Smax) is calculated (S205).
  • the image processing apparatus 20 sets the initial value of S to the minimum value (Smin) (S206), and sets a cell candidate area of size S in the j-th nucleus candidate area (S207).
  • the image processing apparatus 20 calculates the first image feature based on the captured image in the cell candidate region (S208), and the target cell identification unit 27 calculates the target cell (based on the calculated first image feature). It is determined whether or not it is a nuclear red blood cell (S209).
  • the first evaluation value calculation unit 28 calculates a first evaluation value for the cell candidate area (S210), and coordinates of the cell candidate area , Size, and the first evaluation value are stored (S211).
  • the image processing apparatus 20 proceeds to S212 after S211 or when determining that it is not a target cell (S209: N).
  • S212: N when all the pixels in the nucleus candidate area are not processed (S212: N), the image processing apparatus 20 returns to S207 and continues the processing.
  • the image processing apparatus 20 may set the size of the cell size S to ⁇ S ( ⁇ S may be predetermined, or may be predetermined to S. (S213), and if the cell size S does not exceed the maximum value (Smax) of the cell size (S214: N), return to S207 and process To continue.
  • the image processing apparatus 20 does not process all the nucleus candidate regions (S215: N)
  • j is incremented (S216), and the process returns to S204 and continues the processing.
  • the image processing apparatus 20 sorts the stored cell candidate areas by the first evaluation value (S217), and the candidate image including the cell candidate areas in the sorting order Is displayed (S218).
  • FIG. 11 shows an example of a list display screen in which candidate images are displayed in the sort order of the first evaluation value.
  • the image processing apparatus 20 receives specification of a reference image to be a reference of a target cell on the list display screen (S219).
  • the image processing apparatus 20 determines the element of the additional feature amount by the additional feature amount determination unit 30 (S220), classifies the sample by the sample classification unit 29 (S221), and determines the nuclear element of the additional feature amount based on the classification of the sample. The weight of is determined (S222).
  • the image processing apparatus 20 acquires the additional feature quantity of the reference candidate image (S223), and based on the first image feature quantity of the cell candidate area included in the reference candidate image, the additional feature quantity, and the respective weights. 2 Calculate the image feature amount (S224).
  • the second image feature amount is calculated based on the first image feature amount of the cell candidate region included in the candidate image i, the additional feature amount, and the respective weights (S227).
  • the image processing apparatus 20 calculates a distance Di between the second image feature of the reference candidate image and the second image feature of the candidate image i as a second evaluation value (S228).
  • FIG. 12 shows an example of a list display screen displaying a list of candidate images in the sort order of the second evaluation value.
  • the present invention is not limited to the above embodiment.
  • the classification of the sample may be specified by the user, or after the image processing apparatus 20 displays the histogram (FIG. 4C) based on the analysis result of the sample on the display device 60, the specification of the classification of the sample is received from the user
  • the target cell is not limited to NRBCs, and another cell may be used as a target cell.
  • the image processing device, the image processing method, the computer reading medium, and the image processing system according to the present invention are useful for mechanically detecting cells such as NRBCs.
  • SYMBOLS 1 image processing system 10 optical microscope, 11 slide glass, 12 objective lens, 13 focusing mechanism, 14 CCD camera, 20 image processing device, 21 captured image acquisition part, 22 learning area specification reception part, 23 candidate area setting part, 24 first image feature amount calculation unit, 25 Identification model learning unit, 26 identification model data storage unit, 27 target cell identification unit, 28 first evaluation value calculation unit, 29 sample classification unit, 30 additional feature amount determination unit, 31 second image feature amount calculation unit, 32 reference image Selection unit, 33 second evaluation value calculation unit, 34 display control unit, 50 input device, 60 display device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

　画像処理装置２０は、標的細胞を含む試料を撮像した撮像画像を取得し、第１の画像特徴量に基づいて機械学習し、撮像画像について標的細胞を検出する対象の複数の対象領域を設定し、複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で複数の対象領域をそれぞれ表示させる。そして、画像処理装置２０は、複数の対象領域のそれぞれについて、第２の画像特徴量を算出し、表示された複数の対象領域を、複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示させる。

Description

画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム
　本発明は、画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システムに関する。
　特許文献１には、ＮＲＢＣｓの色、形状、位置関係、面積比等の条件に合致する細胞を対象画像から探索することにより、ＮＲＢＣｓを機械的に検出する技術が記載されている。
日本国特許第４３４６９２３号公報
　本発明の目的は、標的細胞の複数の候補領域のうち、機械学習していない特徴において基準の候補領域と類似する候補領域が確認し易くなる画像処理装置、プログラム及び画像処理システムを提供することにある。
　［１］本発明のある観点によれば、標的細胞を含む試料を撮像した撮像画像を取得する取得部と、前記標的細胞を識別する条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習する部と、前記撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定部と、前記複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で前記複数の対象領域を表示制御させる第１の表示制御部と、前記複数の対象領域について、前記第１の画像特徴量とは異なる第２の画像特徴量を算出する算出部と、前記表示された前記複数の対象領域を、前記複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示制御させる第２の表示制御部と、を含む画像処理装置である。
　［２］前記表示された前記複数の対象領域の中から、利用者の指定に基づいて前記基準の対象領域の選択を受け付ける受付部を更に含む［１］に記載の画像処理装置であってもよい。
　［３］前記第２の画像特徴量は、複数の特徴量と、当該複数の特徴量の重みを含み、前記画像処理装置は、前記撮像画像の解析結果に基づき決定した分類に基づいて、前記第２の画像特徴量に含まれる複数の特徴量のそれぞれの重みを設定する重み設定部を更に含む［１］又は［２］に記載の画像処理装置であってもよい。
　［４］前記特徴量は、前記試料の特徴を表す特徴量である［３］に記載の画像処理装置であってもよい。
　［５］前記標的細胞は、核を有する有核赤血球であり、前記画像処理装置は、前記複数の撮像画像から、前記核の候補となる核候補領域を、当該核が有すべき色又は輝度の少なくとも一方に基づいて抽出する抽出部をさらに含み、前記設定部は、前記核候補領域と前記標的細胞がとり得るサイズの範囲に基づいて前記対象領域を設定する［１］から［４］のいずれか一つに記載の画像処理装置であってもよい。
　［６］本発明の他の観点によれば、標的細胞を含む試料を撮像した撮像画像を取得する取得部と、前記標的細胞を識別する条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習する学習部と、前記撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定部と、前記複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で前記複数の対象領域を表示制御させる第１の表示制御部と、前記複数の対象領域について、前記第１の画像特徴量とは異なる第２の画像特徴量を算出する算出部と、前記表示された前記複数の対象領域を、前記複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示制御させる第２の表示制御部としてコンピュータを機能させるためのプログラムである。
　［７］本発明の他の観点によれば、標的細胞を含む試料を撮像した撮像画像を取得し、前記標的細胞を識別する条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習し、前記撮像画像について前記標的細胞を検出する複数の対象領域を設定し、前記複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で前記複数の対象領域を表示制御し、前記複数の対象領域について、前記第１の画像特徴量とは異なる第２の画像特徴量を算出し、前記表示された前記複数の対象領域を、前記複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示制御する、処理をコンピュータに実行させる画像処理方法である。
　［８］本発明の他の観点によれば、標的細胞を含む試料を撮像した撮像画像を取得し、前記標的細胞を識別する条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習し、前記撮像画像について前記標的細胞を検出する複数の対象領域を設定し、前記複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で前記複数の対象領域を表示制御し、前記複数の対象領域について、前記第１の画像特徴量とは異なる第２の画像特徴量を算出し、前記表示された前記複数の対象領域を、前記複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示制御する、画像処理のための処理をコンピュータに実行させるプログラムを記憶する非一時的なコンピュータ読み取り媒体である。
　［９］本発明の他の観点によれば、画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置とを含み、前記画像処理装置は、標的細胞を含む試料を撮像した撮像画像を取得する取得部と、前記標的細胞を識別する条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習する部と、前記撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定部と、前記複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で前記複数の対象領域を表示制御させる第１の表示制御部と、前記複数の対象領域について、前記第１の画像特徴量とは異なる第２の画像特徴量を算出する算出部と、前記表示された前記複数の対象領域を、前記複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示制御させる第２の表示制御部と、を含む画像処理システムである。
　［１］、［６］、［７］、［８］及び［９］に記載の構成（処理）によれば、標的細胞の複数の候補領域のうち、機械学習していない特徴において基準の候補領域と類似する候補領域が確認し易くなる。
　［２］に記載の構成によれば、利用者が指定した基準の候補領域と類似する候補領域が確認し易くなる。
　［３］に記載の構成によれば、試料の特徴に応じて設定した特徴において基準の候補領域と類似する候補領域が確認し易くなる。
　［４］に記載の構成によれば、標的細胞の複数の候補領域のうち、試料の特徴を考慮した上で基準の候補領域と類似する候補領域が確認し易くなる。
　［５］に記載の構成によれば、有核赤血球の複数の候補領域のうち、機械学習していない特徴において基準の候補領域と類似する候補領域が確認し易くなる。
本実施形態に係る画像処理システムのシステム構成例を示す図である。 画像処理装置の機能ブロック図である。 検体の分類を説明する図である。 検体の分類を説明する図である。 検体の分類を説明する図である。 検体の分類処理を説明する図である。 検体の分類処理を説明する図である。 検体の分類処理を説明する図である。 第１の特徴量を説明する図である。 第１の特徴量を説明する図である。 第１の特徴量を説明する図である。 第２の特徴量を説明する図である。 第２の特徴量を説明する図である。 第２の特徴量を説明する図である。 第３の特徴量を説明する図である。 第３の特徴量を説明する図である。 識別器の学習処理に関するフローチャートである。 撮像画像から標的細胞を検出する処理のフローチャートである。 撮像画像から標的細胞を検出する処理のフローチャートである。 候補画像の一覧表示画面の一例を示す図である。 並び替え後の候補画像の一覧表示画面の一例を示す図である。
　以下、本発明を実施するための実施の形態（以下、実施形態という）を、図面に従って説明する。
　図１には、本実施形態に係る画像処理システム１のシステム構成例を示した。図１に示されるように画像処理システム１は、光学顕微鏡１０、画像処理装置２０、入力装置５０、表示装置６０を含む。画像処理装置２０と光学顕微鏡１０、入力装置５０及び表示装置６０とはデータ通信可能に接続されている。
　光学顕微鏡１０は、試料台に配置されたスライドグラス１１上の試料を、対物レンズ１２等の光学系を介してＣＣＤカメラ１４で撮像する。光学顕微鏡１０は、スライドグラス１１と対物レンズ１２との距離を変化させる焦準機構１３を備え、スライドグラス１１上の試料を、焦点距離を変えて撮像可能となっている。本実施形態では、試料には、母体血をスライドグラス１１に塗布し、メイ・ギムザ染色を施したものを用いる。これにより、母体血中の胎児由来有核赤血球（ＮＲＢＣｓ）が青紫色に染色される。以下、ＮＲＢＣｓを標的細胞と称する。
　画像処理装置２０は、光学顕微鏡１０で撮像された撮像画像を取得するとともに、当該取得した撮像画像の中から標的細胞の候補画像を検出し、検出した候補画像を一覧表示する。そして、画像処理装置２０は、一覧表示した候補画像の中から選択された画像を基準画像として、基準画像と類似する順に候補画像を並び替えて表示する。画像処理装置２０において行われる上記処理の詳細については後述する。
　入力装置５０は、例えばキーボードやマウス等のデバイスであり、ユーザから受け付けた操作を画像処理装置２０に入力する。例えば、画像処理装置２０は、表示装置６０に表示された画像に対し、ユーザが入力装置５０によって指定した画像領域の情報を標的細胞の正例、負例の画像特徴を学習するための学習情報として取得する。また、入力装置５０は、一覧表示された標的細胞の候補画像の中から基準画像を選択する際の入力をユーザから受け付ける。
　表示装置６０は、例えば液晶表示装置等であり、画像処理装置２０による処理の結果に基づいて画面を表示する。例えば、表示装置６０には、光学顕微鏡１０で撮像された撮像画像、撮像画像から検出された標的細胞の一覧、一覧のソート結果等が表示される。
　次に、本実施形態に係る画像処理装置２０に備えられる機能について説明する。
　図２には、画像処理装置２０の機能ブロック図を示した。図２に示されるように、画像処理装置２０は、撮像画像取得部２１、学習領域指定受付部２２、候補領域設定部２３、第１画像特徴量算出部２４、識別モデル学習部２５、識別モデルデータ保存部２６、標的細胞識別部２７、第１評価値算出部２８、検体分類部２９、付加特徴量決定部３０、第２画像特徴量算出部３１、基準画像選択部３２、第２評価値算出部３３、及び表示制御部３４を備える。
　画像処理装置２０に備えられる上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によってコンピュータたる画像処理装置２０に供給されることとしてもよいし、インターネット等のデータ通信網を介して画像処理装置２０に供給されることとしてもよい。
　撮像画像取得部２１は、光学顕微鏡１０に備えられたＣＣＤカメラ１４より試料を撮像した撮像画像を光学顕微鏡１０から取得する。なお、撮像画像取得部２１で取得された画像は、表示制御部３４により表示装置６０に表示させることとしてよい。
　学習領域指定受付部２２は、撮像画像取得部２１で取得された画像において、学習処理に利用する画像領域の指定を受け付ける。画像領域の指定は入力装置５０を介して行われることとしてよい。例えば、学習領域指定受付部２２は、標的細胞（有核赤血球）とそれ以外の画像との識別を学習する際には、撮像された画像において標的細胞が映し出されている画像領域を正例として、標的細胞が映し出されていない画像領域を負例として受け付ける。そして、学習領域指定受付部２２は、受け付けた画像領域に基づいて切り出した画像を、当該画像が正例であるか負例であるかの種別情報とともに第１画像特徴量算出部２４に出力することとしてよい。
　候補領域設定部２３は、撮像画像取得部２１で取得された撮像画像の内部に標的細胞の候補となり得る候補領域を設定する。以下、候補領域設定部２３による処理の具体例について説明する。
　まず、候補領域設定部２３は、撮像画像取得部２１で取得された各撮像画像に対して、色（ＲＧＢ値）又は濃度が予め定められた範囲内にある画素に基づいて、核の候補領域を抽出する。例えば、候補領域設定部２３は、撮像画像内の画素を、予め定められた色（又は濃度）の閾値により二値化することとしてよく、具体的には、色（又は濃度）が閾値よりも（又は閾値以上）濃い画素を黒画素として抽出することとしてよい。候補領域設定部２３は、撮像画像取得部２１で取得された各画像から抽出された画素が連結した複数の集合（画素群）を算出し、各集合に外接する領域を核候補領域とすることとしてよい。
　次に、候補領域設定部２３は、候補領域設定部２３により抽出された核候補領域のスライドグラス面への射影サイズと、予め定めた関係式とに基づいて、細胞サイズのとり得る範囲を推定する。例えば、候補領域設定部２３は、有核赤血球における核と細胞のサイズの範囲との関係式に基づいて、スライドグラス面上で有核赤血球がとり得る範囲（例えば矩形領域）を推定することとしてよい。具体的には、候補領域設定部２３は、核候補領域内の一点を中心として、上記推定された範囲の矩形領域を細胞存在領域として設定する。
　候補領域設定部２３は、候補領域設定部２３で抽出された核候補領域と、候補領域設定部２３で推定したスライドグラス面上での細胞存在領域とに基づいて、標的細胞が含まれる可能性がある細胞候補領域を決定し、決定した細胞候補領域内の撮像画像を、第１画像特徴量算出部２４に出力する。
　第１画像特徴量算出部２４は、学習領域指定受付部２２又は候補領域設定部２３から入力された撮像画像を指定された画像サイズに拡大もしくは縮小した後に、それらについての第１画像特徴量を算出する。第１画像特徴量とは、識別モデル学習部２５による学習処理、及び標的細胞識別部２７による識別処理に用いる学習・識別用の画像特徴量であり、例えばＨＯＧ特徴量を用いることとしてよい。例えば、ＨＯＧ特徴量は以下のように算出することとしてよい。まず、対象画像をＡ個のセルから成るＢ個のブロックに分割し、各ブロックを構成するセルごとに画像の面内（Ｘ方向及びＹ方向）の輝度勾配方向と輝度勾配強度から輝度勾配方向ヒストグラム（［第１勾配方向の値，第２勾配方向の値，・・・，第Ｎ勾配方向の値］）を求め、これらの２乗平均が１になるようにブロック単位で正規化を行う。その後、正規化した輝度勾配方向ヒストグラムをブロック内で結合して作成したＡ×Ｎ個の値をブロックの特徴量とし、さらに対象画像内のブロックをすべて結合して作成したＡ×Ｂ×Ｎ個の値を対象画像のＨＯＧ特徴量としている。
　第１画像特徴量算出部２４は、学習領域指定受付部２２から撮像画像が入力された場合には、入力された撮像画像から画像特徴量を算出した後に、算出した画像特徴量を識別モデル学習部２５に出力する。また、第１画像特徴量算出部２４は、候補領域設定部２３から撮像画像が入力された場合には、入力された撮像画像から画像特徴量を算出した後に、算出した画像特徴量を標的細胞識別部２７に出力する。
　識別モデル学習部２５は、学習領域指定受付部２２により受け付けた正例、負例の画像について第１画像特徴量算出部２４により算出された第１画像特徴量に基づいて、標的細胞の識別を行う標的細胞識別部２７についての学習を行う。具体的には、識別モデル学習部２５は、標的細胞の撮像画像について算出された第１画像特徴量を正例、それ以外の撮像画像について算出された第１画像特徴量を負例として標的細胞識別部２７についてのモデルパラメータを生成する。なお、標的細胞識別部２７には、AdaBoostやSupport Vector Machine等の機械学習モデルを用いることとしてよい。
　識別モデルデータ保存部２６は、識別モデル学習部２５で生成された標的細胞識別部２７のモデルパラメータを保存する。
　標的細胞識別部２７は、候補領域設定部２３により決定された細胞候補領域に係る撮像画像について算出された第１画像特徴量と、識別モデルデータ保存部２６に保存された標的細胞識別部２７に係るモデルパラメータとに基づいて、細胞候補領域に含まれる細胞が、標的細胞か否かを識別する。
　第１評価値算出部２８は、学習された第１画像特徴量と、候補画像の第１画像特徴量に基づいて、候補画像が標的細胞である可能性が高い順にランク付けするための第１評価値を算出する。例えば、第１評価値算出部２８は、標的細胞識別部２７により標的細胞と識別された候補領域の第１画像特徴量と、学習された正例の第１画像特徴量の代表画像特徴量（正例の第１画像特徴量の中心又は平均）との距離を、候補領域の第１評価値として算出することとしてよい。また、第１評価値算出部２８は、標的細胞識別部２７により標的細胞と識別された候補領域の第１画像特徴量と、正例の第１画像特徴量と負例の第１画像特徴量とを分離する超平面からの距離を、候補領域の第１評価値として算出することとしてもよい。
　表示制御部３４は、標的細胞識別部２７により標的細胞と識別された候補画像の一覧を表示装置に表示させる。ここで、表示制御部３４は、標的細胞識別部２７により標的細胞と識別された候補画像の一覧を、候補画像の第１評価値の順にソートして表示させることとしてよい。例えば、第１評価値が正例の代表画像特徴量からの距離である場合には、距離が小さい順に候補画像を表示させることとしてよい。
　検体分類部２９は、処理対象の撮像画像に基づいて、当該撮像画像に対応する検体の特徴を解析し、解析した特徴に基づいて検体を分類する。具体的には、個々の検体には、図３Ａから図３Ｃに示されるように、好中球が多いクラス（クラスＡ）、リンパ球が多いクラス（クラスＢ）、ごみが多いクラス（クラスＣ）等の傾向があるため、検体分類部２９は、これらのいずれのクラスに該当するか又は該当しないかを分類する。図３Ａには、好中球が多い検体の例を、図３Ｂには、リンパ球が多い検体の例を、図３Ｃには、ごみが多い検体の例を示している。ここで、好中球は、核の色は有核赤血球と類似しているものの、核が枝分かれしている点で異なる。リンパ球は、形が有核赤血球と類似しているものの、色が有核赤血球よりも薄い点で異なる。以下、検体の分類処理の例について、図４Ａから図４Ｃを参照しながら説明する。
　検体分類部２９は、候補領域（図４Ａ）の中から特定濃度以上（たとえばＲ，Ｇ，Ｂそれぞれの輝度値が１００以下）の領域（図４Ｂ）を抽出し、抽出した領域内のＲ，Ｇ，Ｂのそれぞれの輝度値の平均値（色平均値）を算出する。ここで、検体分類部２９は、各候補領域に関して、色平均値の頻度分布（図４Ｃ）を得る。ここで、検体分類部２９は、頻度分布において頻度が５０以上のところがない場合には、誤検出の少ない画像であり、クラスＡ～Ｃのいずれにも該当しないと判断する。一方で、検体分類部２９は、頻度分布において頻度が５０以上のところがある場合には、色平均値についての閾値（例えばＢにおいて６０）を基準として、閾値未満の累積頻度が閾値以上の累積頻度よりも大きい場合には好中球が多いクラスＡと判定し、そうでない場合にはリンパ球が多いクラスＢと判定する。ごみが多いクラスＣであるか否かは、例えば、特定濃度以上の領域のサイズが閾値以上か否かで判定することとしてよい。
　付加特徴量決定部３０は、候補領域を含む候補画像のそれぞれについて、第１画像特徴量とは異なる画像特徴量を付加特徴量として決定する。候補画像は候補領域を含む予め定められた大きさの領域としてよい。以下、付加特徴量として用いられる特徴量の例について説明する。
　第１の特徴量は、候補画像に含まれる細胞の特徴を表す情報としてよい。具体的には、核の大きさ、核の色の平均値、核と細胞膜との面積比、細胞膜のサイズ、細胞膜の厚さ等の情報としてよい。なお、第１の特徴量を核の大きさとした場合において、図５Ａには、好中球が多い検体についての第１の特徴量の例を、図５Ｂには、リンパ球が多い検体についての第１の特徴量の例を、図５Ｃには、ごみが多い検体についての第１の特徴量の例を示した。
　第２の特徴量は、有核赤血球とそれ以外の細胞を区別する特徴量としてよい。図６Ａから図６Ｃには、第２の特徴量の例を説明する図を示した。図６Ａから図６Ｃに示される例では、候補領域を含む候補画像に複数のブロック領域を設定し、設定した複数のブロック領域の色情報（例えば、５×５×３（ＲＧＢ）次元の情報）を第２の特徴量とすることとしてよい。なお、図６Ａには、好中球の多い検体についての第２の特徴量の例を、図６Ｂには、ごみが多い検体についての第２の特徴量の例を、図６Ｃには、リンパ球が多い検体についての第２の特徴量の例を示した。
　第３の特徴量は、候補画像に含まれる核候補領域の数としてよい。核候補領域は、候補画像における一定以上の濃度の画素群としてよい。ここで、図７Ａから図７Ｂには、第３の付加特徴量の例を説明する図を示した。図７Ａは、好中球の場合、図７Ｂは有核赤血球の場合を示している。これらの図からも明らかなように、好中球の場合には候補画像内に複数の核候補領域が現れるが、有核赤血球の場合には１つの核候補領域が現れる。
　第４の特徴量は、候補画像に含まれる候補領域について第１評価値算出部２８により算出された第１評価値を用いることとしてもよい。
　付加特徴量決定部３０は、上述した第１～第４の特徴量のいずれか、又はこれらのうち２以上の特徴量を組み合わせて付加特徴量を構成することとしてよい。
　第２画像特徴量算出部３１は、第１画像特徴量と、付加特徴量決定部３０により決定された複数の付加特徴量と、それぞれの重みとに基づいて、第２画像特徴量の構成を決定するとともに、標的細胞識別部２７により標的細胞と識別された候補画像のそれぞれについて、第２画像特徴量を算出する。例えば、第２画像特徴量算出部３１は、第１画像特徴量Ａ、付加特徴量（第１の特徴量Ｂ１，第２の特徴量Ｂ２，第３の特徴量Ｂ３，第４の特徴量Ｂ４）と、Ａの重みＷａ、Ｂ１～Ｂ４のそれぞれの重みＷｂ１～Ｗｂ４とした場合に、第２画像特徴量を（Ｗａ・Ａ，Ｗｂ１・Ｂ１，Ｗｂ２・Ｂ２，Ｗｂ３・Ｂ３，Ｗｂ４・Ｂ４）として生成することとしてよい。ここで、重みＷａ，Ｗｂ１～Ｗｂ４は予め定められていてもよいが、このうちＷｂ２及びＷｂ３については検体分類部２９による分類結果に基づいて変更してもよい。具体的には、検体分類部２９により好中球が多いクラスＡと分類された場合には、Ｗｂ２の値を予め定められた値又は他の重みよりも大きく設定し、検体分類部２９によりリンパ球が多いクラスＢと分類された場合には、Ｗｂ３の値を予め定められた値又は他の重みよりも大きく設定することとしてよい。もちろん、上記のＷｂ１～Ｗｂ４のうち少なくとも１つが０でなければ、それ以外の重みを０と設定しても構わない。
　基準画像選択部３２は、標的細胞識別部２７により標的細胞と識別された候補画像の一覧表示の中から、入力装置を介して標的細胞の基準となる候補画像の選択を受け付け、受け付けた候補画像を基準画像として選択する。
　第２評価値算出部３３は、基準画像選択部３２により選択された基準画像について第２画像特徴量算出部３１により算出された第２画像特徴量と、他の候補画像について第２画像特徴量算出部３１により算出された第２画像特徴量との距離を、それぞれの候補画像の第２評価値として算出する。
　表示制御部３４は、標的細胞識別部２７により標的細胞と識別された候補画像の一覧を、候補画像の第２評価値の順にソートして表示させることとしてよい。例えば、第２評価値が基準画像の第２画像特徴量からの距離である場合には、距離が小さい順に候補画像を表示させることとしてよい。
　次に、図８～１０に示したフローチャートを参照しながら、画像処理装置２０により行われる処理の流れについて説明する。
［学習処理］
　図８には、識別器の学習処理に関するフローチャートを示した。図８に示されるように、画像処理装置２０は、正例の撮像画像（すなわち標的細胞を含む画像）を取得し（Ｓ１０１）、取得した撮像画像について指定された画像領域（すなわち標的細胞に該当する画像領域）を切り出す（Ｓ１０２）。画像処理装置２０は、切り出した撮像画像の画像領域に基づいて、正例の第１画像特徴量を算出する（Ｓ１０３）。第１画像特徴量は、例えばＨＯＧ特徴量としてよい。画像処理装置２０は、他に学習すべき正例の画像がある場合には（Ｓ１０４：Ｙ）、Ｓ１０１に戻り、他に学習すべき正例の画像がない場合には（Ｓ１０４：Ｎ）、Ｓ１０５に進む。
　画像処理装置２０は、負例の撮像画像（すなわち標的細胞ではない細胞を含む画像）を取得し（Ｓ１０５）、取得した撮像画像について指定された画像領域（すなわち負例の細胞に該当する画像領域）を切り出す（Ｓ１０６）。画像処理装置２０は、切り出した撮像画像の画像領域に基づいて、負例の第１画像特徴量を算出する（Ｓ１０７）。画像処理装置２０は、他に学習すべき負例の画像がある場合には（Ｓ１０８：Ｙ）、Ｓ１０５に戻り、他に学習すべき負例の画像がない場合には（Ｓ１０８：Ｎ）、Ｓ１０９に進む。
　画像処理装置２０は、上記の処理により得た、正例の第１画像特徴量と負例の第１画像特徴量とを用いて標的細胞を識別する識別器の学習処理を実行し（Ｓ１０９）、学習処理により得た識別器のモデルパラメータを保存して（Ｓ１１０）、学習処理を終了する。
［標的細胞の検出処理のフロー］
　次に、撮像画像から標的細胞を検出する処理の流れを図９～図１０に示したフローチャートを参照しながら説明する。
　図９に示されるように、画像処理装置２０は、処理対象の撮像画像を取得し（Ｓ２０１）、取得した撮像画像のそれぞれについて二値化処理を施す（Ｓ２０２）。次に、画像処理装置２０は、二値化処理後の撮像画像において標的細胞の核となり得る核候補領域（Ｎ個とする）を設定する（Ｓ２０３）。
　画像処理装置２０は、変数ｊの初期値を１にして、ｊ番目の核候補領域を取得し（Ｓ２０４）、取得した核候補領域のスライドグラス面への射影サイズと、予め定めた関係式とに基づいて、細胞サイズＳのとり得る範囲（Ｓｍｉｎ≦Ｓ≦Ｓｍａｘ）を算出する（Ｓ２０５）。
　画像処理装置２０は、Ｓの初期値を最小値（Ｓｍｉｎ）に設定して（Ｓ２０６）、ｊ番目の核候補領域内にサイズＳの細胞候補領域を設定する（Ｓ２０７）。画像処理装置２０は、細胞候補領域内の撮像画像に基づいて、第１画像特徴量を算出し（Ｓ２０８）、算出した第１画像特徴量に基づいて、標的細胞識別部２７により標的細胞（有核赤血球）か否かを判定する（Ｓ２０９）。
　画像処理装置２０は、標的細胞であると判定する場合には（Ｓ２０９：Ｙ）、細胞候補領域について第１評価値算出部２８により第１評価値を算出し（Ｓ２１０）、細胞候補領域の座標、サイズ、第１評価値を保存する（Ｓ２１１）。
　画像処理装置２０は、Ｓ２１１の後、又は標的細胞でないと判定する場合（Ｓ２０９：Ｎ）にＳ２１２に進む。画像処理装置２０は、ここで核候補領域の全ての画素を処理していない場合には（Ｓ２１２：Ｎ）、Ｓ２０７に戻り、処理を継続する。画像処理装置２０は、核候補領域の全ての画素を処理した場合には（Ｓ２１２：Ｙ）、細胞サイズＳのサイズをΔＳ（ΔＳは予め定められていることとしてもよいし、Ｓに予め定められた割合を乗じて設定してもよい）だけ大きくし（Ｓ２１３）、ここで細胞サイズＳが細胞サイズの最大値（Ｓｍａｘ）を上回らない場合には（Ｓ２１４：Ｎ）、Ｓ２０７に戻り、処理を継続する。
　一方で、画像処理装置２０は、細胞サイズＳが細胞サイズの最大値（Ｓｍａｘ）を上回る場合には（Ｓ２１４：Ｙ）、全ての核候補領域を処理したか否か（すなわちｊ＝Ｎか）を判断する（Ｓ２１５）。ここで、画像処理装置２０は、全ての核候補領域を処理していない場合には（Ｓ２１５：Ｎ）、ｊをインクリメントして（Ｓ２１６）、Ｓ２０４に戻り、処理を継続する。画像処理装置２０は、全ての核候補領域を処理した場合には（Ｓ２１５：Ｙ）、保存した細胞候補領域を第１評価値でソートして（Ｓ２１７）、ソート順に細胞候補領域を含む候補画像を一覧表示する（Ｓ２１８）。図１１には、第１評価値でのソート順で候補画像を一覧表示した一覧表示画面の例を示した。Ｓ２１８以降の処理は図１０に示したフローチャートを参照しながら説明する。
　図１０に示されるように、画像処理装置２０は、一覧表示画面において、標的細胞の基準となる基準画像の指定を受け付ける（Ｓ２１９）。
　画像処理装置２０は、付加特徴量決定部３０により付加特徴量の要素を決定し（Ｓ２２０）、検体分類部２９により検体を分類し（Ｓ２２１）、検体の分類に基づいて付加特徴量の核要素の重みを決定する（Ｓ２２２）。
　画像処理装置２０は、基準候補画像の付加特徴量を取得するとともに（Ｓ２２３）、基準候補画像に含まれる細胞候補領域の第１画像特徴量と、付加特徴量と、それぞれの重みに基づいて第２画像特徴量を算出する（Ｓ２２４）。
　次に、画像処理装置２０は、未処理の候補画像ｉ（ｉの初期値＝１、１≦ｉ≦Ｍ）を選択し（Ｓ２２５）、候補画像ｉの付加特徴量を取得するとともに（Ｓ２２６）、候補画像ｉに含まれる細胞候補領域の第１画像特徴量と、付加特徴量と、それぞれの重みに基づいて第２画像特徴量を算出する（Ｓ２２７）。
　画像処理装置２０は、基準候補画像の第２画像特徴量と、候補画像ｉの第２画像特徴量との距離Ｄｉを第２評価値として算出する（Ｓ２２８）。
　画像処理装置２０は、未処理の候補画像がある場合（すなわちｉがＭ未満である場合）には（Ｓ２２９：Ｙ）、ｉをインクリメントして（Ｓ２３０）、Ｓ２２５に戻り、処理を継続する。画像処理装置２０は、未処理の候補画像がない場合（すなわちｉがＭである場合）には（Ｓ２２９：Ｎ）、処理した候補画像を第２評価値の順にソートし（Ｓ２３１）、ソート順に候補画像の一覧を表示する（Ｓ２３２）。図１２には、第２評価値でのソート順で候補画像を一覧表示した一覧表示画面の例を示した。
　以上説明した画像処理システム１によれば、標的細胞の候補領域の中からユーザが指定した基準候補領域と、検体の個体的特徴を考慮した特徴量が類似する候補領域が見つけやすくなる。
　また、本発明は、上記の実施形態に限定されるものではない。例えば、検体の分類はユーザが指定してもよいし、画像処理装置２０が検体の解析結果に基づくヒストグラム（図４Ｃ）を表示装置６０に表示した後に、ユーザから検体の分類の指定を受け付けるようにしてもよい。また、標的細胞は、ＮＲＢＣｓに限定するものではなく、別の細胞を標的細胞としても構わない。
　本発明に係る、画像処理装置、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システムは、ＮＲＢＣｓ等の細胞を機械的に検出するのに有用である。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２０１２年８月２３日出願の日本特許出願（特願２０１２－１８４１０５）に基づくものであり、その内容はここに参照として取り込まれる。
　１　画像処理システム、１０　光学顕微鏡、１１　スライドグラス、１２　対物レンズ、１３　焦準機構、１４　ＣＣＤカメラ、２０　画像処理装置、２１　撮像画像取得部、２２　学習領域指定受付部、２３　候補領域設定部、２４　第１画像特徴量算出部、２５
　識別モデル学習部、２６　識別モデルデータ保存部、２７　標的細胞識別部、２８　第１評価値算出部、２９　検体分類部、３０　付加特徴量決定部、３１　第２画像特徴量算出部、３２　基準画像選択部、３３　第２評価値算出部、３４　表示制御部、５０　入力装置、６０　表示装置

Claims (9)

  1. 　標的細胞を含む試料を撮像した撮像画像を取得する取得部と、
    　前記標的細胞を識別する条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習する部と、
    　前記撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定部と、
    　前記複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で前記複数の対象領域を表示制御させる第１の表示制御部と、
    　前記複数の対象領域について、前記第１の画像特徴量とは異なる第２の画像特徴量を算出する算出部と、
    　前記表示された前記複数の対象領域を、前記複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示制御させる第２の表示制御部と、を含む
    　画像処理装置。
  2. 　前記表示された前記複数の対象領域の中から、利用者の指定に基づいて前記基準の対象領域の選択を受け付ける受付部を更に含む
    　請求項１に記載の画像処理装置。
  3. 　前記第２の画像特徴量は、複数の特徴量と、当該複数の特徴量の重みを含み、
    　前記画像処理装置は、
    　前記撮像画像の解析結果に基づき決定した分類に基づいて、前記第２の画像特徴量に含まれる複数の特徴量のそれぞれの重みを設定する重み設定部を更に含む
    　請求項１又は２に記載の画像処理装置。
  4. 　前記複数の特徴量は、前記試料の特徴を表す特徴量である
    　請求項３に記載の画像処理装置。
  5. 　前記標的細胞は、核を有する有核赤血球であり、
    　前記画像処理装置は、
    　前記複数の撮像画像から、前記核の候補となる核候補領域を、当該核が有すべき色又は濃度の少なくとも一方に基づいて抽出する抽出部をさらに含み、
    　前記設定部は、前記核候補領域と前記標的細胞がとり得るサイズの範囲に基づいて前記対象領域を設定する
    　請求項１から４のいずれか一項に記載の画像処理装置。
  6. 　標的細胞を含む試料を撮像した撮像画像を取得する取得部と、
    　前記標的細胞を識別する条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習する学習部と、
    　前記撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定部と、
    　前記複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で前記複数の対象領域を表示制御させる第１の表示制御部と、
    　前記複数の対象領域について、前記第１の画像特徴量とは異なる第２の画像特徴量を算出する算出部と、
    　前記表示された前記複数の対象領域を、前記複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示制御させる第２の表示制御部
    　としてコンピュータを機能させるためのプログラム。
  7. 　標的細胞を含む試料を撮像した撮像画像を取得し、
    　前記標的細胞を識別する条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習し、
    　前記撮像画像について前記標的細胞を検出する複数の対象領域を設定し、
    　前記複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で前記複数の対象領域を表示制御し、
    　前記複数の対象領域について、前記第１の画像特徴量とは異なる第２の画像特徴量を算出し、
    　前記表示された前記複数の対象領域を、前記複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示制御する、
    　処理をコンピュータに実行させる画像処理方法。
  8. 　標的細胞を含む試料を撮像した撮像画像を取得し、
    　前記標的細胞を識別する条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習し、
    　前記撮像画像について前記標的細胞を検出する複数の対象領域を設定し、
    　前記複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で前記複数の対象領域を表示制御し、
    　前記複数の対象領域について、前記第１の画像特徴量とは異なる第２の画像特徴量を算出し、
    　前記表示された前記複数の対象領域を、前記複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示制御する、
    　画像処理のための処理をコンピュータに実行させるプログラムを記憶する非一時的なコンピュータ読み取り媒体。
  9. 　画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置とを含み、
    　前記画像処理装置は、
    　標的細胞を含む試料を撮像した撮像画像を取得する取得部と、
    　前記標的細胞を識別する条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像について算出された第１の画像特徴量に基づいて機械学習する部と、
    　前記撮像画像について前記標的細胞を検出する複数の対象領域を設定する設定部と、
    　前記複数の対象領域のそれぞれの第１の画像特徴量に基づき決定した順序で前記複数の対象領域を表示制御させる第１の表示制御部と、
    　前記複数の対象領域について、前記第１の画像特徴量とは異なる第２の画像特徴量を算出する算出部と、
    　前記表示された前記複数の対象領域を、前記複数の対象領域の中から選択された基準の対象領域の第２の画像特徴量と類似する第２の画像特徴量を有する順序で並び替えて表示制御させる第２の表示制御部と、を含む
    　画像処理システム。 
PCT/JP2013/059677 2012-08-23 2013-03-29 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム WO2014030379A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13830325.0A EP2889618B1 (en) 2012-08-23 2013-03-29 Image processing device, program, image processing method, computer-readable medium, and image processing system
US14/403,877 US9684958B2 (en) 2012-08-23 2013-03-29 Image processing device, program, image processing method, computer-readable medium, and image processing system
CN201380038145.4A CN104487843B (zh) 2012-08-23 2013-03-29 图像处理装置、程序、图像处理方法、计算机可读介质及图像处理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012184105A JP5376024B1 (ja) 2012-08-23 2012-08-23 画像処理装置、プログラム及び画像処理システム
JP2012-184105 2012-08-23

Publications (1)

Publication Number Publication Date
WO2014030379A1 true WO2014030379A1 (ja) 2014-02-27

Family

ID=49954980

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/059677 WO2014030379A1 (ja) 2012-08-23 2013-03-29 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム

Country Status (5)

Country Link
US (1) US9684958B2 (ja)
EP (1) EP2889618B1 (ja)
JP (1) JP5376024B1 (ja)
CN (1) CN104487843B (ja)
WO (1) WO2014030379A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203956A1 (ja) * 2015-06-17 2016-12-22 株式会社Ｓｃｒｅｅｎホールディングス 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体
JPWO2018003063A1 (ja) * 2016-06-30 2019-05-16 株式会社ニコン 画像選択装置、画像選択方法、画像選択プログラム、表示装置、演算装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6336391B2 (ja) * 2012-09-06 2018-06-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6375706B2 (ja) * 2014-06-11 2018-08-22 富士ゼロックス株式会社 属性推定プログラム及び情報処理装置
CN104266673B (zh) 2014-09-26 2016-06-08 博奥生物集团有限公司 一种利用摄像头识别反应单元种类的方法
WO2016132738A1 (ja) * 2015-02-19 2016-08-25 パナソニックＩｐマネジメント株式会社 検出セルおよびこれを用いたセンサ装置
US10451554B2 (en) * 2015-02-23 2019-10-22 Konica Minolta, Inc. Image processing device, image processing method, and recording medium storing computer readable image processing program
JP6816713B2 (ja) 2015-03-19 2021-01-20 日本電気株式会社 オブジェクト検出装置、オブジェクト検出方法およびプログラム
JP6590690B2 (ja) * 2015-12-25 2019-10-16 富士フイルム株式会社 細胞画像検索装置および方法並びにプログラム
JP2017181291A (ja) * 2016-03-30 2017-10-05 富士通株式会社 距離測定装置、距離測定方法及びプログラム
CN109983114A (zh) * 2016-11-29 2019-07-05 索尼公司 信息处理设备、信息处理方法、程序和观察系统
JPWO2018128091A1 (ja) * 2017-01-05 2019-11-07 コニカミノルタ株式会社 画像解析プログラム及び画像解析方法
EP3624053B1 (en) * 2017-05-09 2022-12-21 Toru Nagasaka Image analysis device
JP6487493B2 (ja) * 2017-05-18 2019-03-20 ファナック株式会社 画像処理システム
JP7294768B2 (ja) 2017-08-04 2023-06-20 オムロン株式会社 画像処理システム
US10423854B2 (en) 2017-09-20 2019-09-24 Brother Kogyo Kabushiki Kaisha Image processing apparatus that identifies character pixel in target image using first and second candidate character pixels
US11686721B2 (en) * 2018-03-20 2023-06-27 Shimadzu Corporation Cell image analysis apparatus, cell image analysis system, method of generating training data, method of generating trained model, training data generation program, and method of producing training data
JP6627069B2 (ja) * 2018-06-01 2020-01-08 株式会社フロンティアファーマ 画像処理方法、薬剤感受性試験方法および画像処理装置
JPWO2020012616A1 (ja) * 2018-07-12 2021-08-02 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
EP3862749A4 (en) * 2018-10-01 2022-07-13 System Square Inc. TRAINING DATA GENERATION DEVICE AND TRAINING DATA GENERATION SYSTEM
US11861883B2 (en) * 2019-05-16 2024-01-02 Sony Group Corporation Information processing apparatus and information processing method
CN111479053B (zh) * 2020-03-25 2021-07-16 清华大学 扫描光场多色显微成像的软件控制系统及方法
EP4177332A1 (en) * 2020-07-02 2023-05-10 FUJIFILM Corporation Information processing device, information processing method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009009290A (ja) * 2007-06-27 2009-01-15 Kddi Corp 類似画像検索装置
JP4346923B2 (ja) 2003-02-21 2009-10-21 晴夫 高林 標的細胞自動探索システム
JP2010151647A (ja) * 2008-12-25 2010-07-08 Sysmex Corp 細胞画像表示装置
JP2011221841A (ja) * 2010-04-12 2011-11-04 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
WO2012053188A1 (ja) * 2010-10-18 2012-04-26 国立大学法人大阪大学 特徴抽出装置、特徴抽出方法、及び、そのプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0652263B2 (ja) * 1985-12-10 1994-07-06 株式会社日立製作所 細胞分析装置
JPH04346923A (ja) 1991-05-21 1992-12-02 Mitsui Toatsu Chem Inc ジフェニル炭化水素誘導体を有効成分として含有する血栓溶解促進剤
US8321136B2 (en) 2003-06-12 2012-11-27 Cytyc Corporation Method and system for classifying slides using scatter plot distribution
CN101042772A (zh) * 2007-04-20 2007-09-26 中国科学院光电技术研究所 提高红外图像质量的方法和装置
CN101127839A (zh) * 2007-08-20 2008-02-20 北京航空航天大学 细胞形态图像采集处理系统
JP5426181B2 (ja) * 2009-01-21 2014-02-26 シスメックス株式会社 検体処理システム、細胞画像分類装置、及び検体処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4346923B2 (ja) 2003-02-21 2009-10-21 晴夫 高林 標的細胞自動探索システム
JP2009009290A (ja) * 2007-06-27 2009-01-15 Kddi Corp 類似画像検索装置
JP2010151647A (ja) * 2008-12-25 2010-07-08 Sysmex Corp 細胞画像表示装置
JP2011221841A (ja) * 2010-04-12 2011-11-04 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
WO2012053188A1 (ja) * 2010-10-18 2012-04-26 国立大学法人大阪大学 特徴抽出装置、特徴抽出方法、及び、そのプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2889618A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203956A1 (ja) * 2015-06-17 2016-12-22 株式会社Ｓｃｒｅｅｎホールディングス 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体
JP2017009314A (ja) * 2015-06-17 2017-01-12 株式会社Ｓｃｒｅｅｎホールディングス 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体
JPWO2018003063A1 (ja) * 2016-06-30 2019-05-16 株式会社ニコン 画像選択装置、画像選択方法、画像選択プログラム、表示装置、演算装置
US11645859B2 (en) 2016-06-30 2023-05-09 Nikon Corporation Analysis device, analysis method, analysis program and display device

Also Published As

Publication number Publication date
US9684958B2 (en) 2017-06-20
JP2014041084A (ja) 2014-03-06
US20150138334A1 (en) 2015-05-21
EP2889618A4 (en) 2016-04-20
CN104487843B (zh) 2017-09-29
CN104487843A (zh) 2015-04-01
EP2889618A1 (en) 2015-07-01
EP2889618B1 (en) 2019-02-27
JP5376024B1 (ja) 2013-12-25

Similar Documents

Publication Publication Date Title
WO2014030379A1 (ja) 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム
JP5464244B2 (ja) 画像処理装置、プログラム及び画像処理システム
WO2014030380A1 (ja) 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム
Savkare et al. Automatic detection of malaria parasites for estimating parasitemia
US5566249A (en) Apparatus for detecting bubbles in coverslip adhesive
WO2012169088A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
JP6194791B2 (ja) 画像処理装置及びプログラム
US9070005B2 (en) Image processing apparatus, image processing method, non-transitory computer-readable medium, and image processing system for detection of target cells using image feature determination
EP2775349B1 (en) A method for determining an in-focus position and a vision inspection system
CN102007499A (zh) 检测数字图像中的脸部表情
WO2014087689A1 (ja) 画像処理装置、画像処理システム及びプログラム
WO2015115274A1 (ja) 物体判別装置、画像センサ、物体判別方法
JP6197659B2 (ja) 検出制御装置、プログラム及び検出システム
CN110837809A (zh) 血液自动分析方法、系统、血细胞分析仪及存储介质
Ashourian et al. Real time implementation of a license plate location recognition system based on adaptive morphology
US10146042B2 (en) Image processing apparatus, storage medium, and image processing method
CN114037868B (zh) 图像识别模型的生成方法及装置
Fritz et al. Semantic analysis of human visual attention in mobile eye tracking applications
Beijbom Single image focus level assessment using Support Vector Machines
CN117710338A (zh) 一种类镜面表面的缺陷检测方法
CN105092438A (zh) 尿液沉渣分析方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13830325

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14403877

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013830325

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE