WO2018207261A1 - 画像解析装置 - Google Patents

画像解析装置 Download PDF

Info

Publication number
WO2018207261A1
WO2018207261A1 PCT/JP2017/017559 JP2017017559W WO2018207261A1 WO 2018207261 A1 WO2018207261 A1 WO 2018207261A1 JP 2017017559 W JP2017017559 W JP 2017017559W WO 2018207261 A1 WO2018207261 A1 WO 2018207261A1
Authority
WO
WIPO (PCT)
Prior art keywords
center
image data
cell
image
data
Prior art date
Application number
PCT/JP2017/017559
Other languages
English (en)
French (fr)
Inventor
暢 長坂
Original Assignee
暢 長坂
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 暢 長坂 filed Critical 暢 長坂
Priority to EP17909404.0A priority Critical patent/EP3624053B1/en
Priority to PCT/JP2017/017559 priority patent/WO2018207261A1/ja
Priority to US16/609,123 priority patent/US11170501B2/en
Priority to JP2019516775A priority patent/JP6733983B2/ja
Publication of WO2018207261A1 publication Critical patent/WO2018207261A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • a technique for analyzing an image including a cell object and classifying cells corresponding to the cell object is disclosed.
  • each of a plurality of partial image data is usually specified sequentially from input cell image data. Then, for each of the plurality of partial image data, cells corresponding to the cell object included in the partial image represented by the partial image data are classified. However, for example, when cells exist at a position shifted from the center of the partial image, if the cells are classified using the partial image, the cells may not be correctly classified.
  • the present specification discloses a technique for improving the accuracy of cell classification.
  • the image analysis device disclosed in this specification is a memory that stores learning data for performing image analysis, and is the learning data coincident with the center of the image to be analyzed and the center of the cell object?
  • Cell data including cell data including a plurality of cell objects and the memory including determination data for determining whether or not and classification data for classifying a cell corresponding to a cell object
  • a classification unit that classifies at least one cell corresponding to at least one cell object among the plurality of cell objects, and an output unit that outputs a result of the classification And may be provided.
  • the image analysis apparatus executes center determination processing using determination data for each of the plurality of partial image data. Thereby, the image analysis apparatus can appropriately determine whether or not the center of the partial image matches the center of the cell object. Then, the image analysis apparatus classifies the cells using the result of the center determination process and the classification data. For this reason, the accuracy of cell classification can be improved.
  • the image analysis apparatus may further include a generation unit that binarizes the cell image data and generates binary image data.
  • the first image specifying unit detects a position of a candidate object that is a candidate for a cell object from a binary image represented by the binary image data, and corresponds to the detected position from the cell image data
  • Each of the plurality of partial image data may be specified sequentially by repeating specifying the image data.
  • the image analysis apparatus further includes a center and a cell of the first partial image represented by the first partial image data in the center determination process for the first partial image data of the plurality of partial image data.
  • a second partial image representing the second partial image including the target cell object is obtained from the cell image data.
  • a second image specifying unit that specifies partial image data may be provided, wherein the second image specifying unit matches the center of the second partial image with the center of the target cell object.
  • the classification unit may classify a cell corresponding to the target cell object using the second partial image data and the classification data. According to this configuration, the image analysis apparatus can classify the cells using the second partial image data. Since the center of the second partial image matches the center of the target cell object, the accuracy of cell classification is improved.
  • the image analysis apparatus determines that the center of the first partial image and the center of a cell object do not coincide with each other, and the first part
  • the position specifying unit that specifies the center position of the target cell object included in the first partial image
  • a change unit that changes the binary image data by writing a predetermined mark at a position corresponding to the center position.
  • the second image specifying unit detects the position of the predetermined mark from the changed binary image represented by the changed binary image data, and corresponds to the position of the predetermined mark from the cell image data.
  • the second partial image data may be specified. According to this structure, it can suppress that an image analyzer classifies the same cell redundantly.
  • the position specifying unit determines that the center of the first partial image does not coincide with the center of the cell object, and the first partial image includes only one target cell object.
  • the center positions may be specified.
  • the changing unit writes the binary image data into the binary image represented by the binary image data by writing one predetermined mark at one position corresponding to the one central position. It may be changed.
  • the second image specifying unit detects the position of the one predetermined mark from the changed binary image represented by the changed binary image data, and detects the position of the one image from the cell image data.
  • the second partial image data corresponding to the position of the predetermined mark may be specified. According to this configuration, when the first partial image includes only one target cell object, the image analysis apparatus can appropriately specify one second partial image data.
  • the position specifying unit determines that the center of the first partial image and the center of the cell object do not coincide with each other and the first partial image includes two or more target cell objects. Two or more central positions may be specified.
  • the changing unit writes the two or more predetermined marks at two or more positions corresponding to the two or more center positions, thereby the binary image.
  • the image data may be changed.
  • the second image specifying unit detects a position of each of the two or more predetermined marks from the changed binary image represented by the changed binary image data, and determines the position of the cell image data from the cell image data. Two or more second partial image data corresponding to each position of two or more predetermined marks may be specified. According to this configuration, when the first partial image includes two or more target cell objects, the image analysis apparatus can appropriately specify two or more second partial image data.
  • the position specifying unit includes a first cell object in which the two or more target cell objects have a first center position that is a first distance from a center of the first partial image, and the first cell object. And a second cell object having a second center position that is a second distance larger than the first distance from the center of the partial image, the first center position and the second center
  • the two or more center positions including the position may be specified.
  • the changing unit includes the two or more center positions corresponding to the two or more center positions including the first center position and the second center position.
  • the binary image data may be changed by writing the two or more predetermined marks at positions. According to this configuration, the image analysis apparatus can appropriately write each predetermined mark when each distance between the center of the first partial image and each center position of each cell object is not constant.
  • the first image specifying unit may sequentially specify each of the plurality of partial image data representing a plurality of partial images obtained by scanning the cell image at regular intervals. According to this configuration, the image analysis apparatus can specify each partial image data while suppressing the processing load.
  • the classification unit determines that the center of the partial image represented by the partial image data coincides with the center of the cell object in the center determination process for the partial image data to be processed among the plurality of partial image data.
  • the cell corresponding to the cell object may be classified, and the partial image represented by the partial image data in the center determination process for the partial image data to be processed among the plurality of partial image data If it is determined that the center of the cell object does not match the center of the cell object, the classification using the partial image data may not be executed.
  • the image analysis apparatus does not perform classification when determining that the center of the partial image does not match the center of the cell object in the center determination process. Therefore, the image analysis device does not classify the cell corresponding to the cell object when the cell object exists at a position shifted from the center of the partial image. For this reason, it can suppress classifying a cell accidentally.
  • the image analysis apparatus further includes: a generation unit that binarizes the cell image data to generate binary image data; and the center determination process for partial image data to be processed among the plurality of partial image data If the center of the partial image represented by the partial image data is determined not to match the center of the cell object, and the partial image includes the target cell object, the center position of the target cell object is specified.
  • a position specifying unit ; and a changing unit that changes the binary image data by writing a predetermined mark at a position corresponding to the center position in the binary image represented by the binary image data.
  • the classification unit detects a position of the predetermined mark from the changed binary image represented by the changed binary image data, and specifies partial image data corresponding to the detected position from the cell image data.
  • the cells corresponding to the target cell object included in the partial image represented by the partial image data may be classified using the partial image data and the classification data.
  • the image analysis apparatus can classify cells using the partial image data corresponding to the position of the predetermined mark.
  • the predetermined mark is written at a position corresponding to the center position of the target cell object, the center of the partial image represented by the partial image data can coincide with the center of the target cell object. This improves the accuracy of cell classification.
  • the learning data may be data for executing image analysis according to a convolutional neural network or image analysis according to a large-scale network having a convolutional neural network as a partial structure.
  • the image analysis apparatus can execute image analysis using a convolutional neural network, that is, image analysis using deep learning and artificial intelligence, according to the learning data.
  • the image analysis apparatus can perform image analysis with higher accuracy as the amount of learning data increases.
  • This technology can also be applied to image analysis methods.
  • a control method, a computer program, and a computer-readable medium for storing the computer program for realizing the above-described image analysis apparatus are also new and useful.
  • the block diagram of an image analyzer is shown.
  • the flowchart of the process which an image analysis apparatus performs is shown.
  • Various cell objects and their center locations are shown. Indicates the position and shape of the predetermined mark corresponding to each center position
  • Case A in which a pathological specimen corresponding to bone marrow blood is analyzed is shown.
  • Case B in which a pathological specimen corresponding to a stomach tissue sample is analyzed is shown.
  • Case C in which a pathological specimen corresponding to an epithelial tissue specimen is analyzed is shown.
  • the flowchart of 2nd Example is shown.
  • a specific case of the second embodiment will be described.
  • the flowchart of 3rd Example is shown.
  • a specific case of the third embodiment will be shown.
  • FIG. 1 shows the configuration of the image analysis apparatus 10.
  • the image analysis apparatus 10 includes an operation unit 12, a display unit 14, an input unit 16, and a control unit 30. Each unit 12 to 30 is connected to a bus line (reference numeral omitted).
  • the operation unit 12 includes, for example, a mouse and a keyboard. The user can give various instructions to the image analysis apparatus 10 by operating the operation unit 12.
  • the display unit 14 is a display for displaying various information.
  • the input unit 16 is a device for inputting cell image data representing a cell image including a plurality of cell objects to the image analysis device 10.
  • the input unit 16 may be a communication interface for executing wired communication or wireless communication, or may be a memory interface into which a USB memory or the like is inserted.
  • the input unit 16 performs wired communication or wireless communication with a device that stores cell image data photographed by a microscope, a Whole Slide Image, a virtual slide, or the like, and receives cell image data from the device Cell image data may be input to the image analysis apparatus 10. Further, for example, the cell image data may be input to the image analysis device 10 by the input unit 16 reading the cell image data from a memory that stores the cell image data.
  • the control unit 30 includes a CPU 32 and a memory 34.
  • the CPU 32 executes various processes according to the programs 38 and 40 stored in the memory 34.
  • the memory 34 executes an image analysis in accordance with an OS program 38 for realizing basic operations of the image analysis apparatus 10 and a convolutional neural network (hereinafter referred to as “CNN” (abbreviation of “Convolutional Neural Network”)).
  • CNN convolutional neural network
  • an analysis program 40 for storing for example, the image analysis apparatus 10 is realized by installing the analysis program 40 on a general-purpose PC, server, or the like.
  • the analysis program 40 may execute image analysis according to a large-scale network (for example, GoogleLeNet (registered trademark), Residual Network, etc.) having a CNN as a partial structure.
  • GoogleLeNet registered trademark
  • Residual Network etc.
  • the memory 34 also stores learning data 42 for executing image analysis according to the analysis program 40.
  • the learning data 42 may be data provided from a seller who sells the analysis program 40, or may be data generated by a user of the image analysis device 10. In the former case, the learning data 42 is stored in the memory 34 when the analysis program 40 is installed. In the latter case, the learning data 42 is stored in the memory 34 by the user of the image analysis device 10 after the analysis program 40 is installed.
  • the learning data 42 includes determination data 44 for determining whether or not the center of the image to be analyzed matches the center of the cell object, and classification data 46 for classifying the cells corresponding to the cell object.
  • the determination data 44 is data in which the image data is associated with the center position of the cell object included in the image represented by the image data for each of the plurality of image data.
  • the center position is expressed by the phase (ie, angle) of the cell object in the present embodiment, but may be expressed by coordinates in the modification.
  • the classification data 46 is data in which, for each of a plurality of image data, the image data and the type of cell object included in the image represented by the image data are associated with each other.
  • the cell image data is bitmap data composed of a plurality of pixels having RGB values of multiple gradations (for example, 256 gradations).
  • the file format of the bitmap data is not limited to BMP (Microsoft Windows (registered trademark) Bitmap Image), but may be JPEG (Joint Photographic Experts Group), TIFF (Tagged Image File Format), or the like.
  • the cell image data is generated as follows, for example.
  • a pathological specimen is prepared by smearing a bronchoalveolar lavage fluid, which is a specimen collected from a patient, on a slide glass and performing Giemsa staining. Then, cell image data is generated by photographing the pathological specimen with a microscope.
  • the pathological specimen is not limited to the above.
  • the specimen may be a blood specimen, a biological specimen or the like, and the staining method may be Papanicolaou staining, hematoxylin / eosin staining, immunohistochemical staining, immunofluorescence staining, or the like. Further, it may be an unstained phase contrast microscopic image of cultured cells or the like.
  • a threshold value for example, 127
  • FIG. 2 shows a binary image 110 represented by binary image data.
  • ON pixels are expressed in white and OFF pixels are expressed in black.
  • the ON pixel group 112 indicating a relatively darkly stained portion in the cell object 102 is expressed in white.
  • the CPU 32 executes object detection. Specifically, the CPU 32 selects, from the binary image 110 represented by the binary image data generated in S15, one ON pixel group (for example, 112 or 114) composed of a predetermined number of ON pixels adjacent to each other. ) Is detected as the position of a candidate object that is a candidate for a cell object. At this time, a region division method such as a watershed method may be used in combination.
  • the CPU 32 specifies partial image data corresponding to the position of the candidate object detected in S20 from the cell image data.
  • the target partial image data (hereinafter referred to as “target partial image data”) for the processing of S30 and S35 described later is specified.
  • the CPU 32 specifies target partial image data representing a rectangular image of a predetermined size centered on the position (ie, coordinates) detected in S20 from the cell image data.
  • the CPU 32 when detecting the position of the ON pixel group 112 in S20, specifies target partial image data representing the partial image 122 from the cell image data, and in S20 determines the position of the ON pixel group 114. If detected, target partial image data representing the partial image 124 is specified from the cell image data.
  • the CPU 32 uses the determination data 44 included in the learning data 42 to execute center determination processing on the target partial image data.
  • the center determination process includes determining whether the center of the partial image (hereinafter referred to as “target partial image”) represented by the target partial image data matches the center of the cell object. Specifically, when the CPU 32 can execute the CNN using the determination data 44 and specify the phase of the cell object (for example, 30 ° in FIG. 1) included in the target partial image, It is determined that the center of the partial image does not match the center of the cell object (NO in S30), and the process proceeds to S35.
  • target partial image the center of the partial image represented by the target partial image data matches the center of the cell object.
  • the CPU 32 determines that the center of the target partial image and the center of the cell object coincide (YES in S30), and performs S35. Skip to S40. For example, in the partial image 122, since the cell object is located at the center, it is determined that the center of the partial image 122 matches the center of the cell object (YES in S30). Further, for example, in the partial image 124, since the cell object is positioned above the center instead of the center, it is determined that the center of the partial image 124 does not coincide with the center of the cell object (NO in S30).
  • the CPU 32 writes a predetermined mark in the binary image 110. Specifically, first, the CPU 32 specifies the phase of the cell object, which is the determination result in S30, as the center position of the cell object in the target partial image. Next, the CPU 32 changes the binary image data by writing a predetermined mark at a position corresponding to the specified center position (ie, phase) in the binary image 110.
  • the predetermined mark has a shape that can be detected by object detection in S45 described later.
  • the predetermined mark is a circular mark having a white central portion and a black outer peripheral portion.
  • the CPU 32 generates binary image data representing the changed binary image 130 by writing a predetermined mark 132 in the binary image 110.
  • the predetermined mark is not limited to the circular mark, and may be a rectangle or another shape.
  • the CPU 32 determines whether or not detection of all objects from the binary image 110 (ie, S20) has been completed. The CPU 32 proceeds to S45 when determining that all objects have been detected (YES in S40), and returns to S25 when determining that detection of all objects has not been completed (NO in S40). .
  • S45 and S50 are the same as S20 and S25, except that changed binary image data is used. Since the mark 132 is written in S35 described above, the CPU 32 can specify the partial image data representing the partial image 150 that is a rectangular image centered on the mark 132 in S50. That is, in the partial image data, the center of the partial image 150 coincides with the center of the cell object. As described above, since the predetermined mark has a black outer peripheral portion, it is not integrated with another object. Therefore, the CPU 32 can correctly detect the mark 132.
  • the CPU 32 executes CNN using the partial image data specified in S50 and the classification data 46, and classifies the cells corresponding to the cell objects included in the partial image represented by the partial image data. As described above, since the center of the partial image 150 coincides with the center of the cell object, the CPU 32 can correctly classify the cells corresponding to the cell object.
  • S60 is the same as S40. If the CPU 32 determines that detection of all objects has been completed (YES in S60), the process proceeds to S65, and if it is determined that detection of all objects has not been completed (NO in S60), the process returns to S45. .
  • the CPU 32 outputs the result of the classification in S55. Specifically, the CPU 32 causes the display unit 14 to display the classification result.
  • the classification result may be, for example, information including the number of target cells, information including the numbers of all types of cells classified, or a specific protein in the cell. It may be a score representing the expression of. Furthermore, it may be a malignancy degree or an expression level of a gene mutation predicted from a cell classification result, or may be a prognosis of a patient.
  • the result of the center determination process in S30 and the result of the classification process in S55 may be added to the determination data 44 and the classification data 46. Thereby, the accuracy of CNN can be improved.
  • FIGS. 3A to 3E show an example of each partial image specified in S25 of FIG.
  • FIG. 4 shows the position and shape of the predetermined mark written in S35 according to the center position of each cell object. Further, FIG. 4 shows a phase indicating the center position of each cell object.
  • 3A includes a cell object corresponding to one macrophage.
  • the center of the partial image 302 and the center of the cell object do not coincide with each other, and in S30, 330 ° is specified as the center position of the cell object.
  • S35 the position and shape of the predetermined mark corresponding to the phase 330 ° in FIG. 4A are specified, and the predetermined mark having the shape at the position in the binary image corresponding to the position (that is, the black mark) A circular mark having an outer peripheral portion) is written.
  • the determination data 44 includes data in which image data representing an image including a cell object corresponding to a neutrophil is associated with the center position of the cell object. Therefore, in S30, 30 ° is specified as the center position of the cell object, and in S35, a predetermined mark corresponding to the position and shape corresponding to the phase of 30 ° in FIG. 4A is written. As a result, in the partial image data specified in S50, the center of the partial image represented by the partial image data coincides with the center of the cell object corresponding to the neutrophil. For this reason, in S55, neutrophils can be accurately classified based on the partial image data.
  • the determination data 44 includes data in which image data representing an image including two cell objects corresponding to two lymphocytes and the center position of the two cell objects are associated with each other. . For this reason, 120 ° is specified as the center position in S30, and two predetermined marks corresponding to the position and shape corresponding to the phase 120 ° in FIG. 4B are written in S35. As a result, in S45, the respective positions of the two predetermined marks are detected.
  • partial image data corresponding to the position of one predetermined mark is specified (that is, the center of the partial image coincides with the center of the cell object corresponding to one lymphocyte). Lymphocytes are classified. Thereafter, in S50, the partial image data corresponding to the position of the other predetermined mark is specified (that is, the center of the partial image coincides with the center of the cell object corresponding to the other lymphocyte). Lymphocytes are classified. Thus, even if the partial image specified in S25 includes two cell objects, each of the two cells can be accurately classified.
  • the partial image 314 in FIG. 3D includes two cell objects corresponding to adjacent lymphocytes and macrophages.
  • the distance L2 between the center of the partial image 314 and the center of the cell object corresponding to the lymphocyte is larger than the distance L1 between the center of the partial image 314 and the center of the cell object corresponding to the macrophage.
  • the distance from the center of the partial image 314 to the center of each cell object is not constant.
  • the determination data 44 includes data in which image data representing an image including two cell objects corresponding to lymphocytes and macrophages and the center position of the two cell objects are associated with each other.
  • 300 ° is specified as the center position in S30, and two predetermined marks corresponding to the position and shape corresponding to the phase of 300 ° in FIG. 4C are written in S35.
  • the predetermined mark corresponding to the former cell object is shown in FIG. 4C. Is larger than a predetermined mark corresponding to the latter cell object.
  • the two predetermined marks may be the same size. In S45, the respective positions of the two predetermined marks are detected.
  • the partial image 318 in FIG. 3E includes three cell objects corresponding to three lymphocytes.
  • the determination data 44 includes data in which image data representing an image including three cell objects corresponding to three lymphocytes is associated with the center position of the three cell objects. .
  • 0 ° is specified as the center position in S30, and three predetermined marks corresponding to the position and shape corresponding to the phase 0 ° in FIG. 4D are written in S35.
  • S45 the positions of the three predetermined marks are detected.
  • the three partial image data corresponding to the positions of the three predetermined marks are sequentially specified, and in S55, the three lymphocytes are sequentially classified.
  • the three cells can be accurately classified.
  • determination data 44 for four or more cell objects may be used.
  • FIG. 5 is a diagram for explaining a case A in which cell image data obtained from a blood smear prepared by performing Giemsa staining for bone marrow blood is input to the image analysis apparatus 10.
  • FIG. 5A shows the cell image acquired in S10.
  • Reference numeral 500 indicates a cell object corresponding to one neutrophil.
  • FIG. 5B represents the binary image generated in S15.
  • the image analysis apparatus 10 executes the first object detection using the binary image of FIG. 5B (S20). At this time, a region division method such as a watershed method is executed.
  • a region division method such as a watershed method is executed.
  • each of the three candidate objects 502, 504, and 506 is sequentially specified.
  • identification of partial image data S25
  • determination that the center of the partial image and the center of the cell object do not match NO in S30
  • Writing of marks 507, 508, and 509 to the binary image is executed (S35).
  • 5C shows a modified binary image obtained by writing a plurality of marks including marks 507, 508, and 509.
  • the positions of the three marks 507, 508, and 509 overlap.
  • the mark 508 written last appears on the forefront.
  • a mark having a high probability of being the center of a cell object may be specified, and the mark may appear on the forefront.
  • reference numeral 503 in FIG. 5B is also specified as a candidate object (S20).
  • the central determination process for the partial image data specified according to the candidate object 503 it is determined that the partial image does not include a cell object corresponding to the neutrophil that is a cell to be analyzed in this case.
  • NO is determined in S30, but no mark is written in S35 (this case is not shown in FIG. 2).
  • the image analysis apparatus 10 executes the second object detection using the changed binary image in FIG. 5C (S45). As a result, for example, for the cell object 500, the mark 508 is detected as a candidate object. As a result, in S50, partial image data having a center coinciding with the center of the cell object 500 is specified, and in S55, neutrophils corresponding to the cell object 500 are classified.
  • the image analysis apparatus 10 performs the same process on each cell object other than the cell object 500, and as a result, as shown in FIG. 5D, corresponds to a plurality of cell objects 510 to 540. A plurality of cells can be appropriately classified.
  • the image analysis apparatus 10 sequentially writes the three marks 507, 508, and 509.
  • the image analysis device 10 instead of the image analysis device 10 writing the three marks 507, 508, 509, three partial image data corresponding to the positions of the three marks 507, 508, 509 are obtained from the cell image data. It is conceivable to adopt the configuration of a comparative example in which cells are sequentially identified and the cells are sequentially classified using the three partial image data. However, according to the configuration of the comparative example, three partial image data including the same cell are sequentially specified, and the same cell is classified three times.
  • the image analysis apparatus 10 writes three marks 507, 508, and 509 so that the mark 508 appears on the forefront. Therefore, the image analysis apparatus 10 detects the mark 508 and detects the mark 508 without detecting the marks 507 and 509 that do not have a sufficient area for object detection in the second object detection.
  • the cells are classified using the partial image data. For this reason, it is not necessary to sequentially identify three partial image data including the same cell and classify the same cell three times.
  • the configuration of the above comparative example may be adopted.
  • Case B cell image data obtained from a pathological specimen created by performing hematoxylin and eosin staining on a stomach tissue specimen is input to the image analysis apparatus 10.
  • FIG. 6A shows the cell image acquired in S10, and reference numeral 600 indicates a cell object corresponding to one cancerous cell.
  • FIG. 6B shows the binary image generated in S15.
  • the nuclei may not be stained uniformly, and only the edges of the nuclei may be stained deeply. Therefore, in the first object detection (S20), each of the two candidate objects 602 and 603 is sequentially specified for the cell object 600.
  • the image analysis apparatus 10 executes writing of two marks corresponding to the two candidate objects 602 and 603 (S35).
  • FIG. 6C shows the changed binary image. Although the positions of the two marks overlap, only the mark 604 written last is given a reference numeral.
  • the image analysis apparatus 10 executes the second object detection using the changed binary image (S45), specifies partial image data having a center that matches the center of the cell object 600 (S50), The cancerous cells corresponding to the cell object 600 are classified (S55).
  • the image analysis apparatus 10 performs the same processing on each cell object other than the cell object 600, and as a result, as shown in FIG. 6D, corresponds to a plurality of cell objects 610 to 680. Sort multiple cells.
  • Case C cell image data obtained from a pathological specimen created by performing immunohistochemical staining using an anti-PD-L1 antibody on an epithelial tissue specimen is input to the image analysis apparatus 10.
  • PD-L1 is a protein expressed in the cell membrane, and is expressed in macrophages and cancerous cells (particularly cancerous squamous epithelial cells).
  • FIG. 7A shows the cell image acquired in S10
  • reference numeral 700 shows a cell object corresponding to one cancerous squamous epithelial cell in which PD-L1 is expressed in the cell membrane.
  • the stained cell membrane may be detected as a candidate object by object detection.
  • FIG. 7B shows the binary image generated in S15. Since the cell membrane is stained in the cell object 700, each of the two candidate objects 702 and 704 is sequentially specified in the first object detection (S20). As a result, the image analysis apparatus 10 writes two marks corresponding to the two candidate objects 702 and 704 (S35).
  • FIG. 7C shows the changed binary image. Although the positions of the above two marks overlap, in FIG.
  • the image analysis apparatus 10 executes the second object detection using the changed binary image (S45), specifies partial image data having a center that matches the center of the cell object 700 (S50), The cancerous squamous epithelial cells corresponding to the cell object 700 are classified (S55).
  • the above cases A to C are examples of specific cases, and the image analysis apparatus 10 counts leukocytes in peripheral blood, classification of cells in other body cavity fluids (for example, pleural effusion, ascites), cervix It can also be applied to rubbing cytology, puncture aspiration cytology of thyroid gland and mammary gland. Furthermore, it is applicable also to the classification
  • the process of S10 and the process of S15 are examples of processes executed by the “acquisition unit” and the “generation unit”, respectively.
  • the processing of S20 and S25 is an example of processing executed by the “first image specifying unit”.
  • the process of S30 is an example of a process executed by the “determination unit” and the “position specifying unit”.
  • the process of S35 is an example of a process executed by the “change unit”.
  • the processing of S45 and S50 is an example of processing executed by the “second image specifying unit”.
  • the process of S55 and the process of S65 are examples of processes executed by the “classification unit” and the “output unit”, respectively.
  • the partial image 124 and the partial image 150 in FIG. 2 are examples of “first partial image” and “second partial image”, respectively.
  • the lymphocytes and macrophages in the partial image 314 in FIG. 3D are examples of the “first cell object” and the “second cell object”, respectively, and the distance L1 and the distance L2 are It is an example of “distance 1” and “second distance”.
  • the CPU 32 executes the process of FIG. 8 in accordance with the analysis program 40 instead of the process of FIG. S100 is the same as S10 of FIG.
  • the CPU 32 specifies partial image data representing a partial image obtained by scanning the cell image represented by the cell image data obtained in S100 in a grid pattern with a constant interval. Specifically, as shown in the cell image 810, the CPU 32 determines a plurality of coordinates (for example, reference numeral 812) in the cell image at predetermined intervals, and has a predetermined size centered on the coordinates.
  • the partial image data representing the partial image which is a rectangular image is specified.
  • partial image data is specified in a grid pattern without performing object detection from a binary image, so that it is not necessary to execute a process for generating a binary image, and the processing load is reduced. Can be reduced.
  • S110 is the same as S30 in FIG. 2 except that the target partial image data that is the target of the center determination process is the partial image data specified in S105.
  • the CPU 32 classifies the cells as in S55 of FIG.
  • the CPU 32 determines that the center of the target partial image and the center of the cell object do not match (NO in S110)
  • the CPU 32 proceeds to S120 without executing S115 (that is, without performing classification).
  • the CPU 32 determines whether or not the identification of the partial image data has been completed for all determined coordinates in the cell image.
  • the CPU 32 proceeds to S125 when determining that the specification is completed (YES in S120), and returns to S105 when determining that the specification is not completed (NO in S120).
  • S125 is the same as S65 of FIG.
  • FIG. 9A shows a cell image acquired in S100.
  • the image analysis apparatus 10 sequentially specifies a plurality of partial image data (S105).
  • a plurality of partial images including the five partial images 900 to 940 in FIG. 9B are sequentially specified, and the center determination process for each partial image is executed (S110).
  • the center determination process for each partial image is executed (S110).
  • For each of the four partial images 900 to 930 it is determined that the center of the partial image coincides with the center of the cell object (YES in S110).
  • the cell corresponding to the cell object included in the partial image is determined. Is performed (S115).
  • the partial image 940 it is determined that the center of the partial image and the center of the cell object do not match (NO in S110), and the classification is not executed. Thereby, it can suppress classifying a cell accidentally.
  • the processing of S100, the processing of S105, the processing of S110, the processing of S115, and the processing of S125 are respectively “acquisition unit”, “first image specifying unit”, “determination unit”, “classification unit”, “output unit”. It is an example of the process performed by ".”
  • the CPU 32 executes the process of FIG. 10 in accordance with the analysis program 40 instead of the process of FIG. S200 and S202 are the same as S10 and S15 of FIG. S205 is the same as S105 of FIG.
  • S210 is the same as S30 of FIG.
  • the CPU 32 determines that the center of the target partial image and the center of the cell object do not match (NO in S210)
  • the CPU 32 proceeds to S215 and determines that the center of the target partial image matches the center of the cell object (YES in S210), S215 is skipped and the process proceeds to S220.
  • S215 is the same as S35 of FIG.
  • the CPU 32 generates changed binary image data representing the changed binary image 1020 by writing two marks.
  • S220 is the same as S120.
  • S225 and S230 are the same as S20 and S25 of FIG.
  • Each rectangle with a broken line in the lowermost cell image 1000 in FIG. 10 indicates each partial image sequentially specified in S230.
  • S235 to S245 are the same as S55 to S65.
  • FIG. 11A is similar to FIG.
  • S205 to S220 are performed on the cell image of FIG. 11A
  • the changed binary image of FIG. 11B is obtained.
  • S225 and S230 are executed using the changed binary image, as shown in FIG. 11C
  • the partial images 900 to 950 corresponding to the positions of the marks are specified.
  • the center of the partial image coincides with the center of the cell object. For this reason, each cell can be correctly classified (S235).
  • the process of S200, the process of S202, and the process of S205 are examples of processes executed by the “acquisition unit”, “generation unit”, and “first image specifying unit”, respectively.
  • the process of S210 is an example of a process executed by the “determination unit” and the “position specifying unit”.
  • the process of S215 and the process of S245 are examples of processes executed by the “change unit” and the “output unit”, respectively.
  • the processing of S225 to S235 is an example of processing executed by the “classification unit”.
  • 10 image analysis device
  • 12 operation unit
  • 14 display unit
  • 16 input unit
  • 30 control unit
  • 32 memory
  • 38 OS program
  • 40 analysis program
  • 42 learning data
  • 44 judgment data
  • 46 Classification data
  • 100, 810, 1000 Cell image, 102, 104, 500, 510, 520, 530, 540, 600, 610, 620, 630, 640, 650, 660, 670, 680, 700: Cell object 110, 130, 1020: binary image, 112, 114: pixel group, 132, 507, 508, 509, 604, 706: predetermined mark, 122, 124, 150, 302, 306, 310, 314, 318, 900 , 910, 920, 930, 940, 950: partial image, 502, 503, 504, 506, 602, 603 702, 704: candidate objects

Abstract

画像解析装置は、画像解析を実行するための学習データを記憶するメモリを備え、複数個の細胞オブジェクトを含む細胞画像を表わす細胞画像データを取得し、細胞画像データから複数個の部分画像データのそれぞれを順次特定し、複数個の部分画像データのそれぞれに対して中心判断処理を順次実行し、複数個の部分画像データのそれぞれに対する中心判断処理の結果と、学習データに含まれる分類データとを利用して、複数個の細胞オブジェクトのうちの少なくとも１個の細胞オブジェクトに対応する少なくとも１個の細胞を分類し、分類の結果を出力する。

Description

画像解析装置
　本明細書では、細胞オブジェクトを含む画像を解析して、細胞オブジェクトに対応する細胞を分類する技術を開示する。
　近年、画像解析装置を利用した病理組織診又は細胞診が行われている（例えば、特表２０１１－５２７００号公報）。この技術では、細胞を分類するためのデータを画像解析装置に学習させておき、病理組織標本、細胞診標本等から得られる画像データを画像解析装置に入力することで、細胞の分類結果が得られる。
　画像解析装置を利用した病理診断補助又は自動細胞解析では、通常、入力された細胞画像データから複数個の部分画像データのそれぞれが順次特定される。そして、複数個の部分画像データのそれぞれについて、当該部分画像データによって表わされる部分画像に含まれる細胞オブジェクトに対応する細胞が分類される。しかしながら、例えば、部分画像の中心からずれた位置に細胞が存在する場合には、当該部分画像を利用して細胞を分類すると、細胞を正確に分類することができない可能性がある。本明細書では、細胞の分類の正確性を向上させるための技術を開示する。
　本明細書によって開示される画像解析装置は、画像解析を実行するための学習データを記憶するメモリであって、前記学習データは、解析対象の画像の中心と細胞オブジェクトの中心とが一致するのか否かを判断するための判断データと、細胞オブジェクトに対応する細胞を分類するための分類データと、を含む、前記メモリと、複数個の細胞オブジェクトを含む細胞画像を表わす細胞画像データを取得する取得部と、前記細胞画像データから複数個の部分画像データのそれぞれを順次特定する第１の画像特定部と、前記複数個の部分画像データのそれぞれに対して中心判断処理を順次実行する判断部であって、前記中心判断処理は、前記学習データに含まれる前記判断データを利用して、処理対象の部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致するのか否かを判断することを含む、前記判断部と、前記複数個の部分画像データのそれぞれに対する前記中心判断処理の結果と、前記学習データに含まれる前記分類データと、を利用して、前記複数個の細胞オブジェクトのうちの少なくとも１個の細胞オブジェクトに対応する少なくとも１個の細胞を分類する分類部と、前記分類の結果を出力する出力部と、を備えてもよい。
　上記の構成によると、画像解析装置は、複数個の部分画像データのそれぞれに対して、判断データを利用した中心判断処理を実行する。これにより、画像解析装置は、部分画像の中心と細胞オブジェクトの中心とが一致するのか否かを適切に判断することができる。そして、画像解析装置は、中心判断処理の結果と分類データとを利用して細胞を分類する。このために、細胞の分類の正確性を向上させることができる。
　前記画像解析装置は、さらに、前記細胞画像データを二値化して、二値画像データを生成する生成部を備えてもよい。前記第１の画像特定部は、前記二値画像データによって表わされる二値画像から細胞オブジェクトの候補である候補オブジェクトの位置を検出して、前記細胞画像データから前記検出済みの位置に対応する部分画像データを特定することを繰り返すことによって、前記複数個の部分画像データのそれぞれを順次特定してもよい。前記画像解析装置は、さらに、前記複数個の部分画像データのうちの第１の部分画像データに対する前記中心判断処理において、前記第１の部分画像データによって表わされる第１の部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、前記第１の部分画像が対象細胞オブジェクトを含む場合に、前記細胞画像データから、前記対象細胞オブジェクトを含む第２の部分画像を表わす第２の部分画像データを特定する第２の画像特定部であって、前記第２の部分画像の中心と前記対象細胞オブジェクトの中心とは一致する、前記第２の画像特定部を備えてもよい。前記分類部は、前記第２の部分画像データと前記分類データとを利用して、前記対象細胞オブジェクトに対応する細胞を分類してもよい。この構成によると、画像解析装置は、第２の部分画像データを利用して、細胞を分類することができる。第２の部分画像の中心と対象細胞オブジェクトの中心とが一致するので、細胞の分類の正確性が向上する。
　前記画像解析装置は、さらに、前記第１の部分画像データに対する前記中心判断処理において、前記第１の部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、前記第１の部分画像が前記対象細胞オブジェクトを含む場合に、前記第１の部分画像に含まれる前記対象細胞オブジェクトの中心位置を特定する位置特定部と、前記二値画像データによって表わされる前記二値画像において、前記中心位置に対応する位置に所定マークを書き込むことによって、前記二値画像データを変更する変更部と、を備えてもよい。前記第２の画像特定部は、変更済みの二値画像データによって表わされる変更済みの二値画像から前記所定マークの位置を検出して、前記細胞画像データから前記所定マークの位置に対応する前記第２の部分画像データを特定してもよい。この構成によると、画像解析装置が、同じ細胞を重複して分類することを抑制できる。
　前記位置特定部は、前記第１の部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、前記第１の部分画像が１個の前記対象細胞オブジェクトのみを含む場合に、１個の前記中心位置を特定してもよい。前記変更部は、前記二値画像データによって表わされる前記二値画像において、前記１個の中心位置に対応する１個の位置に１個の前記所定マークを書き込むことによって、前記二値画像データを変更してもよい。前記第２の画像特定部は、前記変更済みの二値画像データによって表わされる前記変更済みの二値画像から前記１個の所定マークの位置を検出して、前記細胞画像データから前記１個の所定マークの位置に対応する前記第２の部分画像データを特定してもよい。この構成によると、画像解析装置は、第１の部分画像が１個の対象細胞オブジェクトのみを含む場合に、１個の第２の部分画像データを適切に特定することができる。
　前記位置特定部は、前記第１の部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、前記第１の部分画像が２個以上の前記対象細胞オブジェクトを含む場合に、２個以上の前記中心位置を特定してもよい。前記変更部は、前記二値画像データによって表わされる前記二値画像において、前記２個以上の中心位置に対応する２個以上の位置に２個以上の前記所定マークを書き込むことによって、前記二値画像データを変更してもよい。前記第２の画像特定部は、前記変更済みの二値画像データによって表わされる前記変更済みの二値画像から前記２個以上の所定マークのそれぞれの位置を検出して、前記細胞画像データから前記２個以上の所定マークのそれぞれの位置に対応する２個以上の前記第２の部分画像データを特定してもよい。この構成によると、画像解析装置は、第１の部分画像が２個以上の対象細胞オブジェクトを含む場合に、２個以上の第２の部分画像データを適切に特定することができる。
　前記位置特定部は、前記２個以上の前記対象細胞オブジェクトが、前記第１の部分画像の中心から第１の距離である第１の中心位置を有する第１の細胞オブジェクトと、前記第１の部分画像の中心から前記第１の距離よりも大きい第２の距離である第２の中心位置を有する第２の細胞オブジェクトと、を含む場合に、前記第１の中心位置と前記第２の中心位置とを含む前記２個以上の中心位置を特定してもよい。前記変更部は、前記二値画像データによって表わされる前記二値画像において、前記第１の中心位置と前記第２の中心位置とを含む前記２個以上の中心位置に対応する前記２個以上の位置に前記２個以上の所定マークを書き込むことによって、前記二値画像データを変更してもよい。この構成によると、画像解析装置は、第１の部分画像の中心と各細胞オブジェクトの各中心位置との各距離が一定でない場合に、各所定マークを適切に書き込むことができる。
　前記第１の画像特定部は、前記細胞画像を一定間隔で走査することによって得られる複数個の部分画像を表わす前記複数個の部分画像データのそれぞれを順次特定してもよい。この構成によると、画像解析装置は、処理負荷を抑えながら、各部分画像データを特定することができる。
　前記分類部は、前記複数個の部分画像データのうちの処理対象の部分画像データに対する前記中心判断処理において、当該部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致すると判断される場合に、当該細胞オブジェクトに対応する細胞を分類してもよく、前記複数個の部分画像データのうちの処理対象の部分画像データに対する前記中心判断処理において、当該部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致しないと判断される場合に、当該部分画像データを利用した分類を実行しなくてもよい。この構成によると、画像解析装置は、中心判断処理において部分画像の中心と細胞オブジェクトの中心とが一致しないと判断する場合に、分類を実行しない。従って、画像解析装置は、部分画像の中心からずれた位置に細胞オブジェクトが存在する場合に、当該細胞オブジェクトに対応する細胞を分類しない。このために、細胞を誤って分類してしまうことを抑制することができる。
　前記画像解析装置は、さらに、前記細胞画像データを二値化して、二値画像データを生成する生成部と、前記複数個の部分画像データのうちの処理対象の部分画像データに対する前記中心判断処理において、当該部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、当該部分画像が対象細胞オブジェクトを含む場合に、前記対象細胞オブジェクトの中心位置を特定する位置特定部と、前記二値画像データによって表わされる二値画像において、前記中心位置に対応する位置に所定マークを書き込むことによって、前記二値画像データを変更する変更部と、を備えてもよい。前記分類部は、変更済みの二値画像データによって表わされる変更済みの二値画像から前記所定マークの位置を検出し、前記細胞画像データから前記検出済みの位置に対応する部分画像データを特定し、当該部分画像データと前記分類データとを利用して、当該部分画像データによって表わされる部分画像に含まれる前記対象細胞オブジェクトに対応する細胞を分類してもよい。この構成によると、画像解析装置は、所定マークの位置に対応する部分画像データを利用して、細胞を分類することができる。ここで、対象細胞オブジェクトの中心位置に対応する位置に所定マークが書き込まれるので、当該部分画像データによって表わされる部分画像の中心と対象細胞オブジェクトの中心とが一致し得る。このために、細胞の分類の正確性が向上する。
　前記学習データは、畳み込みニューラルネットワークに従った画像解析、又は、畳み込みニューラルネットワークを部分構造として有する大規模ネットワークに従った画像解析を実行するためのデータであってもよい。この構成によると、画像解析装置は、学習データに従って、畳み込みニューラルネットワークを利用した画像解析、即ち、深層学習及び人工知能を利用した画像解析を実行することができる。特に、画像解析装置は、学習データが多いほど、高い精度で画像解析を実行することができる。
　本技術は、画像解析方法にも適用可能である。また、上記の画像解析装置を実現するための制御方法、コンピュータプログラム、及び、当該コンピュータプログラムを格納するコンピュータ読取可能媒体も、新規で有用である。
画像解析装置のブロック図を示す。 画像解析装置が実行する処理のフローチャートを示す。 様々な細胞オブジェクトとそれらの中心位置とを示す。 各中心位置に対応する所定マークの位置及び形状を示す 骨髄血に対応する病理標本を解析するケースＡを示す。 胃の組織検体に対応する病理標本を解析するケースＢを示す。 上皮の組織検体に対応する病理標本を解析するケースＣを示す。 第２実施例のフローチャートを示す。 第２実施例の具体的なケースを示す。 第３実施例のフローチャートを示す。 第３実施例の具体的なケースを示す。
（第１実施例）
（画像解析装置の構成：図１）
　図１は、画像解析装置１０の構成を示す。画像解析装置１０は、操作部１２と、表示部１４と、入力部１６と、制御部３０を備える。各部１２～３０は、バス線（符号省略）に接続されている。操作部１２は、例えば、マウス、キーボード等を備える。ユーザは、操作部１２を操作することによって、様々な指示を画像解析装置１０に与えることができる。表示部１４は、様々な情報を表示するためのディスプレイである。
　入力部１６は、複数個の細胞オブジェクトを含む細胞画像を表わす細胞画像データを画像解析装置１０に入力するための装置である。入力部１６は、有線通信又は無線通信を実行するための通信インターフェースであってもよいし、ＵＳＢメモリ等が挿入されるメモリインターフェースであってもよい。例えば、入力部１６が、顕微鏡、Ｗｈｏｌｅ　Ｓｌｉｄｅ　Ｉｍａｇｅ、バーチャルスライド等によって撮影される細胞画像データを格納するデバイスとの有線通信又は無線通信を実行して、当該デバイスから細胞画像データを受信することによって、細胞画像データが画像解析装置１０に入力されてもよい。また、例えば、入力部１６が、細胞画像データを格納するメモリから細胞画像データを読み出すことによって、細胞画像データが画像解析装置１０に入力されてもよい。
　制御部３０は、ＣＰＵ３２と、メモリ３４と、を備える。ＣＰＵ３２は、メモリ３４に記憶されているプログラム３８，４０に従って様々な処理を実行する。メモリ３４は、画像解析装置１０の基本的な動作を実現するためのＯＳプログラム３８と、畳み込みニューラルネットワーク（以下では「ＣＮＮ（Convolutional Neural Networkの略）」と呼ぶ）に従った画像解析を実行するための解析プログラム４０と、を格納する。例えば、汎用的なＰＣ、サーバ等に解析プログラム４０をインストールすることによって、画像解析装置１０が実現される。なお、解析プログラム４０は、ＣＮＮを部分構造として有する大規模ネットワーク（例えば、ＧｏｏｇＬｅＮｅｔ（登録商標）、Ｒｅｓｉｄｕａｌ　Ｎｅｔｗｏｒｋ等）に従った画像解析を実行してもよい。また、メモリ３４は、解析プログラム４０に従った画像解析を実行するための学習データ４２を格納する。学習データ４２は、解析プログラム４０を販売する販売者から提供されるデータであってもよいし、画像解析装置１０のユーザによって生成されるデータであってもよい。前者の場合、学習データ４２は、解析プログラム４０のインストールの際に、メモリ３４に格納される。後者の場合、学習データ４２は、解析プログラム４０のインストールの後に、画像解析装置１０のユーザによってメモリ３４に格納される。
　学習データ４２は、解析対象の画像の中心と細胞オブジェクトの中心とが一致するのか否かを判断するための判断データ４４と、細胞オブジェクトに対応する細胞を分類するための分類データ４６と、を含む。判断データ４４は、複数個の画像データのそれぞれについて、当該画像データと、当該画像データによって表わされる画像に含まれる細胞オブジェクトの中心位置と、が関連付けられたデータである。中心位置は、本実施例では、細胞オブジェクトの位相（即ち角度）によって表現されるが、変形例では、座標で表現されてもよい。分類データ４６は、複数個の画像データのそれぞれについて、当該画像データと、当該画像データによって表わされる画像に含まれる細胞オブジェクトの種類と、が関連付けられたデータである。
（画像解析装置１０の処理：図２）
　続いて、図２を参照して、画像解析装置１０のＣＰＵ３２が解析プログラム４０に従って実行する処理について説明する。Ｓ１０では、ＣＰＵ３２は、入力部１６を介して、複数個の細胞オブジェクト１０２，１０４を含む細胞画像１００を表わす細胞画像データを取得する。細胞画像データは、多階調（例えば２５６階調）のＲＧＢ値を有する複数個の画素によって構成されるビットマップデータである。なお、ビットマップデータのファイルフォーマットは、ＢＭＰ（Microsoft Windows（登録商標） Bitmap Image）に限られず、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）等であってもよい。細胞画像データは、例えば、以下のように生成される。例えば、患者から採取された検体である気管支肺胞洗浄液をスライドガラスに塗抹して、ギムザ染色をすることによって病理標本が作製される。そして、病理標本が顕微鏡によって撮影されることによって、細胞画像データが生成される。なお、病理標本は、上記のものに限られない。例えば、検体は、血液検体、生体検体等であってもよく、染色法は、パパニコロウ染色法、ヘマトキシリン・エオジン染色法、免疫組織化学染色法、免疫蛍光染色法等であってもよい。さらには、培養細胞等に対する無染色の位相差顕微鏡像等であってもよい。
　Ｓ１５では、ＣＰＵ３２は、Ｓ１０で取得された細胞画像データを二値化する。具体的には、ＣＰＵ３２は、細胞画像データを構成する複数個の画素のそれぞれについて、当該画素のＲＧＢ値から輝度値を算出し（例えば輝度値Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ）、当該輝度値が閾値（例えば１２７）より大きい場合に、当該画素の画素値を「１」に決定し、当該輝度値が閾値以下である場合に、当該画素の画素値を「０」に決定する。これにより、ＣＰＵ３２は、「１」又は「０」を有する複数個の画素によって構成される二値画像データを生成する。以下では、画素値「１」を有する画素、画素値「０」を有する画素を、それぞれ、「ＯＮ画素」、「ＯＦＦ画素」と呼ぶ。図２は、二値画像データによって表わされる二値画像１１０を示し、二値画像１１０では、ＯＮ画素が白色で表現されていると共に、ＯＦＦ画素が黒色で表現されている。この結果、細胞オブジェクト１０２内の比較的に濃く染色されている部分を示すＯＮ画素群１１２が白色で表現されている。
　Ｓ２０では、ＣＰＵ３２は、物体検出を実行する。具体的には、ＣＰＵ３２は、Ｓ１５で生成された二値画像データによって表わされる二値画像１１０から、互いに隣接する所定個以上のＯＮ画素によって構成される１個のＯＮ画素群（例えば１１２又は１１４）の中心位置（即ち座標）を、細胞オブジェクトの候補である候補オブジェクトの位置として検出する。この際に、ｗａｔｅｒｓｈｅｄ法等の領域分割法が併用されてもよい。
　Ｓ２５では、ＣＰＵ３２は、細胞画像データから、Ｓ２０で検出された候補オブジェクトの位置に対応する部分画像データを特定する。これにより、後述のＳ３０及びＳ３５の処理の対象の部分画像データ（以下では「対象部分画像データ」と呼ぶ）が特定される。具体的には、ＣＰＵ３２は、細胞画像データから、Ｓ２０で検出された位置（即ち座標）を中心として所定サイズの矩形画像を表わす対象部分画像データを特定する。図２の例では、ＣＰＵ３２は、Ｓ２０でＯＮ画素群１１２の位置を検出した場合には、細胞画像データから部分画像１２２を表わす対象部分画像データを特定し、Ｓ２０でＯＮ画素群１１４の位置を検出した場合には、細胞画像データから部分画像１２４を表わす対象部分画像データを特定する。
　Ｓ３０では、ＣＰＵ３２は、学習データ４２に含まれる判断データ４４を利用して、対象部分画像データに対する中心判断処理を実行する。中心判断処理は、対象部分画像データによって表わされる部分画像（以下では「対象部分画像」と呼ぶ）の中心と細胞オブジェクトの中心とが一致するのか否かを判断することを含む。具体的には、ＣＰＵ３２は、判断データ４４を利用したＣＮＮを実行して、対象部分画像に含まれる細胞オブジェクトの位相（例えば図１の３０°等）を特定することができる場合には、対象部分画像の中心と細胞オブジェクトの中心とが一致しないと判断して（Ｓ３０でＮＯ）、Ｓ３５に進む。一方、ＣＰＵ３２は、対象部分画像に含まれる細胞オブジェクトの位相を特定することができない場合には、対象部分画像の中心と細胞オブジェクトの中心とが一致すると判断して（Ｓ３０でＹＥＳ）、Ｓ３５をスキップしてＳ４０に進む。例えば、部分画像１２２では、細胞オブジェクトが中央に位置しているので、部分画像１２２の中心と細胞オブジェクトの中心とが一致すると判断される（Ｓ３０でＹＥＳ）。また、例えば、部分画像１２４では、細胞オブジェクトが中央ではなく上方に位置しているので、部分画像１２４の中心と細胞オブジェクトの中心とが一致しないと判断される（Ｓ３０でＮＯ）。
　Ｓ３５では、ＣＰＵ３２は、二値画像１１０に所定マークを書き込む。具体的には、まず、ＣＰＵ３２は、Ｓ３０の判断結果である細胞オブジェクトの位相を、対象部分画像内での当該細胞オブジェクトの中心位置として特定する。次いで、ＣＰＵ３２は、二値画像１１０において、特定済みの中心位置（即ち位相）に対応する位置に所定マークを書き込むことによって、二値画像データを変更する。所定マークは、後述のＳ４５の物体検出によって検出可能な形状を有しており、本実施例では、白色の中心部分と、黒色の外周部分と、を有する円形のマークである。図２の例では、ＣＰＵ３２は、二値画像１１０に所定マーク１３２を書き込むことによって、変更済みの二値画像１３０を表わす二値画像データを生成する。なお、変形例では、所定マークは、円形のマークに限られず、矩形であってもよいし、他の形状であってもよい。
　Ｓ４０では、ＣＰＵ３２は、二値画像１１０からの全ての物体の検出（即ちＳ２０）が完了したのか否かを判断する。ＣＰＵ３２は、全ての物体の検出が完了したと判断する場合（Ｓ４０でＹＥＳ）に、Ｓ４５に進み、全ての物体の検出が完了していないと判断する場合（Ｓ４０でＮＯ）に、Ｓ２５に戻る。
　Ｓ４５及びＳ５０は、変更済みの二値画像データが利用される点を除いて、Ｓ２０及びＳ２５と同様である。上記のＳ３５でマーク１３２が書き込まれるので、ＣＰＵ３２は、Ｓ５０において、マーク１３２が中心に位置する矩形画像である部分画像１５０を表わす部分画像データを特定することができる。即ち、当該部分画像データでは、部分画像１５０の中心と細胞オブジェクトの中心とが一致している。上記のように、所定マークは、黒色の外周部分を有するため、他の物体と一体とならない。そのため、ＣＰＵ３２は、マーク１３２を正しく検出できる。
　Ｓ５５では、ＣＰＵ３２は、Ｓ５０で特定された部分画像データと分類データ４６とを利用したＣＮＮを実行して、当該部分画像データによって表わされる部分画像に含まれる細胞オブジェクトに対応する細胞を分類する。上述したように、部分画像１５０の中心と細胞オブジェクトの中心とが一致しているので、ＣＰＵ３２は、当該細胞オブジェクトに対応する細胞を正確に分類することができる。
　Ｓ６０は、Ｓ４０と同様である。ＣＰＵ３２は、全ての物体の検出が完了したと判断する場合（Ｓ６０でＹＥＳ）に、Ｓ６５に進み、全ての物体の検出が完了していないと判断する場合（Ｓ６０でＮＯ）に、Ｓ４５に戻る。
　Ｓ６５では、ＣＰＵ３２は、Ｓ５５の分類の結果を出力する。具体的には、ＣＰＵ３２は、分類の結果を表示部１４に表示させる。分類の結果は、例えば、ターゲットとしている細胞の個数を含む情報であってもよいし、分類された全ての種類の細胞のそれぞれの個数を含む情報であってもよいし、細胞における特定のタンパク質の発現を表わすスコアであってもよい。さらには、細胞の分類結果から予想される悪性度や遺伝子変異の発現量であってもよいし、患者の予後予想であってもよい。なお、Ｓ３０の中心判断処理の結果及びＳ５５の分類処理の結果は、判断データ４４及び分類データ４６に追加されてもよい。これにより、ＣＮＮの精度が向上し得る。
（図２のＳ３０及びＳ３５の処理の詳細；図３及び図４）
　続いて、図３及び図４を参照して、図２のＳ３０及びＳ３５の処理の詳細を説明する。図３（Ａ）～（Ｅ）は、図２のＳ２５で特定される各部分画像の一例を示す。図４は、各細胞オブジェクトの中心位置に応じてＳ３５で書き込まれる所定マークの位置及び形状を示す。また、図４では、各細胞オブジェクトの中心位置を示す位相が示されている。
　図３（Ａ）の部分画像３０２は、１個のマクロファージに対応する細胞オブジェクトを含む。部分画像３０２の中心と細胞オブジェクトの中心とが一致しておらず、Ｓ３０では、当該細胞オブジェクトの中心位置として３３０°が特定される。そして、Ｓ３５では、図４（Ａ）の位相３３０°に対応する所定マークの位置及び形状が特定され、当該位置に対応する二値画像内の位置に当該形状を有する所定マーク（即ち、黒色の外周部分を有する円形マーク）が書き込まれる。
　図３（Ｂ）の部分画像３０６は、１個の好中球に対応する細胞オブジェクトを含む。好中球は分葉核を有するので、従来の画像解析では、好中球の中心を正しく認識することは困難であった。本実施例では、判断データ４４は、好中球に対応する細胞オブジェクトを含む画像を表わす画像データと、当該細胞オブジェクトの中心位置と、が関連付けられたデータを含む。このために、Ｓ３０では、当該細胞オブジェクトの中心位置として３０°が特定され、Ｓ３５では、図４（Ａ）の位相３０°に対応する位置及び形状に応じた所定マークが書き込まれる。この結果、Ｓ５０で特定される部分画像データでは、当該部分画像データによって表わされる部分画像の中心と好中球に対応する細胞オブジェクトの中心とが一致する。このために、Ｓ５５では、当該部分画像データに基づいて、好中球を正確に分類することができる。
　図３（Ｃ）の部分画像３１０は、隣接する２個のリンパ球に対応する２個の細胞オブジェクトを含む。従来の画像解析では、このような２個以上の細胞のそれぞれを領域分割法によって分割して分類するが、正確に分割できない場合があった。本実施例では、判断データ４４は、２個のリンパ球に対応する２個の細胞オブジェクトを含む画像を表わす画像データと、当該２個の細胞オブジェクトの中心位置と、が関連付けられたデータを含む。このために、Ｓ３０では、中心位置として１２０°が特定され、Ｓ３５では、図４（Ｂ）の位相１２０°に対応する位置及び形状に応じた２個の所定マークが書き込まれる。この結果、Ｓ４５では、当該２個の所定マークのそれぞれの位置が検出される。従って、Ｓ５０において、一方の所定マークの位置に応じた部分画像データが特定され（即ち、部分画像の中心と一方のリンパ球に対応する細胞オブジェクトの中心とが一致し）、Ｓ５５において、一方のリンパ球が分類される。その後、Ｓ５０において、他方の所定マークの位置に応じた部分画像データが特定され（即ち、部分画像の中心と他方のリンパ球に対応する細胞オブジェクトの中心とが一致し）、Ｓ５５において、他方のリンパ球が分類される。このように、Ｓ２５で特定される部分画像が２個の細胞オブジェクトを含んでいても、２個の細胞のそれぞれを正確に分類することができる。
　図３（Ｄ）の部分画像３１４は、隣接するリンパ球及びマクロファージに対応する２個の細胞オブジェクトを含む。部分画像３１４では、部分画像３１４の中心とリンパ球に対応する細胞オブジェクトの中心との間の距離Ｌ２が、部分画像３１４の中心とマクロファージに対応する細胞オブジェクトの中心との間の距離Ｌ１よりも大きく、部分画像３１４の中心から各細胞オブジェクトの中心までの各距離が一定でない。本実施例では、判断データ４４は、リンパ球及びマクロファージに対応する２個の細胞オブジェクトを含む画像を表わす画像データと、当該２個の細胞オブジェクトの中心位置と、が関連付けられたデータを含む。このために、Ｓ３０では、中心位置として３００°が特定され、Ｓ３５では、図４（Ｃ）の位相３００°に対応する位置及び形状に応じた２個の所定マークが書き込まれる。なお、本実施例では、マクロファージに対応する細胞オブジェクトのサイズがリンパ球に対応する細胞オブジェクトのサイズよりも大きいので、図４（Ｃ）に示されるように、前者の細胞オブジェクトに対応する所定マークは、後者の細胞オブジェクトに対応する所定マークよりも大きい。ただし、変形例では、２個の所定マークは同じサイズであってもよい。Ｓ４５では、２個の所定マークのそれぞれの位置が検出される。従って、Ｓ５０において、当該２個の所定マークの位置に応じた２個の部分画像データが順次特定され、Ｓ５５において、１個のリンパ球及び１個のマクロファージが順次分類される。このように、部分画像の中心と各細胞オブジェクトの中心との間の各距離が異なる場合でも、各細胞を正確に分類できる。
　図３（Ｅ）の部分画像３１８は、３個のリンパ球に対応する３個の細胞オブジェクトを含む。本実施例では、判断データ４４は、３個のリンパ球に対応する３個の細胞オブジェクトを含む画像を表わす画像データと、当該３個の細胞オブジェクトの中心位置と、が関連付けられたデータを含む。このために、Ｓ３０では、中心位置として０°が特定され、Ｓ３５では、図４（Ｄ）の位相０°に対応する位置及び形状に応じた３個の所定マークが書き込まれる。この結果、Ｓ４５では、当該３個の所定マークのそれぞれの位置が検出される。従って、Ｓ５０において、当該３個の所定マークの位置に応じた３個の部分画像データが順次特定され、Ｓ５５において、３個のリンパ球が順次分類される。このように、Ｓ２５で特定される部分画像が３個の細胞オブジェクトを含んでいても、３個の細胞を正確に分類することができる。なお、本実施例では、部分画像に含まれる細胞オブジェクトの個数として３個までの例を説明したが、変形例では、４個以上の細胞オブジェクトのための判断データ４４が利用されてもよい。
（ケースＡ：図５）
　続いて、図５～図７を参照して、図２の処理によって実現される具体的なケースを説明する。図５は、骨髄血に対するギムザ染色を実行することによって作成された血液塗抹標本から得られた細胞画像データが画像解析装置１０に入力されるケースＡを説明するための図面である。
　図５（Ａ）は、Ｓ１０で取得される細胞画像を示す。符号５００は、１個の好中球に対応する細胞オブジェクトを示す。図５（Ｂ）は、Ｓ１５で生成される二値画像を表わす。画像解析装置１０は、図５（Ｂ）の二値画像を利用して、１回目の物体検出を実行する（Ｓ２０）。この際に、ｗａｔｅｒｓｈｅｄ法等の領域分割法が実行される。この結果、例えば、細胞オブジェクト５００については、３個の候補オブジェクト５０２，５０４，５０６のそれぞれが順次特定される。この結果、３個の候補オブジェクト５０２，５０４，５０６のそれぞれについて、部分画像データの特定（Ｓ２５）、部分画像の中心と細胞オブジェクトの中心とが一致しない旨の判断（Ｓ３０でＮＯ）、及び、二値画像へのマーク５０７，５０８，５０９の書き込み（Ｓ３５）が実行される。図５（Ｃ）は、マーク５０７，５０８，５０９を含む複数個のマークが書き込まれることによって得られる変更済みの二値画像を示す。この例では、３個のマーク５０７，５０８，５０９の位置が重複する。本実施例では、このような状況では、最後に書き込まれるマーク５０８が最前面に登場する。変形例では、細胞オブジェクトの中心である確率が高いマークを特定し、当該マークを最前面に登場させてもよい。
　なお、図５（Ｂ）の符号５０３も候補オブジェクトとして特定される（Ｓ２０）。この場合、候補オブジェクト５０３に応じて特定される部分画像データに対する中央判断処理において、部分画像が、本ケースの解析対象の細胞である好中球に対応する細胞オブジェクトを含まないと判断される。この結果、Ｓ３０でＮＯと判断されるが、Ｓ３５ではマークが書き込まれない（このケースは図２では図示省略している）。
　画像解析装置１０は、図５（Ｃ）の変更済みの二値画像を利用して、２回目の物体検出を実行する（Ｓ４５）。この結果、例えば、細胞オブジェクト５００については、マーク５０８が候補オブジェクトとして検出される。この結果、Ｓ５０では、細胞オブジェクト５００の中心に一致する中心を有する部分画像データが特定され、Ｓ５５では、細胞オブジェクト５００に対応する好中球が分類される。画像解析装置１０は、細胞オブジェクト５００以外の各細胞オブジェクトについても同様の処理を実行することによって、結果として、図５（Ｄ）に示されるように、複数個の細胞オブジェクト５１０～５４０に対応する複数個の細胞を適切に分類することができる。
　上述したように、画像解析装置１０は、１回目の物体検出において、３個の候補オブジェクト５０２，５０４，５０６を順次特定する場合に、３個のマーク５０７，５０８，５０９を順次書き込む。ここで、画像解析装置１０が、当該３個のマーク５０７，５０８，５０９を書き込む代わりに、細胞画像データから、当該３個のマーク５０７，５０８，５０９の位置に対応する３個の部分画像データを順次特定し、当該３個の部分画像データを利用して細胞を順次分類する比較例の構成を採用することが考えられる。しかしながら、比較例の構成によると、同じ細胞を含む３個の部分画像データを順次特定して同じ細胞を３回に亘って分類してしまう。これに対し、本実施例では、画像解析装置１０は、マーク５０８が最前面に登場するように、３個のマーク５０７，５０８，５０９を書き込んでおく。このために、画像解析装置１０は、２回目の物体検出において、物体検出に十分な領域を有していないマーク５０７，５０９を検出することなく、マーク５０８を検出して、マーク５０８に対応する部分画像データを利用して細胞を分類する。このために、同じ細胞を含む３個の部分画像データを順次特定して同じ細胞を３回に亘って分類せずに済む。ただし、変形例では、上記の比較例の構成を採用してもよい。
（ケースＢ：図６）
　続いて、図６を参照して、具体的なケースＢについて説明する。ケースＢでは、胃の組織検体に対するヘマトキシリン・エオジン染色を実行することによって作成された病理標本から得られた細胞画像データが画像解析装置１０に入力される。
　図６（Ａ）は、Ｓ１０で取得される細胞画像を示し、符号６００は、１個の癌化した細胞に対応する細胞オブジェクトを示す。図６（Ｂ）は、Ｓ１５で生成される二値画像を示す。癌化した細胞では、核が一様に染色されず、核の辺縁のみが濃く染色されることがある。そのため、１回目の物体検出（Ｓ２０）では、細胞オブジェクト６００について、２個の候補オブジェクト６０２，６０３のそれぞれが順次特定される。この結果、画像解析装置１０は、２個の候補オブジェクト６０２，６０３に対応する２個のマークの書き込み（Ｓ３５）を実行する。図６（Ｃ）は、変更済みの二値画像を示す。上記の２個のマークの位置が重複するが、最後に書き込まれるマーク６０４のみに符号を付している。画像解析装置１０は、変更済みの二値画像を利用して、２回目の物体検出を実行し（Ｓ４５）、細胞オブジェクト６００の中心に一致する中心を有する部分画像データを特定し（Ｓ５０）、細胞オブジェクト６００に対応する癌化した細胞を分類する（Ｓ５５）。画像解析装置１０は、細胞オブジェクト６００以外の各細胞オブジェクトについても同様の処理を実行することによって、結果として、図６（Ｄ）に示されるように、複数個の細胞オブジェクト６１０～６８０に対応する複数個の細胞を分類する。
（ケースＣ：図７）
　続いて、図７を参照して、具体的なケースＣを説明する。ケースＣでは、上皮の組織検体に対する抗ＰＤ－Ｌ１抗体を利用した免疫組織化学染色を実行することによって作成された病理標本から得られた細胞画像データが画像解析装置１０に入力される。ＰＤ－Ｌ１は、細胞膜に発現するタンパク質であり、マクロファージや癌化した細胞（特に、癌化した扁平上皮細胞）で発現している。
　図７（Ａ）は、Ｓ１０で取得される細胞画像を示し、符号７００は、ＰＤ－Ｌ１が細胞膜に発現している１個の癌化した扁平上皮細胞に対応する細胞オブジェクトを示す。免疫組織化学染色では、細胞膜にタンパク質が発現している場合に、染色された細胞膜が物体検出によって候補オブジェクトとして検出されることがある。図７（Ｂ）は、Ｓ１５で生成される二値画像を示す。細胞オブジェクト７００では、細胞膜が染色されているので、１回目の物体検出（Ｓ２０）において、２個の候補オブジェクト７０２，７０４のそれぞれが順次特定される。この結果、画像解析装置１０は、２個の候補オブジェクト７０２，７０４に対応する２個のマークの書き込み（Ｓ３５）を実行する。図７（Ｃ）は、変更済みの二値画像を示す。上記の２個のマークの位置が重複するが、図７（Ｃ）では、最後に書き込まれるマーク７０６のみに符号を付している。画像解析装置１０は、変更済みの二値画像を利用して、２回目の物体検出を実行し（Ｓ４５）、細胞オブジェクト７００の中心に一致する中心を有する部分画像データを特定し（Ｓ５０）、細胞オブジェクト７００に対応する癌化した扁平上皮細胞を分類する（Ｓ５５）。
　なお、上記のケースＡ～Ｃは具体的なケースの一例であり、画像解析装置１０は、末梢血の白血球の計数、他の体腔液（例えば、胸水、腹水）における細胞の分類、子宮頸部の擦過細胞診、甲状腺及び乳腺等の穿刺吸引細胞診等にも適用できる。さらには、位相差顕微鏡を用いて観察される無染色の培養細胞の分類にも適用できる。
（対応関係）
　Ｓ１０の処理、Ｓ１５の処理が、それぞれ、「取得部」、「生成部」によって実行される処理の一例である。Ｓ２０及びＳ２５の処理が、「第１の画像特定部」によって実行される処理の一例である。Ｓ３０の処理が、「判断部」及び「位置特定部」によって実行される処理の一例である。Ｓ３５の処理が、「変更部」によって実行される処理の一例である。Ｓ４５及びＳ５０の処理が、「第２の画像特定部」によって実行される処理の一例である。Ｓ５５の処理、Ｓ６５の処理が、それぞれ、「分類部」、「出力部」によって実行される処理の一例である。
　図２の部分画像１２４、部分画像１５０が、それぞれ、「第１の部分画像」、「第２の部分画像」の一例である。図３（Ｄ）の部分画像３１４内のリンパ球、マクロファージが、それぞれ、「第１の細胞オブジェクト」、「第２の細胞オブジェクト」の一例であり、距離Ｌ１、距離Ｌ２が、それぞれ、「第１の距離」、「第２の距離」の一例である。
（第２実施例；図８）
　本実施例では、ＣＰＵ３２は、解析プログラム４０に従って、図２の処理に代えて、図８の処理を実行する。Ｓ１００は、図２のＳ１０と同様である。Ｓ１０５では、ＣＰＵ３２は、Ｓ１００で取得された細胞画像データによって表わされる細胞画像を一定間隔の格子状に走査することで取得された部分画像を表わす部分画像データを特定する。具体的には、ＣＰＵ３２は、細胞画像８１０に示されるように、予め決められた間隔で細胞画像内の複数個の座標（例えば符号８１２等）を決定し、当該座標を中心とする所定サイズの矩形画像である部分画像を表わす部分画像データを特定する。このように、本実施例では、二値画像からの物体検出を実行することなく格子状に部分画像データを特定するので、二値画像を生成する処理等を実行せずに済み、処理負荷を低減させることができる。
　Ｓ１１０は、中心判断処理の対象である対象部分画像データが、Ｓ１０５で特定された部分画像データである点を除いて、図２のＳ３０と同様である。ＣＰＵ３２は、対象部分画像の中心と細胞オブジェクトの中心とが一致すると判断する場合（Ｓ１１０でＹＥＳ）に、図２のＳ５５と同様に、細胞を分類する。一方、ＣＰＵ３２は、対象部分画像の中心と細胞オブジェクトの中心とが一致しないと判断する場合（Ｓ１１０でＮＯ）に、Ｓ１１５を実行せずに（即ち分類を実行せずに）、Ｓ１２０に進む。Ｓ１２０では、ＣＰＵ３２は、細胞画像内の決定済みの全ての座標について、部分画像データの特定が完了したのか否かを判断する。ＣＰＵ３２は、特定が完了したと判断する場合（Ｓ１２０でＹＥＳ）に、Ｓ１２５に進み、特定が完了していないと判断する場合（Ｓ１２０でＮＯ）に、Ｓ１０５に戻る。Ｓ１２５は、図２のＳ６５と同様である。
（具体的なケース：図９）
　続いて、図９を参照して、図８の処理によって実現される具体的なケースを説明する。このケースでは、骨髄血に対するギムザ染色を実行することによって作成された血液塗抹標本から得られた細胞画像データが画像解析装置１０に入力される。
　図９（Ａ）は、Ｓ１００で取得される細胞画像を示す。画像解析装置１０は、複数個の部分画像データを順次特定する（Ｓ１０５）。この結果、例えば、図９（Ｂ）の５個の部分画像９００～９４０を含む複数個の部分画像が順次特定され、各部分画像に対する中心判断処理が実行される（Ｓ１１０）。４個の部分画像９００～９３０のそれぞれについては、当該部分画像の中心と細胞オブジェクトの中心とが一致すると判断され（Ｓ１１０でＹＥＳ）、この結果、当該部分画像に含まれる細胞オブジェクトに対応する細胞の分類が実行される（Ｓ１１５）。一方、部分画像９４０については、当該部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され（Ｓ１１０でＮＯ）、分類が実行されない。これにより、細胞を誤って分類してしまうことを抑制することができる。
（対応関係）
　Ｓ１００の処理、Ｓ１０５の処理、Ｓ１１０の処理、Ｓ１１５の処理、Ｓ１２５の処理が、それぞれ、「取得部」、「第１の画像特定部」、「判断部」、「分類部」、「出力部」によって実行される処理の一例である。
（第３実施例；図１０）
　本実施例では、ＣＰＵ３２は、解析プログラム４０に従って、図２の処理に代えて、図１０の処理を実行する。Ｓ２００，Ｓ２０２は、図２のＳ１０，Ｓ１５と同様である。Ｓ２０５は、図８のＳ１０５と同様である。図１０の最も上の細胞画像１０００内の破線の各矩形は、Ｓ２０５で順次特定される各部分画像を示す。Ｓ２１０は、図２のＳ３０と同様である。ＣＰＵ３２は、対象部分画像の中心と細胞オブジェクトの中心とが一致しないと判断する場合（Ｓ２１０でＮＯ）に、Ｓ２１５に進み、対象部分画像の中心と細胞オブジェクトの中心とが一致すると判断する場合（Ｓ２１０でＹＥＳ）に、Ｓ２１５をスキップしてＳ２２０に進む。Ｓ２１５では、図２のＳ３５と同様である。図１０の例では、ＣＰＵ３２は、２個のマークを書き込むことによって、変更済みの二値画像１０２０を表わす変更済みの二値画像データを生成する。Ｓ２２０は、Ｓ１２０と同様である。
　Ｓ２２５及びＳ２３０は、図２のＳ２０及びＳ２５と同様である。図１０の最も下の細胞画像１０００内の破線の各矩形は、Ｓ２３０で順次特定される各部分画像を示す。Ｓ２３５～Ｓ２４５は、Ｓ５５～Ｓ６５と同様である。
（具体的なケース：図１１）
　続いて、図１１を参照して、図１０の処理によって実現される具体的なケースを説明する。このケースでは、図９と同様の細胞画像データが画像解析装置１０に入力される。図１１（Ａ）は、図９（Ａ）と同様である。図１１（Ａ）の細胞画像に対してＳ２０５～Ｓ２２０の各処理が実行されると、図１１（Ｂ）の変更済みの二値画像が得られる。当該変更済みの二値画像を利用してＳ２２５及びＳ２３０が実行されると、図１１（Ｃ）に示されるように、各マークの位置に対応する各部分画像９００～９５０が特定される。各部分画像９００～９５０では、部分画像の中心と細胞オブジェクトの中心とが一致している。このために、各細胞を正確に分類することができる（Ｓ２３５）。
（対応関係）
　Ｓ２００の処理、Ｓ２０２の処理、Ｓ２０５の処理が、それぞれ、「取得部」、「生成部」、「第１の画像特定部」によって実行される処理の一例である。Ｓ２１０の処理が、「判断部」及び「位置特定部」によって実行される処理の一例である。Ｓ２１５の処理、Ｓ２４５の処理が、それぞれ、「変更部」、「出力部」によって実行される処理の一例である。Ｓ２２５～Ｓ２３５の処理が、「分類部」によって実行される処理の一例である。
　以上、実施例を詳細に説明したが、これらは例示に過ぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
　また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
　１０：画像解析装置、１２：操作部、１４：表示部、１６：入力部、３０：制御部、３２：メモリ、３８：ＯＳプログラム、４０：解析プログラム、４２：学習データ、４４：判断データ、４６：分類データ、１００、８１０、１０００：細胞画像、１０２、１０４、５００、５１０、５２０、５３０、５４０、６００、６１０、６２０、６３０、６４０、６５０、６６０、６７０、６８０、７００：細胞オブジェクト、１１０、１３０、１０２０：二値画像、１１２、１１４：画素群、１３２、５０７、５０８、５０９、６０４、７０６：所定マーク、１２２、１２４、１５０、３０２、３０６、３１０、３１４、３１８、９００、９１０、９２０、９３０、９４０、９５０：部分画像、５０２、５０３、５０４、５０６、６０２、６０３、７０２、７０４：候補オブジェクト
 
 
 

Claims (12)

  1. 　画像解析装置であって、
    　画像解析を実行するための学習データを記憶するメモリであって、前記学習データは、解析対象の画像の中心と細胞オブジェクトの中心とが一致するのか否かを判断するための判断データと、細胞オブジェクトに対応する細胞を分類するための分類データと、を含む、前記メモリと、
    　複数個の細胞オブジェクトを含む細胞画像を表わす細胞画像データを取得する取得部と、
    　前記細胞画像データから複数個の部分画像データのそれぞれを順次特定する第１の画像特定部と、
    　前記複数個の部分画像データのそれぞれに対して中心判断処理を順次実行する判断部であって、前記中心判断処理は、前記学習データに含まれる前記判断データを利用して、処理対象の部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致するのか否かを判断することを含む、前記判断部と、
    　前記複数個の部分画像データのそれぞれに対する前記中心判断処理の結果と、前記学習データに含まれる前記分類データと、を利用して、前記複数個の細胞オブジェクトのうちの少なくとも１個の細胞オブジェクトに対応する少なくとも１個の細胞を分類する分類部と、
    　前記分類の結果を出力する出力部と、
    　を備える画像解析装置。
  2. 　前記画像解析装置は、さらに、
    　前記細胞画像データを二値化して、二値画像データを生成する生成部を備え、
    　前記第１の画像特定部は、前記二値画像データによって表わされる二値画像から細胞オブジェクトの候補である候補オブジェクトの位置を検出して、前記細胞画像データから前記検出済みの位置に対応する部分画像データを特定することを繰り返すことによって、前記複数個の部分画像データのそれぞれを順次特定し、
    　前記画像解析装置は、さらに、
    　前記複数個の部分画像データのうちの第１の部分画像データに対する前記中心判断処理において、前記第１の部分画像データによって表わされる第１の部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、前記第１の部分画像が対象細胞オブジェクトを含む場合に、前記細胞画像データから、前記対象細胞オブジェクトを含む第２の部分画像を表わす第２の部分画像データを特定する第２の画像特定部であって、前記第２の部分画像の中心と前記対象細胞オブジェクトの中心とは一致する、前記第２の画像特定部を備え、
    　前記分類部は、前記第２の部分画像データと前記分類データとを利用して、前記対象細胞オブジェクトに対応する細胞を分類する、請求項１に記載の画像解析装置。
  3. 　前記画像解析装置は、さらに、
    　前記第１の部分画像データに対する前記中心判断処理において、前記第１の部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、前記第１の部分画像が前記対象細胞オブジェクトを含む場合に、前記第１の部分画像に含まれる前記対象細胞オブジェクトの中心位置を特定する位置特定部と、
    　前記二値画像データによって表わされる前記二値画像において、前記中心位置に対応する位置に所定マークを書き込むことによって、前記二値画像データを変更する変更部と、を備え、
    　前記第２の画像特定部は、変更済みの二値画像データによって表わされる変更済みの二値画像から前記所定マークの位置を検出して、前記細胞画像データから前記所定マークの位置に対応する前記第２の部分画像データを特定する、請求項２に記載の画像解析装置。
  4. 　前記位置特定部は、前記第１の部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、前記第１の部分画像が１個の前記対象細胞オブジェクトのみを含む場合に、１個の前記中心位置を特定し、
    　前記変更部は、前記二値画像データによって表わされる前記二値画像において、前記１個の中心位置に対応する１個の位置に１個の前記所定マークを書き込むことによって、前記二値画像データを変更し、
    　前記第２の画像特定部は、前記変更済みの二値画像データによって表わされる前記変更済みの二値画像から前記１個の所定マークの位置を検出して、前記細胞画像データから前記１個の所定マークの位置に対応する前記第２の部分画像データを特定する、請求項３に記載の画像解析装置。
  5. 　前記位置特定部は、前記第１の部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、前記第１の部分画像が２個以上の前記対象細胞オブジェクトを含む場合に、２個以上の前記中心位置を特定し、
    　前記変更部は、前記二値画像データによって表わされる前記二値画像において、前記２個以上の中心位置に対応する２個以上の位置に２個以上の前記所定マークを書き込むことによって、前記二値画像データを変更し、
    　前記第２の画像特定部は、前記変更済みの二値画像データによって表わされる前記変更済みの二値画像から前記２個以上の所定マークのそれぞれの位置を検出して、前記細胞画像データから前記２個以上の所定マークのそれぞれの位置に対応する２個以上の前記第２の部分画像データを特定する、請求項３又は４に記載の画像解析装置。
  6. 　前記位置特定部は、前記２個以上の前記対象細胞オブジェクトが、前記第１の部分画像の中心から第１の距離である第１の中心位置を有する第１の細胞オブジェクトと、前記第１の部分画像の中心から前記第１の距離よりも大きい第２の距離である第２の中心位置を有する第２の細胞オブジェクトと、を含む場合に、前記第１の中心位置と前記第２の中心位置とを含む前記２個以上の中心位置を特定し、
    　前記変更部は、前記二値画像データによって表わされる前記二値画像において、前記第１の中心位置と前記第２の中心位置とを含む前記２個以上の中心位置に対応する前記２個以上の位置に前記２個以上の所定マークを書き込むことによって、前記二値画像データを変更する、請求項５に記載の画像解析装置。
  7. 　前記第１の画像特定部は、前記細胞画像を一定間隔で走査することによって得られる複数個の部分画像を表わす前記複数個の部分画像データのそれぞれを順次特定する、請求項１に記載の画像解析装置。
  8. 　前記分類部は、
    　　前記複数個の部分画像データのうちの処理対象の部分画像データに対する前記中心判断処理において、当該部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致すると判断される場合に、当該細胞オブジェクトに対応する細胞を分類し、
    　　前記複数個の部分画像データのうちの処理対象の部分画像データに対する前記中心判断処理において、当該部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致しないと判断される場合に、当該部分画像データを利用した分類を実行しない、請求項７に記載の画像解析装置。
  9. 　前記画像解析装置は、さらに、
    　前記細胞画像データを二値化して、二値画像データを生成する生成部と、
    　前記複数個の部分画像データのうちの処理対象の部分画像データに対する前記中心判断処理において、当該部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致しないと判断され、かつ、当該部分画像が対象細胞オブジェクトを含む場合に、前記対象細胞オブジェクトの中心位置を特定する位置特定部と、
    　前記二値画像データによって表わされる二値画像において、前記中心位置に対応する位置に所定マークを書き込むことによって、前記二値画像データを変更する変更部と、を備え、
    　前記分類部は、
    　　変更済みの二値画像データによって表わされる変更済みの二値画像から前記所定マークの位置を検出し、
    　　前記細胞画像データから前記検出済みの位置に対応する部分画像データを特定し、
    　　当該部分画像データと前記分類データとを利用して、当該部分画像データによって表わされる部分画像に含まれる前記対象細胞オブジェクトに対応する細胞を分類する、請求項７に記載の画像解析装置。
  10. 　前記学習データは、畳み込みニューラルネットワークに従った画像解析、又は、畳み込みニューラルネットワークを部分構造として有する大規模ネットワークに従った画像解析を実行するためのデータである、請求項１から９のいずれか一項に記載の画像解析装置。
  11. 　画像解析装置を実現するためのコンピュータプログラムであって、
    　前記画像解析装置は、画像解析を実行するための学習データを記憶するメモリであって、前記学習データは、解析対象の画像の中心と細胞オブジェクトの中心とが一致するのか否かを判断するための判断データと、細胞オブジェクトに対応する細胞を分類するための分類データと、を含む、前記メモリを備え、
    　前記コンピュータプログラムは、前記画像解析装置のコンピュータを、以下の各部、即ち、
    　複数個の細胞オブジェクトを含む細胞画像を表わす細胞画像データを取得する取得部と、
    　前記細胞画像データから複数個の部分画像データのそれぞれを順次特定する第１の画像特定部と、
    　前記複数個の部分画像データのそれぞれに対して中心判断処理を順次実行する判断部であって、前記中心判断処理は、前記学習データに含まれる前記判断データを利用して、処理対象の部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致するのか否かを判断することを含む、前記判断部と、
    　前記複数個の部分画像データのそれぞれに対する前記中心判断処理の結果と、前記学習データに含まれる前記分類データと、を利用して、前記複数個の細胞オブジェクトのうちの少なくとも１個の細胞オブジェクトに対応する少なくとも１個の細胞を分類する分類部と、
    　前記分類の結果を出力する出力部と、
    　として機能させる、コンピュータプログラム。
  12. 　画像解析方法であって、
    　複数個の細胞オブジェクトを含む細胞画像を表わす細胞画像データを取得する取得工程と、
    　前記細胞画像データから複数個の部分画像データのそれぞれを順次特定する第１の画像特定工程と、
    　前記複数個の部分画像データのそれぞれに対して中心判断処理を順次実行する判断工程であって、前記中心判断処理は、画像解析を実行するための学習データに含まれる判断データを利用して、処理対象の部分画像データによって表わされる部分画像の中心と細胞オブジェクトの中心とが一致するのか否かを判断することを含む、前記判断工程と、
    　前記複数個の部分画像データのそれぞれに対する前記中心判断処理の結果と、前記学習データに含まれる分類データと、を利用して、前記複数個の細胞オブジェクトのうちの少なくとも１個の細胞オブジェクトに対応する少なくとも１個の細胞を分類する分類工程と、
    　前記分類の結果を出力する出力工程と、
    　を備える方法。
PCT/JP2017/017559 2017-05-09 2017-05-09 画像解析装置 WO2018207261A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17909404.0A EP3624053B1 (en) 2017-05-09 2017-05-09 Image analysis device
PCT/JP2017/017559 WO2018207261A1 (ja) 2017-05-09 2017-05-09 画像解析装置
US16/609,123 US11170501B2 (en) 2017-05-09 2017-05-09 Image analysis device
JP2019516775A JP6733983B2 (ja) 2017-05-09 2017-05-09 画像解析装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/017559 WO2018207261A1 (ja) 2017-05-09 2017-05-09 画像解析装置

Publications (1)

Publication Number Publication Date
WO2018207261A1 true WO2018207261A1 (ja) 2018-11-15

Family

ID=64104465

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/017559 WO2018207261A1 (ja) 2017-05-09 2017-05-09 画像解析装置

Country Status (4)

Country Link
US (1) US11170501B2 (ja)
EP (1) EP3624053B1 (ja)
JP (1) JP6733983B2 (ja)
WO (1) WO2018207261A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020191841A (ja) * 2019-05-29 2020-12-03 大日本印刷株式会社 マイコプラズマ検査装置、マイコプラズマ表示装置、マイコプラズマ検査システム、マイコプラズマ表示システム、学習器、コンピュータプログラム、マイコプラズマ検査方法及び学習器の生成方法
US11170501B2 (en) 2017-05-09 2021-11-09 Toru Nagasaka Image analysis device
JP7483880B2 (ja) 2019-11-04 2024-05-15 ウモン・ヘルステック 患者の細胞の画像をラベル付けする方法、およびそのためのコンピュータ化システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101962869B1 (ko) * 2018-08-02 2019-03-27 주식회사 우리메디칼 이미지 분석에 기반한 골수판독 지원 장치
KR20210143614A (ko) * 2020-05-20 2021-11-29 삼성전자주식회사 뉴럴 네트워크를 구현하는 뉴로모픽 장치 및 그 동작 방법
WO2023075310A1 (ko) * 2021-10-25 2023-05-04 고려대학교 산학협력단 인공지능을 이용한 세포 판별 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003191189A (ja) * 2001-12-21 2003-07-08 Sony Corp ロボット装置及びその制御方法
JP2009236728A (ja) * 2008-03-27 2009-10-15 Nec Corp 画像解析装置、その方法、プログラムおよび記録媒体
JP2011027542A (ja) * 2009-07-24 2011-02-10 Olympus Corp 細胞画像解析装置
JP2011527055A (ja) 2008-07-03 2011-10-20 エヌイーシー ラボラトリーズ アメリカ インク 有糸分裂像検出装置および計数システム、および有糸分裂像を検出して計数する方法
JP2013065156A (ja) * 2011-09-16 2013-04-11 Kddi Corp 画像解析装置および画像評価装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5313532A (en) 1990-01-23 1994-05-17 Massachusetts Institute Of Technology Recognition of patterns in images
GB0503629D0 (en) * 2005-02-22 2005-03-30 Durand Technology Ltd Method and apparatus for automated analysis of biological specimen
WO2008005426A2 (en) * 2006-06-30 2008-01-10 University Of South Florida Computer-aided pathological diagnosis system
JP2011052700A (ja) 2009-08-31 2011-03-17 Thk Co Ltd 潤滑油供給装置及びこれを用いた運動案内装置
JP5376024B1 (ja) * 2012-08-23 2013-12-25 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
JP5413501B1 (ja) * 2012-12-07 2014-02-12 富士ゼロックス株式会社 画像処理装置、画像処理システム及びプログラム
JP6733983B2 (ja) 2017-05-09 2020-08-05 暢 長坂 画像解析装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003191189A (ja) * 2001-12-21 2003-07-08 Sony Corp ロボット装置及びその制御方法
JP2009236728A (ja) * 2008-03-27 2009-10-15 Nec Corp 画像解析装置、その方法、プログラムおよび記録媒体
JP2011527055A (ja) 2008-07-03 2011-10-20 エヌイーシー ラボラトリーズ アメリカ インク 有糸分裂像検出装置および計数システム、および有糸分裂像を検出して計数する方法
JP2011027542A (ja) * 2009-07-24 2011-02-10 Olympus Corp 細胞画像解析装置
JP2013065156A (ja) * 2011-09-16 2013-04-11 Kddi Corp 画像解析装置および画像評価装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3624053A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170501B2 (en) 2017-05-09 2021-11-09 Toru Nagasaka Image analysis device
JP2020191841A (ja) * 2019-05-29 2020-12-03 大日本印刷株式会社 マイコプラズマ検査装置、マイコプラズマ表示装置、マイコプラズマ検査システム、マイコプラズマ表示システム、学習器、コンピュータプログラム、マイコプラズマ検査方法及び学習器の生成方法
JP7483880B2 (ja) 2019-11-04 2024-05-15 ウモン・ヘルステック 患者の細胞の画像をラベル付けする方法、およびそのためのコンピュータ化システム

Also Published As

Publication number Publication date
EP3624053A1 (en) 2020-03-18
JPWO2018207261A1 (ja) 2019-11-21
US20200211182A1 (en) 2020-07-02
EP3624053B1 (en) 2022-12-21
JP6733983B2 (ja) 2020-08-05
US11170501B2 (en) 2021-11-09
EP3624053A4 (en) 2020-05-27

Similar Documents

Publication Publication Date Title
US11288795B2 (en) Assessing risk of breast cancer recurrence
JP6733983B2 (ja) 画像解析装置
US10796429B2 (en) Systems and methods for area-of-interest detection using slide thumbnail images
CN109791693B (zh) 用于提供可视化全切片图像分析的数字病理学系统及相关工作流程
EP3108446B1 (en) Medical image analysis for identifying biomarker-positive tumor cells
US11328420B2 (en) Quality control of automated whole-slide analyses
JP2021506003A (ja) デジタル病理学分析結果の格納および読み出し方法
CN113574534A (zh) 使用基于距离的相似性标签的机器学习
CN110796661B (zh) 基于卷积神经网络的真菌显微图像分割检测方法及系统
CN112703531A (zh) 生成组织图像的注释数据
WO2022150554A1 (en) Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework
JP6733984B2 (ja) 画像解析装置
US20230410316A1 (en) Sequential convolutional neural networks for nuclei segmentation
WO2023064186A1 (en) Machine-learning techniques for detecting artifact pixels in images
Zhang et al. Multistage spatial property based segmentation for quantification of fluorescence distribution in cells
CN113222911A (zh) 宫颈细胞图像筛查方法、系统、计算机设备及存储介质
Bertram et al. List of content

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17909404

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019516775

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017909404

Country of ref document: EP

Effective date: 20191209