WO2022107435A1 - 画像解析方法、画像解析システム及びプログラム - Google Patents

画像解析方法、画像解析システム及びプログラム Download PDF

Info

Publication number
WO2022107435A1
WO2022107435A1 PCT/JP2021/034214 JP2021034214W WO2022107435A1 WO 2022107435 A1 WO2022107435 A1 WO 2022107435A1 JP 2021034214 W JP2021034214 W JP 2021034214W WO 2022107435 A1 WO2022107435 A1 WO 2022107435A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
tissue
partial
image analysis
attribute
Prior art date
Application number
PCT/JP2021/034214
Other languages
English (en)
French (fr)
Inventor
大作 保理江
雄一 尾崎
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2022563596A priority Critical patent/JPWO2022107435A1/ja
Publication of WO2022107435A1 publication Critical patent/WO2022107435A1/ja

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04—Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Definitions

  • the present invention relates to an image analysis method, an image analysis system and a program.
  • cancer cells are recognized to determine the infiltrated part of the tumor area, and the amount of specific biological substance is analyzed for each cell or tissue structure to measure the effect of therapeutic agents and diagnose cancer in clinical practice.
  • a technique for recognizing specific cells is required for a cell tissue morphology image obtained by taking a sample sample such as a tissue section or a cultured cell slide taken from a patient or an animal.
  • Patent Document 1 describes an invention for identifying the morphology of a plurality of cells contained in an image for analysis.
  • Patent Document 2 describes an invention for acquiring a wide range of section images by performing an integrated process after split imaging.
  • the present invention has been made in view of the above problems, and provides an image analysis method, an image analysis system, and a program that enable high-precision analysis to be performed with a relatively small memory capacity in a wide range of cell tissue morphological images.
  • the purpose is to provide.
  • the image analysis method is used. Acquisition process to acquire multiple partial cell tissue morphological images of the same cell tissue, A recognition process that recognizes the attributes of tissue objects in each cell tissue morphology image, The integration step of integrating the tissue objects that are in contact with each other at the boundary position between the plurality of partial cell tissue morphology images to generate an integrated object, and A determination step of determining the attribute of the integrated object from the attributes of each organization object recognized by the recognition step based on the object information about each organization object before integration. including.
  • the invention according to claim 2 is the image analysis method according to claim 1.
  • the plurality of partial cell tissue morphology images are acquired from the same cell tissue morphology image.
  • the invention according to claim 3 is the image analysis method according to claim 1 or 2.
  • the acquisition step the plurality of partial cell tissue images are acquired so as to have overlapping portions with each other.
  • the integration step integrates the tissue objects that are in contact with each other in the overlapping portion to generate an integrated object.
  • the invention according to claim 4 is the image analysis method according to claim 3.
  • the attribute of the tissue object in which the distance between the center of the tissue object in contact in the overlapping portion and the center of each partial cell tissue morphology image is short is determined as the attribute of the integrated object.
  • the invention according to claim 5 is the image analysis method according to any one of claims 1 to 4.
  • the recognition process recognizes the attributes of the tissue object by automatic recognition by machine learning.
  • the invention according to claim 6 is the image analysis method according to any one of claims 1 to 5.
  • the recognition step recognizes the attribute of the central pixel of the area based on the attribute of the tissue object in the designated area.
  • the image analysis system is An acquisition unit that acquires multiple partial cell tissue morphological images of the same cell tissue, A recognition unit that recognizes the attributes of tissue objects in each partial cell tissue morphology image, An integration unit that integrates tissue objects that are in contact with each other at the boundary position between the plurality of partial cell tissue morphology images to generate an integration object, and an integration unit.
  • a determination unit that determines the attributes of the integrated object from the attributes of each organization object recognized by the recognition unit based on the object information about each organization object before integration. To prepare for.
  • the program according to claim 8 is Computer, Acquisition unit that acquires multiple partial cell tissue morphological images of the same cell tissue, A recognition unit that recognizes the attributes of tissue objects in each partial cell tissue morphology image, An integration unit that creates an integration object by integrating tissue objects that are in contact with each other at the boundary position between the plurality of partial cell tissue morphology images. A determination unit that determines the attributes of the integrated object from the attributes of each organization object recognized by the recognition unit based on the object information about each organization object before integration. To function as.
  • FIG. 1 It is a figure which shows the schematic structure of the image analysis system which concerns on this invention. It is a block diagram which shows the functional structure of the image analysis apparatus of FIG. It is a flowchart which shows the image analysis process. It is a figure which shows the example which cut out a plurality of partial bright-field images from a bright-field image. There is a flowchart showing the cell recognition process. It is a figure which shows the example of the extraction of an object and the identification judgment of an object attribute. It is a figure which shows the example of the partial bright-field image. It is a figure which shows the example of a partial label image. It is a figure which shows the example of the identification determination of the area attribute. It is a figure which shows the example of the partial annotation information structure.
  • FIG. 1 shows an overall configuration example of an image analysis system 1 that executes the image analysis method according to the present embodiment.
  • the image analysis system 1 includes an image pickup device 10, an image analysis device 20, and a storage device 30, and each device is communicably connected.
  • the image pickup apparatus 10 includes a bright field light source 11, an image pickup element 12, a light guide lens 13, and a stage 14 in which a tissue sample, which is an example of a biological sample, is placed.
  • the bright-field light source 11 is a light source that irradiates a tissue sample with light for generating a light image for acquiring a bright-field image, and is installed so as to irradiate light from below the stage 14.
  • the tissue sample is irradiated by the bright-field light source 11 and an optical image is generated, the light image is guided to the image pickup element 12 via the light guide lens 13, and the bright-field image of the tissue sample is taken by the image pickup element 12. .
  • the image pickup device 12 is an image pickup device such as a two-dimensional CCD (Charge Coupled Device) sensor capable of acquiring a two-dimensional image based on an optical image of a tissue sample.
  • CCD Charge Coupled Device
  • the image analysis device 20 receives the bright field image captured by the image pickup device 10 and performs image analysis processing on the bright field image.
  • the image analysis device 20 and the image analysis process will be described in detail later.
  • the storage device 30 includes, for example, an HDD (Hard Disk Drive) or the like, and stores an image that has been image-analyzed by the image analysis device 20.
  • the image analyzed by the image analysis device 20 is stored in the storage device 30 as described above, but the image analyzed by the image analysis device 20 can be stored. If so, the storage area is not limited to the storage device 30, and may be configured not to include the storage device 30.
  • the image analyzed by the image analysis device 20 may be stored in the storage unit 22 (see FIG. 2) of the image analysis device 20 or may be stored in an external device (not shown).
  • FIG. 2 shows a block diagram showing the functional configuration of the image analysis device 20.
  • the image analysis device 20 includes a control unit 21, a storage unit 22, an operation unit 23, a display unit 24, a communication unit 25, and the like, and each unit is connected via a bus 26.
  • the control unit 21 includes a CPU (Central Processing Unit), RAM (Random Access Memory), and the like, and various processes (image analysis processing and cell recognition described later) in cooperation with various programs stored in the storage unit 22. Processing, combining processing, and object integration processing) are executed to comprehensively control the operation of the image analysis device 20.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • various processes image analysis processing and cell recognition described later
  • processing, combining processing, and object integration processing are executed to comprehensively control the operation of the image analysis device 20.
  • control unit 21 executes an acquisition step and acquires a partial brightfield image which is a plurality of partial cell tissue morphological images obtained by imaging a cell specimen which is the same cell tissue.
  • control unit 21 executes a recognition step and recognizes the attributes of the tissue object in each partial cell tissue morphology image.
  • control unit 21 executes the integration step and integrates the tissue objects that are in contact with each other at the boundary position between the plurality of partial cell tissue morphological images to generate the integrated object.
  • control unit 21 executes the determination process and determines the attribute of the integrated object from the attributes of each organization object recognized by the recognition process based on the object information about each organization object before integration. ..
  • the storage unit 22 is composed of, for example, an HDD, a semiconductor non-volatile memory, or the like. As described above, various programs, various data, and the like are stored in the storage unit 22.
  • the operation unit 23 is configured to include a keyboard equipped with character input keys, number input keys, various function keys, etc., a pointing device such as a mouse, a stylus, etc., and a key press signal and a mouse pressed by the keyboard. And the operation signal by the touch pen are output to the control unit 21 as an input signal.
  • the display unit 24 is configured to include, for example, a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), and displays various screens according to instructions of display signals input from the control unit 21.
  • a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display)
  • LCD Liquid Crystal Display
  • the communication unit 25 is an interface for transmitting / receiving data to / from an external device.
  • the control unit 21 transmits the image to the external device via the communication unit 25.
  • FIG. 3 shows a flowchart of the image analysis process executed by the image analysis device 20.
  • the image analysis process is executed in cooperation with the program stored in the storage unit 22.
  • control unit 21 receives the bright field image captured by the image pickup apparatus 10 (step S1).
  • control unit 21 cuts out a plurality of partial bright-field images from the bright-field image received in step S1 and acquires a plurality of partial bright-field images (step S2; acquisition step).
  • FIG. 4 shows an example in which a plurality of partial bright-field images are cut out from the bright-field image.
  • six partial bright-field images of the same size are cut out from the bright-field image.
  • control unit 21 performs cell recognition processing on each of the plurality of partially bright-field images cut out in step S2 (step S3).
  • the control unit 21 performs region information such as region information of each cell tissue object (hereinafter referred to as an object) such as a cell nucleus or cell membrane, attribute information such as an object type, or region information indicating the range of a disease such as a tumor portion by cell recognition processing.
  • Partial annotation information object information including area information of tissue elements such as breast ducts and blood vessels is extracted from the partial brightfield image.
  • FIG. 5 shows a flowchart of the cell recognition process.
  • the control unit 21 extracts a region in which the pixel value in the partial brightfield image is less than a predetermined threshold value (nuclear extraction threshold value X) as an object (for example, a cell nucleus region).
  • a predetermined threshold value for example, a cell nucleus region.
  • the cell nuclei a, b, c, and d shown in FIG. 6 are cell nucleus regions.
  • the control unit 21 acquires the area position information of the object in the partial bright field image by extracting the object (step S11).
  • the control unit 21 identifies and determines the object attribute (step S12; recognition step).
  • cancer cell nuclei tend to be larger than normal cell nuclei
  • region size number of pixels in a partial brightfield image
  • it is a cancer cell nucleus and is less than a predetermined threshold value. If so, it is determined to be a normal cell nucleus.
  • cell nuclei a, b, and c are cancer cell nuclei
  • cell nuclei d are normal cell nuclei.
  • the control unit 21 generates a partial label image based on the partial bright field image, the area position information of the object acquired in step S11, and the partial annotation information including the object attribute information identified and determined in step S12. (Step S13).
  • the control unit 21 displays the partial bright field image and the partial label image on the display unit 24 (step S14).
  • FIG. 7A shows an example of a partial brightfield image
  • FIG. 7B shows an example of a partial label image.
  • the control unit 21 superimposes and displays the partial bright field image and the partial label image, and while the operator looks at the partial bright field image, the inside of the closed curve generated by tracing the contour line of the cell nucleus with a touch pen is labeled as the cell nucleus.
  • the operator may extract the object and identify and determine the attribute of the object. It is also possible for the operator to update the partial label image by modifying the once generated partial label image with a stylus or the like.
  • the control unit 21 calculates the reliability by using the pixel value in the partial bright-field image as the reliability of the cell nucleus region and the region size (number of pixels) in the partial bright-field image as the reliability of the object attribute (step S15).
  • the reference pixel value P can be set in advance as an empirical value
  • the cell nucleus region reliability can be set to PR based on the pixel value R in the partial bright field image. ..
  • the calculated reliability information is included in the partial annotation information.
  • the control unit 21 may perform the identification determination of the object attribute for each object such as the cell nucleus, and then further perform the identification determination of the region attribute.
  • FIG. 8 shows an example of the identification determination of the area attribute. In the figure on the left side of FIG. 8, the portion shown in black represents the cancer cell nucleus region, and the portion shown in gray represents the normal cell nucleus region. In the partial bright field image, the control unit 21 determines that the central pixel in the region where the cell nucleus area density is equal to or higher than a predetermined value is the recognition target region pixel. In the example shown in the figure on the left side of FIG.
  • the central pixel of the region e is not regarded as the recognition target region pixel.
  • the central pixel of the regions f and g is set as the recognition target region pixel. Further, in the region where the central pixel is determined to be the recognition target region pixel, the area density of the cancer cell nucleus region and the area density of the normal cell nucleus region are compared.
  • the central pixel is regarded as the tumor region pixel, and if the area density of the normal cell nucleus region is higher, the central pixel is identified as the normal region pixel.
  • the area density of the normal cell nucleus region is higher than the area density of the cancer cell nucleus region, so that the central pixel is determined as the normal region pixel.
  • the area density of the cancer cell nucleus region is higher than the area density of the normal cell nucleus region, so that the central pixel is determined to be the tumor region pixel.
  • the partial label image can be generated based on the partial annotation information including the area position information and the area attribute information in the same manner as described above.
  • the reliability can be calculated in the same manner as described above.
  • control unit 21 can automatically extract the partial annotation information by performing the identification determination of the attribute of the object or the area by using machine learning.
  • attribute identification determination for example, a pixel having a higher output likelihood of a predetermined value or more among the output likelihood of a cancer cell nucleus and the output likelihood of a normal cell nucleus is extracted. Then, the attribute with the higher output likelihood may be selected as the identification determination result.
  • the control unit 21 stores the partial annotation information structure as shown in FIG. 9A in the storage unit 22 for each partial brightfield image based on the partial annotation information (step S16), and ends the cell recognition process. Then, the process returns to the image analysis process shown in FIG.
  • the label ID shown in FIG. 9A is a serial number of an object or an area.
  • the area position information represents the area position in the partial bright field image of the object or the area in coordinates.
  • the center position of the object or area may be used as the coordinates of the area position, or the outline of the object or area or some positions in the area may be extracted and used as the coordinates of the area position.
  • the coordinates of a plurality of region positions are extracted for one object or region.
  • the attribute information is an attribute of an object or region identified and determined in the cell recognition process.
  • the reliability information is the reliability calculated in the cell recognition process.
  • FIG. 9B shows the information in the partial annotation information structure shown in FIG. 9A for each region position.
  • the pixel of the coordinates (54,118) has the attribute of each pixel as a normal nucleus, and the reliability is 43.
  • the pixels of the coordinates (52,119) have the attribute of each pixel as a normal nucleus and the reliability is 7.
  • the pixel of the coordinates (53,119) has the attribute of each pixel being the cancer nucleus, and the reliability is 6.
  • the pixel of the coordinates (54,119) has the attribute of each pixel as a normal nucleus, and the reliability is 67. As described above, the pixel of the coordinates (53,119) has a cancer nucleus as an attribute for each pixel, but has a low reliability of 6, so that it is a normal nucleus as an integrated attribute of the object of the label ID 002.
  • FIG. 10 shows a flowchart of the joining process.
  • the control unit 21 sets the partial label image of the partial bright field image corresponding to the upper left of the entire bright field image as the target partial label image (step S21).
  • the partial label image of the partial bright field image 1 is set as the target partial label image.
  • the control unit 21 sets the first object or area in the target partial label image as the processing target area (step S22).
  • FIG. 11 shows an example of the joining process.
  • the partial label image of the partial bright field image 1 is the target partial label image.
  • any one of the cell nuclei h, i, j, k, l in the partial label image of the partial brightfield image 1 shown in the left side of FIG. 11 is the first object, and it is the processing target area. Set as.
  • the control unit 21 determines whether or not the processing target area set in step S22 is in contact with the upper, lower, left, and right ends of the target portion label image (step S23).
  • the cell nuclei h, i, j, and k are not in contact with the upper, lower, left, and right ends of the target partial label image, and the cell nucleus l is in contact with the right end of the target partial label image.
  • the processing target area does not touch the upper, lower, left, and right edges of the target partial label image (step S23; NO), that is, in the example shown in FIG. 11, any one of the cell nuclei h, i, j, and k is set as the processing target area.
  • FIG. 12 shows an example of the integrated annotation information structure.
  • the label type, area position information, attribute information, and reliability information of the object or area corresponding to the processing target area are converted into the integrated annotation information structure. make a copy.
  • the label ID in the integrated annotation information structure is newly numbered for each object or area.
  • the integrated annotation information structure is stored in the storage unit 22.
  • step S23 when the processing target area is in contact with the upper, lower, left, and right ends of the target portion label image (step S23; YES), that is, in the example shown in FIG. 11, when the cell nucleus l is set as the processing target area, the control unit. 21 implements the object integration process (step S25).
  • FIG. 13 shows a flowchart of the object integration process.
  • the control unit 21 searches for an object or area in contact with the processing target area in the partial label image adjacent to the target partial label image (step S31).
  • the partial label image adjacent to the target partial label image is the partial label image of the partial bright field image 2.
  • the object that comes into contact with the cell nucleus l, which is the region to be processed, is the cell nucleus m.
  • the control unit 21 integrates the objects or regions that come into contact with each other, determines the region position information as the integrated object or region, and adds the region location information to the integrated annotation information structure (step S32; integration step).
  • the cell nucleus l and the cell nucleus m are integrated into the integrated cell nucleus l + m.
  • shaping processing may be performed in consideration of cell-likeness.
  • the shaping process is, for example, a luminance value correction such that a morphology process is added so that the contour shape of the integrated object or region becomes a smooth curve, or the pixel value gradient near the contour changes smoothly.
  • the erroneous correspondence countermeasure processing is, for example, removing the integrated object or region as an erroneous correspondence when the contour shape and the pixel value gradient of the integrated object or region are not continuously connected.
  • the control unit 21 determines the attributes of the integrated object or region (step S33; determination step).
  • the cell nucleus l is a cancer cell and the cell nucleus m is an immune cell.
  • the cancer cell which is an attribute of the cell nucleus l having a large area (number of pixels) of the cell nucleus, is determined to be an attribute of the integrated cell nucleus l + m.
  • the reliability information of the cell nucleus l and the cell nucleus m may be compared, and the attribute having the higher reliability may be determined to be the attribute of the integrated cell nucleus l + m.
  • the control unit 21 adds the determined attribute information of the integrated object or region to the integrated annotation information structure shown in FIG. 12 as attribute information (step S34). Then, the control unit 21 ends the object integration process and returns to the join process shown in FIG.
  • control unit 21 determines whether or not the next object or region exists in the target partial label image (step S26). If there is a next object or area (step S26; YES), the control unit 21 sets the processing target area to the next object or area (step S27), and returns to step S23. If there is no next object or area (step S26; NO), the control unit 21 determines whether or not there is the next partial label image (step S28). If there is a next partial label image (step S28; YES), the control unit 21 sets the next partial label image as the target partial label image (step S29), and returns to step S22. If there is no next partial label image (step S28; NO), the control unit 21 ends the coupling process and returns to the image analysis process shown in FIG.
  • control unit 21 may display the combined bright-field image after the combination and the combined label image generated based on the integrated annotation information on the display unit 24 after the combination process.
  • the control unit 21 superimposes and displays the combined bright-field image and the combined label image on the display unit 24, as in the case of the above-mentioned extraction of the object by the operator and the identification determination of the object attribute.
  • the operator extracts the integrated object by providing a GUI that labels the inside of the closed curve generated by tracing the outline of the cell nucleus with a touch pen as the cell nucleus while the operator sees the whole bright-field image after binding.
  • the identification determination of the attribute of the integrated object may be carried out. It is also possible for the operator to update the combined label image by modifying the combined label image once generated with a stylus or the like.
  • control unit 21 converts the integrated annotation information in the integrated annotation information structure stored in the storage unit 22 into an output format and outputs it to the storage device 30 (step S5). , End the image analysis process.
  • the control unit 21 outputs the combined bright-field image and the combined label image in a format such as Jpeg or PNG, and outputs the integrated annotation information in CSV format or XML format.
  • FIG. 14 is a diagram showing an example of a combination process in the image analysis process of this modified example.
  • the configuration of the image analysis system 1 of this modification is the same as that of the image analysis system 1 of the above embodiment.
  • step S2 of the image analysis process the control unit 21 cuts out a partial bright-field image from the bright-field image so that there is an overlapping portion.
  • the right end of the partial bright field image 1 and the left end of the partial bright field image 2 overlap each other, and an overlapping portion is formed.
  • step S23 of the joining process the control unit 21 determines whether or not the processing target area exists in the overlapping portion of the target portion label image.
  • the target partial label image is the partial label image of the partial bright field image 1
  • the adjacent partial label image constituting the partial label image of the partial bright field image 1 and the partial bright field image 1 is the partial bright field image 2. It is a partial label image.
  • the objects existing in the overlapping portion are the cell nuclei n and o.
  • the control unit 21 adds the processing target area to the integrated annotation information (step S24), as in the above embodiment. Further, when the processing target area exists in the overlapping portion (step S23; YES), the control unit 21 carries out the object integration processing of this modification (step S25).
  • FIG. 15 shows a flowchart of the object integration process in this modification.
  • the control unit 21 determines whether or not there is an object or area that contacts or overlaps the processing target area in the overlapping portion of the adjacent partial label image that constitutes the overlapping portion with the target partial label image. (Step S41).
  • the object overlapping with the cell nucleus n is the cell nucleus q
  • the object overlapping with the cell nucleus o is the cell nucleus p.
  • the control unit 21 When there is an object or area that contacts or overlaps with the processing target area (step S41; YES), the control unit 21 integrates the contacting or overlapping object or area, and determines the area position information as the integrated object or area. Then, the area position information is added to the integrated annotation information structure (step S42; integration step).
  • the cell nucleus n and the cell nucleus q are integrated to form the integrated cell nucleus n + q.
  • the cell nucleus o and the cell nucleus p are combined to form an integrated cell nucleus o + p.
  • a shaping process or a mishandling countermeasure process in consideration of cell-likeness may be performed.
  • the control unit 21 calculates the first distance, which is the distance between the center coordinates of the processing target area and the center coordinates of the target portion label image, in the target portion label image (step S43).
  • the distance D1 is the first distance.
  • the first distance is the same as the distance between the center coordinates of the processing target area and the center coordinates of the partial bright field image in which the processing target area exists.
  • the control unit 21 sets the center coordinates of the object or area that is in contact with or overlaps with the processing target area and the center coordinates of the adjacent partial label image in the adjacent partial label image that constitutes the overlapping portion with the target partial label image.
  • the second distance which is the distance of the above, is calculated (step S44).
  • the processing target region is the cell nucleus o
  • the object overlapping the processing target region is the cell nucleus p
  • the distance D2 is the second distance.
  • the second distance is the same as the distance between the center coordinates of the object or area that contacts or overlaps the processing target area and the center coordinates of the partial brightfield image in which the object or area exists.
  • the control unit 21 determines whether or not the first distance calculated in step S43 is smaller than the second distance calculated in step S44 (step S45).
  • step S45 When the first distance is smaller than the second distance (step S45; YES), the control unit 21 determines that the attribute of the integrated object or area integrated in step S42 is the attribute of the processing target area in the target partial label image. Determination (step S46). At this time, steps S43 to S46 are determination steps. In the example shown in FIG. 14, when the processing target region is the cell nucleus o and the first distance D1 is smaller than the second distance D2, it is determined that the attribute of the integrated cell nucleus o + p is the attribute of the cell nucleus o. .. Next, the control unit 21 adds the determined attribute information of the integrated object or region to the integrated annotation information structure shown in FIG. 12 as attribute information (step S47). Then, the control unit 21 ends the object integration process and returns to the join process shown in FIG.
  • step S45 When the first distance is not smaller than the second distance (step S45; NO), the control unit 21 sets the attributes of the integrated object or area integrated in step S42 as the processing target area in the adjacent partial label image. It is determined that it is an attribute of a contacting or overlapping object or area (step S48), and the process proceeds to step S47. At this time, steps S43 to S45 and S48 are determination steps. In the example shown in FIG. 14, when the processing target region is the cell nucleus o and the first distance D1 is not smaller than the second distance D2, it is determined that the attribute of the integrated cell nucleus o + p is the attribute of the cell nucleus p. do.
  • control unit 21 adds the processing target area to the integrated annotation information (step S49), and ends the object integration process. , Returning to the joining process shown in FIG.
  • the object is also at the edge of the partial label image where the peripheral image information of the object is insufficient. It is possible to improve the recognition accuracy of the object without lacking the peripheral image information of.
  • the cell nucleus r is recognized in the partial label image of the partial bright field image 2, but not recognized in the partial label image of the partial bright field image 1. In such a case, by performing the binding process, the cell nucleus r is recognized in the binding label image and added to the integrated annotation information.
  • the image analysis method by the image analysis system 1 includes an acquisition step (step S2) of acquiring a plurality of partial cell tissue morphological images obtained by imaging the same cell tissue, and each partial cell tissue morphological image.
  • the determination step step S33, step S33 of determining the attribute of the integration object from the attributes of each organization object recognized by the recognition process. S43 to S46, S48) and the like. Therefore, it is possible to perform highly accurate analysis with a relatively small memory capacity in a wide range of cell tissue morphological images.
  • a plurality of partial cell tissue morphology images are acquired from the same cell tissue morphology image. Therefore, since the bright-field image can be captured only once by the image pickup device 10, it is possible to reduce the image pickup work load and the influence of the position shift that occurs at the time of image pickup.
  • a plurality of partial cell tissue images are acquired so as to have overlapping portions with each other, and in the integration step, the tissue objects in contact in the overlapping portions are integrated. Create an integrated object. Therefore, at the edge of the partial cell tissue image, the recognition accuracy of the tissue object may deteriorate due to the lack of peripheral image information of the tissue object, but the partial cell tissue images should be combined so as to have overlapping portions. Therefore, the recognition accuracy of the tissue object can be improved without lacking the peripheral image information of the tissue object.
  • the attribute of the tissue object in which the distance between the center of the tissue object in contact in the overlapping portion and the center of each partial cell tissue morphology image is short is set to the integrated object.
  • the attributes of the integrated object can be determined based on the attributes of the tissue object near the center of the partial cell tissue morphology image, that is, the attributes of the tissue object having sufficient peripheral information, so that high-precision analysis is performed. be able to.
  • the attributes of the tissue object are recognized by automatic recognition by machine learning. Therefore, the automatic recognition process by machine learning reduces the workload even if the cell tissue morphology image is wide.
  • the recognition step in the image analysis method by the image analysis system 1 recognizes the attribute of the central pixel of the region based on the attribute of the tissue object in the designated region. Therefore, in a wide range of cell tissue morphological images, it is possible to perform highly accurate analysis for each region with a relatively small memory capacity.
  • each device constituting the image analysis system 1 and the detailed operation of each device can be appropriately changed without departing from the gist of the present invention.
  • the cell recognition process determines cancer cells and normal cells, or tumor regions and normal regions, but the present invention is not limited to this. For example, it extracts and identifies other cell nuclei such as immune cells and dead cells, identifies the recognition of other objects such as cell membranes and cytoplasm, and provides area information and milk that indicate the extent of the disease. It may identify area information of tissue elements such as tubes and blood vessels.
  • unclear for example, whether it is a cancer cell or a normal cell or ambiguous one
  • undetermined for example, whether it is a cancer cell or a normal cell
  • the image pickup device 10 may take an image for each partial bright field image.
  • the amount of memory required for the image pickup apparatus 10 to take a picture can be reduced.
  • the time from the shooting to the completion of the image analysis processing can be shortened.
  • a plurality of partial bright-field images are cut out from the bright-field image with the same size, but the present invention is not limited to this.
  • the sizes of the partial brightfield images may be different as shown in FIG. 16A, or the partial brightfield images of different sizes may be overlapped as shown in FIG. 16B.
  • the search / judgment is slow but highly accurate.
  • Image analysis can be performed efficiently by processing the image 1 with a larger size image 2 by high-speed but low-precision search / judgment.
  • the high-speed processing mode is not to scan every pixel but to scan every few pixels.
  • step S1 of the image analysis process the control unit 21 of the image analysis device 20 receives the bright field image from the image pickup device 10, but the present invention is not limited to this.
  • the image pickup device 10 may transmit the bright-field image captured by the image analysis device 20 and, if necessary, also the storage device 30, and the storage device 30 may store the received bright-field image.
  • an object is extracted and an object or region attribute is identified and determined based on the pixel value and the number of pixels in the partial bright field image, but the present invention is not limited to this. ..
  • Object extraction and identification determination of the attribute of the object or the area may be performed based on the feature amount other than the pixel value and the number of pixels.
  • step S2 of the image analysis process the control unit 21 cuts out the partial bright-field image from the bright-field image so that there is an overlapped portion.
  • the area density of the object may be limited to a predetermined value or more.
  • the image analysis process can be efficiently performed by cutting out the portion having a high area density of the object so that there is an overlapping portion and cutting out the portion having a low area density of the object so that there is no overlapping portion.
  • the plurality of partial cell tissue morphological images acquired from the same cell tissue are defined as partial bright-field images cut out from the bright-field image, but the present invention is not limited to this.
  • a plurality of partially fluorescent visual field images cut out from the fluorescent image may be acquired and the image may be subjected to image analysis processing.
  • the present invention can be used in a program for controlling an image analysis method, an image analysis system, and an image analysis device.
  • Image analysis system 10 Image analysis device 11 Bright field light source 12 Image pickup element 13 Guide lens 14 Stage 20 Image analysis device 21 Control unit (acquisition unit, recognition unit, integration unit, judgment unit, computer) 22 Storage unit 23 Operation unit 24 Display unit 25 Communication unit 30 Storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Biotechnology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Genetics & Genomics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microbiology (AREA)
  • Immunology (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medicinal Chemistry (AREA)
  • Molecular Biology (AREA)
  • Toxicology (AREA)
  • Biophysics (AREA)
  • Sustainable Development (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

広範囲の細胞組織形態画像において、高精度な解析を比較的少ないメモリー容量で行うことを可能とする。　画像解析方法は、同一の細胞組織を撮像した複数の部分細胞組織形態画像を取得する取得工程と、各々の部分細胞組織形態画像における組織オブジェクトの属性を認識する認識工程と、複数の部分細胞組織形態画像間の境界位置で接触している組織オブジェクトを統合して統合オブジェクトを生成する統合工程（ステップＳ３２）と、統合前の各々の組織オブジェクトに関するオブジェクト情報に基づいて、前記認識工程により認識された各々の組織オブジェクトの属性の中から、前記統合オブジェクトの属性を判定する判定工程（ステップＳ３３）と、を備える。

Description

画像解析方法、画像解析システム及びプログラム
　本発明は、画像解析方法、画像解析システム及びプログラムに関する。
　従来、腫瘍領域の浸潤部を判定するためにがん細胞を認識したり、細胞や組織構造ごとに特定生体物質の量を解析することで治療薬の効果測定や臨床現場でがん診断を行いたいなどの要求がある。そのためには、患者や動物から摂取した組織切片や培養細胞スライドなどの検体サンプルを撮影した細胞組織形態画像に対して、特定の細胞を認識する技術が必要である。
　これに関連して、特許文献１には、解析用画像に含まれる複数の細胞について各々の形態を識別する発明が記載されている。
　また、特許文献２には、分割撮影後に統合処理を行うことで広範囲の切片画像を取得する発明が記載されている。
特開２０１９－１９５３０４号公報 国際公開第２０１６／０６７４５６号
　ところで、検体サンプルの広範囲の組織領域に対して生体物質の量を解析する場合、細胞の認識は、ホールスライドイメージ（whole slide image：ＷＳＩ）スキャナによる撮像画像に対して行う必要があるが、ＷＳＩ画像は画像サイズが膨大であるため、装置の必要メモリー容量が膨大になってしまうという問題がある。
　しかしながら、特許文献１に記載された発明では、細胞の形態を識別する処理を分割処理するという概念がなく、画像サイズが膨大になる場合において上記問題は解決されない。
　また、ＷＳＩ画像において分割処理した場合、分割画像ごとに同一の組織オブジェクトや局所領域についての認識結果が異なることで解析精度に問題が生じる。
　しかしながら、特許文献２に記載された発明は、分割画像を繋ぎ合わせただけであるため、上記問題は解決されない。
　本発明は上記課題を鑑みてなされたものであって、広範囲の細胞組織形態画像において、高精度な解析を比較的少ないメモリー容量で行うことを可能とする画像解析方法、画像解析システム及びプログラムを提供することを目的とする。
　上記課題を解決するため、請求項１に記載の画像解析方法は、
　同一の細胞組織を撮像した複数の部分細胞組織形態画像を取得する取得工程と、
　各々の細胞組織形態画像における組織オブジェクトの属性を認識する認識工程と、
　前記複数の部分細胞組織形態画像間の境界位置で接触している組織オブジェクトを統合して統合オブジェクトを生成する統合工程と、
　統合前の各々の組織オブジェクトに関するオブジェクト情報に基づいて、前記認識工程により認識された各々の組織オブジェクトの属性の中から、前記統合オブジェクトの属性を判定する判定工程と、
　を含む。
　また、請求項２に記載の発明は、請求項１に記載の画像解析方法において、
　前記取得工程は、同一の細胞組織形態画像から前記複数の部分細胞組織形態画像を取得する。
　また、請求項３に記載の発明は、請求項１又は２に記載の画像解析方法において、
　前記取得工程は、前記複数の部分細胞組織画像をお互いに重複部分があるように取得し、
　前記統合工程は、前記重複部分において接触している組織オブジェクトを統合して統合オブジェクトを生成する。
　また、請求項４に記載の発明は、請求項３に記載の画像解析方法において、
　前記判定工程は、前記重複部分において接触している組織オブジェクトの中心と各々の部分細胞組織形態画像の中心との距離が短い組織オブジェクトの属性を前記統合オブジェクトの属性として判定する。
　また、請求項５に記載の発明は、請求項１から４のいずれか一項に記載の画像解析方法において、
　前記認識工程は、機械学習による自動認識によって組織オブジェクトの属性を認識する。
　また、請求項６に記載の発明は、請求項１から５のいずれか一項に記載の画像解析方法において、
　前記認識工程は、指定された領域内の前記組織オブジェクトの属性に基づいて、当該領域の中心画素の属性を認識する。
　また、請求項７に記載の画像解析システムは、
　同一の細胞組織を撮像した複数の部分細胞組織形態画像を取得する取得部と、
　各々の部分細胞組織形態画像における組織オブジェクトの属性を認識する認識部と、
　前記複数の部分細胞組織形態画像間の境界位置で接触している組織オブジェクトを統合して統合オブジェクトを生成する統合部と、
　統合前の各々の組織オブジェクトに関するオブジェクト情報に基づいて、前記認識部により認識された各々の組織オブジェクトの属性の中から、前記統合オブジェクトの属性を判定する判定部と、
　を備える。
　また、請求項８に記載のプログラムは、
　コンピューターを、
　同一の細胞組織を撮像した複数の部分細胞組織形態画像を取得する取得部、
　各々の部分細胞組織形態画像における組織オブジェクトの属性を認識する認識部、
　前記複数の部分細胞組織形態画像間の境界位置で接触している組織オブジェクトを統合して統合オブジェクトを生成する統合部、
　統合前の各々の組織オブジェクトに関するオブジェクト情報に基づいて、前記認識部により認識された各々の組織オブジェクトの属性の中から、前記統合オブジェクトの属性を判定する判定部、
　として機能させる。
　本発明によれば、広範囲の細胞組織形態画像において、高精度な解析を比較的少ないメモリー容量で行うことが可能となる。
本発明に係る画像解析システムの概略構成を示す図である。 図１の画像解析装置の機能的構成を示すブロック図である。 画像解析処理を示すフローチャートである。 明視野画像から複数の部分明視野画像を切り出した例を示す図である。 細胞認識処理を示すフローチャートある。 オブジェクトの抽出とオブジェクト属性の識別判定の例を示す図である。 部分明視野画像の例を示す図である。 部分ラベル画像の例を示す図である。 領域属性の識別判定の例を示す図である。 部分アノテーション情報構造の例を示す図である。 部分アノテーション情報構造内の情報の例を示す図である。 結合処理を示すフローチャートである。 結合処理の例を示す図である。 統合アノテーション情報構造の例を示す図である。 オブジェクト統合処理を示すフローチャートである。 変形例の結合処理の例を示す図である。 変形例のオブジェクト統合処理を示すフローチャートである。 画像の大きさが異なる部分明視野画像の例を示す図である。 画像の大きさが異なる部分明視野画像の例を示す図である。
　以下、本発明の実施の形態について図面を参照して説明する。ただし、本発明はこれらに限定されない。
［画像解析システムの構成］
　図１に、本実施形態に係る画像解析方法を実行する画像解析システム１の全体構成例を示す。図１に示すように、画像解析システム１は、撮像装置１０と、画像解析装置２０と、記憶装置３０と備え、各装置が通信可能に接続されている。
　撮像装置１０は、明視野光源１１と、撮像素子１２と、導光レンズ１３と、生体サンプルの一例である組織標本を設置するステージ１４を備える。
　明視野光源１１は、組織標本に対して明視野画像取得用の光像を生成するための光を照射する光源であり、ステージ１４の下方から光を照射するように設置されている。明視野光源１１によって組織標本が照射され光像が生成されると、導光レンズ１３を介して光像が撮像素子１２へと導かれ、撮像素子１２によって組織標本の明視野画像が撮影される。
　なお、撮像素子１２は、組織標本の光像による２次元画像が取得可能な２次元ＣＣＤ（Charge Coupled Device）センサーなどの撮像素子である。
　画像解析装置２０は、撮像装置１０によって撮像された明視野画像を受信し、当該明視野画像を画像解析処理する。画像解析装置２０及び画像解析処理については後に詳述する。
　記憶装置３０は、例えばＨＤＤ（Hard Disk Drive）等を備え、画像解析装置２０によって画像解析処理された画像を保存する。
　なお、本実施形態では、上述のように画像解析装置２０によって画像解析処理された画像を記憶装置３０に保存することとして説明するが、画像解析装置２０によって画像解析処理された画像が保存可能であれば、その保存領域は記憶装置３０に限定されず、記憶装置３０を備えない構成であっても良い。
　例えば、画像解析装置２０によって画像解析処理された画像を画像解析装置２０の記憶部２２（図２参照）に保存しても良いし、図示しない外部装置に保存しても良い。
　図２に、画像解析装置２０の機能的構成を示すブロック図を示す。図２に示すように、画像解析装置２０は、制御部２１、記憶部２２、操作部２３、表示部２４、通信部２５等を備えており、各部はバス２６を介して接続されている。
　制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えており、記憶部２２に記憶されている各種プログラムとの協働により各種処理（後述する画像解析処理、細胞認識処理、結合処理及びオブジェクト統合処理を含む）を実行し、画像解析装置２０の動作を統括的に制御する。
　また、制御部２１は、取得工程を実行し、同一の細胞組織である細胞標本を撮像した複数の部分細胞組織形態画像である部分明視野画像を取得する。
　また、制御部２１は、認識工程を実行し、各々の部分細胞組織形態画像における組織オブジェクトの属性を認識する。
　また、制御部２１は、統合工程を実行し、複数の部分細胞組織形態画像間の境界位置で接触している組織オブジェクトを統合して統合オブジェクトを生成する。
　また、制御部２１は、判定工程を実行し、統合前の各々の組織オブジェクトに関するオブジェクト情報に基づいて、認識工程により認識された各々の組織オブジェクトの属性の中から、統合オブジェクトの属性を判定する。
　記憶部２２は、例えばＨＤＤや半導体の不揮発性メモリー等で構成されている。記憶部２２には、前述のように各種プログラムや各種データ等が記憶されている。
　操作部２３は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイス、タッチペン等を備えて構成され、キーボードで押下操作されたキーの押下信号とマウス及びタッチペンによる操作信号とを、入力信号として制御部２１に出力する。
　表示部２４は、例えば、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等のモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。
　通信部２５は、外部装置との間でデータ送受信を行なうためのインターフェースである。
　画像解析装置２０によって画像解析処理された画像を図示しない外部装置に保存する場合、制御部２１は、通信部２５を介して、当該画像を外部装置に送信する。
［画像解析装置の動作］
　図３に、画像解析装置２０において実行される画像解析処理のフローチャートを示す。画像解析処理は、記憶部２２に記憶されているプログラムとの協働により実行される。
　まず、制御部２１は、撮像装置１０によって撮影された明視野画像を受信する（ステップＳ１）。
　次に、制御部２１は、ステップＳ１において受信した明視野画像から複数の部分明視野画像を切り出し、複数の部分明視野画像を取得する（ステップＳ２；取得工程）。
　図４に明視野画像から複数の部分明視野画像を切り出した例を示す。図４に示す例では、明視野画像から同じサイズの６つの部分明視野画像が切り出される。
　次に、制御部２１は、ステップＳ２において切り出した複数の部分明視野画像の夫々に細胞認識処理を実施する（ステップＳ３）。
　制御部２１は、細胞認識処理により、細胞核や細胞膜などの各細胞組織オブジェクト（以下、オブジェクトと表記する）の領域情報やオブジェクト種類などの属性情報、あるいは腫瘍部分などの疾患の範囲を示す領域情報や乳管・血管などの組織要素の領域情報等を含む部分アノテーション情報（オブジェクト情報）を部分明視野画像から抽出する。
　図５に、細胞認識処理のフローチャートを示す。
　まず、制御部２１は、図６に示すように部分明視野画像における画素値が所定の閾値（核抽出閾値Ｘ）未満の領域をオブジェクト（例えば、細胞核領域）として抽出する。図６に示す細胞核ａ、ｂ、ｃ、ｄが細胞核領域である。そして、制御部２１は、オブジェクトの抽出によって、部分明視野画像におけるオブジェクトの領域位置情報を取得する（ステップＳ１１）。
　次に、制御部２１は、オブジェクト属性を識別判定する（ステップＳ１２；認識工程）。がん細胞核は正常細胞核よりも大きい傾向にあることが知られているため、領域サイズ（部分明視野画像における画素数）が所定の閾値以上であれば、がん細胞核であり、所定の閾値未満であれば正常細胞核と判定する。図６に示す例においては、細胞核ａ、ｂ、ｃががん細胞核、細胞核ｄが正常細胞核である。
　次に、制御部２１は、部分明視野画像と、ステップＳ１１において取得したオブジェクトの領域位置情報、及びステップＳ１２において識別判定したオブジェクト属性情報を含む部分アノテーション情報とを基に部分ラベル画像を生成する（ステップＳ１３）。
　次に、制御部２１は、表示部２４に部分明視野画像及び部分ラベル画像を表示する（ステップＳ１４）。図７Ａに部分明視野画像の例を示し、図７Ｂに部分ラベル画像の例を示す。
　また、制御部２１は、部分明視野画像と部分ラベル画像を重畳表示し、オペレーターが部分明視野画像を見ながら、細胞核の輪郭線をタッチペンでなぞって生成される閉曲線の内側を細胞核としてラベル付けするようなＧＵＩを備えることで、オペレーターがオブジェクトの抽出及びオブジェクトの属性の識別判定を実施してもよい。なお、一度生成された部分ラベル画像をオペレーターがタッチペンなどで修正することで、部分ラベル画像を更新するということも可能である。
　次に、制御部２１は、部分明視野画像における画素値を細胞核領域の信頼度、部分明視野画像における領域サイズ（画素数）をオブジェクト属性の信頼度として信頼度を算出する（ステップＳ１５）。例えば、画素値による信頼度の算出は、予め経験的な値で基準画素値Ｐを設定し、部分明視野画像における画素値Ｒに基づいて、細胞核領域信頼度はＰ－Ｒとすることができる。また、領域サイズによる信頼度の算出は、予め経験的な値で基準画素数値Ｑを設定し、部分明視野画像において検出された領域の画素数Ｓを用いて、Ｓ≧Ｑならばがん細胞核信頼度＝Ｓ－Ｑ、Ｓ＜Ｑならば正常細胞信頼度＝Ｑ－Ｓとすることができる。
　算出された信頼度情報は部分アノテーション情報に含まれる。
　また、制御部２１は、図６に示したように細胞核のようなオブジェクトごとにオブジェクト属性の識別判定を実施した上でさらに、領域属性の識別判定を実施してもよい。
　図８に領域属性の識別判定の例を示す。図８の左側の図において、黒色で示された部分ががん細胞核領域を表し、グレーで示された部分が正常細胞核領域を表している。制御部２１は、部分明視野画像において、細胞核面積密度が所定値以上の領域の中心画素を認識対象領域画素と判定する。図８の左側の図に示す例において、領域ｅは、細胞核面積密度が所定値未満であるので、領域ｅの中心画素を認識対象領域画素とはみなさない。一方、領域ｆ、ｇは、細胞核面積密度が所定値以上であるので、領域ｆ、ｇの中心画素を認識対象領域画素とする。
　さらに、中心画素が認識対象領域画素と判定された領域において、がん細胞核領域の面積密度と正常細胞核領域の面積密度を比較する。そして、がん細胞核領域の面積密度の方が高ければ中心画素を腫瘍領域画素とし、正常細胞核領域の面積密度の方が高ければ中心画素を正常領域画素として識別判定する。図８の左側の図に示す例では、領域ｆは、がん細胞核領域の面積密度より正常細胞核領域の面積密度の方が高いので、中心画素が正常領域画素として判定される。また、領域ｇは、正常細胞核領域の面積密度よりがん細胞核領域の面積密度の方が高いので、中心画素が腫瘍領域画素と判定される。
　図８の右側の図に、上記の領域属性の識別判定を部分明視野画像の全面に対して実施した結果を示す。図８の右側の図において、黒色で示された領域が腫瘍領域であり、グレーで示された部分が正常領域である。
　領域属性の識別判定を実施した部分明視野画像においても、上記と同様に領域位置情報と領域属性情報とを含む部分アノテーション情報を基に部分ラベル画像を生成することができる。また、上記と同様に信頼度を算出することができる。
　また、制御部２１はオブジェクトや領域の属性の識別判定を、機械学習を用いて実施することで、部分アノテーション情報の抽出を自動で行うことができる。
　機械学習を用いて、属性の識別判定を実施する場合には、例えば、がん細胞核の出力尤度と正常細胞核の出力尤度のうち、高い方の出力尤度が所定値以上の画素を抽出した上で、出力尤度の高い方の属性を識別判定結果として選択すればよい。
　次に、制御部２１は、部分アノテーション情報に基づいて、部分明視野画像ごとに、図９Ａに示すような部分アノテーション情報構造を記憶部２２に記憶し（ステップＳ１６）、細胞認識処理を終了して、図３に示す画像解析処理に戻る。
　図９Ａに示すラベルＩＤは、オブジェクトあるいは領域の通し番号である。
　また、領域位置情報は、オブジェクトや領域の部分明視野画像における領域位置を座標で表す。オブジェクトや領域の中心位置を領域位置の座標としてもよいし、オブジェクトや領域の輪郭あるいは領域内の位置を何点か抽出して領域位置の座標としてもよい。図９Ａに示す例では、ひとつのオブジェクトや領域に対して複数の領域位置の座標が抽出されている。
　また、属性情報は、細胞認識処理において識別判定されたオブジェクトや領域の属性である。
　また、信頼度情報は、細胞認識処理において算出された信頼度である。
　図９Ｂに、図９Ａに示された部分アノテーション情報構造内の情報を領域位置ごとに示す。
　例えば、ラベルＩＤ００２のオブジェクトにおいて、座標（５４，１１８）の画素は、画素毎の属性が正常核であり、信頼度は４３である。同様に、座標（５２，１１９）の画素は、画素毎の属性が正常核であり、信頼度は７である。座標（５３，１１９）の画素は、画素毎の属性ががん核であり、信頼度は６である。座標（５４，１１９）の画素は、画素毎の属性が正常核であり、信頼度は６７である。このように、座標（５３，１１９）の画素は、画素毎の属性ががん核であるものの、信頼度が６と低いため、ラベルＩＤ００２のオブジェクトの統合属性としては正常核となる。
　次に、制御部２１は、画像解析処理において、結合処理を実施する（ステップＳ４）。図１０に結合処理のフローチャートを示す。
　まず、制御部２１は、全体の明視野画像の左上に相当する部分明視野画像の部分ラベル画像を、対象部分ラベル画像として設定する（ステップＳ２１）。図４に示す例においては、部分明視野画像１の部分ラベル画像が対象部分ラベル画像と設定される。
　次に、制御部２１は、対象部分ラベル画像内の第１のオブジェクトあるいは領域を、処理対象領域として設定する（ステップＳ２２）。図１１に結合処理の例を示す。図１１に示す例においては、部分明視野画像１の部分ラベル画像が対象部分ラベル画像である。この場合、図１１の左側の図に示す部分明視野画像１の部分ラベル画像内の細胞核ｈ，ｉ，ｊ，ｋ，ｌのうちのいずれかが第１のオブジェクトであり、それを処理対象領域として設定する。
　次に、制御部２１は、ステップＳ２２において設定した処理対象領域は、対象部分ラベル画像の上下左右端に接触しているか否かを判断する（ステップＳ２３）。図１１に示す例においては、細胞核ｈ，ｉ，ｊ，ｋは対象部分ラベル画像の上下左右端に接触しておらず、細胞核ｌが対象部分ラベル画像の右端に接触している。
　処理対象領域が対象部分ラベル画像の上下左右端に接触していない場合（ステップＳ２３；ＮＯ）、つまり図１１に示す例において、細胞核ｈ，ｉ，ｊ，ｋのいずれかを処理対象領域に設定している場合、制御部２１は、処理対象領域を統合アノテーション情報へ追加する（ステップＳ２４）。図１２に統合アノテーション情報構造の例を示す。図１２に示す例においては、部分明視野画像１の部分アノテーション情報構造から、処理対象領域に対応するオブジェクトあるいは領域のラベル種別、領域位置情報、属性情報、及び信頼度情報を統合アノテーション情報構造にコピーする。そして、統合アノテーション情報構造におけるラベルＩＤは、オブジェクトあるいは領域ごとに新たに通し番号が付けられる。当該統合アノテーション情報構造は記憶部２２に記憶される。
　また、処理対象領域が対象部分ラベル画像の上下左右端に接触している場合（ステップＳ２３；ＹＥＳ）、つまり図１１に示す例において、細胞核ｌを処理対象領域に設定している場合、制御部２１は、オブジェクト統合処理を実施する（ステップＳ２５）。図１３にオブジェクト統合処理のフローチャートを示す。
　オブジェクト統合処理において、制御部２１は、対象部分ラベル画像に隣接する部分ラベル画像において、処理対象領域と接触するオブジェクトあるいは領域を探索する（ステップＳ３１）。図１１に示す例においては、対象部分ラベル画像に隣接する部分ラベル画像は部分明視野画像２の部分ラベル画像である。そして、処理対象領域である細胞核ｌと接触するオブジェクトは細胞核ｍである。
　次に、制御部２１は、接触するオブジェクトあるいは領域を統合し、統合オブジェクトあるいは領域として、領域位置情報を決定し、統合アノテーション情報構造に当該領域位置情報を追加する（ステップＳ３２；統合工程）。図１１に示す例においては、細胞核ｌと細胞核ｍを統合し、統合細胞核ｌ＋ｍとする。
　ここで、接触するオブジェクトあるいは領域を統合する際、細胞らしさを考慮した整形処理を行ってもよい。整形処理とは、例えば、統合オブジェクトあるいは領域の輪郭形状が滑らかな曲線になるようにモルフォロジー処理を追加したり、輪郭付近での画素値勾配が滑らかに変化するような輝度値補正である。
　また、接触するオブジェクトあるいは領域を統合する際に、細胞らしさを考慮した誤対応対策処理を行ってもよい。誤対応対策処理とは、例えば、統合オブジェクトあるいは領域の輪郭形状や画素値勾配が連続的に繋がらない場合は誤対応であるとして統合オブジェクトあるいは領域を除去するなどである。
　次に、制御部２１は、統合オブジェクトあるいは領域の属性を判定する（ステップＳ３３；判定工程）。図１１に示す例においては、細胞核ｌはがん細胞であり、細胞核ｍは免疫細胞である。この場合、細胞核の面積（画素数）が大きい細胞核ｌの属性であるがん細胞を、統合細胞核ｌ＋ｍの属性と判定する。または、細胞核ｌと細胞核ｍの信頼度情報を比較し、信頼度が高い方の属性を、統合細胞核ｌ＋ｍの属性と判定してもよい。
　次に、制御部２１は、判定した統合オブジェクトあるいは領域の属性情報を、図１２に示す統合アノテーション情報構造に属性情報として追加する（ステップＳ３４）。そして、制御部２１は、オブジェクト統合処理を終了し、図１０に示す結合処理に戻る。
　次に、制御部２１は、対象部分ラベル画像内に次のオブジェクトあるいは領域があるかどうか判断する（ステップＳ２６）。次のオブジェクトあるいは領域がある場合（ステップＳ２６；ＹＥＳ）、制御部２１は、処理対象領域を、次のオブジェクトあるいは領域に設定し（ステップＳ２７）、ステップＳ２３に戻る。
　また、次のオブジェクトあるいは領域がない場合（ステップＳ２６；ＮＯ）、制御部２１は、次の部分ラベル画像はあるか否かを判断する（ステップＳ２８）。次の部分ラベル画像がある場合（ステップＳ２８；ＹＥＳ）、制御部２１は、次の部分ラベル画像を対象部分ラベル画像に設定し（ステップＳ２９）、ステップＳ２２に戻る。
　また、次の部分ラベル画像がない場合（ステップＳ２８；ＮＯ）、制御部２１は、結合処理を終了し、図３に示す画像解析処理に戻る。
　また、制御部２１は、結合処理後に、結合後の全体明視野画像と、統合アノテーション情報をもとに生成された結合ラベル画像とを表示部２４に表示してもよい。この場合、上記したオペレーターによるオブジェクトの抽出及びオブジェクトの属性の識別判定と同様に、制御部２１は、結合後の全体明視野画像と結合ラベル画像を表示部２４に重畳表示する。そして、オペレーターが結合後の全体明視野画像を見ながら、細胞核の輪郭線をタッチペンでなぞって生成される閉曲線の内側を細胞核としてラベル付けするようなＧＵＩを備えることで、オペレーターが統合オブジェクトの抽出及び統合オブジェクトの属性の識別判定を実施してもよい。なお、一度生成された結合ラベル画像をオペレーターがタッチペンなどで修正することで、結合ラベル画像を更新するということも可能である。
　次に、制御部２１は、画像解析処理において、記憶部２２に記憶されている統合アノテーション情報構造内の統合アノテーション情報を出力用の形式に変換して、記憶装置３０に出力し（ステップＳ５）、画像解析処理を終了する。例えば、制御部２１は、結合後の全体明視野画像や結合ラベル画像をＪｐｅｇやＰＮＧのような形式で画像出力したり、統合アノテーション情報をＣＳＶ形式やＸＭＬ形式でテキストデータ出力を行う。
［変形例］
　図１４は、本変形例の画像解析処理における結合処理の例を示す図である。以下では、上記実施形態との差異を中心に説明する。本変形例の画像解析システム１の構成は、上記実施形態の画像解析システム１と同一である。
　本変形例では、画像解析処理のステップＳ２において、制御部２１は、重複部分があるように、明視野画像から部分明視野画像を切り出す。図１４に示す例において、部分明視野画像１の右端と部分明視野画像２の左端が重なっており、重複部分ができている。
　また、本変形例では、結合処理のステップＳ２３において、制御部２１は、処理対象領域が対象部分ラベル画像の重複部分に存在しているか否かを判断する。図１４に示す例において、対象部分ラベル画像を部分明視野画像１の部分ラベル画像とし、部分明視野画像１の部分ラベル画像と重複部分を構成する隣接の部分ラベル画像を部分明視野画像２の部分ラベル画像とする。部分明視野画像１の部分ラベル画像において、重複部分に存在するオブジェクトは細胞核ｎ、ｏである。
　処理対象領域が重複部分に存在していない場合（ステップＳ２３；ＮＯ）、上記実施形態と同様に、制御部２１は、処理対象領域を統合アノテーション情報へ追加する（ステップＳ２４）。
　また、処理対象領域が重複部分に存在している場合（ステップＳ２３；ＹＥＳ）、制御部２１は、本変形例のオブジェクト統合処理を実施する（ステップＳ２５）。
　図１５に本変形例におけるオブジェクト統合処理のフローチャートを示す。
　本変形例のオブジェクト統合処理において、制御部２１は、対象部分ラベル画像と重複部分を構成する隣接の部分ラベル画像の重複部分において、処理対象領域と接触するまたは重複するオブジェクトあるいは領域はあるか否かを判断する（ステップＳ４１）。図１４に示す部分明視野画像２の部分ラベル画像において、細胞核ｎと重複するオブジェクトは細胞核ｑであり、細胞核ｏと重複するオブジェクトは細胞核ｐである。
　処理対象領域と接触するまたは重複するオブジェクトあるいは領域がある場合（ステップＳ４１；ＹＥＳ）、制御部２１は、接触するまたは重複するオブジェクトあるいは領域を統合し、統合オブジェクトあるいは領域として、領域位置情報を決定し、統合アノテーション情報構造に当該領域位置情報を追加する（ステップＳ４２；統合工程）。図１４に示す例においては、細胞核ｎと細胞核ｑを統合し、統合細胞核ｎ＋ｑする。または、細胞核ｏと細胞核ｐを結合し、統合細胞核ｏ＋ｐとする。
　ここで、上記実施形態のオブジェクト統合処理と同様に、接触するまたは重複するオブジェクトあるいは領域を統合する際、細胞らしさを考慮した整形処理や誤対応対策処理を行ってもよい。
　次に、制御部２１は、対象部分ラベル画像において、処理対象領域の中心座標と対象部分ラベル画像の中心座標との距離である第１の距離を算出する（ステップＳ４３）。図１４に示す例において、処理対象領域を細胞核ｏとする場合、距離Ｄ１が第１の距離である。また、第１の距離は、処理対象領域の中心座標と処理対象領域が存在する部分明視野画像の中心座標との距離と同一である。
　次に、制御部２１は、対象部分ラベル画像と重複部分を構成する隣接する部分ラベル画像において、処理対象領域と接触するまたは重複するオブジェクトあるいは領域の中心座標と隣接する部分ラベル画像の中心座標との距離である第２の距離を算出する（ステップＳ４４）。図１４に示す例において、処理対象領域を細胞核ｏとする場合、処理対象領域と重複するオブジェクトが細胞核ｐであり、距離Ｄ２が第２の距離である。また、第２の距離は、処理対象領域と接触するまたは重複するオブジェクトあるいは領域の中心座標と当該オブジェクトあるいは領域が存在する部分明視野画像の中心座標との距離と同一である。
　次に、制御部２１は、ステップＳ４３において算出した第１の距離は、ステップＳ４４において算出した第２の距離より小さいか否かを判断する（ステップＳ４５）。
　第１の距離が第２の距離より小さい場合（ステップＳ４５；ＹＥＳ）、制御部２１は、ステップＳ４２において統合した統合オブジェクトあるいは領域の属性を、対象部分ラベル画像における処理対象領域の属性であると判定する（ステップＳ４６）。このとき、ステップＳ４３～Ｓ４６が判定工程である。
　図１４に示す例において、処理対象領域を細胞核ｏとし、第１の距離であるＤ１が第２の距離であるＤ２より小さい場合、統合細胞核ｏ＋ｐの属性は、細胞核ｏの属性であると判定する。
　次に、制御部２１は、判定した統合オブジェクトあるいは領域の属性情報を、図１２に示す統合アノテーション情報構造に属性情報として追加する（ステップＳ４７）。
　そして、制御部２１は、オブジェクト統合処理を終了し、図１０に示す結合処理に戻る。
　また、第１の距離が第２の距離より小さくない場合（ステップＳ４５；ＮＯ）、制御部２１は、ステップＳ４２において統合した統合オブジェクトあるいは領域の属性を、隣接する部分ラベル画像における処理対象領域と接触するまたは重複するオブジェクトあるいは領域の属性であると判定し（ステップＳ４８）、ステップＳ４７に移行する。このとき、ステップＳ４３～Ｓ４５、Ｓ４８が判定工程である。
　図１４に示す例において、処理対象領域を細胞核ｏとし、第１の距離であるＤ１が第２の距離であるＤ２より小さくない場合、統合細胞核ｏ＋ｐの属性は、細胞核ｐの属性であると判定する。
　また、処理対象領域と接触するまたは重複するオブジェクトあるいは領域がない場合（ステップＳ４１；ＮＯ）、制御部２１は、処理対象領域を統合アノテーション情報へ追加し（ステップＳ４９）、オブジェクト統合処理を終了し、図１０に示す結合処理に戻る。
　また、本変形例のように、重複部分があるように、明視野画像から部分明視野画像を切り出して画像解析を実施すると、オブジェクトの周辺画像情報が不足する部分ラベル画像の端においても、オブジェクトの周辺画像情報が不足することなく、オブジェクトの認識精度を高めることができる。具体的には、図１４に示す例において、細胞核ｒは、部分明視野画像２の部分ラベル画像においては認識されているが、部分明視野画像１の部分ラベル画像においては認識されていない。このような場合に、結合処理を実施することで細胞核ｒは結合ラベル画像において認識され、統合アノテーション情報に追加される。
　以上、説明したように、画像解析システム１による画像解析方法は、同一の細胞組織を撮像した複数の部分細胞組織形態画像を取得する取得工程（ステップＳ２）と、各々の部分細胞組織形態画像における組織オブジェクトの属性を認識する認識工程（ステップＳ１２）と、複数の部分細胞組織形態画像間の境界位置で接触している組織オブジェクトを統合して統合オブジェクトを生成する統合工程（ステップＳ３２、Ｓ４２）と、統合前の各々の組織オブジェクトに関する部分アノテーション情報（オブジェクト情報）に基づいて、認識工程により認識された各々の組織オブジェクトの属性の中から、統合オブジェクトの属性を判定する判定工程（ステップＳ３３、Ｓ４３～Ｓ４６、Ｓ４８）と、を含む。
　従って、広範囲の細胞組織形態画像において、高精度な解析を比較的少ないメモリー容量で行うことが可能となる。
　また、画像解析システム１による画像解析方法における取得工程は、同一の細胞組織形態画像から複数の部分細胞組織形態画像を取得する。
　従って、撮像装置１０による明視野画像の撮像は１回で済むため、撮像作業負荷や撮像時に発生する位置ずれ影響を低減することができる。
　また、画像解析システム１による画像解析方法における取得工程は、複数の部分細胞組織画像をお互いに重複部分があるように取得し、統合工程は、重複部分において接触している組織オブジェクトを統合して統合オブジェクトを生成する。
　従って、部分細胞組織画像の端では、組織オブジェクトの周辺画像情報が不足するために、組織オブジェクトの認識精度が劣化する可能性があるが、部分細胞組織画像を重複部分があるように結合することで、組織オブジェクトの周辺画像情報が不足することなく、組織オブジェクトの認識精度を高めることができる。
　また、画像解析システム１による画像解析方法における判定工程は、重複部分において接触している組織オブジェクトの中心と各々の部分細胞組織形態画像の中心との距離が短い組織オブジェクトの属性を前記統合オブジェクトの属性として判定する。
　従って、部分細胞組織形態画像の中心に近い組織オブジェクトの属性、つまり、周辺情報が十分にある組織オブジェクトの属性に基づいて、統合オブジェクトの属性を判定することができるので、高精度の解析を行うことができる。
　また、画像解析システム１による画像解析方法における認識工程は、機械学習による自動認識によって組織オブジェクトの属性を認識する。
　従って、機械学習による自動認識処理により、細胞組織形態画像が広範囲であっても作業負荷が低減される。
　また、画像解析システム１による画像解析方法における認識工程は、指定された領域内の組織オブジェクトの属性に基づいて、当該領域の中心画素の属性を認識する。
　従って、広範囲の細胞組織形態画像において、領域ごとに高精度な解析を比較的少ないメモリー容量で行うことが可能となる。
　その他、画像解析システム１を構成する各装置の細部構成及び各装置の細部動作に関しても、本発明の主旨を逸脱することのない範囲で適宜変更可能である。
　例えば、上記実施形態及び変形例では、細胞認識処理では、がん細胞と正常細胞、あるいは腫瘍領域と正常領域を判定するとしたがこれに限らない。例えば、免疫細胞や死細胞などの他の細胞核を抽出し、識別するものであったり、細胞膜や細胞質などの他のオブジェクトの認識を識別するものであったり、疾患の範囲を示す領域情報や乳管・血管などの組織要素の領域情報などを識別するものでもよい。さらに、細胞認識処理で出力される属性の種類として、「不明瞭（例えば、がん細胞か正常細胞か曖昧なもの）」や「未確定（例えば、がん細胞か正常細胞かを細胞認識処理においては確定させず、結合処理時に最終判断するもの）」というものがあってもよい。
　また、上記実施形態及び変形例では、複数の部分明視野画像を同一の明視野画像から切り出して取得するとしたがこれに限らない。部分明視野画像ごとに撮像装置１０による撮影を行ってもよい。これによって、撮像装置１０が撮影を行うのに必要なメモリー量を小さくすることができる。また、撮像装置１０による撮影と画像解析処理とを並列に実施することで撮影から画像解析処理完了までの時間を短くすることができる。
　部分明視野画像ごとに撮像装置１０による撮影を実施する場合、部分明視野画像間の境界を精度よく結合するためには、部分明視野画像に対する既存の合成方法における位置合わせ処理を行う。そして、当該位置合わせ処理によって得られる位置合わせ情報（回転・平行移動・サイズ変換等のパラメータ）を用いて、部分明視野画像毎に生成した部分ラベル画像を結合すればよい。
　また、上記実施形態及び変形例では、図４に示すように明視野画像から複数の部分明視野画像を同じサイズで切り出すとしたがこれに限らない。図１６Ａに示すように部分明視野画像のサイズが異なっていたり、図１６Ｂに示すように異なるサイズの部分明視野画像が重なっていてもよい。図１６Ｂに示す例において、オブジェクト統合処理のステップＳ３１、Ｓ４１における探索・判断を高速処理モードに切り替えたり、またはより高速な別のアルゴリズムに切替えることができる場合、低速だが高精度の探索・判断で画像１を、高速だが低精度の探索・判断でより大きなサイズの画像２を処理することで効率よく画像解析ができる。ここで、高速処理モードとは、１画素ごとにスキャンするのではなく数画素おきにスキャンするなどである。
　また、上記実施形態及び変形例では、画像解析処理のステップＳ１において、画像解析装置２０の制御部２１は、撮像装置１０から明視野画像を受信するとしたがこれに限らない。撮像装置１０は画像解析装置２０に撮像した明視野画像を送信するとともに、必要であれば記憶装置３０にも送信し、記憶装置３０は受信した明視野画像を記憶するとしてもよい。
　また、上記実施形態及び変形例では、細胞認識処理において、部分明視野画像における画素値や画素数に基づいて、オブジェクトの抽出や、オブジェクトあるいは領域の属性の識別判定を行ったがこれに限らない。画素値や画素数以外の特徴量に基づいて、オブジェクトの抽出や、オブジェクトあるいは領域の属性の識別判定を実施してもよい。
　また、上記変形例では、画像解析処理のステップＳ２において、制御部２１は、重複部分があるように、明視野画像から部分明視野画像を切り出すとしたが、重複部分があるように切り出すのはオブジェクトの面積密度が所定値以上の部分に限定してもよい。オブジェクトの面積密度が高い部分を重複部分があるように切り出し、オブジェクトの面積密度が低い部分を重複部分がないように切り出すことで、画像解析処理を効率よく実施することができる。
　また、上記実施形態及び変形例では、同一の細胞組織から取得する複数の部分細胞組織形態画像は、明視野画像から切り出した部分明視野画像であるとしたがこれに限らない。蛍光画像から切り出した複数の部分蛍光視野画像を取得して、当該画像を画像解析処理してもよい。
　この発明は、画像解析方法、画像解析システム及び画像解析装置を制御するプログラムに利用することができる。
１　画像解析システム
１０　撮像装置
１１　明視野光源
１２　撮像素子
１３　導光レンズ
１４　ステージ
２０　画像解析装置
２１　制御部（取得部、認識部、統合部、判定部、コンピューター）
２２　記憶部
２３　操作部
２４　表示部
２５　通信部
３０　記憶装置

Claims (8)

  1. 　同一の細胞組織を撮像した複数の部分細胞組織形態画像を取得する取得工程と、
    　各々の部分細胞組織形態画像における組織オブジェクトの属性を認識する認識工程と、
    　前記複数の部分細胞組織形態画像間の境界位置で接触している組織オブジェクトを統合して統合オブジェクトを生成する統合工程と、
    　統合前の各々の組織オブジェクトに関するオブジェクト情報に基づいて、前記認識工程により認識された各々の組織オブジェクトの属性の中から、前記統合オブジェクトの属性を判定する判定工程と、
    　を含む画像解析方法。
  2. 　前記取得工程は、同一の細胞組織形態画像から前記複数の部分細胞組織形態画像を取得する請求項１に記載の画像解析方法。
  3. 　前記取得工程は、前記複数の部分細胞組織画像をお互いに重複部分があるように取得し、
    　前記統合工程は、前記重複部分において接触している組織オブジェクトを統合して統合オブジェクトを生成する請求項１又は２に記載の画像解析方法。
  4. 　前記判定工程は、前記重複部分において接触している組織オブジェクトの中心と各々の部分細胞組織形態画像の中心との距離が短い組織オブジェクトの属性を前記統合オブジェクトの属性として判定する請求項３に記載の画像解析方法。
  5. 　前記認識工程は、機械学習による自動認識によって組織オブジェクトの属性を認識する請求項１から４のいずれか一項に記載の画像解析方法。
  6. 　前記認識工程は、指定された領域内の前記組織オブジェクトの属性に基づいて、当該領域の中心画素の属性を認識する請求項１から５のいずれか一項に記載の画像解析方法。
  7. 　同一の細胞組織を撮像した複数の部分細胞組織形態画像を取得する取得部と、
    　各々の部分細胞組織形態画像における組織オブジェクトの属性を認識する認識部と、
    　前記複数の部分細胞組織形態画像間の境界位置で接触している組織オブジェクトを統合して統合オブジェクトを生成する統合部と、
    　統合前の各々の組織オブジェクトに関するオブジェクト情報に基づいて、前記認識部により認識された各々の組織オブジェクトの属性の中から、前記統合オブジェクトの属性を判定する判定部と、
    　を備える画像解析システム。
  8. 　コンピューターを、
    　同一の細胞組織を撮像した複数の部分細胞組織形態画像を取得する取得部、
    　各々の部分細胞組織形態画像における組織オブジェクトの属性を認識する認識部、
    　前記複数の部分細胞組織形態画像間の境界位置で接触している組織オブジェクトを統合して統合オブジェクトを生成する統合部、
    　統合前の各々の組織オブジェクトに関するオブジェクト情報に基づいて、前記認識部により認識された各々の組織オブジェクトの属性の中から、前記統合オブジェクトの属性を判定する判定部、
    　として機能させるプログラム。
PCT/JP2021/034214 2020-11-20 2021-09-17 画像解析方法、画像解析システム及びプログラム WO2022107435A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022563596A JPWO2022107435A1 (ja) 2020-11-20 2021-09-17

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020193441 2020-11-20
JP2020-193441 2020-11-20

Publications (1)

Publication Number Publication Date
WO2022107435A1 true WO2022107435A1 (ja) 2022-05-27

Family

ID=81708786

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/034214 WO2022107435A1 (ja) 2020-11-20 2021-09-17 画像解析方法、画像解析システム及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2022107435A1 (ja)
WO (1) WO2022107435A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000513465A (ja) * 1996-04-27 2000-10-10 ロッシュ ディアグノスティクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 生体組織の試料および体液の試料の自動顕微鏡支援検査方法
JP2011076296A (ja) * 2009-09-30 2011-04-14 Hitachi High-Technologies Corp 合成画像形成方法及び画像形成装置
JP2012073179A (ja) * 2010-09-29 2012-04-12 Dainippon Screen Mfg Co Ltd 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP2012522312A (ja) * 2009-03-30 2012-09-20 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション 生体物質を識別するシステム及び方法
WO2016067456A1 (ja) * 2014-10-31 2016-05-06 オリンパス株式会社 画像処理方法および細胞分取方法
JP2016525258A (ja) * 2013-07-22 2016-08-22 オリンパス・ソフト・イメージング・ソリューションズ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 顕微鏡画像の作成方法及び顕微鏡の操作方法
WO2017150194A1 (ja) * 2016-03-04 2017-09-08 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム
US20190130570A1 (en) * 2017-10-30 2019-05-02 Proscia Inc. System and method of processing medical images
WO2019110561A1 (en) * 2017-12-06 2019-06-13 Ventana Medical Systems, Inc. Method of storing and retrieving digital pathology analysis results
CN111462052A (zh) * 2020-03-16 2020-07-28 清华大学 基于图神经网络的医疗影像分析方法及系统
US20200349707A1 (en) * 2019-05-03 2020-11-05 Huron Technologies International Inc. Image diagnostic system, and methods of operating thereof

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000513465A (ja) * 1996-04-27 2000-10-10 ロッシュ ディアグノスティクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 生体組織の試料および体液の試料の自動顕微鏡支援検査方法
JP2012522312A (ja) * 2009-03-30 2012-09-20 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション 生体物質を識別するシステム及び方法
JP2011076296A (ja) * 2009-09-30 2011-04-14 Hitachi High-Technologies Corp 合成画像形成方法及び画像形成装置
JP2012073179A (ja) * 2010-09-29 2012-04-12 Dainippon Screen Mfg Co Ltd 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP2016525258A (ja) * 2013-07-22 2016-08-22 オリンパス・ソフト・イメージング・ソリューションズ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 顕微鏡画像の作成方法及び顕微鏡の操作方法
WO2016067456A1 (ja) * 2014-10-31 2016-05-06 オリンパス株式会社 画像処理方法および細胞分取方法
WO2017150194A1 (ja) * 2016-03-04 2017-09-08 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム
US20190130570A1 (en) * 2017-10-30 2019-05-02 Proscia Inc. System and method of processing medical images
WO2019110561A1 (en) * 2017-12-06 2019-06-13 Ventana Medical Systems, Inc. Method of storing and retrieving digital pathology analysis results
US20200349707A1 (en) * 2019-05-03 2020-11-05 Huron Technologies International Inc. Image diagnostic system, and methods of operating thereof
CN111462052A (zh) * 2020-03-16 2020-07-28 清华大学 基于图神经网络的医疗影像分析方法及系统

Also Published As

Publication number Publication date
JPWO2022107435A1 (ja) 2022-05-27

Similar Documents

Publication Publication Date Title
JP6791245B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20220180521A1 (en) Image processing method and apparatus, and electronic device, storage medium and computer program
US20190311475A1 (en) Image diagnosis learning device, image diagnosis device, image diagnosis method, and recording medium for storing program
KR102237696B1 (ko) 자궁경부암 세포 영상 자동 분석을 위한 인공지능 컴퓨터 보조 진단 시스템 및 그 제어 방법
US10395091B2 (en) Image processing apparatus, image processing method, and storage medium identifying cell candidate area
CN110136153B (zh) 一种图像处理方法、设备及存储介质
JPWO2015145643A1 (ja) 画像処理装置および画像処理プログラム
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
CN110767292A (zh) 病理编号识别方法、信息识别方法、装置及信息识别系统
US11449991B2 (en) Image processing method, image processing apparatus, and storage medium
He et al. Microscope images automatic focus algorithm based on eight-neighborhood operator and least square planar fitting
JP2007252707A (ja) 画像解析装置及び画像解析プログラム
Sultani et al. Towards low-cost and efficient malaria detection
Cai et al. Convolutional neural network-based surgical instrument detection
WO2022107435A1 (ja) 画像解析方法、画像解析システム及びプログラム
CN116703837B (zh) 一种基于mri图像的肩袖损伤智能识别方法及装置
CN116779093A (zh) 一种医学影像结构化报告的生成方法、装置和计算机设备
CN115176289A (zh) 使用卷积神经网络的细胞系发育图像表征
JP2011221841A (ja) 画像処理装置及び画像処理プログラム
CN116258666A (zh) 一种晶圆检测Mark点定位方法及应用
JP2008073076A (ja) 乳房ｘ線画像処理装置
CN113554628A (zh) 图像处理方法、装置及计算机可读存储介质
Díaz et al. Automatic extraction of vascularity measurements using OCT-A images
CN117576103B (zh) 集成电控显微镜和深度学习算法的尿沉渣镜检分析系统
Ashman et al. A Camera-Assisted Pathology Microscope to Capture the Lost Data in Clinical Glass Slide Diagnosis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21894310

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022563596

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21894310

Country of ref document: EP

Kind code of ref document: A1