WO2019106946A1 - 画像着色装置、画像着色方法、画像学習装置、画像学習方法、プログラム、及び画像着色システム - Google Patents

画像着色装置、画像着色方法、画像学習装置、画像学習方法、プログラム、及び画像着色システム Download PDF

Info

Publication number
WO2019106946A1
WO2019106946A1 PCT/JP2018/036845 JP2018036845W WO2019106946A1 WO 2019106946 A1 WO2019106946 A1 WO 2019106946A1 JP 2018036845 W JP2018036845 W JP 2018036845W WO 2019106946 A1 WO2019106946 A1 WO 2019106946A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
coloring
color
learning
unit
Prior art date
Application number
PCT/JP2018/036845
Other languages
English (en)
French (fr)
Inventor
真司 渡辺
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/766,454 priority Critical patent/US11321881B2/en
Priority to JP2019557035A priority patent/JP7200945B2/ja
Priority to EP18882883.4A priority patent/EP3719739B1/en
Priority to CN201880076130.XA priority patent/CN111406274B/zh
Publication of WO2019106946A1 publication Critical patent/WO2019106946A1/ja
Priority to US17/684,342 priority patent/US11983797B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present disclosure relates to an image coloring apparatus, an image coloring method, an image learning apparatus, an image learning method, a program, and an image coloring system.
  • Patent Document 1 describes that the dye amount distribution of a stained sample image is approximated to the dye amount distribution of a standard sample image, and the dye amount at each image position of the stained sample image is appropriately corrected.
  • Patent Document 2 describes a method of performing stain separation processing on a pathological image by vector analysis.
  • a program which causes a computer to function as means for coloring the color corresponding to the form information in the color-decolorized image.
  • a decoloring processing unit that performs decoloring processing on a colored learning image, morphological information obtained from the learning image on which the decoloring processing is performed, and the learning image on which the decoloring processing is not performed
  • a learning unit that performs learning in association with color information obtained from the above.
  • An image learning method comprising: matching color information to be learned; and learning.
  • means for subjecting a colored learning image to a color removal process, morphological information obtained from the learning image for which the color removal process has been performed, and the learning image for which the color removal process has not been performed A program is provided that causes a computer to function as means for matching color information and learning.
  • the color removal processing unit that performs color removal processing on a colored learning image, the morphological information obtained from the learning image that has been subjected to the color removal processing, and the color removal processing that has not been performed.
  • an image learning apparatus having a learning unit that performs learning in association with color information obtained from a learning image
  • an acquiring unit that acquires a decolorized image in which the color is decolorized, and morphological information obtained from the decolorized image
  • An image coloring system comprising: an image coloring apparatus having a coloring unit for coloring a color corresponding to the morphological information to the decolorized image with reference to learning result information by the learning unit.
  • the present disclosure it is possible to color the target image with high accuracy based on the information such as the form and the shape of the target image.
  • the above-mentioned effects are not necessarily limited, and, along with or in place of the above-mentioned effects, any of the effects shown in the present specification, or other effects that can be grasped from the present specification May be played.
  • Hematoxylin and Eosin HematoxylinEosin: HE stain
  • an HE image is made into an input image it is a figure which shows the actual example of the isolation
  • Example System Configurations The present disclosure relates to a method for color conversion of an image using machine learning.
  • target images include pathological images such as pathological stained images.
  • pathological images such as pathological stained images.
  • a method of automatically and accurately coloring cell nuclei and other cell areas and tissue areas using the dye position and staining information of the pathological image Will be explained.
  • FIG. 1 is a schematic view showing the configuration of a system 1000 according to an embodiment of the present disclosure.
  • the system 1000 includes a learning device 100, a color converter 200, and a display device 250.
  • the learning device 100 is configured to include a learning image input unit 102, a learning unit 104, and a color removal filter 106.
  • the learning image input unit 102 receives RGB (red, green, blue) image data of a learning image (reference image).
  • the learning image is, for example, the pathological staining image described above.
  • the learning image input to the learning image input unit 102 is input to the learning unit 104.
  • the decolorization process is performed on the learning image input to the learning image input unit 102 by the decolorization filter 106.
  • the decoloring process produces grayscale image data.
  • Gray scale image data is input to the learning unit 104.
  • the learning unit 104 receives input of a large number of learning images, and learns information of the form and shape such as texture and gradation of gray scale image (hereinafter referred to as form information) and the corresponding color of RGB data.
  • An edge image may be used instead of the gray scale image.
  • processing for detecting an edge from RGB data is performed, and the obtained edge image is input to the learning unit 104.
  • the learning unit 104 learns the information of the edge image and the corresponding color of the RGB data. That is, the color removal filter 106 functions as a color removal processing unit that removes the color from the learning image.
  • Deep learning can be used in learning by the learning unit 104.
  • Deep learning is a multi-layered neural network (Deep neural network (Deep) It is a machine learning method by Neural Network (DNN).
  • the learning image preferably includes regions such as cell nuclei, fibers, blood cells, fats, and bacteria.
  • FIG. 2 is a schematic diagram showing an example of data of a learning image, and for each pixel, grayscale image data 300 obtained by the decoloring process of the decoloring filter 106 and RGB image data 400 which is the learning image itself. It shows.
  • grayscale image data 300 having morphological information is shown on the left.
  • image data 400 corresponding to the grayscale image data 300 and having ideal color information that is a correct answer is shown on the right.
  • the learning unit 104 learns the color of the pixel for each pixel from arbitrary form and shape information.
  • the learning unit 104 basically only learns characteristic colors by staining like a pathological image.
  • the color characteristic of the staining of the pathological image is about 2 to 3 colors in the bright field.
  • learning result information in which the morphological information of the learning image is associated with the color information is obtained.
  • the learning result information is sent to the coloring unit 206 of the coloring device 200.
  • the color converter 200 includes an image input unit 202, a color removal filter 204, a coloring unit 206, a stain separation unit 208, a display processing unit 210, and an operation input unit 212.
  • Each component of the learning device 100 and the color converter 200 shown in FIG. 1 may be configured from a circuit (hardware) or a central processing unit such as a CPU and a program (software) for causing the central processing unit to function. it can.
  • the image input unit 202 receives an input image to be colored.
  • the input image is sent to the decolorization filter 204.
  • the decolorization filter 204 decolorizes the input image to create a gray scale image. Instead of the gray scale image, an edge image may be used, in which case the edge image is detected from the input image.
  • the decolorization filter 204 functions as a decolorization processing unit that removes a color from the learning image, and may have an edge detection function. When the input image is a fluorescence image, the fluorescence image is a gray scale image, so the process by the decolorization filter 202 may not be performed.
  • the image input unit 202 or the decolorization filter 204 functions as an acquisition unit for acquiring a decolorized image.
  • the edge is used as a preprocessing to the input image.
  • An emphasis filter may be applied.
  • the stain separation unit 208 By passing the input image through the color filter 204, a grayscale image of the input image is obtained. The obtained grayscale image is input to the coloring unit 206. Further, in parallel with the decoloring process by the decolorizing filter 204, the stain separation unit 208 performs a stain separation process on the input image. The stain separation unit 208 separates the color of the input image based on the stain vector representing the color feature of the image, using the method described in Patent Document 2 described above. The stain separation process makes it possible to distinguish between cell nuclei and other non-nucleus regions.
  • the coloring unit 206 applies color information of the input gray scale image to learning result information obtained from the learning unit 104 to acquire color information corresponding to the shape information. Then, the grayscale image is colored using color information corresponding to the form information.
  • coloring by the coloring part 206 is possible only with a gray scale image, but for example, when an object having a size and shape similar to cell nuclei but non cell nuclei is present in the input image, coloring is performed as cell nuclei. There is a possibility of Therefore, the information obtained by the stain separation process is used as a coloring hint (auxiliary information) to improve the coloring accuracy.
  • FIG. 3 shows the input image as Hematoxylin (Hematoxylin) When it is set as the image (henceforth an HE image) by Eosin (HE) dyeing
  • FIG. 4 is a figure which shows the actual example of the isolation
  • HEmatoxylin-eosin staining in HE images, cell nuclei are stained in purple and tissue components other than cell nuclei are stained in red.
  • FIG. 3 and FIG. 4 by subjecting the HE image to a stain separation process, cell nuclei are separated in purple, and all cells except the cell nuclei are separated in red.
  • the stain separation unit 202 extracts coordinates serving as hints of coloring by the coloring unit 206 from the image that has been color-separated into two or more.
  • a representative point of high luminance is found by threshold processing, an area of high luminance equal to or higher than a predetermined threshold is extracted, and the coordinates of the center of gravity or center of the area are determined.
  • an algorithm such as NMS (Non-Maximum Suppression) may be used.
  • NMS Non-Maximum Suppression
  • the stain vectors used in stain separation may be those obtained from the learning image.
  • the stain vector used in the stain separation may be obtained from a learning image.
  • the region of the cell nucleus is recognized as a purple region in FIG. 3 and FIG. Therefore, even if it is recognized from the morphological information of the gray scale image that the region other than the cell nucleus is the cell nucleus during coloring by the coloring unit 206, in the auxiliary information obtained from the stain separation processing, the coordinates of the region are It will not match the coordinates of the cell nucleus. Therefore, the region can be determined to be a region other than the cell nucleus. Therefore, coloring can be performed with high accuracy by using the auxiliary information obtained by the stain separation processing at the time of coloring by the coloring unit 206.
  • the coloring unit 206 performs coloring by extracting the color of the area obtained by the stain separation processing from the original image input to the image input unit 202. For example, with respect to a region determined not to be a region of cell nucleus from morphological information, when the region of cell nucleus is colored by stain separation processing, the color obtained from the original image is colored in that region. On the other hand, the coloring unit 206 can also refer to the color of the learning image based on the area obtained by the stain separation processing. When referring to the color of the learning image, the color of the learning image having a close distance between the stain vector of the original image and the stain vector (reference vector) of the learning image is selected and used as auxiliary information in coloring. In this case, the learning unit 104 extracts the stain vector of the learning image in advance. Machine learning may be used in the extraction of stain vectors of learning images.
  • the coloring process by the color converter 200 includes the process of discriminating and storing the color of the cell nucleus of the input image and other cell areas and tissue areas for each area or point, and applying digital filtering to the image Using the color information stored in each area or point, the color learned on the basis of the form or shape information is derived for each area, and the digitalized to the ideal color Including the step of staining.
  • the detection of "area” in the coloring process automation is possible by using stain separation processing.
  • the detection of “point” in the coloring process may be the center or barycentric coordinates of the area obtained by stain separation, or may be random coordinates in the image.
  • the learning unit 104 performs only learning of a characteristic color by staining like a pathological image. For this reason, in the case of coloring by the coloring unit 206, coloring is performed, for example, with respect to an area of a color that does not originally appear in the case of HE staining in the input image. Therefore, it can control that coloring is performed in an unexpected color.
  • the image colored by the coloring unit 206 is input to the display processing unit 210 as an output image.
  • the display processing unit 210 performs processing for displaying the output image on the display device 250.
  • the operation input unit 212 receives user operation information from a mouse, a keyboard, and the like.
  • the operation input unit 212 sends operation information to the display processing unit 210.
  • the display processing unit 210 controls display content to be displayed on the display device 250 based on the operation information. The processing by the display processing unit 210 will be described later.
  • the color information coming out by the stain separation processing is held as a reference color for coloring.
  • the color of the area obtained by the stain separation processing may be extracted from the original image, or the color of the learning image may be referred to.
  • the reference color is assigned to the color obtained by the stain separation processing to be a reference color.
  • the reference color is assigned to the color obtained by the stain separation processing to be a reference color.
  • the staining position is sampled in the area obtained by the stain separation processing, and coloring is performed based on the grayscale image and color information after decoloring conversion. Note that color conversion from an HE image to an IHC image is also possible.
  • FIG. 5 is a flowchart showing the process of color conversion of the bright field image.
  • the stain separation unit 208 performs a stain separation process on an input image.
  • the staining position (nuclear information) is sampled based on the image obtained by the stain separation.
  • a gray scale image is obtained by the decolorization filter 204 applying decolorization processing (decolorization conversion) to the input image.
  • the coloring unit 206 applies the morphological information of the gray scale image to the learning result information obtained from the learning unit 104 to color the gray scale image.
  • FIG. 6 is a diagram showing an example of converting an IHC image into an HE image (Simulated HE).
  • An IHC image is a staining that utilizes an antigen-antibody reaction, and is suitable for identifying, for example, cancer cells, but may not necessarily be suitable for accurately observing the shape of cells. In such a case, it is possible to easily observe the shape of a cell or the like by converting the IHC image into the HE image according to the method of the present embodiment.
  • the cell nucleus is stained blue in the IHC image, the cell nucleus is stained blue in the input image of the IHC image shown on the left side of FIG. 6 (the area shown by gray dots in the left diagram of FIG. 6).
  • the cell nucleus is colored in purple (the area shown by the black dot in the right figure of FIG. 6) and colored in red except for the cell nucleus. Therefore, it can be understood that the position of the cell nucleus corresponds to the HE image after color conversion and the original IHC image, and the conversion is correctly performed.
  • color conversion from a fluorescence image to an HE image or an IHC image can be mentioned.
  • the observation target is stained to obtain a fluorescence image of the observation target.
  • the fluorescence image is sampled as nuclear information.
  • coloring is performed by assigning a reference color of reference to nuclear information.
  • the reference color of the reference is purple for an HE image and blue for an IHC image.
  • the fluorescence image requires gain adjustment because the signal is weak. Further, for example, in the case of a gray-scale image, it is desirable to add a negative-positive reversal process since the contrast is opposite.
  • the same processing is performed for the number of fluorescent images and superimposed.
  • the learning device 100 side performs prior learning of the multiple stained bright field image in advance.
  • FIG. 7 is a flowchart showing a process of converting a fluorescence image into a bright field image.
  • step S20 a nuclear staining image showing a region in which a nucleus is stained by fluorescence is sampled.
  • a nuclear staining image is sampled from a fluorescence image obtained by irradiating a predetermined light to a living tissue stained by a fluorescent substance.
  • step S22 gain adjustment of the sampled image is performed.
  • negative-positive reversal processing is performed.
  • the sampled cell nuclei are colored.
  • the image is multiplexed.
  • a pseudo bright field stained image can also be obtained by determining the color for each region of the fluorescent image and advancing the coloring step on the mixed image.
  • FIG. 8 is a diagram showing an example in which a fluorescence image is converted to an HE image (Simulated HE).
  • the input image of the fluorescence image shown on the left side of FIG. 8 is basically a gray scale image, and the white-appearing part basically corresponds to the region of the cell nucleus.
  • the portion of the nucleus is brighter than the surroundings, so it is sampled as the above-mentioned nuclear staining image.
  • the coloring unit 206 can perform coloring on the part of the nucleus based on the shape of the sampled cell nucleus. Referring to FIG.
  • the region of the cell nucleus that appears white in the fluorescence image is colored in the color of the region 450 of the cell nucleus in the HE image .
  • New learning of the fluorescence image is unnecessary on the learning device 100 side, and it is possible to convert the fluorescence image into the HE image based on the learning data of the HE image.
  • FIG. 9 is a flow chart showing a process of coloring the foreign matter in the case where there is an artifact (foreign matter) in the sample of the input image.
  • step S30 threshold processing of pixel values of an input image is performed to detect a black portion.
  • step S32 the black portion detected in step S30 is removed by performing mask processing.
  • step S34 stain separation processing is performed on the image from which the black portion has been removed.
  • the staining position is sampled from the image obtained by the stain separation processing.
  • a gray scale image is obtained by subjecting the input image to a bleaching process.
  • the gray scale image is colored by applying the form information of the gray scale image to the learning result information obtained from the learning unit 104.
  • both the input image and the output image can be displayed on the display device 250 by the processing of the display processing unit 210.
  • the IHC image is an input image
  • the HE image is an output image
  • FIG. 10 is a schematic view showing an example in which an IHC image as an input image and an HE image as an output image are displayed side by side.
  • the IHC image which is an input image is displayed on the left side
  • the HE image which is an output image is displayed on the right side on the display screen 252 of the display device 250.
  • the display processing unit 210 displays the IHC image as the input image and the HE image as the output image on the display screen 252 when the user operates the mouse or the like and inputs an instruction to move the image without the screen from the operation input unit 212. Move in the same direction above. Thereby, the convenience at the time of observation by a user can be improved.
  • FIG. 11 is an example in which the observation target is displayed on the entire display screen, and the left side of the screen is displayed as an IHC image, and the right side of the screen is displayed as an HE image.
  • the boundary 254 between the IHC image and the HE image can be moved to the left or right by the user operating a mouse or the like to input information from the operation input unit 212.
  • FIG. 12 is a schematic view showing an example in which an image having a plurality of cross sections in the depth direction is displayed, and an IHC image as an input image on the left side and an HE image as an output image on the right side. .
  • the IHC image and the HE image are linked to each other at the same depth position on the dark surface.
  • the user can display both the IHC image and the HE image on the cross section of the desired depth position.
  • the coloring by the color converter 200 by performing the coloring by the color converter 200, it is possible to reproduce the color of the sample in which the staining is deteriorated in a beautiful manner.
  • the pathological staining image may have different shades for each scanner, by performing coloring with the color converter 200, the tint of the staining can be corrected to a desired reference color.
  • by performing coloring by the color converter 200 it is possible to make the stain of the sample invisible and to improve the visibility.
  • unlike the tone curve correction it is also possible to correct each color in the slide of each image to an appropriate color.
  • an acquisition unit for acquiring a decolorized image whose color has been decolorized A coloring unit which colors the color corresponding to the morphological information into the decolorized image by referring to learning result information in which the correspondence between the morphological information and the color information is learned in advance based on the morphological information obtained from the decolorized image
  • An image coloring device comprising: (2) The image coloring apparatus according to (1), wherein the acquisition unit is a color removal processing unit that performs color removal processing on a colored input image.
  • the learning result information is obtained by learning the correspondence between the morphological information of a plurality of learning images and the color information corresponding to the morphological information.
  • a stain separation unit for performing stain separation processing on the input image The image coloring apparatus according to (2), wherein the coloring unit performs the coloring using auxiliary information obtained by the stain separation processing.
  • the auxiliary information is position information of a predetermined part in the input image separated by the stain separation processing, The image coloring apparatus according to (4), wherein the coloring unit colors a color corresponding to the predetermined part for a part corresponding to the position information in the input image.
  • the colored portion may color the reference color obtained from the learning result information based on the stain separation process at the predetermined portion obtained by the stain separation process.
  • Image coloring apparatus as described.
  • the input image is an HE image obtained by HE staining, and the colored part colors the color corresponding to the HE image in the input image subjected to the decoloring treatment, according to (2).
  • Image coloring device (10)
  • the input image is an IHC image obtained by IHC staining, and the colored portion colors the color corresponding to the HE image obtained by HE staining in the input image subjected to the decoloring process, (2 The image coloring apparatus as described in 2.).
  • the acquisition unit acquires, as the decolorized image, a fluorescence image obtained by applying a fluorescent substance to an observation object.
  • the image coloring apparatus according to (1) wherein the colored portion colors a color corresponding to an HE image obtained by HE staining in the fluorescent image or an IHC image obtained by IHC staining.
  • (12) The image coloring apparatus according to (11), wherein the coloring unit colors the plurality of images constituting the fluorescence image, and superimposes the plurality of colored images.
  • (13) The image coloring apparatus according to (11) or (12), wherein gain adjustment or negative / positive reversal processing of the fluorescence image is performed before coloring by the coloring unit.
  • the colored portion may obtain a black area from the color-decolored image, and may color a predetermined predetermined color for the black area, according to any one of (1) to (13).
  • Image coloring device The image coloring apparatus according to any one of (1) to (14), further including a display processing unit that performs processing for displaying the image before coloring by the coloring unit and the image after coloring on a display device. .
  • the display processing unit causes the first region of the observation object to display an image before coloring and the second region of the observation object displays an image after coloring for the same observation object.
  • the image coloring apparatus as described in said (15).
  • the display processing unit displays the image before coloring and the image after coloring on the same screen, and moves the image before coloring and the image after coloring in the same direction based on the operation information.
  • the image coloring apparatus as described in 2.).
  • the display processing unit displays an image in which the cross-sectional position in the depth direction is the same for each of the image before coloring and the image after coloring, and changes the cross-sectional position based on operation information; Image coloring apparatus as described.
  • An image coloring method comprising: (21) A means for acquiring a decolorized image whose color has been decolorized, A means for coloring the color corresponding to the morphological information into the decolorized image by referring to learning result information in which the correspondence between the morphological information and the color information is learned in advance based on the morphological information obtained from the decolorized image; A program that makes a computer function as.
  • a decoloring processing unit that performs decoloring processing on a colored learning image
  • a learning unit that learns in association with morphological information obtained from the learning image subjected to the color removal processing and color information obtained from the learning image not subjected to the color removal processing
  • An image learning apparatus comprising: (23) subjecting the color learning image to a decoloring process, Learning in association with morphological information obtained from the learning image subjected to the color removal processing and color information obtained from the learning image not subjected to the color removal processing;
  • An image learning method comprising: (24) means for subjecting the colored learning image to a decoloring process, Means for correlating and learning morphological information obtained from the learning image subjected to the color removal processing and color information obtained from the learning image not subjected to the color removal processing;
  • a program that makes a computer function as.
  • a decoloring processing unit that performs decoloring processing on a colored learning image, morphological information obtained from the learning image on which the decoloring processing has been performed, and the learning image on which the decoloring processing has not been performed
  • An image learning apparatus having a learning unit that learns in association with color information; The color corresponding to the morphological information is referred to the decolorized image by referring to learning result information by the learning unit based on an acquisition unit for acquiring a decolorized image from which the color is decolorized and morphological information obtained from the decolorized image.
  • An image coloring apparatus having colored parts to be colored; , An image coloring system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

【課題】対象画像の形態や形状などの情報に基づいて、対象画像を精度良く着色する。 【解決手段】本開示によれば、色が脱色された脱色画像を取得する取得部と、前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、を備える、画像着色装置画像着色装置が提供される。この構成により、対象画像の形態や形状などの情報に基づいて、対象画像を精度良く着色することが可能となる。

Description

画像着色装置、画像着色方法、画像学習装置、画像学習方法、プログラム、及び画像着色システム
　本開示は、画像着色装置、画像着色方法、画像学習装置、画像学習方法、プログラム、及び画像着色システムに関する。
　従来、例えば下記の特許文献１には、染色標本画像の色素量分布を標準標本画像の色素量分布に近似させ、染色標本画像の各画像位置における色素量を適切に補正することが記載されている。また、下記の特許文献２には、病理画像についてベクトル解析によりステイン分離処理を行う手法が記載されている。
特開２００９－１４３５５号公報 米国特許第９０３６８８９号明細書
　しかしながら、上記特許文献１に記載された手法では、対象画像の色素量分布の分布形状特徴と標準標本クラスの色素量分布の分布形状特徴を比較して色素量を補正しているため、対象画像の形態や形状などに応じて所望の色を着色することは困難である。
　そこで、対象画像の形態や形状などの情報に基づいて、対象画像を精度良く着色することが求められていた。
　本開示によれば、色が脱色された脱色画像を取得する取得部と、前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、を備える、画像着色装置が提供される。
　本開示によれば、色が脱色された脱色画像を取得することと、前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色することと、を備える、画像着色方法が提供される。
　本開示によれば、色が脱色された脱色画像を取得する手段、前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する手段、としてコンピュータを機能させるプログラムが提供される。
　本開示によれば、色が付いた学習画像に脱色処理を施す脱色処理部と、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、を備える、画像学習装置が提供される。
　本開示によれば、色が付いた学習画像に脱色処理を施すことと、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習することと、を備える、画像学習方法が提供される。
　本開示によれば、色が付いた学習画像に脱色処理を施す手段、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する手段、としてコンピュータを機能させるプログラムが提供される。
　また、本開示によれば、色が付いた学習画像に脱色処理を施す脱色処理部と、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、を有する、画像学習装置と、色が脱色された脱色画像を取得する取得部と、前記脱色画像から得られる形態情報に基づいて、前記学習部による学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、を有する、画像着色装置と、を備える、画像着色システムが提供される。
　以上説明したように本開示によれば、対象画像の形態や形状などの情報に基づいて、対象画像を精度良く着色することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの構成を示す模式図である。 学習画像のデータの例を示す模式図である。 入力画像をヘマトキシリン・エオジン（ＨｅｍａｔｏｘｙｌｉｎＥｏｓｉｎ：ＨＥ）染色によるＨＥ画像とした場合に、ステイン分離処理による分離結果を模式的に示す図である。 ＨＥ画像を入力画像とした場合に、ステイン分離処理による分離結果の実際の例を示す図である。 明視野画像の色変換の処理を示すフローチャートである。 ＩＨＣ画像をＨＥ画像に変換した例を示す図である。 蛍光画像を明視野画像に変換する処理を示すフローチャートである。 蛍光画像をＨＥ画像に変換した例を示す図である。 サンプルにアーチファクトなどの異物がある場合に、異物を含めて着色する処理を示すフローチャートである。 入力画像であるＩＨＣ画像と、出力画像であるＨＥ画像を並べて表示した例を示す模式図である。 観察対象物を表示画面の全体に表示した例であって、画面左側をＩＨＣ画像として表示し、画面右側をＨＥ画像として表示した例を示す模式図である。 奥行き方向に複数の断面を有する画像を表示した例を示しており、左側に入力画像であるＩＨＣ画像を、右側に出力画像であるＨＥ画像を表示した例を示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．システムの構成例
　２．本実施形態のシステムによる着色処理の具体例
　　２．１．明視野画像の色変換
　　２．２．蛍光画像の色変換
　　２．３．明視野画像でサンプルにアーチファクトが存在する場合
　３．表示アプリケーションの例
　１．システムの構成例
　本開示は、機械学習を使って画像の色変換する方法に関する。対象となる画像として、例えば病理染色画像などの病理画像が挙げられる。本実施形態では、特に、病理染色画像の色を変換する場合に、病理画像の色素の位置及び染色情報を使って、細胞核とその他の細胞領域及び組織領域に自動的に精度よく色付けをする手法について説明する。
　図１は、本開示の一実施形態に係るシステム１０００の構成を示す模式図である。図１に示すように、このシステム１０００は、学習器１００、色変換器２００、及び表示装置２５０を備えている。学習器１００は、学習画像入力部１０２、学習部１０４、脱色フィルタ１０６、を有して構成されている。
　学習画像入力部１０２には、学習画像（リファレンス画像）のＲＧＢ（赤、緑、青）の画像データが入力される。学習画像は、例えば上述した病理染色画像である。学習画像入力部１０２に入力された学習画像は、学習部１０４に入力される。また、学習画像入力部１０２に入力された学習画像は、脱色フィルタ１０６により脱色処理が行われる。脱色処理によりグレースケールの画像データが得られる。グレースケールの画像データは、学習部１０４に入力される。学習部１０４は、多数の学習画像の入力を受けて、グレースケール画像のテクスチャや濃淡などの形態及び形状の情報（以下、形態情報という）と、ＲＧＢデータの対応する色を学習する。
　なお、グレースケール画像の代わりにエッジ画像を用いても良く、この場合は、ＲＧＢデータからエッジを検出する処理を行い、得られたエッジ画像を学習部１０４に入力する。学習部１０４は、エッジ画像の情報と、ＲＧＢデータの対応する色を学習する。つまり、脱色フィルタ１０６は、学習画像から色を取り除く脱色処理部として機能する。
　学習部１０４による学習では、深層学習（ディープラーニング）を用いることができる。深層学習は、多層のニューラルネットワーク（ディープニューラルネットワーク（Ｄｅｅｐ
Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＮＮ）による機械学習手法である。学習画像には、細胞核、繊維、血球、脂肪、菌などの領域が含まれていることが望ましい。学習の工程で入力される学習画像を病理染色画像に限定することで、色の間違いが起こりにくい学習器１００を構成することができる。
　図２は、学習画像のデータの例を示す模式図であって、脱色フィルタ１０６の脱色処理により得られたグレースケールの画像データ３００と、学習画像そのものであるＲＧＢの画像データ４００をピクセル毎に示している。図２では、形態情報を有するグレースケールの画像データ３００を左側に示している。また、グレースケールの画像データ３００に対応し、正解となる理想的な色情報を有する画像データ４００を右側に示している。このように、学習部１０４は、ピクセル毎に、任意の形態及び形状情報からそのピクセルの色を学習している。本実施形態において、学習部１０４は、基本的には病理画像のように染色による特徴的な色の学習のみを行う。病理画像の染色に特徴的な色は、明視野であれば２～３色程度である。色変換したい染色の種類を増やす場合は、学習器１００を複数備えることが望ましい。
　学習部１０４による学習の結果、学習画像の形態情報と色情報が対応付けされた学習結果情報が得られる。学習結果情報は、着色器２００の着色部２０６に送られる。
　色変換器２００は、画像入力部２０２、脱色フィルタ２０４、着色部２０６、ステイン分離部２０８、表示処理部２１０、操作入力部２１２を有している。なお、図１に示す学習器１００、色変換器２００の各構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成することができる。
　画像入力部２０２には、着色の対象である入力画像が入力される。入力画像は、脱色フィルタ２０４に送られる。脱色フィルタ２０４は、入力画像に脱色処理を施し、グレースケール画像を作成する。グレースケール画像の代わりにエッジ画像を用いても良く、この場合は、入力画像からエッジ画像を検出する。脱色フィルタ２０４は、学習画像から色を取り除く脱色処理部として機能し、エッジ検出の機能を備えていても良い。なお、入力画像が蛍光画像の場合、蛍光画像はグレースケール画像であるため、脱色フィルタ２０２による処理は行わなくて良い。画像入力部２０２または脱色フィルタ２０４は、脱色した画像を取得する取得部として機能する。色変換器２００の脱色フィルタ２０４は、学習器１００の脱色フィルタ１０６と同じものを使用することが好ましいが、ピンボケなどが発生している入力画像に対しては、入力画像への前処理としてエッジ強調フィルタ等をかけても良い。
　入力画像を脱色フィルタ２０４に通すことにより、入力画像のグレースケール画像が得られる。得られたグレースケール画像は、着色部２０６に入力される。また、脱色フィルタ２０４による脱色処理と並行して、ステイン分離部２０８が入力画像にステイン分離処理を施す。ステイン分離部２０８は、前述した特許文献２に記載された手法を用い、画像の色の特徴を表すステインベクトルに基づいて入力画像の色を分離する。ステイン分離処理により、細胞核とその他の核以外の領域が判別可能になる。
　着色部２０６は、入力されたグレースケール画像の形態情報を学習部１０４から得られる学習結果情報に当てはめることで、形態情報に対応する色情報を取得する。そして、形態情報に対応する色情報を用いてグレースケール画像に着色を行う。
　着色の際、グレースケール画像のみで着色部２０６による着色は可能であるが、例えば細胞核と同様の大きさ、形状であるが、細胞核でない物体が入力画像に存在する場合、細胞核として着色が行われてしまう可能性がある。このため、ステイン分離処理により得られる情報を着色のヒント（補助情報）として用い、着色の精度を高めるようにする。
　図３は、入力画像をヘマトキシリン・エオジン（Ｈｅｍａｔｏｘｙｌｉｎ
Ｅｏｓｉｎ：ＨＥ）染色による画像（以下、ＨＥ画像という）とした場合に、ステイン分離処理による分離結果を模式的に示す図である。また、図４は、ＨＥ画像を入力画像とした場合に、ステイン分離処理による分離結果の実際の例を示す図である。ヘマトキシリン・エオジン染色により、ＨＥ画像では、細胞核は紫色に染色され、細胞核以外の組織成分は赤色に染色される。図３及び図４に示したように、ＨＥ画像にステイン分離処理を施すことにより、細胞核は紫色に分離され、細胞核以外は赤色に分離される。
　ステイン分離部２０２では、２つ以上に色分離された画像から着色部２０６による着色のヒントとなる座標を抽出する。座標の抽出では、閾値処理で高輝度の代表点を見つけて、所定の閾値以上の高輝度の領域を抽出し、その領域の重心或いは中心の座標を求める。検出位置の絞り込みの際にはＮＭＳ（Ｎｏｎ－Ｍａｘｉｍｕｍ　Ｓｕｐｐｒｅｓｓｉｏｎ）等のアルゴリズムを使用しても良い。ステイン分離部２０２により分離された色と座標の位置情報を着色部２０６にヒントとして与えることで、着色部２０６による精度の高い色変換を実現できる。ステイン分離で使用するステインベクタは、学習画像から求められるものを与えても良い。なお、ステイン分離で使用するステインベクトルは、学習画像から求められるものを与えても良い。
　ステイン分離部２０２によるステイン分離処理によれば、細胞核の領域は、図３及び図４で紫色の領域として認識されている。このため、着色部２０６による着色の際に、グレースケール画像の形態情報からは細胞核以外の領域が細胞核であると認識されたとしても、ステイン分離処理から得られる補助情報では、その領域の座標は細胞核の座標に合致しないことになる。従って、当該領域を細胞核以外の領域であると判定できる。従って、ステイン分離処理により得られる補助情報を着色部２０６による着色の際に用いることで、精度良く着色を行うことが可能である。
　着色部２０６では、ステイン分離処理によって得られた領域の色を、画像入力部２０２に入力された原画像から抽出して着色を行う。例えば、形態情報からは細胞核の領域でないと判定された領域について、ステイン分離処理によってその領域に細胞核の色が付いている場合は、その領域で原画像から得られる色を着色する。一方、着色部２０６は、ステイン分離処理によって得られた領域に基づいて学習画像の色を参照することもできる。学習画像の色を参照する場合、原画像のステインベクトルと学習画像のステインベクトル（リファレンスベクトル）の距離が近い学習画像の色を選択し、着色の際の補助情報として使用する。この場合、学習部１０４にて、予め学習画像のステインベクトルを抽出しておく。学習画像のステインベクトルの抽出の際に機械学習を使ってもよい。
　以上のように、色変換器２００による色付けの工程は、入力画像の細胞核と、その他の細胞領域及び組織領域の色を領域あるいは点毎に判別して記憶する工程と、画像にデジタルフィルタをかけて脱色し、形態あるいは形状情報を取得する工程と、領域あるいは点毎に記憶された色情報を使い、領域毎に形態或いは形状情報を元に学習された色を導き出し、理想的な色にデジタル染色を行う工程を含む。色付け工程における「領域」の検出には、ステイン分離処理を用いることで自動化が可能である。色付け工程における「点」の検出は、ステイン分離により得られる領域の中心や重心座標でも良いし、画像中のランダムな座標でも良い。なお、上述したように、学習部１０４は、基本的には病理画像のように染色による特徴的な色の学習のみを行う。このため、着色部２０６による着色の際には、入力画像のうち、例えばＨＥ染色では本来は出現しない色の領域に関しては、ＨＥ染色の範囲の色に限定して着色が行われる。従って、予期せぬ色に着色が行われてしまうことを抑制できる。
　着色部２０６により着色が行われた画像は、出力画像として表示処理部２１０に入力される。表示処理部２１０は、出力画像を表示装置２５０に表示するための処理を行う。操作入力部２１２は、マウス、キーボード等からユーザの操作情報が入力される。操作入力部２１２は、表示処理部２１０に操作情報を送る。表示処理部２１０は、操作情報に基づいて表示装置２５０に表示する表示内容を制御する。なお、表示処理部２１０による処理については、後述する。
　２．本実施形態のシステムによる着色処理の具体例
　次に、本実施形態のシステムによる着色処理（色変換処理）のいくつかの具体例について説明する
　　２．１．明視野画像の色変換
　先ず、明視野画像の色変換について説明する。明視野画像として、上述したＨＥ画像やＩＨＣ画像などが挙げられる。ここで、免疫組織化学（Ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ：ＩＨＣ）により、抗原抗体反応を利用して組織や細胞中の特定の物質を特異的に検出する際に用いる画像を、ＩＨＣ画像と称する。本実施形態によれば、これらの明視野画像間で相互に色変換処理を行うことができる。
　先ず、入力画像がＨＥ画像であり、出力画像としてもＨＥ画像を出力する場合は、ステイン分離処理によって出てきた色情報を着色の基準色として保持しておく。上述したように、ステイン分離処理によって得られた領域の色を原画像から抽出しても良いし、学習画像の色を参照しても良い。
　また、入力画像がＩＨＣ画像であり、出力画像としてＨＥ画像を出力する場合など、異なる染色の画像に変換する場合は、ステイン分離処理により得られた色にリファレンスの色を割り当てて基準色とすることが望ましい。例えば、入力画像がＩＨＣ画像であり、出力画像をＨＥ画像とする場合、ＩＨＣ画像では細胞核が青く染まるので、ＩＨＣ画像の青色に対して、ＨＥ画像の紫色を着色後の細胞核の領域の基準色として与える。これにより、ＩＨＣ画像を着色してＨＥ画像にする場合に、細胞核の領域を紫色に着色することができる。着色部２０６は、ステイン分離部２０８によるステイン分離後の色に対してリファレンスの色を割り当て、これを基準色として着色を行う。
　以上のように、ステイン分離処理により得られた領域において染色位置のサンプリングを行い、脱色変換後のグレースケールの画像と基準色情報を元に着色する。なお、ＨＥ画像からＩＨＣ画像への色変換も可能である。
　図５は、明視野画像の色変換の処理を示すフローチャートである。先ず、ステップＳ１０では、ステイン分離部２０８が入力画像に対してステイン分離処理を行う。次のステップＳ１２では、ステイン分離により得られた画像に基づいて、染色位置（核情報）のサンプリングを行う。次のステップＳ１４では、脱色フィルタ２０４が入力画像に脱色処理（脱色変換）を施すことで、グレースケール画像が得られる。次のステップＳ１６では、着色部２０６が、グレースケール画像の形態情報を、学習部１０４から得られる学習結果情報に当てはめて、グレースケール画像に着色を行う。
　図６は、ＩＨＣ画像をＨＥ画像（Ｓｉｍｕｌａｔｅｄ　ＨＥ）に変換した例を示す図である。ＩＨＣ画像は、抗原抗体反応を利用した染色であり、例えば癌細胞などの特定には適しているが、細胞の形状を正確に観察するには必ずしも適していない場合がある。このような場合、本実施形態の手法によりＩＨＣ画像をＨＥ画像に変換することで、細胞などの形状観察を容易に行うことができる。上述のように、ＩＨＣ画像では細胞核が青く染まるので図６の左側に示すＩＨＣ画像の入力画像では、細胞核が青く染まっている（図６の左図で灰色の点で示される領域）。一方、図６の右側に示す着色後のＨＥ画像では、細胞核は紫に着色され（図６の右図で黒い点で示される領域）、細胞核以外は赤色に着色されている。従って、色変換後のＨＥ画像と元のＩＨＣ画像とで、細胞核の位置が対応しており、正確に変換が行われていることが判る。
　　２．２．蛍光画像の色変換
　次に、蛍光画像の明視野色変換について説明する。例えば、蛍光画像からＨＥ画像またはＩＨＣ画像へ色変換する場合が挙げられる。例えばＤＡＰＩを蛍光色素として用い、観察対象物の染色を行い、観察対象物の蛍光画像を得る。そして、蛍光画像を核情報としてサンプリングする。そして、核情報に対してリファレンスの基準色を割り当てて着色を行う。リファレンスの基準色は、ＨＥ画像であれば紫、ＩＨＣ画像であれば青である。
　蛍光画像は、信号が微弱なためゲイン調整が必要になる。また、例えば濃淡画像の場合は明暗が反対であるため、ネガ－ポジ反転処理を加えることが望ましい。
　着色が完了すると、同様の処理を蛍光画像の枚数分だけ行い、重ね合わせる。例えばＩＨＣ画像などの２色以上の多重染色の場合は、それぞれの色を学習する必要があるので、学習器１００側では、多重染色明視野画像の事前学習を行っておく。
　マルチプレクス（重ね合わせ）後の画像を扱う場合は、それぞれの蛍光画像の色の割り当てに応じたゲイン調整が必要になる。
　図７は、蛍光画像を明視野画像に変換する処理を示すフローチャートである。先ず、ステップＳ２０では、蛍光により核が染色された領域を示す核染色画像をサンプリングする。ここでは、蛍光体によって染色された生体組織に所定の光を照射して得られる蛍光画像から、核染色画像をサンプリングする。次のステップＳ２２では、サンプリングした画像のゲイン調整を行う。次のステップＳ２４では、ネガ－ポジ反転処理を行う。
　次のステップＳ２６では、サンプリングした細胞核に着色を行う。次のステップＳ２８では、画像のマルチプレクスを行う。複数の染色画像をミックスするような蛍光観察において、蛍光画像の領域毎に色を決定し混合画像上で色付け工程を進めることで、疑似的な明視野染色画像を得ることもできる。
　図８は、蛍光画像をＨＥ画像（Ｓｉｍｕｌａｔｅｄ　ＨＥ）に変換した例を示す図である。蛍光画像は、図８の左側に示す蛍光画像の入力画像は、基本的にグレースケール画像であり、白く見える部分は基本的に細胞核の領域に相当する。蛍光画像において、核の部分は周囲よりも明るくなっているため、上記の核染色画像としてサンプリングされる。これにより、着色部２０６は、サンプリングされた細胞核の形状に基づいて核の部分に着色を行うことができる。図８を参照すると、蛍光画像を変換して得られるＨＥ画像（Ｓｉｍｕｌａｔｅｄ　ＨＥ）では、蛍光画像で白く見える細胞核の領域が、ＨＥ画像での細胞核の領域４５０の色に着色されていることが判る。学習器１００側で蛍光画像の新たな学習は不要であり、ＨＥ画像の学習データに基づいて蛍光画像からＨＥ画像への変換を行うことが可能である。
　　２．３．明視野画像でサンプルにアーチファクトが存在する場合
　ここでは、明視野画像でサンプルにアーチファクト(人工物、異物)が存在する場合について説明する。病理染色画像の場合、アーチファクトとして例えば気泡が挙げられる。アーチファクトは、非常に深い黒色であり、他の色と識別が容易である。この黒色を検出する閾値処理でマスク画像を生成し、その領域に例えばＨＥ画像の赤(ピンク)の基準色を割り当てることで、通常の組織と同じ色になり視認性が向上する。本処理と上述した「２．１．明視野画像の色変換」の処理を繋げることで、アーチファクトのある標本に関してもリファレンス画像に近い色を再現することができる。
　図９は、入力画像のサンプルにアーチファクト（異物）がある場合に、これらの異物を含めて着色する処理を示すフローチャートである。先ず、ステップＳ３０では、入力画像の画素値の閾値処理を行い、黒色の部分を検出する。次のステップＳ３２では、マスク処理を行うことで、ステップＳ３０で検出した黒色の部分を取り除く。次のステップＳ３４では、黒色の部分を取り除いた画像に対してステイン分離処理を行う。
　次のステップＳ３６では、ステイン分離処理により得られた画像から、染色位置のサンプリングを行う。次のステップＳ３８では、入力画像に脱色処理を施すことで、グレースケール画像を得る。次のステップＳ３９では、グレースケール画像の形態情報を、学習部１０４から得られる学習結果情報に当てはめて、グレースケール画像に着色を行う。
　３．表示アプリケーションの例
　次に、出力画像を表示装置２５０に表示する際のアプリケーション例について説明する。本実施形態では、表示処理部２１０の処理により、入力画像と出力画像をともに表示装置２５０に表示することが可能である。例えば、ＩＨＣ画像が入力画像であり、ＨＥ画像が出力画像である場合、癌細胞などを判別するためにＩＨＣ画像を観察し、細胞の形状を判別するためにＨＥ画像を観察することが考えられる。
　図１０は、入力画像であるＩＨＣ画像と、出力画像であるＨＥ画像を並べて表示した例を示す模式図である。図１０に示す例では、表示装置２５０の表示画面２５２上に、入力画像であるＩＨＣ画像は左側に表示され、出力画像であるＨＥ画像は右側に表示されている。これにより、観察者は、左側のＩＨＣ画像で癌細胞の位置を認識でき、右側のＨＥ画像で細胞の形状を認識することができる。表示処理部２１０は、ユーザがマウスなどを操作して操作入力部２１２から画像を画面ないで移動させる指示を入力した場合は、入力画像であるＩＨＣ画像と出力画像であるＨＥ画像を表示画面２５２上で同じ方向に移動させる。これにより、ユーザによる観察時の利便性を高めることができる。
　図１１は、観察対象物を表示画面の全体に表示した例であって、画面左側をＩＨＣ画像として表示し、画面右側をＨＥ画像として表示した例を示す模式図である。ＩＨＣ画像とＨＥ画像の境界２５４は、ユーザがマウスなどを操作して操作入力部２１２から情報を入力することで、左右に移動することができる。図１１のような表示を行うことで、１の観察対象物について、画面左側で癌細胞を視認し、画面右側で形状を認識することが可能である。
　図１２は、奥行き方向に複数の断面を有する画像を表示した例を示しており、左側に入力画像であるＩＨＣ画像を、右側に出力画像であるＨＥ画像を表示した例を示す模式図である。ＩＨＣ画像とＨＥ画像は、同じ奥行き位置の暗面の画像がそれぞれ紐付けられている。ユーザは、操作入力部２１２から情報を入力することで、所望の奥行き位置の断面において、ＩＨＣ画像とＨＥ画像をともに表示することができる。
　以上説明したように本実施形態によれば、色変換器２００による着色を行うことで、染色が劣化した標本を綺麗に色再現することが可能となる。また、病理染色画像は、スキャナ毎に色合いが異なる場合があるが、色変換器２００による着色を行うことで、染色の色味を好みのリファレンス色に補正できる。また、色変換器２００による着色を行うことで、標本の汚れを見えなくして視認性を向上することができる。また、蛍光画像を明視野画像のように着色して観察することも可能となる。更に、トーンカーブ補正と異なり、各画像のスライドの中でそれぞれ適切な色に補正することも可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　色が脱色された脱色画像を取得する取得部と、
　前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、
　を備える、画像着色装置。
（２）　前記取得部は、色が付いた入力画像に脱色処理を施す脱色処理部から構成される、前記（１）に記載の画像着色装置。
（３）　前記学習結果情報は、複数の学習画像の形態情報と当該形態情報に対応する色情報との対応を学習して得られる、前記（１）又は（２）に記載の、画像着色装置。
（４）　前記入力画像にステイン分離処理を行うステイン分離部を備え、
　前記着色部は、前記ステイン分離処理により得られる補助情報を使用して前記着色を行う、前記（２）に記載の画像着色装置。
（５）　前記補助情報は、前記ステイン分離処理により分離された前記入力画像中の所定の部位の位置情報であり、
　前記着色部は、前記入力画像のうち前記位置情報に対応する部位については、前記所定の部位に対応する色を着色する、前記（４）に記載の画像着色装置。
（６）　前記所定の部位は、細胞核に対応する部位である、前記（５）に記載の画像着色装置。
（７）　前記着色部は、前記ステイン分離処理により分離された前記所定の部位において、前記入力画像から得られる色を着色する、前記（５）又は（６）に記載の画像着色装置。
（８）　前記着色部は、前記ステイン分離処理により得られる前記所定の部位において、前記ステイン分離処理に基づいて前記学習結果情報から得られるリファレンス色を着色する、前記（５）又は（６）に記載の画像着色装置。
（９）　前記入力画像はＨＥ染色により得られるＨＥ画像であり、前記着色部は前記脱色処理が施された前記入力画像に前記ＨＥ画像に対応する色を着色する、前記（２）に記載の画像着色装置。
（１０）　前記入力画像はＩＨＣ染色により得られるＩＨＣ画像であり、前記着色部は前記脱色処理が施された前記入力画像にＨＥ染色により得られるＨＥ画像に対応する色を着色する、前記（２）に記載の画像着色装置。
（１１）　前記取得部は、蛍光体を観察対象物に付与して得られる蛍光画像を前記脱色画像として取得し、
　前記着色部は、前記蛍光画像にＨＥ染色により得られるＨＥ画像又はＩＨＣ染色により得られるＩＨＣ画像に対応する色を着色する、前記（１）に記載の画像着色装置。
（１２）　前記着色部は、前記蛍光画像を構成する複数の画像について着色を行い、着色された前記複数の画像の重ね合わせを行う、前記（１１）に記載の画像着色装置。
（１３）　前記着色部による着色の前に、前記蛍光画像のゲイン調整又はネガポジ反転処理を行う、前記（１１）又は（１２）に記載の画像着色装置。
（１４）　前記着色部は、前記脱色画像から黒色の領域を取得し、当該黒色の領域については予め定められた所定の色を着色する、前記（１）～（１３）のいずれかに記載の画像着色装置。
（１５）　前記着色部による着色前の画像と着色後の画像を表示装置に表示するための処理を行う表示処理部を備える、前記（１）～（１４）のいずれかに記載の画像着色装置。
（１６）　前記表示処理部は、同一の観察対象物について、前記観察対象物の第１の領域は着色前の画像を表示させ、前記観察対象物の第２の領域は着色後の画像を表示させる、前記（１５）に記載の画像着色装置。
（１７）　前記表示処理部は、着色前の画像と着色後の画像を同一画面上に表示し、操作情報に基づいて着色前の画像と着色後の画像を同じ方向に移動させる、前記（１５）に記載の画像着色装置。
（１８）　前記表示処理部は、着色前の画像と着色後の画像のそれぞれについて、奥行方向の断面位置が同じ画像を表示させ、操作情報に基づいて断面位置を変更する、前記（１５）に記載の画像着色装置。
（１９）　病理染色画像に着色を行う、請求項１に記載の画像着色装置。
（２０）　色が脱色された脱色画像を取得することと、
　前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色することと、
　を備える、画像着色方法。
（２１）　色が脱色された脱色画像を取得する手段、
　前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する手段、
　としてコンピュータを機能させるプログラム。
（２２）　色が付いた学習画像に脱色処理を施す脱色処理部と、
　前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、
　を備える、画像学習装置。
（２３）　色が付いた学習画像に脱色処理を施すことと、
　前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習することと、
　を備える、画像学習方法。
（２４）　色が付いた学習画像に脱色処理を施す手段、
　前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する手段、
　としてコンピュータを機能させるプログラム。
（２５）　色が付いた学習画像に脱色処理を施す脱色処理部と、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、を有する、画像学習装置と、
　色が脱色された脱色画像を取得する取得部と、前記脱色画像から得られる形態情報に基づいて、前記学習部による学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、を有する、画像着色装置と、
　を備える、画像着色システム。
　１００　　学習器
　１０４　　学習部
　１０６　　脱色フィルタ
　２００　　着色器
　２０２　　画像入力部
　２０４　　脱色フィルタ
　２０６　　着色部
　２０８　　ステイン分離部
　２１０　　表示処理部

Claims (25)

  1. 　色が脱色された脱色画像を取得する取得部と、
    　前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、
    　を備える、画像着色装置。
  2. 　前記取得部は、色が付いた入力画像に脱色処理を施す脱色処理部から構成される、請求項１に記載の画像着色装置。
  3. 　前記学習結果情報は、複数の学習画像の形態情報と当該形態情報に対応する色情報との対応を学習して得られる、請求項１に記載の画像着色装置。
  4. 　前記入力画像にステイン分離処理を行うステイン分離部を備え、
    　前記着色部は、前記ステイン分離処理により得られる補助情報を使用して前記着色を行う、請求項２に記載の画像着色装置。
  5. 　前記補助情報は、前記ステイン分離処理により分離された前記入力画像中の所定の部位の位置情報であり、
    　前記着色部は、前記入力画像のうち前記位置情報に対応する部位については、前記所定の部位に対応する色を着色する、請求項４に記載の画像着色装置。
  6. 　前記所定の部位は、細胞核に対応する部位である、請求項５に記載の画像着色装置。
  7. 　前記着色部は、前記ステイン分離処理により分離された前記所定の部位において、前記入力画像から得られる色を着色する、請求項５に記載の画像着色装置。
  8. 　前記着色部は、前記ステイン分離処理により得られる前記所定の部位において、前記ステイン分離処理に基づいて前記学習結果情報から得られるリファレンス色を着色する、請求項５に記載の画像着色装置。
  9. 　前記入力画像はＨＥ染色により得られるＨＥ画像であり、前記着色部は前記脱色処理が施された前記入力画像に前記ＨＥ画像に対応する色を着色する、請求項２に記載の画像着色装置。
  10. 　前記入力画像はＩＨＣ染色により得られるＩＨＣ画像であり、前記着色部は前記脱色処理が施された前記入力画像にＨＥ染色により得られるＨＥ画像に対応する色を着色する、請求項２に記載の画像着色装置。
  11. 　前記取得部は、蛍光体を観察対象物に付与して得られる蛍光画像を前記脱色画像として取得し、
    　前記着色部は、前記蛍光画像にＨＥ染色により得られるＨＥ画像又はＩＨＣ染色により得られるＩＨＣ画像に対応する色を着色する、請求項１に記載の画像着色装置。
  12. 　前記着色部は、前記蛍光画像を構成する複数の画像について着色を行い、着色された前記複数の画像の重ね合わせを行う、請求項１１に記載の画像着色装置。
  13. 　前記着色部による着色の前に、前記蛍光画像のゲイン調整又はネガポジ反転処理を行う、請求項１１に記載の画像着色装置。
  14. 　前記着色部は、前記脱色画像から黒色の領域を取得し、当該黒色の領域については予め定められた所定の色を着色する、請求項１に記載の画像着色装置。
  15. 　前記着色部による着色前の画像と着色後の画像を表示装置に表示するための処理を行う表示処理部を備える、請求項１に記載の画像着色装置。
  16. 　前記表示処理部は、同一の観察対象物について、前記観察対象物の第１の領域は着色前の画像を表示させ、前記観察対象物の第２の領域は着色後の画像を表示させる、請求項１５に記載の画像着色装置。
  17. 　前記表示処理部は、着色前の画像と着色後の画像を同一画面上に表示し、操作情報に基づいて着色前の画像と着色後の画像を同じ方向に移動させる、請求項１５に記載の画像着色装置。
  18. 　前記表示処理部は、着色前の画像と着色後の画像のそれぞれについて、奥行方向の断面位置が同じ画像を表示させ、操作情報に基づいて断面位置を変更する、請求項１５に記載の画像着色装置。
  19. 　病理染色画像に着色を行う、請求項１に記載の画像着色装置。
  20. 　色が脱色された脱色画像を取得することと、
    　前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色することと、
    　を備える、画像着色方法。
  21. 　色が脱色された脱色画像を取得する手段、
    　前記脱色画像から得られる形態情報に基づいて、前記形態情報と色情報との対応を予め学習した学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する手段、
    　としてコンピュータを機能させるプログラム。
  22. 　色が付いた学習画像に脱色処理を施す脱色処理部と、
    　前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、
    　を備える、画像学習装置。
  23. 　色が付いた学習画像に脱色処理を施すことと、
    　前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習することと、
    　を備える、画像学習方法。
  24. 　色が付いた学習画像に脱色処理を施す手段、
    　前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する手段、
    　としてコンピュータを機能させるプログラム。
  25. 　色が付いた学習画像に脱色処理を施す脱色処理部と、前記脱色処理が施された前記学習画像から得られる形態情報と、前記脱色処理が施されていない前記学習画像から得られる色情報を対応付けて学習する学習部と、を有する、画像学習装置と、
    　色が脱色された脱色画像を取得する取得部と、前記脱色画像から得られる形態情報に基づいて、前記学習部による学習結果情報を参照して、前記形態情報に対応する色を前記脱色画像に着色する着色部と、を有する、画像着色装置と、
    　を備える、画像着色システム。
PCT/JP2018/036845 2017-12-01 2018-10-02 画像着色装置、画像着色方法、画像学習装置、画像学習方法、プログラム、及び画像着色システム WO2019106946A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/766,454 US11321881B2 (en) 2017-12-01 2018-10-02 Image coloring apparatus, image coloring method, image learning apparatus, image learning method, computer program, and image coloring system
JP2019557035A JP7200945B2 (ja) 2017-12-01 2018-10-02 画像着色装置、画像着色方法、プログラム、及び画像着色システム
EP18882883.4A EP3719739B1 (en) 2017-12-01 2018-10-02 Image coloring device, image coloring method, image learning device, image learning method, program, and image coloring system
CN201880076130.XA CN111406274B (zh) 2017-12-01 2018-10-02 图像着色设备、图像着色方法、图像学习设备、图像学习方法、程序及图像着色系统
US17/684,342 US11983797B2 (en) 2017-12-01 2022-03-01 Image coloring apparatus, image coloring method, image learning apparatus, image learning method, computer program, and image coloring system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017231403 2017-12-01
JP2017-231403 2017-12-01

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/766,454 A-371-Of-International US11321881B2 (en) 2017-12-01 2018-10-02 Image coloring apparatus, image coloring method, image learning apparatus, image learning method, computer program, and image coloring system
US17/684,342 Continuation US11983797B2 (en) 2017-12-01 2022-03-01 Image coloring apparatus, image coloring method, image learning apparatus, image learning method, computer program, and image coloring system

Publications (1)

Publication Number Publication Date
WO2019106946A1 true WO2019106946A1 (ja) 2019-06-06

Family

ID=66664784

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/036845 WO2019106946A1 (ja) 2017-12-01 2018-10-02 画像着色装置、画像着色方法、画像学習装置、画像学習方法、プログラム、及び画像着色システム

Country Status (5)

Country Link
US (1) US11321881B2 (ja)
EP (1) EP3719739B1 (ja)
JP (1) JP7200945B2 (ja)
CN (1) CN111406274B (ja)
WO (1) WO2019106946A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115684569A (zh) * 2018-02-15 2023-02-03 国立大学法人新潟大学 超突变型癌的判别系统、程序及方法
EP3935577A4 (en) * 2019-03-08 2022-11-16 University Of Southern California IMPROVED HISTOPATHOLOGY CLASSIFICATION THROUGH MACHINE SELF-LEARNING FROM TISSUE FINGERPRINTS
WO2024064338A1 (en) 2022-09-22 2024-03-28 Agilent Technologies, Inc. Anti-human icos antibodies for use in immunohistochemistry (ihc) protocols and for diagnosing cancer

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014355A (ja) 2007-06-29 2009-01-22 Olympus Corp 画像処理装置および画像処理プログラム
JP2011053074A (ja) * 2009-09-01 2011-03-17 Olympus Corp 画像処理方法、画像処理装置および画像処理プログラム
US9036889B2 (en) 2012-07-13 2015-05-19 Sony Corporation Method and apparatus for stain separation using vector analysis
JP2016028250A (ja) * 2010-06-25 2016-02-25 シレカ セラノスティクス エルエルシーＣｉｒｅｃａ Ｔｈｅｒａｎｏｓｔｉｃｓ，Ｌｌｃ 生物学的試片をスペクトル画像により分析する方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3954574B2 (ja) * 2004-01-20 2007-08-08 株式会社東芝 消色可能な画像形成材料
US8913074B2 (en) * 2004-05-05 2014-12-16 Yissum Research Development Company Of The Hebrew University Of Jerusalem Colorization method and apparatus
RU2305270C2 (ru) * 2005-05-18 2007-08-27 Андрей Алексеевич Климов Способ флуоресцентной наноскопии (варианты)
JP4937850B2 (ja) * 2007-07-03 2012-05-23 オリンパス株式会社 顕微鏡システム、そのｖｓ画像生成方法、プログラム
US8269827B2 (en) * 2009-09-29 2012-09-18 General Electric Company System and methods for mapping fluorescent images into a bright field color space
WO2013142366A1 (en) 2012-03-19 2013-09-26 Genetic Innovations, Inc. Devices, systems, and methods for virtual staining
JP6336391B2 (ja) * 2012-09-06 2018-06-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014355A (ja) 2007-06-29 2009-01-22 Olympus Corp 画像処理装置および画像処理プログラム
JP2011053074A (ja) * 2009-09-01 2011-03-17 Olympus Corp 画像処理方法、画像処理装置および画像処理プログラム
JP2016028250A (ja) * 2010-06-25 2016-02-25 シレカ セラノスティクス エルエルシーＣｉｒｅｃａ Ｔｈｅｒａｎｏｓｔｉｃｓ，Ｌｌｃ 生物学的試片をスペクトル画像により分析する方法
US9036889B2 (en) 2012-07-13 2015-05-19 Sony Corporation Method and apparatus for stain separation using vector analysis

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3719739A4

Also Published As

Publication number Publication date
CN111406274B (zh) 2024-04-19
US11321881B2 (en) 2022-05-03
EP3719739A1 (en) 2020-10-07
JPWO2019106946A1 (ja) 2021-01-28
EP3719739A4 (en) 2021-01-27
CN111406274A (zh) 2020-07-10
US20200294278A1 (en) 2020-09-17
US20220270305A1 (en) 2022-08-25
JP7200945B2 (ja) 2023-01-10
EP3719739B1 (en) 2024-02-28

Similar Documents

Publication Publication Date Title
WO2019106946A1 (ja) 画像着色装置、画像着色方法、画像学習装置、画像学習方法、プログラム、及び画像着色システム
EP2370951B1 (en) Generation of a multicolour image of an unstained biological specimen
US10890576B2 (en) Image processing device, image processing method, and recording medium
CN111209876A (zh) 一种漏油缺陷检测方法及系统
CN109754444B (zh) 图像着色方法和装置
CN107592909B (zh) 用于生成减少反射对比图像的方法及其装置
CN112561913B (zh) 一种显示面板mura缺陷样本数据的生成方法及装置
US11210791B2 (en) Computer-implemented method for locating possible artifacts in a virtually stained histology image
CN101408521A (zh) 用于缺陷增强的方法
US11983797B2 (en) Image coloring apparatus, image coloring method, image learning apparatus, image learning method, computer program, and image coloring system
US10175468B2 (en) Method for generating a contrast image of an object structure and apparatuses relating thereto
KR101704690B1 (ko) 세포 분석 장치 및 방법
US11900573B2 (en) Method and device for generating an overview contrast image of a sample carrier in a microscope
WO2019239532A1 (ja) 画像処理装置、画像処理方法およびプログラム
WO2016013112A1 (ja) 色彩変化度判定装置、色彩変化度判定方法およびプログラム
WO2023008525A1 (ja) 細胞画像解析方法
JP7215418B2 (ja) 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム
Koizumi et al. The dominating impacts of Helmholtz-Kohlrausch effect on color-induced glossiness enhancement
EP4187217A1 (en) Mobile computing device for performing color fastness measurements
WO2015133100A1 (en) Image processing apparatus and image processing method
CN117425915A (zh) 用于生成虚拟染色图像的显微镜系统和方法
CN116797448A (zh) 一种用于视觉障碍人群的图像转换训练方法及装置
JP2008196879A (ja) 標本スライス画像の領域抽出システム
US20190045113A1 (en) Method for obtaining chromatic attributes of natural surroundings to design colour patterns
Seeman et al. Hue correction in HDR tone-mapping

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18882883

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019557035

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018882883

Country of ref document: EP

Effective date: 20200701