WO2018186052A1 - 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法 - Google Patents

画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法 Download PDF

Info

Publication number
WO2018186052A1
WO2018186052A1 PCT/JP2018/007064 JP2018007064W WO2018186052A1 WO 2018186052 A1 WO2018186052 A1 WO 2018186052A1 JP 2018007064 W JP2018007064 W JP 2018007064W WO 2018186052 A1 WO2018186052 A1 WO 2018186052A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
tissue
cell
target image
lesion
Prior art date
Application number
PCT/JP2018/007064
Other languages
English (en)
French (fr)
Inventor
英春 服部
容弓 柿下
内田　憲孝
定光 麻生
智也 桜井
Original Assignee
株式会社日立ハイテクノロジーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテクノロジーズ filed Critical 株式会社日立ハイテクノロジーズ
Priority to US16/603,445 priority Critical patent/US11676268B2/en
Publication of WO2018186052A1 publication Critical patent/WO2018186052A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an image diagnosis support device, an image diagnosis support system, and an image diagnosis support method.
  • the image diagnosis support device and image diagnosis support method are included in an image obtained by photographing a tissue, a cell slice, or the like on a slide glass with a photographing device such as a camera mounted on a microscope.
  • the present invention relates to an image processing technique for detecting a specific tissue or cell (for example, cancer).
  • pathological diagnosis based on microscopic observation of a tissue sample of a diseased part occupies an important position.
  • steps from specimen preparation to diagnosis rely on human hands, and automation is difficult.
  • the ability and experience of a pathologist in diagnosis is important and depends on his personal ability.
  • pathologists in the medical field, such as an increase in cancer patients with aging. For these reasons, there is an increasing need for image processing technology and remote diagnosis that support pathological diagnosis.
  • Patent Document 1 there is a technique proposed in Patent Document 1, for example, in order to determine whether or not the tissue is a pathological tissue for pathological diagnosis support.
  • a low-magnification image is generated from a high-magnification image, the images are simply classified using the low-magnification image, and then the pathological tissue is classified using the high-magnification image that is the source of the low-magnification image.
  • the present invention has been made in view of such a situation, and not only the calculation of the feature amount of the stained tissue / cell image from the tissue / cell image dyed by one type of staining method but also the dyeing by another staining method.
  • the present invention provides a technique for realizing the classification of tissues / cells from tissue / cell images dyed by one kind of staining method by estimating the feature amount of the tissue / cell images.
  • the present invention includes a processor that executes various programs for image processing on a target image, and a memory that stores a result of the image processing.
  • a process of inputting an image obtained by imaging a tissue or a cell, a process of extracting a tissue or cell feature amount of the target image, and a feature of extracting a tissue or cell feature amount of an image having a component different from the target image An extraction process and a determination process for determining the presence / absence of a lesion and the likelihood of a lesion for each target image using a plurality of the feature amounts are executed.
  • the present invention further includes a processor that executes various programs for performing image processing on the target image, and a memory for storing the results of the image processing, and the processor images tissues and cells.
  • a process of inputting the processed image a process of extracting a feature amount of a tissue or cell of the target image, a process of generating an image having a component different from the target image from the target image, and a tissue of the generated image
  • a feature extraction process for extracting feature quantities of cells and a determination process for determining the presence / absence of a lesion and the likelihood of a lesion for each target image using a plurality of the feature quantities.
  • tissue / cell images dyed by multiple types of staining methods even if it is not possible to determine whether abnormal tissue or abnormal cells without using tissue / cell images dyed by multiple types of staining methods, from tissue / cell images dyed by one type of staining method, In addition to calculating the feature amount of the stained tissue / cell image, by estimating the feature amount of the tissue / cell image dyed by other staining methods, it suppresses false detection and over-detection, and allows one type of staining method. Tissues / cells can be classified from dyed tissue / cell images.
  • the embodiment of the present invention calculates a feature amount of a tissue / cell image dyed from a tissue / cell image dyed by one kind of staining method, and further calculates a feature amount of a tissue / cell image dyed by another staining method.
  • the embodiment of the present invention may be implemented by software running on a general-purpose computer, or may be implemented by dedicated hardware or a combination of software and hardware.
  • each processing unit as a program (for example, feature extraction unit)” as the subject (operation subject), but the program is executed by a processor (CPU or the like). Since the processing determined in this way is performed using the memory and the communication port (communication control device), the description may be made with the processor as the subject.
  • FIG. 1 is a block diagram showing a functional configuration of an image diagnosis support apparatus according to an embodiment of the present invention.
  • the image diagnosis support apparatus 1 includes an input unit 10, a feature extraction unit 11, a classification determination unit 12, a drawing unit 13, a recording unit 14, a learning unit 15, a control unit 91, and a memory 90.
  • the image diagnosis support device may be mounted in a tissue / cell image acquisition device such as a virtual slide, or, as will be described later (third to fourth embodiments), a tissue / cell image acquisition device and a network are connected. It may be implemented in a server connected through the network.
  • the input unit 10, the feature extraction unit 11, the one classification determination unit 12, the drawing unit 13, the recording unit 14, and the learning unit 15 in the image diagnosis support apparatus 1 may be realized by a program or may be realized as a module. May be.
  • the image data is input to the input unit 10.
  • the input unit 10 obtains encoded still image data or the like in JPG, Jpeg2000, PNG, BMP format, etc. captured by an imaging unit such as a camera built in the microscope at a predetermined time interval.
  • the image may be an input image.
  • the input unit 10 includes Motion JPEG, MPEG, H.264. It is also possible to extract still image data of frames at a predetermined interval from moving image data of H.264, HD / SDI format, etc., and use that image as an input image.
  • the input unit 10 may use an image acquired by the imaging unit via a bus, a network, or the like as an input image. Further, the input unit 10 may use an image already stored in a removable recording medium as an input image.
  • the feature extraction unit 11 calculates a feature amount related to a tissue or a cell of a stained tissue / cell image from a tissue / cell image dyed by one type of staining method, and further, calculates a feature amount of the tissue / cell image dyed by another staining method. Estimate features related to tissues and cells.
  • the classification determination unit 12 calculates the abnormalness of the tissue or cell from the extracted feature amount and the estimated feature amount, and classifies the input image as normal tissue or abnormal tissue, or normal cell or abnormal cell.
  • the drawing unit 13 draws a detection frame on the image so as to surround the abnormal tissue or abnormal cells classified by the one classification determination unit 12.
  • the recording unit 14 stores in the memory 90 the image in which the drawing unit 13 has drawn the detection frame on the original image.
  • the learning unit 15 is configured to identify a normal tissue or cell in the input image as a normal tissue or cell, and to identify an abnormal tissue or cell in the input image as an abnormal tissue or cell. Learning is performed to calculate each parameter (filter coefficient, offset value, etc.) necessary for identification. Furthermore, normal tissue and cells in tissue / cell images stained with other staining methods different from the input image staining method are estimated from the input image as normal tissues and cells. Each parameter (filter coefficient, offset value, etc.) necessary for estimation by performing machine learning so that abnormal tissues or cells in tissue / cell images stained with different other staining methods are estimated as abnormal tissues or cells. Is calculated.
  • the control unit 91 is realized by a processor and is connected to each element in the diagnostic imaging support apparatus 1.
  • the operation of each element of the image diagnosis support apparatus 1 operates according to the autonomous operation of each component described above or an instruction from the control unit 91.
  • the diagnostic imaging support apparatus 1 As described above, in the diagnostic imaging support apparatus 1 according to the present embodiment, an image dyed by another staining method different from the staining method of the input image and the feature amount indicating the abnormalness of the tissue or cells related to the input image obtained by the feature extraction unit 11. Using the feature amount indicating the abnormalness of the tissue or cell, the classification determination unit 12 classifies the input image as normal tissue or abnormal tissue, or normal cell or abnormal cell.
  • FIG. 2 is a diagram illustrating a hardware configuration example of the diagnostic imaging support apparatus 1 according to the embodiment of the present invention.
  • the image diagnosis support apparatus 1 outputs a CPU (processor) 201 that executes various programs, a memory 202 that stores various programs, a storage device (corresponding to the memory 90) 203 that stores various data, and an image after detection.
  • the CPU 201 reads various programs from the memory 202 and executes them as necessary.
  • the memory 202 stores an input unit 10, a feature extraction unit 11, a classification determination unit 12, a drawing unit 13, a recording unit 14, and a learning unit 15 as programs.
  • the image generator 20 is not included in the memory 202 of the diagnostic imaging support apparatus 1 according to the first embodiment.
  • the storage device 203 stores the processing target image, the classification result regarding the input image generated by the one classification determination unit 12 and its numerical value, the estimation result regarding the image dyed by another staining method different from the staining method of the input image, its numerical value, and the drawing.
  • the position information for drawing the detection frame generated by the unit 13 and the parameters (1) and (2) described later generated by the learning unit 15 are stored.
  • the output device 204 includes devices such as a display, a printer, and a speaker. For example, the output device 204 displays the data generated by the drawing unit 13 on the display screen.
  • the input device 205 includes devices such as a keyboard, a mouse, and a microphone.
  • An instruction (including determination of an image to be processed) is input to the diagnostic imaging support apparatus 1 by the input device 205.
  • the communication device 206 is not an indispensable configuration for the diagnostic imaging support apparatus 1, and when the communication device is included in a personal computer or the like connected to the tissue / cell image acquisition apparatus, the diagnostic imaging support apparatus 1 sets the communication device 206. It does not have to be held.
  • the communication device 206 performs an operation of receiving data (including an image) transmitted from another device (for example, a server) connected via a network and storing it in the storage device 203.
  • the image diagnosis support apparatus calculates a feature amount of a tissue or a cell relating to an input image, and calculates a feature amount of a tissue or a cell relating to an image dyed by another staining method different from the staining method of the input image from the input image. Estimation is performed to determine the likelihood of lesions of tissues and cells in the input image using those feature amounts.
  • Feature extraction unit 11 A feature amount of an image dyed by another staining method different from the staining method of the input image and the input image is obtained.
  • FIG. 3 shows an example of obtaining each feature amount.
  • CNN in FIG. 3 represents a convolutional neural network.
  • the tissue / cell feature amount FAi of the input image A1 is obtained from the input image A1 by the equation (1).
  • the tissue / cell feature quantity FCi of the image having a component different from the input image is obtained from the input image A1 by the equation (1).
  • the filter coefficient wj shown in the expression (1) is machine learning or the like so as to distinguish normal tissues and normal cells from normal tissues and normal cells, and to distinguish abnormal tissues and abnormal cells from abnormal tissues and abnormal cells. Is a coefficient obtained by
  • Equation (1) pj is a pixel value, bi is an offset value, m is the number of filter coefficients, and h is a nonlinear function.
  • the feature quantity fi of an arbitrary filter i is obtained by obtaining the calculation result of each filter from the upper left to the lower right of the target image using Expression (1).
  • the feature quantity fi matrix obtained by the feature extractor A is used as the feature quantity FAi of the input image A1.
  • the feature quantity fi matrix obtained by the feature extractor C is set as the feature quantity FCi estimated from the input image A1.
  • a method of creating the feature extractors A and C will be described in the learning unit 15 described later.
  • the one-classification determination unit 12 performs logistic regression using the matrix f of the feature quantity FAi of the feature extractor A and the feature quantity FCi of the feature extractor C obtained by the feature extraction unit 11. Then, the value of the likelihood of lesion is calculated by the equation (2), and it is determined whether the tissue / cell in the input image A1 is normal or abnormal.
  • w is a weight matrix
  • b is an offset value
  • g is a non-linear function
  • y is a calculation result
  • the weight of w and the offset value of b are obtained by machine learning in the learning unit 15 described later. Ask for.
  • the feature amount FAi is calculated from the HE-stained image of the prostate using the feature extractors A and C, and the HE-stained image of the prostate.
  • FCi the feature amount of the immunostained image of the prostate
  • (Iii) Learning unit 15 If the tissue or cell in the input tissue / cell image is a normal tissue or a normal cell according to Expression (2), the learning unit 15 determines that the tissue or the normal cell is a normal tissue or a normal cell by logistic regression processing, for example. For example, a feature quantity of a tissue or a cell is learned by using a machine learning technique which is a conventional technique. If the tissue or cell in the input tissue / cell image is an abnormal tissue or an abnormal cell, the feature quantity of the tissue or cell is learned so as to be determined as an abnormal tissue or an abnormal cell by logistic regression processing. For example, Convolutional Neural Network may be used as a machine learning technique.
  • the learning unit 15 performs an advance machine learning so that the input image A1 (for example, HE-stained image) and the image B1 having components different from the input image (for example, an immunostained image, a specially-stained image, etc.) ) To determine abnormal tissues and abnormal cells as abnormal tissues and abnormal cells, and to determine normal tissues and normal cells as normal tissues and normal cells.
  • FAi feature quantity of the input image A1
  • FBi feature value fi
  • the learning unit 15 uses the feature extractor A and the feature extractor B by a prior machine learning to obtain components different from the input image according to the equations (1) and (2).
  • the difference between the feature amount FBi calculated when the input image B1 is input to the feature extractor B and the feature amount fi (referred to as FCi) calculated when the input image A1 is input to the feature extractor C is reduced.
  • a feature extractor C is created as follows. By creating the feature extractor C in this way, it is possible to estimate the feature amount FCi of an image having a component different from the input image from the input image A1.
  • the learning unit 15 repeatedly performs the feature extraction unit 11 and the one classification determination unit 12 using a plurality of learning images, and weights w, filter coefficients wj, and offsets shown in equations (1) and (2).
  • a feature extractor A that calculates values b and bi and calculates a feature value FAi of the input image A1 from the input image A1 and a feature extractor C that calculates a feature value FCi of an image having components different from the input image from the input image A1 Create
  • the learning unit 15 includes only the feature value FCi when f is a matrix composed of the feature value FAi and the feature value FCi ((a)), and f is a matrix composed only of the feature value FAi ((b)). For each case where the matrix is f ((c)), the weight w, the filter coefficient wj, and the offset values b and bi are obtained. The learning unit 15 stores the obtained weight w, filter coefficient wj, and offset values b and bi in a memory.
  • drawing unit 13 In the case where the classification determination unit 12 determines that the abnormal tissue or abnormal cell is present, the drawing unit 13 includes an input target image in order to indicate a location where the abnormal tissue or abnormal cell is suspected as shown in FIG. Draw a detection frame.
  • the input target image is displayed as it is without drawing the detection frame on the input target image. Further, as shown in FIG. 8, the determined lesion-like result (for example, a tumor) is displayed. As an example, the result of lesion likelihood determination is displayed on a GUI (graphical user interface) shown in FIG.
  • FIG. 11 is an example of gastric cancer, and shows classification results of poorly differentiated tubular adenocarcinoma, moderately differentiated tubular adenocarcinoma, well differentiated tubular adenocarcinoma, papillary adenocarcinoma, and signet ring cell carcinoma It is.
  • the classification determination unit 12 classifies the input target image as including a poorly differentiated tubular adenocarcinoma that is an abnormal tissue / cell. This is an example of calculating the lesion likelihood (HE) value of 0.69 and the lesion likelihood (immunity / specific dye) value of 0.80.
  • HE lesion likelihood
  • the classification determination unit 12 classifies the input target image as normal tissue / cell without including the moderately differentiated tubular adenocarcinoma that is an abnormal tissue / cell.
  • the classification determination unit 12 does not include the well-differentiated tubular adenocarcinoma that is an abnormal tissue / cell in the input target image, classifies it as normal tissue / cell, and well-differentiated tubular adenocarcinoma
  • HE lesion likelihood
  • the lesion likelihood (immunity / specific dye) value was calculated to be 0.05.
  • the classification determination unit 12 does not include the abnormal tissue / cell papillary adenocarcinoma in the input target image, classifies it as normal tissue / cell, and papillary adenocarcinoma.
  • the classification determination unit 12 classifies the input target image as normal tissue / cell without including signet ring cell cancer which is an abnormal tissue / cell, and signet ring cell cancer.
  • (V) Recording unit 14 The recording unit 14 stores the coordinate information for drawing the detection frame on the target image input by the drawing unit 13 and the target image in the memory 90.
  • FIG. 9 is a flowchart for explaining the operation of the learning unit 15 of the diagnostic imaging support apparatus 1 according to the embodiment of the present invention.
  • the learning unit 15 is described as an operation subject, but it may be read so that the CPU 201 is an operation subject and the CPU 201 executes each processing unit as a program.
  • Step 901 The input unit 10 receives an image input for learning and outputs the input image to the learning unit 15.
  • Step 902 The learning unit 15 uses the features of the image B1 having components different from those of the input image A1 and the tissue or cell feature amount FAi of the input image A1 using the filter according to the above formulas (1) and (2). Find the quantity FBi and create feature extractors A and B.
  • Step 903 The learning unit 15 inputs an image B1 having a component different from the input image to the feature extractor B using the feature extractors A and B and a filter according to the equations (1) and (2) by machine learning.
  • the feature extractor C is created so that the difference between the feature amount FBi calculated sometimes and the feature amount fi (referred to as FCi) calculated when the input image A1 is input to the feature extractor C is reduced.
  • Step 904 The learning unit 15 stores the calculated weights w, filter coefficients wj, and offset values b and bi of the feature extractors A and C in the memory 90.
  • FIG. 10 is a flowchart for explaining the operation of the image diagnosis support apparatus 1 according to this embodiment.
  • each processing unit input unit 10, feature extraction unit 11, etc.
  • CPU 201 is the operation subject and CPU 201 executes each processing unit as a program.
  • Step S1001 The input unit 10 outputs the input image A1 to the feature extraction unit 11.
  • Step S1002 The feature extraction unit 11 reads the filter coefficient wj and offset bi of each of the feature extractors A and C from the memory 90, and uses the filter according to the above equation (1) to calculate the feature amount FAi of the tissue / cell of the input image A1. And the tissue / cell feature quantity FCi estimated from the input image A1.
  • Step S1003 The classification determination unit 12 reads the weights w and the offsets b from the memory 90, and the calculation result y when the matrix composed of the feature amount FAi and the feature amount FCi is set to f by the equation (2) ((a)).
  • the calculation result ya when the matrix consisting only of the feature quantity FAi is set to f ((b)), and the calculation result yc when the matrix consisting only of the feature quantity FCi is set to f ((c)) are calculated.
  • Step S1004 The one classification determination unit 12 compares the calculated calculation result y with the threshold value Th1. That is, when the calculation result y ⁇ threshold Th1, the process proceeds to step 1005. On the other hand, if the calculation result y ⁇ threshold Th1, the process proceeds to step 1006.
  • the one classification determination unit 12 sets an abnormal tissue / abnormal cell (for example, 1) in the classification result res.
  • Step S1006 The one classification determination unit 12 sets normal tissue / normal cells (for example, 0) in the classification result res.
  • step S If the drawing unit 13 is classified as abnormal tissue or abnormal cell, the drawing unit 13 draws and displays a detection frame indicating the abnormal tissue or abnormal cell on the image as shown in FIG. The drawing unit 13 does not draw the detection frame on the image when it is classified as normal tissue or normal cell. Further, as illustrated in FIG. 11, the drawing unit 13 displays a lesion likelihood calculated from the input image and a lesion likelihood value estimated from the input image.
  • the recording unit 14 stores coordinate information for drawing the detection frame on the target image input by the drawing unit 13 and the target image in the memory 90 (corresponding to the storage device 203).
  • machine learning is performed on tissue and cell feature quantities of an image having components different from the input image tissue and cell feature quantities from the input image, and weights, filter coefficients, and offsets are calculated. Calculates and classifies whether tissues and cells are normal or not (consisting of each feature extractor and logistic regression layer) to suppress false detection and overdetection of lesions, and normal tissue from images Or abnormal tissue, and normal or abnormal cells.
  • tissue and cells of an image having a component different from that of the input image is estimated from the input image, it is possible to determine the likelihood of a lesion that cannot be determined by the input image alone.
  • tissue and cell feature quantities of an image with components different from the input image are estimated from the input image, the cost of producing an image with components different from the input image is unnecessary, and inspection costs can be reduced. It becomes.
  • FIG. 12 is a diagram illustrating a configuration example of an image diagnosis support apparatus 2 according to a second embodiment.
  • the image diagnosis support apparatus 2 according to the second embodiment includes many configurations similar to those of the image diagnosis support apparatus 1 (see FIG. 1) in the first embodiment, while the feature extraction unit 11, the one-class determination unit 12, and The operation of the learning unit 15 is different from that shown in FIG. Further, the diagnostic imaging support apparatus 2 according to the second embodiment includes an image generation unit 20 as a new configuration. Therefore, here, a configuration different from that in FIG. 1 will be mainly described.
  • the diagnostic imaging support apparatus 2 generates an image dyed by another staining method different from the staining method of the input image from the input image, and calculates tissue and cell feature amounts related to the input image and the generated image. Then, using these feature amounts, the likelihood of lesions of tissues and cells in the input image is determined.
  • Image generation unit 20 As illustrated in FIG. 13, the image generation unit 20 generates an image D1 having a component different from the input image from the input image A1 by using an image generator D created by the learning unit 25 described later. The generated image is output to the feature extraction unit 21.
  • (Ii) Feature extraction unit 21 The feature extraction unit 21 inputs the input image A1 to the feature extractor A shown in FIG. 6 to calculate the feature amount FAi, and the generated image D1 is sent to the feature extractor B shown in FIG. 6 instead of the image B1.
  • the feature amount FDi is calculated by inputting.
  • the classification determination unit 22 uses the matrix f of the feature quantity FAi of the feature extractor A and the feature quantity FDi of the feature extractor B obtained by the feature extraction unit 21 to perform logistic regression processing according to the equation (2). Then, a lesion likelihood value is calculated to determine whether the tissue / cell in the input image A1 is normal or abnormal.
  • the learning unit 25 uses, for example, a well-known machine learning technique so as to generate an image having a component different from the input image from the input image according to the expressions (1) and (2). To learn.
  • a well-known machine learning technique so as to generate an image having a component different from the input image from the input image according to the expressions (1) and (2).
  • Autoencoder may be used as a machine learning technique.
  • the learning unit 25 performs image learning D1 (for example, an immunostained image, a specially stained image, or the like) having components different from the input image A1 (for example, HE-stained image) by prior machine learning. ) Is generated.
  • image learning D1 for example, an immunostained image, a specially stained image, or the like
  • A1 for example, HE-stained image
  • the learning unit 25 creates a feature extractor A and a feature extractor B as shown in FIG. Accordingly, the learning unit 25 calculates the weight w of the feature extractors A and B, the filter coefficient wj, the offset values b and bi, the filter coefficient wj and the offset value bi of the image generator D, and stores them in the memory.
  • the image diagnosis support apparatus 2 according to the second embodiment has the same configuration as that illustrated in FIG. 2, but unlike the image diagnosis support apparatus 1 according to the first embodiment, the memory 202 includes the image generation unit 20. It is out.
  • the storage device 203 of the diagnostic imaging support apparatus 2 includes a processing target image, a classification result regarding the input image generated by the one classification determination unit 22 and its numerical value, an image having a component different from the input image generated by the image generation unit 20, The position information for drawing the detection frame generated by the drawing unit 13 and the parameters (1) and (2) generated by the learning unit 25 are stored.
  • FIG. 14 is a flowchart for explaining the operation of the image diagnosis support apparatus 2 according to the present embodiment.
  • each processing unit input unit 10, feature extraction unit 21 and the like
  • CPU 201 executes each processing unit as a program.
  • Step 1401 The input unit 10 outputs the input image A1 to the image generation unit 20.
  • Step 1402 The image generation unit 20 uses the image generator D to generate an image D1 having a component different from the input image from the input image A1.
  • Step 1403 The feature extraction unit 21 reads the filter coefficient wj and offset bi of each of the feature extractors A and B from the memory 90, and uses the filter according to the above equation (1) to obtain the tissue / cell feature amount FAi of the input image A1. And the feature amount FDi of the tissue / cell in the input image D1 is obtained.
  • the one-classification determination unit 22 reads each filter coefficient w and offset b from the memory 90, and the calculation result when the matrix composed of the feature amount FAi and the feature amount FDi is set to f according to equation (2) ((a1)).
  • the calculation result ya when y and the matrix consisting only of the feature quantity FAi are set to f ((b1)), and the calculation result yc when the matrix consisting only of the feature quantity FDi is set to f ((c1)) are calculated.
  • Step 1405 The one classification determination unit 22 compares the calculated calculation result y with the threshold value Th1. That is, if the calculation result y ⁇ threshold Th1, the process proceeds to step 1406. On the other hand, if the calculation result y ⁇ threshold Th1, the process proceeds to step 1407.
  • Step 1406 The one classification determination unit 22 sets an abnormal tissue / abnormal cell (for example, 1) in the classification result res.
  • Step 1407 The one classification determination unit 22 sets normal tissue / normal cells (for example, 0) in the classification result res.
  • Step 1409 If the drawing unit 13 is classified as abnormal tissue or abnormal cell, the drawing unit 13 draws and displays a detection frame indicating the abnormal tissue or abnormal cell on the image as shown in FIG. The drawing unit 13 does not draw the detection frame on the image when it is classified as normal tissue or normal cell.
  • the drawing unit 13 displays, for example, a lesion likelihood value calculated from a 10-fold input image and a lesion likelihood value calculated from a generated image, or FIG.
  • the lesion likelihood value calculated from the input image of the 40 ⁇ image and the lesion likelihood value calculated from the generated image are displayed.
  • the drawing unit 13 displays a plurality of determination results for each magnification, makes it possible to determine the likelihood of a lesion based on the result of each magnification, and represents a value exceeding a threshold value. This makes it possible to more accurately determine the likelihood of a lesion by comparing results having different image magnifications.
  • FIG. 11C using the lesion-likeness determination results at each magnification, the combined lesion-likeness determination results (eg, poorly differentiated tubular adenocarcinoma and moderately differentiated tubular adenocarcinoma) are displayed.
  • the recording unit 14 stores coordinate information for drawing the detection frame on the target image input by the drawing unit 13 and the target image in the memory 90 (corresponding to the storage device 203).
  • the tissue and cell feature quantities of an image having components different from the input image tissue and cell feature quantities from the input image are machine-learned, weights, filters
  • a classifier consisting of each feature extractor and logistic regression layer
  • classifies whether tissue or cells are normal by calculating coefficients and offsets, suppressing false detection and overdetection of lesions, It is possible to classify normal tissue or abnormal tissue and whether normal cells or abnormal cells from the image.
  • an image having a component different from that of the input image is generated from the input image, and the feature amount of the tissue and cells in the image is calculated using the input image and the generated image. It becomes possible to judge.
  • FIG. 15 is a functional block diagram showing a configuration of a remote diagnosis support system 1500 according to the third embodiment.
  • the remote diagnosis support system 1500 includes a server 1503 and an image acquisition device 1505.
  • the image acquisition device 1505 is a device such as a virtual slide device or a personal computer equipped with a camera, for example, an image capturing unit 1501 that captures image data, and a display unit that displays determination results transmitted from the server 1503 or the like. 1504.
  • the image acquisition apparatus 1505 includes a communication device that transmits image data to the server or the like 1503 or receives data transmitted from the server or the like 1503.
  • the server or the like 1503 outputs the image diagnosis support apparatus 1 that performs image processing according to the first or second embodiment of the present invention to the image data transmitted from the image acquisition apparatus 1505 and the image diagnosis support apparatus 1. And a storage unit 1502 for storing the determined determination results.
  • the server 1503 has a communication device that receives the image data transmitted from the image acquisition device 1505 and transmits the determination result data to the image acquisition device 1505. .
  • the diagnostic imaging support apparatus 1 classifies the presence or absence of abnormal tissue or abnormal cells (eg, cancer) for the tissues and cells in the image data captured by the imaging unit 1501.
  • abnormal tissue and abnormal cells eg, cancer
  • Classification of lesions of abnormal tissues and abnormal cells eg cancer according to the degree of progression.
  • the display unit 1504 displays the classification result transmitted from the server 1503 or the like on the display screen of the image acquisition device 1505.
  • a regenerative medical device having an imaging unit, an iPS cell culture device, an MRI, an ultrasonic imaging device, or the like may be used.
  • the tissues and cells in the images transmitted from the facilities at different points are classified as normal tissue or abnormal tissue, and normal cells or abnormal cells, and the classification results are different at different points. It is possible to provide a remote diagnosis support system by transmitting to a facility or the like and displaying the classification result on the display unit of the image acquisition apparatus in the facility or the like.
  • FIG. 16 is a functional block diagram showing a configuration of a network trust service providing system 1600 according to a fourth embodiment of the present invention.
  • the network trust service providing system 1600 includes a server and the like 1603 and an image acquisition device 1605.
  • the image acquisition device 1605 is a device such as a virtual slide device or a personal computer equipped with a camera, for example, an imaging unit 1601 that captures image data, a storage unit 1604 that stores an identifier transmitted from the server 1603, and the like.
  • the discriminator transmitted from the server 1603 or the like is read, and the tissue and cells in the image newly captured by the imaging unit 1601 of the image acquisition device 1605 are determined as normal tissue or abnormal tissue, and normal cell or abnormal cell.
  • the image diagnosis support apparatus 1 performs image processing according to the first and second embodiments to be classified.
  • the image acquisition device 1605 includes a communication device (not shown) that transmits image data to a server or the like 1603 or receives data transmitted from the server or the like 1603.
  • a server or the like 1603 outputs the image diagnosis support apparatus 1 that performs image processing according to the first or second embodiment of the present invention to the image data transmitted from the image acquisition apparatus 1605 and the image diagnosis support apparatus 1. And a storage unit 1602 for storing the identified classifier.
  • the server 1603 has a communication device (not shown) that receives image data transmitted from the image acquisition device 1605 and transmits an identifier to the image acquisition device 1605.
  • the image diagnosis support apparatus 1 determines that the normal tissue or cell in the image data captured by the imaging unit 1601 is a normal tissue or cell, and the abnormal tissue or cell is an abnormal tissue.
  • Machine discriminator to determine whether it is a cell or a cell, and create a classifier that calculates the tissue / cell feature quantity of an image of a facility at a different location, etc., and the tissue / cell feature quantity of an image having a different component from that image To do.
  • the storage unit 1604 stores the identifier transmitted from the server 1603 and the like.
  • the image diagnosis support apparatus 1 in the image acquisition apparatus 1605 reads a discriminator or the like from the storage unit 1604, and uses the discriminator to use tissue or cells in an image newly captured by the imaging unit 1601 of the image acquisition apparatus 1605. Are classified as normal tissue or abnormal tissue, and normal cell or abnormal cell, and the classification result is displayed on the display screen of the output device 204 of the image diagnosis support apparatus 1.
  • a regenerative medical device having an imaging unit, an iPS cell culture device, an MRI, an ultrasonic imaging device, or the like may be used.
  • normal tissues and cells are classified as normal tissues and cells, and abnormal tissues and cells in images transmitted from facilities at different points. Performs machine learning to classify as abnormal tissues and cells, creates classifiers, etc., transmits the classifiers etc. to facilities at different points, etc., and uses the image acquisition device in those facilities etc. It is possible to provide an online contract service providing system by classifying whether the tissue or cells in the newly taken image are normal tissue or abnormal tissue, and normal cells or abnormal cells.
  • each embodiment described above can be modified as follows.
  • the feature extraction units 11 and 21 and the learning units 15 and 25 obtain a plurality of feature amounts using a filter by machine learning
  • other feature amounts such as HOG may be used and have the same effect.
  • machine learning is performed on the feature quantities of tissues and cells using logistic regression, but linear regression, Poisson regression, or the like may be used, and similar effects are obtained.
  • the feature amount is calculated using two feature extractors for the input image or the input image and the generated image. However, one feature extractor or three or more feature extractions are used.
  • the feature amount may be calculated using a device, and has the same effect.
  • the present invention can also be realized by a program code of software that realizes the functions of the embodiment.
  • a storage medium in which the program code is recorded is provided to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus reads the program code stored in the storage medium.
  • the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention.
  • a storage medium for supplying such program code for example, a flexible disk, CD-ROM, DVD-ROM, hard disk, optical disk, magneto-optical disk, CD-R, magnetic tape, nonvolatile memory card, ROM Etc. are used.
  • an OS operating system
  • the computer CPU or the like performs part or all of the actual processing based on the instruction of the program code.
  • the program code is stored in a storage means such as a hard disk or a memory of a system or apparatus, or a storage medium such as a CD-RW or CD-R
  • the computer (or CPU or MPU) of the system or apparatus may read and execute the program code stored in the storage means or the storage medium when used.
  • control lines and information lines are those that are considered necessary for the explanation, and not all control lines and information lines on the product are necessarily shown. All the components may be connected to each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Food Science & Technology (AREA)
  • Evolutionary Biology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本発明による画像診断支援装置は、組織や細胞の画像を入力する処理と、処理の対象画像から組織や細胞の特徴量を抽出する処理と、対象画像とは異なる成分を持つ画像から組織や細胞の特徴量を抽出する処理と、複数の特徴量を用いて、対象画像毎に病変の有無及び病変の確からしさを判定する処理と、を実行する。

Description

画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法
　本発明は、画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法に関し、例えば、顕微鏡に搭載したカメラなどの撮影装置によってスライドガラス上の組織・細胞切片等を撮影した画像内に含まれる特定の組織や細胞（例えば、がん等）を検出するための画像処理技術に関するものである。
　近年、病気の診断においては、病変部組織標本の顕微鏡観察による「病理診断」が重要な位置を占めている。病理診断では、標本作成から診断までの多くを人手に頼っており、自動化が困難である。特に、診断における病理医の能力と経験が重要であり、その個人的能力に依存している。一方で、高齢化に伴うがん患者の増加など、医療現場では病理医が不足している。以上より、病理診断を支援する画像処理技術や遠隔診断などのニーズが増加している。
　このように、病理診断支援に向け、病理組織か否かを判定するために、例えば、特許文献１に提案される技術がある。当該特許文献１では、高倍率画像から低倍率画像を生成し、低倍率画像で画像を簡易分類後、低倍率画像の元となる高倍率画像を用いて、病理組織を分類している。
特開２０１０－２０３９４９号公報
　しかしながら、組織・細胞画像においては、一種類の染色法で染めた組織・細胞画像だけでは異常組織(例：がん)や異常細胞(例：がん)か否かを判定できず、検出漏れや誤検出が発生するという課題がある。このため、特許文献１のように、高倍率画像から低倍率画像を生成し、低倍率画像で画像を簡易分類後、低倍率画像の元となる高倍率画像を用いて、組織・細胞を分類したとしても、一種類の染色法で染めた組織・細胞画像だけでは異常組織や異常細胞を検出できず、検出漏れや誤検出になるという課題が存在する。また、複数の染色法による画像を作成した場合、検査コストが高額になるという課題がある。
　本発明はこのような状況に鑑みてなされたものであり、一種類の染色法で染めた組織・細胞画像から、染めた組織・細胞画像の特徴量の算出だけでなく、他染色法で染めた組織・細胞画像の特徴量を推定することで、一種類の染色法で染めた組織・細胞画像から組織・細胞の分類を実現するための技術を提供するものである。
　上記課題を解決するために、本発明は、対象画像に対して画像処理するための各種プログラムを実行するプロセッサと、画像処理の結果を格納するためのメモリと、を有し、前記プロセッサは、組織や細胞を撮像した画像を入力する処理と、前記対象画像の組織や細胞の特徴量を抽出する処理と、前記対象画像とは異なる成分を持つ画像の組織や細胞の特徴量を抽出する特徴抽出処理と、複数の前記特徴量を用いて、前記対象画像毎に病変の有無及び病変の確からしさを判定する判定処理と、を実行することを特徴とする。
　また、さらに本発明は、対象画像に対して画像処理するための各種プログラムを実行するプロセッサと、画像処理の結果を格納するためのメモリと、を有し、前記プロセッサは、組織や細胞を撮像した画像を入力する処理と、前記対象画像の組織や細胞の特徴量を抽出する処理と、前記対象画像から前記対象画像とは異なる成分を持つ画像を生成する処理と、前記生成した画像の組織や細胞の特徴量を抽出する特徴抽出処理と、複数の前記特徴量を用いて、前記対象画像毎に病変の有無及び病変の確からしさを判定する判定処理と、を実行することを特徴とする。
　本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本発明の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。本明細書の記述は典型的な例示に過ぎず、本発明の特許請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。
　本発明によれば、複数種類の染色法で染めた組織・細胞画像を用いないと異常組織や異常細胞か否かを判定できない場合でも、一種類の染色法で染めた組織・細胞画像から、染めた組織・細胞画像の特徴量の算出だけでなく、他染色法で染めた組織・細胞画像の特徴量を推定することで、誤検出や過検出を抑制して、一種類の染色法で染めた組織・細胞画像から組織・細胞を分類することができるようになる。
本発明の第１の実施形態による画像診断支援装置の機能を示すブロック図である。 本発明の第１及び第２の実施形態による画像診断支援装置のハードウェア構成例を示す図である。 特徴抽出部の動作の一例を説明するための図である。 特徴抽出部の動作の一例を説明するための図である。 一分類判定部の動作の一例を説明するための図である。 学習部の動作の一例を説明するための図である。 学習部の動作の一例を説明するための図である。 描画部の動作の一例を説明するための図である。 学習部の動作を説明するためのフローチャートである。 第１の実施形態による画像診断支援装置の全体動作を説明するためのフローチャートである。 描画部の判定結果表示の一例を説明するための図である。 本発明の第２の実施形態による画像診断支援装置の機能を示すブロック図である。 画像生成部動作の一例を説明するための図である。 第２の実施形態による画像診断支援装置の全体動作を説明するためのフローチャートである。 本発明の画像診断支援装置を搭載した遠隔診断支援システムの概略構成を示す図である。 本発明の画像診断支援装置を搭載したネット受託サービス提供システムの概略構成を示す図である。
　本発明の実施形態は、一種類の染色法で染めた組織・細胞画像から、染めた組織・細胞画像の特徴量を算出し、さらに、他染色法で染めた組織・細胞画像の特徴量を推定することで、異常組織や異常細胞(例：病変)の検出漏れや誤検出抑制を実現する画像診断支援装置及びその方法を提供する。
　以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。
　本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
　更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。
　以下では「プログラムとしての各処理部（例えば、特徴抽出部等）」を主語（動作主体）として本発明の実施形態における各処理について説明を行うが、プログラムはプロセッサ（ＣＰＵ等）によって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、プロセッサを主語とした説明としてもよい。
（１）第１の実施形態
　＜画像診断支援装置の機能構成＞
　図１は、本発明の実施形態による画像診断支援装置の機能構成を示すブロック図である。
　画像診断支援装置１は、入力部１０と、特徴抽出部１１と、一分類判定部１２と、描画部１３と、記録部１４と、学習部１５と、制御部９１と、メモリ９０と、を有している。当該画像診断支援装置は、バーチャルスライド等の組織・細胞画像取得装置内に実装しても良いし、後述する（第３乃至第４の実施形態）ように、組織・細胞画像取得装置とネットワークを介して接続されるサーバー内に実装しても良い。
　画像診断支援装置１における、入力部１０、特徴抽出部１１、一分類判定部１２、描画部１３、記録部１４、及び学習部１５は、プログラムによって実現しても良いし、モジュール化して実現しても良い。
　入力部１０には画像データが入力される。例えば、入力部１０は、顕微鏡にビルトインされたカメラ等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像データ等を取得して、その画像を入力画像としてもよい。また、入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像を入力画像としてもよい。また、入力部１０は、撮像手段がバスやネットワーク等を介して取得した画像を入力画像としてもよい。また、入力部１０は、脱着可能な記録媒体に、既に記憶されていた画像を入力画像としてもよい。
　特徴抽出部１１は、一種類の染色法で染めた組織・細胞画像から、染めた組織・細胞画像の組織や細胞に関する特徴量を算出し、さらに、他染色法で染めた組織・細胞画像の組織や細胞に関する特徴量を推定する。
　一分類判定部１２は、抽出した特徴量と推定した特徴量から組織や細胞の異常らしさを算出し、入力画像に関して、正常組織か異常組織か、また、正常細胞か異常細胞かを分類する。
　描画部１３は、前記一分類判定部１２で分類した異常組織や異常細胞を囲むように検出枠を画像上に描画する。
　記録部１４は、前記描画部１３で原画像上に検出枠を描画した画像をメモリ９０に保存する。
　学習部１５は、入力画像内の正常の組織や細胞を正常の組織や細胞と識別するように、また、入力画像内の異常の組織や細胞を異常の組織や細胞と識別するように、機械学習を行って識別に必要な各パラメータ(フィルター係数、オフセット値等)を算出する。さらに、入力画像から入力画像の染色法とは異なる他染色法で染めた組織・細胞画像内の正常の組織や細胞を正常の組織や細胞と推定するように、また、入力画像の染色法とは異なる他染色法で染めた組織・細胞画像内の異常の組織や細胞を異常の組織や細胞と推定するように、機械学習を行って推定に必要な各パラメータ(フィルター係数、オフセット値等)を算出する。
　制御部９１は、プロセッサで実現され、画像診断支援装置１内の各要素に接続される。画像診断支援装置１の各要素の動作は、上述した各構成要素の自律的な動作、又は制御部９１の指示により動作する。
　このように本実施形態の画像診断支援装置１では、特徴抽出部１１で求めた入力画像に関する組織や細胞の異常らしさを示す特徴量と入力画像の染色法とは異なる他染色法で染めた画像に関する組織や細胞の異常らしさを示す特徴量を用いて、一分類判定部１２で、入力画像に関して、正常組織か異常組織か、また、正常細胞か異常細胞かを分類することを特徴とする。
　＜画像診断支援装置のハードウェア構成＞
　図２は、本発明の実施形態による画像診断支援装置１のハードウェア構成例を示す図である。
　画像診断支援装置１は、各種プログラムを実行するＣＰＵ（プロセッサ）２０１と、各種プログラムを格納するメモリ２０２と、各種データを格納する記憶装置（メモリ９０に相当）２０３と、検出後画像を出力するための出力装置２０４と、ユーザによる指示や画像等を入力するための入力装置２０５と、他の装置と通信を行うための通信デバイス２０６と、を有し、これらがバス２０７によって相互に接続されている。
　ＣＰＵ２０１は、必要に応じてメモリ２０２から各種プログラムを読み込み、実行する。
　メモリ２０２は、プログラムとしての、入力部１０と、特徴抽出部１１と、一分類判定部１２と、描画部１３と、記録部１４と、学習部１５とを格納する。ただし、実施例１の画像診断支援装置１のメモリ２０２には、画像生成部２０は含まない。
　記憶装置２０３は、処理対象画像、一分類判定部１２によって生成された入力画像に関する分類結果とその数値、入力画像の染色法とは異なる他染色法で染めた画像に関する推定結果とその数値、描画部１３によって生成された検出枠を描画するための位置情報、学習部１５によって生成した後述の式（１）と式（２）の各パラメータ等を記憶している。
　出力装置２０４は、ディスプレイ、プリンタ、スピーカー等のデバイスで構成される。例えば、出力装置２０４は、描画部１３によって生成されたデータをディスプレイ画面上に表示する。
　入力装置２０５は、キーボード、マウス、マイク等のデバイスで構成される。入力装置２０５によってユーザによる指示（処理対象画像の決定を含む）が画像診断支援装置１に入力される。
　通信デバイス２０６は、画像診断支援装置１としては必須の構成ではなく、組織・細胞画像取得装置に接続されたパソコン等に通信デバイスが含まれる場合には、画像診断支援装置１は通信デバイス２０６を保持していなくても良い。通信デバイス２０６は、例えば、ネットワークを介して接続される他の装置（例えば、サーバー）から送信されてきたデータ（画像を含む）を受信し、記憶装置２０３に格納する動作を行う。
　本発明の画像診断支援装置は、入力画像に関する組織や細胞の特徴量を算出し、また、入力画像から入力画像の染色法とは異なる他染色法で染めた画像に関する組織や細胞の特徴量を推定して、それらの特徴量を用いて入力画像内の組織や細胞の病変らしさを判定する。
　＜各部の構成と動作＞
　以下、各要素の構成と動作について詳細に説明する。
（i）特徴抽出部１１
　入力画像と入力画像の染色法とは異なる他染色法で染めた画像の特徴量を求める。一例として、各特徴量を求める例を図３に示す。図３のCNNは、Convolutional Neural Networkを表す。
　例えば、特徴抽出器Aを用いて、式（１）により、入力画像A1から入力画像A1の組織・細胞の特徴量FAiを求める。また、特徴抽出器Cを用いて、式（１）により、入力画像A1から入力画像とは異なる成分を持つ画像の組織・細胞の特徴量FCiを求める。
　式（１）に示すフィルター係数wjは、正常組織や正常細胞を正常組織や正常細胞と識別するように、また、異常組織や異常細胞を異常組織や異常細胞と識別するように、機械学習等により求めた係数である。
　式（１）において、pjは画素値、biはオフセット値、mはフィルター係数の数、hは非線形関数を示す。図４に示すように、式（１）を用いて、対象画像の左上から右下に対して、各フィルターの計算結果を求めることで、任意のフィルターiの特徴量fiを求める。例えば、特徴抽出器Aで求めた特徴量fiの行列を入力画像A1の特徴量FAiとする。同様に、特徴抽出器Cで求めた特徴量fiの行列を入力画像A1から推定した特徴量FCiとする。特徴抽出器AとCの作成方法については、後述する学習部１５にて説明する。
Figure JPOXMLDOC01-appb-M000001
（ii）一分類判定部１２
　一分類判定部１２は、図５に示すように、前記特徴抽出部１１で求めた特徴抽出器Aの特徴量FAiと特徴抽出器Cの特徴量FCiの行列fを用いて、ロジスティック回帰処理にて、式（２）により、病変らしさの値を算出して、入力画像A1内の組織・細胞が正常か異常かを判定する。式（２）において、ｗは重みの行列、bはオフセット値、gは非線形関数、yは計算結果をそれぞれ示し、後述する学習部１５にて、機械学習により、wの重みとbのオフセット値を求める。
Figure JPOXMLDOC01-appb-M000002
　一例として、前立腺のHE染色画像では、病変有無の判定が出来ない場合でも、特徴抽出器AとCを用いることで、前立腺のHE染色画像から特徴量FAiを算出し、前立腺のHE染色画像から特徴量FCiを算出して、前立腺の免疫染色画像の特徴量を推定することで、基底細胞の有無や上皮細胞での病変有無の特徴が明確となり、HE染色画像単体では判定できない病変有無を判定することが可能となる。
（iii）学習部１５
　学習部１５は、式（２）により、入力した組織・細胞画像内の組織や細胞が正常組織や正常細胞であれば、例えば、ロジスティック回帰処理にて、正常組織や正常細胞と判定するように、例えば、従来技術である機械学習の技術を用いて、組織や細胞の特徴量を学習する。また、入力した組織・細胞画像内の組織や細胞が異常組織や異常細胞であれば、ロジスティック回帰処理にて、異常組織や異常細胞と判定するように、組織や細胞の特徴量を学習する。例えば、機械学習の技術として、Convolutional Neural Networkを用いてもよい。
　学習部１５は、図６に示すように、事前の機械学習により、入力画像A1(例えば、HE染色画像)と入力画像とは異なる成分を持つ画像B1(例えば、免疫染色画像や特殊染色画像等)を用いて、異常組織や異常細胞を異常組織や異常細胞と判定するように、また、正常組織や正常細胞を正常組織や正常細胞と判定するように、式（１）と式（２）により、入力画像A1の特徴量fi(FAiとする)を算出する特徴抽出器Aと入力画像とは異なる成分を持つ画像B1の特徴量fi(FBiとする)を算出する特徴抽出器Bを作成する。
　さらに学習部１５は、図７に示すように、事前の機械学習によって、特徴抽出器Aと特徴抽出器Bを用いて、式（１）と式（２）により、入力画像とは異なる成分を持つ画像B1を特徴抽出器Bに入力したときに算出される特徴量FBiと、入力画像A1を特徴抽出器Cに入力したときに算出される特徴量fi(FCiとする)の差分が小さくなるように特徴抽出器Cを作成する。このように特徴抽出器Cを作成することで、入力画像A1から入力画像とは異なる成分を持つ画像の特徴量FCiを推定することが可能となる。
　学習部１５は、複数の学習用画像を用いて、前記特徴抽出部１１と前記一分類判定部１２を繰り返して行い、式（１）と式（２）に示す重みw、フィルター係数wj、オフセット値bとbiを求め、入力画像A1から入力画像A1の特徴量FAiを算出する特徴抽出器A及び入力画像A1から入力画像とは異なる成分をもつ画像の特徴量FCiを算出する特徴抽出器Cを作成する。
　学習部１５は、特徴量FAiと特徴量FCiから成る行列をfとした場合((a))、特徴量FAiのみから成る行列をfとした場合((b))、特徴量FCiのみから成る行列をfとした場合((c))の各々について、重みw、フィルター係数wj、オフセット値bとbiを求める。この学習部１５は、求めたそれぞれの重みw、フィルター係数wj、オフセット値bとbiをメモリに格納する。
（iv）描画部１３
　描画部１３は、一分類判定部１２において、異常組織や異常細胞と判定された場合、図８に示すように、異常組織や異常細胞が疑われる箇所を示すために、入力した対象画像内に検出枠を描画する。
　一方、正常組織や正常細胞と判定された場合は、検出枠を入力した対象画像上に描画せず、入力した対象画像をそのまま表示する。また、図８に示すように、判定した病変らしさの結果(例えば、腫瘍)を表示する。また、一例として、図１１に示すＧＵＩ（グラフィカルユーザーインタフェース）にて、病変らしさ判定の結果を表示する。
　図１１は、胃がんの場合の一例であり、低分化管状腺がん、中分化管状腺がん、高分化管状腺がん、乳頭状腺がん、印環細胞がんの分類結果を示す図である。図１１の例では、低分化管状腺がんについて、一分類判定部１２は、入力された対象画像に異常組織・細胞である低分化管状腺がんを含むと分類し、低分化管状腺がんの病変らしさ(HE)の値を0.69、病変らしさ(免染/特染)の値を0.80と算出した例である。
　また、中分化管状腺がんについて、一分類判定部１２は、入力された対象画像に異常組織・細胞である中分化管状腺がんを含まず、正常組織・細胞と分類し、中分化管状腺がんの病変らしさ(HE)の値を0.11、病変らしさ(免染/特染)の値を0.10と算出した例である。
　また、高分化管状腺がんについて、一分類判定部１２は、入力された対象画像に異常組織・細胞である高分化管状腺がんを含まず、正常組織・細胞と分類し、高分化管状腺がんの病変らしさ(HE)の値を0.09、病変らしさ(免染/特染)の値を0.05と算出した例である。
　また、乳頭状腺がんについて、一分類判定部１２は、入力された対象画像に異常組織・細胞である乳頭状腺がんを含まず、正常組織・細胞と分類し、乳頭状腺がんの病変らしさ(HE)の値を0.06、病変らしさ(免染/特染)の値を0.03と算出した例である。
　また、印環細胞がんについて、一分類判定部１２は、入力された対象画像に異常組織・細胞である印環細胞がんを含まず、正常組織・細胞と分類し、印環細胞がんの病変らしさ(HE)の値を0.05、病変らしさ(免染/特染)の値を0.02と算出した例である。
（v）記録部１４
　記録部１４は、描画部１３で入力した対象画像上に検出枠を描画するための座標情報とその対象画像をメモリ９０に保存する。
　＜画像診断支援装置の処理手順＞
　図９は、本発明の実施形態による画像診断支援装置１の学習部１５の動作を説明するためのフローチャートである。以下では、学習部１５を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。
（i）ステップ９０１
　入力部１０は、学習用に入力された画像を受け付け、当該入力画像を学習部１５に出力する。
（ii）ステップ９０２
　学習部１５は、機械学習によって、上述の式（１）と式（２）により、フィルターを用いて入力画像A1の組織や細胞の特徴量FAiと入力画像とは異なる成分を持つ画像B1の特徴量FBiを求め、特徴抽出器AとBを作成する。
（iii）ステップ９０３
　学習部１５は、機械学習によって、式（１）と式（２）により、特徴抽出器AとB及びフィルターを用いて、入力画像とは異なる成分を持つ画像B1を特徴抽出器Bに入力したときに算出される特徴量FBiと、入力画像A1を特徴抽出器Cに入力したときに算出される特徴量fi(FCiとする)の差分が小さくなるように特徴抽出器Cを作成する。
　特徴量FAiと特徴量FCiから成る行列をfとした場合((a))、特徴量FAiのみから成る行列をfとした場合((b))、特徴量FCiのみから成る行列をfとした場合((c))の各々について、重みｗ、フィルター係数wj、オフセット値bとbiを求める。
（iv）ステップ９０４
　学習部１５は、算出した特徴抽出器AとCのそれぞれの重みw、フィルター係数wj、オフセット値b、biをメモリ９０に保存する。
　図１０は、本実施の形態による画像診断支援装置１の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、特徴抽出部１１等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。
（i）ステップＳ１００１
　入力部１０は、当該入力画像A1を特徴抽出部１１に出力する。
（ii）ステップＳ１００２
　特徴抽出部１１は、メモリ９０から特徴抽出器AとCのそれぞれのフィルター係数wj、オフセットbiを読込み、上述の式（１）により、フィルターを用いて入力画像A1の組織・細胞の特徴量FAiと入力画像A1から推定した組織・細胞の特徴量FCiを求める。
（iii）ステップＳ１００３
　一分類判定部１２は、メモリ９０からそれぞれの重みw、オフセットbを読込み、式（２）により、特徴量FAiと特徴量FCiから成る行列をfとした場合((a))の計算結果y、特徴量FAiのみから成る行列をfとした場合((b))の計算結果ya、特徴量FCiのみから成る行列をfとした場合((c))の計算結果ycをそれぞれ算出する。
（iv）ステップＳ１００４
　一分類判定部１２は、算出した計算結果yと閾値Th1を比較する。すなわち、計算結果y≧閾値Th1の場合、処理はステップ１００５に移行する。一方、計算結果y＜閾値Th1の場合、処理はステップ１００６に移行する。
（v）ステップＳ１００５
　一分類判定部１２は、分類結果resに異常組織・異常細胞(例えば、１)を設定する。
（vi）ステップＳ１００６
　一分類判定部１２は、分類結果resに正常組織・正常細胞(例えば、０)を設定する。
（vii）ステップＳ１００７
　一分類判定部１２は、分類結果resから病変らしさを分類する。例えば、前立腺については、分類結果resには、非腫瘍、腫瘍等の結果が設定される。従って、分類結果resにより、病変有無(例えば、腫瘍等)や病変らしさ(y=0.89：値域(0～1))を求めることが可能となる。また、一分類判定部１２は、入力画像から求めた特徴量FAiを用いて算出した病変らしさ(ya=0.76：値域(0～1))、入力画像から推定した特徴量FCiを用いて算出した病変らしさ(yc=0.81：値域(0～1))を求めることが可能である。
（viii）ステップＳにより１００８
　描画部１３は、異常組織や異常細胞と分類された場合は、図８に示すように、異常組織や異常細胞を示す検出枠を画像上に描画して表示する。描画部１３は、正常組織や正常細胞と分類された場合は、検出枠を画像上に描画することはしない。また、描画部１３は、図１１に示すように、入力画像から算出した病変らしさと入力画像から推定した病変らしさの値を表示する。
（ix）ステップＳ１００９
　記録部１４は、描画部１３で入力した対象画像上に検出枠を描画するための座標情報とその対象画像をメモリ９０（記憶装置２０３に相当）に保存する。
　第１の実施形態によれば、入力画像から入力画像の組織や細胞の特徴量と入力画像とは異なる成分を持つ画像の組織や細胞の特徴量を機械学習し、重み、フィルター係数、オフセットを算出して、組織や細胞が正常か否かを分類する識別器(各特徴抽出器とロジスティック回帰層から構成)を作成するため、病変の誤検出や過検出を抑制して、画像から正常組織か異常組織か、及び正常細胞か異常細胞かを分類することが可能となる。
　また、入力画像から入力画像とは異なる成分を持つ画像の組織や細胞の特徴量を推定するため、入力画像単体では判定できない病変らしさを判定することが可能となる。また、入力画像から入力画像とは異なる成分を持つ画像の組織や細胞の特徴量を推定するため、入力画像とは異なる成分を持つ画像の作製コストが不要となり、検査コストを抑制することが可能となる。
（２）第２の実施形態
　図１２は、第２の実施形態に係る画像診断支援装置２の構成例を示す図である。第２の実施形態に掛かる画像診断支援装置２は、第１の実施形態における画像診断支援装置１（図１参照）と同様な構成を多く含む一方、特徴抽出部１１、一分類判定部１２及び学習部１５の動作が、図１に示す形態とは異なっている。また、第２の実施形態に係る画像診断支援装置２は、新たな構成として画像生成部２０を含む。従って、ここでは、主として図１とは異なる構成について説明をする。
　第２の実施形態に係る画像診断支援装置２は、入力画像から入力画像の染色方法とは異なる他染色法で染めた画像を生成し、入力画像と生成画像に関する組織や細胞の特徴量を算出して、それらの特徴量を用いて入力画像内の組織や細胞の病変らしさを判定する。
　＜各部の構成と動作＞
　以下、図１と異なる各要素の構成と動作について詳細に説明する。
（i）画像生成部２０
　画像生成部２０は、図１３に示すように、後述する学習部２５にて作成した画像生成器Dを用いて、入力画像A1から入力画像とは異なる成分を持つ画像D1を生成し、入力画像と生成画像を特徴抽出部２１に出力する。
（ii）特徴抽出部２１
　特徴抽出部２１は、図６に示す特徴抽出器Aに入力画像A1を入力して特徴量FAiを算出し、また、画像B1の代わりに、図６に示す特徴抽出器Bに生成画像D1を入力して特徴量FDiを算出する。
（iii）一分類判定部２２
　一分類判定部２２は、前記特徴抽出部２１で求めた特徴抽出器Aの特徴量FAiと特徴抽出器Bの特徴量FDiの行列fを用いて、ロジスティック回帰処理にて、式（２）により、病変らしさの値を算出して、入力画像A1内の組織・細胞が正常か異常かを判定する。
（iv）学習部２５
　学習部２５は、式（１）及び式（２）により、入力画像から入力画像とは異なる成分を持つ画像を生成するように、例えば、公知の機械学習の技術を用いて、画像の特徴量を学習する。例えば、機械学習の技術として、Autoencoderを用いてもよい。
　学習部２５は、図１３に示すように、事前の機械学習により、入力画像A1(例えば、HE染色画像)から入力画像とは異なる成分を持つ画像D1(例えば、免疫染色画像や特殊染色画像等)を生成する画像生成器Dを作成する。
　また、学習部２５は、図６に示すように、学習部１５と同様に、特徴抽出器A及び特徴抽出器Bを作成する。従って、学習部２５は、特徴抽出器A、Bの重みw、フィルター係数wj、オフセット値bとbi、画像生成器Dのフィルター係数wj、オフセット値biを算出し、メモリに格納する。
　＜画像診断支援装置のハードウェア構成＞
　第２の実施形態に係る画像診断支援装置２は、図２に示す構成と同様であるが、第１の実施形態に係る画像診断支援装置１とは異なり、メモリ２０２に画像生成部２０を含んでいる。
　画像診断支援装置２の記憶装置２０３は、処理対象画像、一分類判定部２２によって生成された入力画像に関する分類結果とその数値、画像生成部２０によって生成された入力画像と異なる成分を持つ画像、描画部１３によって生成された検出枠を描画するための位置情報、学習部２５によって生成した式（１）及び式（２）の各パラメータ等を記憶している。
　図１４は、本実施形態による画像診断支援装置２の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、特徴抽出部２１等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。
（i）ステップ１４０１
　入力部１０は、当該入力画像A1を画像生成部２０に出力する。
（ii）ステップ１４０２
　画像生成部２０は、画像生成器Dを用いて入力画像A1から入力画像とは異なる成分を持つ画像D1を生成する。
（iii）ステップ１４０３
　特徴抽出部２１は、メモリ９０から特徴抽出器AとBのそれぞれのフィルター係数wj、オフセットbiを読込み、上述の式（１）により、フィルターを用いて入力画像A1の組織・細胞の特徴量FAiと入力画像D1の組織・細胞の特徴量FDiを求める。
（iv）ステップ１４０４
　一分類判定部２２は、メモリ９０からそれぞれのフィルター係数w、オフセットbを読込み、式（２）により、特徴量FAiと特徴量FDiから成る行列をfとした場合((a1))の計算結果y、特徴量FAiのみから成る行列をfとした場合((b1))の計算結果ya、特徴量FDiのみから成る行列をfとした場合((c1))の計算結果ycをそれぞれ算出する。
（v）ステップ１４０５
　一分類判定部２２は、算出した計算結果yと閾値Th1を比較する。すなわち、計算結果y≧閾値Th1の場合、処理はステップ１４０６に移行する。一方、計算結果y＜閾値Th1の場合、処理はステップ１４０７に移行する。
（vi）ステップ１４０６
　一分類判定部２２は、分類結果resに異常組織・異常細胞(例えば、１)を設定する。
（vii）ステップ１４０７
　一分類判定部２２は、分類結果resに正常組織・正常細胞(例えば、０)を設定する。
（viii）ステップ１４０８
　一分類判定部２２は、分類結果resから病変らしさを分類する。例えば、前立腺については、分類結果resには、非腫瘍、腫瘍等の結果が設定される。従って、分類結果resにより、病変有無(例えば、腫瘍等)や病変らしさ(y=0.89：値域(0～1))を求めることが可能となる。また、一分類判定部２２は、入力画像から求めた特徴量FAiを用いて算出した病変らしさ(ya=0.76：値域(0～1))、入力画像から生成した画像D1の特徴量FDiを用いて算出した病変らしさ(yc=0.80：値域(0～1))を求めることが可能である。
（ix）ステップ１４０９
　描画部１３は、異常組織や異常細胞と分類された場合は、図８に示すように、異常組織や異常細胞を示す検出枠を画像上に描画して表示する。描画部１３は、正常組織や正常細胞と分類された場合は、検出枠を画像上に描画することはしない。
　一方、描画部１３は、図１１（Ａ）に示すように、例えば１０倍画像の入力画像から算出した病変らしさの値と生成画像から算出した病変らしさの値を表示したり、図１１（Ｂ）に示すように、例えば４０倍画像の入力画像から算出した病変らしさの値と生成画像から算出した病変らしさの値を表示する。すなわち、描画部１３は、倍率毎の判定結果を複数表示して各々の倍率の結果に基づいて病変らしさを判定可能とし、閾値を超えているものを表しているのである。このようにすると、画像倍率が異なる結果同士を比較してより正確に病変らしさを判定できるようになる。例えば、図１１（Ｃ）に示すように、各倍率の病変らしさ判定結果を用いて、総合した病変らしさ判定結果（例：低分化管状腺がんと中分化管状腺がん）を表示する。
（x）ステップ１４１０
　記録部１４は、描画部１３で入力した対象画像上に検出枠を描画するための座標情報とその対象画像をメモリ９０（記憶装置２０３に相当）に保存する。
　以上のような第２の実施形態によれば、入力画像から入力画像の組織や細胞の特徴量と入力画像とは異なる成分を持つ画像の組織や細胞の特徴量を機械学習し、重み、フィルター係数、オフセットを算出して、組織や細胞が正常か否かを分類する識別器(各特徴抽出器とロジスティック回帰層から構成)を作成するため、病変の誤検出や過検出を抑制して、画像から正常組織か異常組織か、及び正常細胞か異常細胞かを分類することが可能となる。
　また、入力画像から入力画像とは異なる成分を持つ画像を生成し、入力画像とその生成画像を用いて画像内の組織や細胞の特徴量を算出するため、入力画像単体では判定できない病変らしさを判定することが可能となる。
　また、入力画像から入力画像とは異なる成分を持つ画像を生成するため、入力画像とは異なる成分を持つ画像の作製コストが不要となり、検査コストを抑制することが可能となる。
（３）第３の実施形態
　図１５は、第３の実施形態による遠隔診断支援システム１５００の構成を示す機能ブロック図である。遠隔診断支援システム１５００は、サーバー１５０３と、画像取得装置１５０５と、を有する。
　画像取得装置１５０５は、例えばバーチャルスライド装置やカメラを装備したパソコンのような装置であり、画像データを撮影する撮像部１５０１と、サーバー等１５０３から伝送されてきた判定結果を表示するための表示部１５０４と、を有している。なお、画像取得装置１５０５は、図示されてはいないが、画像データをサーバー等１５０３に送信したり、サーバー等１５０３から送信されてきたデータを受信したりする通信デバイスを有している。
　サーバー等１５０３は、画像取得装置１５０５から伝送されてきた画像データに対して、本発明の第１や第２の実施形態による画像処理を行う画像診断支援装置１と、画像診断支援装置１から出力された判定結果を格納する格納部１５０２と、を有している。なお、サーバー等１５０３は、図示されてはいないが、画像取得装置１５０５から送信されてきた画像データを受信したり、画像取得装置１５０５に判定結果データを送信したりする通信デバイスを有している。
　画像診断支援装置１は、撮像部１５０１で撮影した画像データ内の組織や細胞について、異常組織や異常細胞(例：がん)の有無を分類する。また、入力画像の組織・細胞の特徴量と入力画像とは異なる成分を持つ画像の組織・細胞の特徴量を算出する識別器による分類結果を用いて、異常組織や異常細胞(例：がん)の進行度に応じた異常組織や異常細胞(例：がん)の病変らしさの分類を行う。表示部１５０４は、サーバー等１５０３から伝送された分類結果を、画像取得装置１５０５の表示画面に表示する。
　画像取得装置１５０５として、撮影部を有する再生医療装置やｉＰＳ細胞の培養装置、もしくはＭＲＩや超音波画像撮像装置等を用いてもよい。
　第３の実施形態によれば、地点の異なる施設等から伝送された画像内の組織や細胞について、正常組織か異常組織か、及び正常細胞か異常細胞かを分類し、分類結果を地点の異なる施設等に伝送して、その施設等にある画像取得装置の表示部で分類結果を表示することで、遠隔診断支援システムを提供することが可能となる。
（４）第４の実施形態
　図１６は、本発明の第４の実施形態によるネット受託サービス提供システム１６００の構成を示す機能ブロック図である。ネット受託サービス提供システム１６００は、サーバー等１６０３と、画像取得装置１６０５と、を有している。
　画像取得装置１６０５は、例えばバーチャルスライド装置やカメラを装備したパソコンのような装置であり、画像データを撮影する撮像部１６０１と、サーバー等１６０３から伝送された識別器を格納する格納部１６０４と、サーバー等１６０３から伝送された識別器を読込んで、画像取得装置１６０５の撮像部１６０１にて新たに撮影した画像内の組織や細胞について、正常組織か異常組織か、及び正常細胞か異常細胞かを分類する第１及び第２の実施形態による画像処理を行う画像診断支援装置１とを有している。
　なお、画像取得装置１６０５は、図示されてはいないが、画像データをサーバー等１６０３に送信したり、サーバー等１６０３から送信されてきたデータを受信したりする通信デバイスを有している。
　サーバー等１６０３は、画像取得装置１６０５から伝送されてきた画像データに対して、本発明の第１や第２の実施形態による画像処理を行う画像診断支援装置１と、画像診断支援装置１から出力された識別器を格納する格納部１６０２と、を有している。なお、サーバー等１６０３は、図示されてはいないが、画像取得装置１６０５から送信されてきた画像データを受信したり、画像取得装置１６０５に識別器を送信したりする通信デバイスを有している。
　画像診断支援装置１は、撮像部１６０１で撮影した画像データ内の組織や細胞について、正常の組織や細胞は正常の組織や細胞と判定するように、また、異常の組織や細胞は異常の組織や細胞と判定するように機械学習を行い、地点の異なる施設等の画像の組織・細胞の特徴量とその画像とは異なる成分を持つ画像の組織・細胞の特徴量を算出する識別器を作成する。
　格納部１６０４は、サーバー等１６０３から伝送された識別器等を格納する。
　画像取得装置１６０５内の画像診断支援装置１は、格納部１６０４から識別器等を読込み、その識別器を用いて、画像取得装置１６０５の撮像部１６０１にて新たに撮影した画像内の組織や細胞について、正常組織か異常組織か、及び正常細胞か異常細胞かを分類し、画像診断支援装置１の出力装置２０４の表示画面に分類結果を表示する。
　画像取得装置１６０５として、撮影部を有する再生医療装置やｉＰＳ細胞の培養装置、もしくはＭＲＩや超音波画像撮像装置等を用いてもよい。
　第４の実施形態によれば、地点の異なる施設等から伝送された画像内の組織や細胞について、正常の組織や細胞は正常の組織や細胞と分類するように、また、異常の組織や細胞は異常の組織や細胞と分類するように機械学習を行って識別器等を作成し、識別器等を地点の異なる施設等に伝送して、その施設等にある画像取得装置にて識別器を読込み、新たに撮影した画像内の組織や細胞について、正常組織か異常組織か、及び正常細胞か異常細胞かを分類することで、ネット受託サービス提供システムを提供することが可能となる。
　以上説明した各実施形態については、次のような変形が可能である。例えば、特徴抽出部１１、２１及び学習部１５、２５では、機械学習によりフィルターを用いて複数特徴量を求めたが、ＨＯＧ等の他の特徴量を用いてもよく、同様の効果を有する。
　一分類判定部１２、２２では、ロジスティック回帰を用いて組織や細胞の特徴量を機械学習したが、線形回帰やポアソン回帰等を用いてもよく、同様の効果を有する。
　特徴抽出部１１や特徴抽出部２１では、入力画像、もしくは入力画像と生成画像に対して２つの特徴抽出器を用いて特徴量を算出したが、１つの特徴抽出器や３つ以上の特徴抽出器を用いて特徴量を算出してもよく、同様の効果を有する。
　本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
　また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
　さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
　最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本技術分野における通常の知識を有する者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。
　さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。
　加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。
　１……画像診断支援装置、１０……入力部、１１……特徴抽出部、１２……一分類判定部、１３……描画部、１４……記録部、１５……学習部、２０……画像生成部、２１……特徴抽出部、２２……一分類判定部、２５……学習部、９１……制御部、１５００……遠隔診断支援システム、１６００……ネット受託サービス提供システム。

Claims (15)

  1. 　対象画像に対して画像処理するための各種プログラムを実行するプロセッサと、
    　画像処理の結果を格納するためのメモリと、を有し、
    　前記プロセッサは、
    　　組織や細胞を撮像した画像を入力する処理と、

    　　前記対象画像の組織や細胞の特徴量を抽出する処理と、
    　　前記対象画像とは異なる成分を持つ画像の組織や細胞の特徴量を抽出する特徴抽出処理と、
    　　複数の前記特徴量を用いて、前記対象画像毎に病変の有無及び病変の確からしさを判定する判定処理と、
    　　を実行することを特徴とする画像診断支援装置。
  2. 　前記プロセッサは、前記特徴抽出処理では、前記対象画像からの推定により、前記対象画像とは異なる成分を持つ画像の組織や細胞の特徴量を抽出することを特徴とする請求項１に記載の画像診断支援装置。
  3. 　前記プロセッサは、前記判定処理では、前記対象画像から前記対象画像とは異なる成分を持つ画像の組織や細胞の特徴量を算出する識別器を用いて病変の有無及び病変の確からしさを判定することを特徴とする請求項１に記載の画像診断支援装置。
  4. 　前記プロセッサは、倍率毎の判定結果を複数表示して、各々の倍率の結果に基づいて病変の確からしさを判定することを特徴とする請求項１に記載の画像診断支援装置。
  5. 　対象画像に対して画像処理するための各種プログラムを実行するプロセッサと、
    　画像処理の結果を格納するためのメモリと、を有し、
    　前記プロセッサは、
    　　組織や細胞を撮像した画像を入力する処理と、
    　　前記対象画像の組織や細胞の特徴量を抽出する処理と、
    　　前記対象画像から前記対象画像とは異なる成分を持つ画像を生成する処理と、
    　　前記生成した画像の組織や細胞の特徴量を抽出する特徴抽出処理と、
    　　複数の前記特徴量を用いて、前記対象画像毎に病変の有無及び病変の確からしさを判定する判定処理と、
    　　を実行することを特徴とする画像診断支援装置。
  6. 　前記プロセッサは、前記判定処理では、前記対象画像から前記対象画像とは異なる成分を持つ画像の組織や細胞の特徴量を算出する識別器を用いて病変の有無及び病変の確からしさを判定することを特徴とする請求項５に記載の画像診断支援装置。
  7. 　前記プロセッサは、倍率毎の判定結果を複数表示して各々の倍率の結果に基づいて病変の確からしさを判定することを特徴とする請求項５に記載の画像診断支援装置。
  8. 　対象画像において所望の組織や細胞を分類する画像診断支援方法であって、
    　前記対象画像に対して画像処理するための各種プログラムを実行するプロセッサが、
    　組織や細胞を撮像した画像を入力するステップと、

    　　前記プロセッサが、前記対象画像の組織や細胞の特徴量を抽出するステップと、
    　　前記プロセッサが、前記対象画像とは異なる成分を持つ画像の組織や細胞の特徴量を抽出する特徴抽出ステップと、
    　　前記プロセッサが、複数の前記特徴量を用いて、前記対象画像毎に病変の有無及び病変の確からしさを判定する判定ステップと、
    　　を実行することを特徴とする画像診断支援方法。
  9. 　前記特徴抽出ステップでは、前記プロセッサが、前記対象画像からの推定により、前記対象画像とは異なる成分を持つ画像の組織や細胞の特徴量を抽出することを特徴とする請求項８に記載の画像診断支援方法。
  10. 　前記判定ステップでは、前記プロセッサが、前記対象画像から前記対象画像とは異なる成分を持つ画像の組織や細胞の特徴量を算出する識別器を用いて病変の有無及び病変の確からしさを判定することを特徴とする請求項８に記載の画像診断支援方法。
  11. 　対象画像において所望の組織や細胞を分類する画像診断支援方法であって、
    　前記対象画像に対して画像処理するための各種プログラムを実行するプロセッサが、
    　組織や細胞を撮像した画像を入力するステップと、

    　　前記プロセッサが、前記対象画像の組織や細胞の特徴量を抽出するステップと、
    　　前記プロセッサが、前記対象画像から前記対象画像とは異なる成分を持つ画像を生成するステップと、
    　　前記プロセッサが、前記生成した画像の組織や細胞の特徴量を抽出するステップと、
    　　前記プロセッサが、複数の前記特徴量を用いて、前記対象画像毎に病変の有無及び病変の確からしさを判定する判定ステップと、
    　　を実行することを特徴とする画像診断支援方法。
  12. 　前記判定ステップでは、前記プロセッサが、前記対象画像から前記対象画像とは異なる成分を持つ画像の組織や細胞の特徴量を算出する識別器を用いて病変の有無及び病変の確からしさを判定することを特徴とする請求項１１に記載の画像診断支援方法。
  13. 　前記判定ステップでは、前記プロセッサが、倍率毎の判定結果を複数表示して各々の倍率の結果に基づいて病変の確からしさを判定することを特徴とする請求項８、または請求項１１に記載の画像診断支援方法。
  14. 　対象画像に対して画像処理するための各種プログラムを実行するプロセッサと、画像処理の結果を格納するためのメモリと、を有し、前記プロセッサが、組織や細胞を撮像した画像を入力する処理と、前記対象画像の組織や細胞の特徴量を抽出する処理と、前記対象画像とは異なる成分を持つ画像の組織や細胞の特徴量を抽出し、または、前記対象画像から前記対象画像とは異なる成分を持つ画像を生成するとともに前記生成した画像の組織や細胞の特徴量を抽出する特徴抽出処理と、複数の前記特徴量を用いて、前記対象画像毎に病変の有無及び病変の確からしさを判定する判定処理と、を実行する画像診断支援装置を有するサーバーと、
    　画像データを撮影する撮像装置を有する画像取得装置と、を有し、
    　前記画像取得装置は、前記サーバーに前記画像データを送信し、
    　前記サーバーは、受信した前記画像データを前記画像診断支援装置で処理して前記判定された組織や細胞の画像と判定結果をメモリに格納するとともに、前記画像取得装置に送信し、
    　前記画像取得装置は、受信した前記判定された組織や細胞の画像と判定結果を表示装置に表示することを特徴とする遠隔診断支援システム。
  15. 　対象画像に対して画像処理するための各種プログラムを実行するプロセッサと、画像処理の結果を格納するためのメモリと、を有し、前記プロセッサが、組織や細胞を撮像した画像を入力する処理と、
      前記対象画像の組織や細胞の特徴量を抽出する処理と、前記対象画像とは異なる成分を持つ画像の組織や細胞の特徴量を抽出し、または、前記対象画像から前記対象画像とは異なる成分を持つ画像を生成するとともに前記生成した画像の組織や細胞の特徴量を抽出する特徴抽出処理と、複数の前記特徴量を用いて、前記対象画像毎に病変の有無及び病変の確からしさを判定する判定処理と、を実行する画像診断支援装置を有するサーバーと、
    　画像データを撮影する撮像装置と前記画像診断支援装置を有する画像取得装置と、を有し、
    　前記画像取得装置は、前記サーバーに前記画像データを送信し、
    　前記サーバーは、受信した前記画像データを前記画像診断支援装置で処理して前記判定された組織や細胞の画像と識別器をメモリに格納するとともに、前記判定された組織や細胞の画像と識別器を前記画像取得装置に送信し、
    　前記画像取得装置は、受信した前記判定された組織や細胞の画像と識別器を格納し、
    　前記画像取得装置内の前記画像診断支援装置は、識別器を用いて他の組織や細胞の画像を判定するとともに、前記判定の結果を表示装置に表示することを特徴とするネット受託サービス提供システム。
PCT/JP2018/007064 2017-04-07 2018-02-26 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法 WO2018186052A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/603,445 US11676268B2 (en) 2017-04-07 2018-02-26 Image diagnosis assisting apparatus, image diagnosis assisting system and image diagnosis assisting method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017077180A JP6979278B2 (ja) 2017-04-07 2017-04-07 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法
JP2017-077180 2017-04-07

Publications (1)

Publication Number Publication Date
WO2018186052A1 true WO2018186052A1 (ja) 2018-10-11

Family

ID=63713059

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/007064 WO2018186052A1 (ja) 2017-04-07 2018-02-26 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法

Country Status (3)

Country Link
US (1) US11676268B2 (ja)
JP (1) JP6979278B2 (ja)
WO (1) WO2018186052A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020100660A1 (ja) * 2018-11-12 2020-05-22 ソニー株式会社 情報処理方法および情報処理システム
JP7244974B1 (ja) 2022-09-19 2023-03-23 之江実験室 特徴分離に基づく病理画像特徴抽出器の訓練方法、訓練装置、電子機器、記憶媒体及び病理画像分類システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019195304A (ja) 2018-05-10 2019-11-14 学校法人順天堂 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
JP7381003B2 (ja) * 2019-04-26 2023-11-15 学校法人順天堂 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
US11334994B2 (en) * 2019-05-24 2022-05-17 Lunit Inc. Method for discriminating suspicious lesion in medical image, method for interpreting medical image, and computing device implementing the methods
JP7429514B2 (ja) * 2019-10-01 2024-02-08 株式会社日立ハイテク 機械学習装置
JPWO2022102783A1 (ja) * 2020-11-16 2022-05-19
WO2022259648A1 (ja) * 2021-06-09 2022-12-15 ソニーグループ株式会社 情報処理プログラム、情報処理装置、情報処理方法、及び顕微鏡システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010203949A (ja) * 2009-03-04 2010-09-16 Nec Corp 画像診断支援装置、画像診断支援方法、画像診断支援プログラム、及びその記憶媒体
JP2012118448A (ja) * 2010-12-03 2012-06-21 Sony Corp 画像処理方法、画像処理装置及び画像処理プログラム
WO2013187148A1 (ja) * 2012-06-15 2013-12-19 オリンパス株式会社 画像処理装置、顕微鏡システム、内視鏡システム及び画像処理方法
WO2016093090A1 (ja) * 2014-12-09 2016-06-16 コニカミノルタ株式会社 画像処理装置及び画像処理プログラム
JP2016184224A (ja) * 2015-03-25 2016-10-20 株式会社日立ハイテクノロジーズ 細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、サービス提供システム、及び画像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030048931A1 (en) * 2001-03-23 2003-03-13 Peter Johnson Quantification and differentiation of tissue based upon quantitative image analysis
JP5822425B2 (ja) * 2005-05-13 2015-11-24 トリパス イメージング インコーポレイテッド 顕微鏡像用に試料を染色する方法
US8073214B2 (en) * 2007-05-14 2011-12-06 Siemens Aktiengesellschaft Computer aided lesion assessment in dynamic contrast enhanced breast MRI images
US8483454B2 (en) * 2008-10-10 2013-07-09 Sti Medical Systems, Llc Methods for tissue classification in cervical imagery
EP2566384A1 (en) * 2010-05-03 2013-03-13 STI Medical Systems, LLC Image analysis for cervical neoplasia detection and diagnosis
EP2649559A4 (en) * 2010-12-07 2018-03-14 Life Technologies Corporation Virtual cellular staining
WO2017216123A1 (en) * 2016-06-13 2017-12-21 Nanolive Sa Method of characterizing and imaging microscopic objects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010203949A (ja) * 2009-03-04 2010-09-16 Nec Corp 画像診断支援装置、画像診断支援方法、画像診断支援プログラム、及びその記憶媒体
JP2012118448A (ja) * 2010-12-03 2012-06-21 Sony Corp 画像処理方法、画像処理装置及び画像処理プログラム
WO2013187148A1 (ja) * 2012-06-15 2013-12-19 オリンパス株式会社 画像処理装置、顕微鏡システム、内視鏡システム及び画像処理方法
WO2016093090A1 (ja) * 2014-12-09 2016-06-16 コニカミノルタ株式会社 画像処理装置及び画像処理プログラム
JP2016184224A (ja) * 2015-03-25 2016-10-20 株式会社日立ハイテクノロジーズ 細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、サービス提供システム、及び画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020100660A1 (ja) * 2018-11-12 2020-05-22 ソニー株式会社 情報処理方法および情報処理システム
JP7244974B1 (ja) 2022-09-19 2023-03-23 之江実験室 特徴分離に基づく病理画像特徴抽出器の訓練方法、訓練装置、電子機器、記憶媒体及び病理画像分類システム
JP2024043567A (ja) * 2022-09-19 2024-04-01 之江実験室 特徴分離に基づく病理画像特徴抽出器の訓練方法、訓練装置、電子機器、記憶媒体及び病理画像分類システム

Also Published As

Publication number Publication date
JP6979278B2 (ja) 2021-12-08
JP2018180794A (ja) 2018-11-15
US11676268B2 (en) 2023-06-13
US20200151877A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
WO2018186052A1 (ja) 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法
JP6324338B2 (ja) 細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、及びサービス提供システム
Hashimoto et al. Multi-scale domain-adversarial multiple-instance CNN for cancer subtype classification with unannotated histopathological images
US10872411B2 (en) Diagnostic imaging assistance apparatus and system, and diagnostic imaging assistance method
US20230419696A1 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
Stegmaier et al. Real-time three-dimensional cell segmentation in large-scale microscopy data of developing embryos
CN112435243A (zh) 一种全切片数字病理图像的自动分析系统及方法
CN113261012B (zh) 处理图像的方法、装置及系统
WO2020123767A1 (en) Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy
US11972560B2 (en) Machine learning device, image diagnosis support device, machine learning method and image diagnosis support method
Fan et al. Positive-aware lesion detection network with cross-scale feature pyramid for OCT images
WO2021246013A1 (ja) 画像診断方法、画像診断支援装置、及び計算機システム
WO2021065937A1 (ja) 機械学習装置
WO2022185905A1 (ja) 画像診断支援装置、画像診断支援方法、遠隔診断支援システム、ネット受託サービスシステム
Bhattacharjee et al. Invasive Region Segmentation using Pre-trained UNet and Prognosis Analysis of Breast Cancer based on Tumor-Stroma Ratio
Abinaya et al. A systematic review: Intellectual detection and prediction of cancer using dl techniques
CN113706449B (zh) 基于病理图像的细胞分析方法、装置、设备及存储介质
Nofallah et al. Automated analysis of whole slide digital skin biopsy images
CN115423820A (zh) 用于食管光学相干层析图像分割的方法及系统
Kanimozhi et al. Analysis of Tuberculosis using Smear Image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18780568

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18780568

Country of ref document: EP

Kind code of ref document: A1