WO2016152242A1 - 細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、サービス提供システム、及び画像処理方法 - Google Patents

細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、サービス提供システム、及び画像処理方法 Download PDF

Info

Publication number
WO2016152242A1
WO2016152242A1 PCT/JP2016/052426 JP2016052426W WO2016152242A1 WO 2016152242 A1 WO2016152242 A1 WO 2016152242A1 JP 2016052426 W JP2016052426 W JP 2016052426W WO 2016152242 A1 WO2016152242 A1 WO 2016152242A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
cell
processor
cytodiagnosis
target image
Prior art date
Application number
PCT/JP2016/052426
Other languages
English (en)
French (fr)
Inventor
英春 服部
容弓 柿下
憲孝 内田
定光 麻生
史明 濱里
Original Assignee
株式会社日立ハイテクノロジーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテクノロジーズ filed Critical 株式会社日立ハイテクノロジーズ
Priority to CN201680014083.7A priority Critical patent/CN107430757A/zh
Priority to US15/556,546 priority patent/US10453192B2/en
Priority to EP16768145.1A priority patent/EP3276573A4/en
Publication of WO2016152242A1 publication Critical patent/WO2016152242A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a cell diagnosis support apparatus, a cell diagnosis support method, a remote diagnosis support system, a service providing system, and an image processing method, and, for example, relates to an image processing technique for supporting cell diagnosis.
  • a low-magnification image is generated from a high-magnification image, the images are simply classified using the low-magnification image, and then the pathological tissue is classified using the high-magnification image that is the source of the low-magnification image.
  • tissues and cells may have various shapes depending on the type of abnormal cells (eg, cancer) and the degree of progression of abnormal cells (eg, cancer). : Depending on the degree of progression of cancer, it may fall into multiple suspicious categories. For this reason, there exists a subject that it may lead to a misdiagnosis if it narrows down to one classification. For this reason, as in Patent Document 1, a low-magnification image is generated from a high-magnification image, and after simple classification of the image with the low-magnification image, tissues and cells are classified using the high-magnification image that is the source of the low-magnification image. In such a case, there is a problem that even if there is a possibility of corresponding to a plurality of types of abnormal cells, the classification is limited to one classification, leading to erroneous detection.
  • a low-magnification image is generated from a high-magnification image, and after simple classification of the image with the low-magnification image, tissues and cells are classified using the high-mag
  • the present invention has been made in view of such a situation, and even when tissues and cells have various shapes depending on the type of abnormal cells (eg, cancer) and the degree of progression of abnormal cells (eg, cancer).
  • a technique for realizing tissue / cell determination from one image is provided.
  • a feature amount of cell deformation is calculated for each type of abnormal cell (eg, cancer). More specifically, the cytodiagnosis support apparatus according to the present invention uses a process of extracting feature amounts of a plurality of directional components from a processing target image, and the plurality of feature amounts, and the image corresponds to one classification. A process for determining whether or not to perform, and a process for determining whether or not the determination process has been completed for all of the preset classifications.
  • abnormal cells eg, cancer
  • the tissue or cells have various shapes depending on the type of abnormal cells (eg, cancer) and the degree of progression of abnormal cells (eg, cancer).
  • FIG. 4 is a diagram for explaining an example of a filter of a feature extraction unit 11.
  • FIG. 4 is a diagram for explaining an example of an operation in one direction of a feature extraction unit 11.
  • FIG. 10 is a diagram for explaining an example of the operation of one classification determination unit 12. It is a figure for demonstrating an example of GUI of cancer determination.
  • FIG. 10 is a diagram for explaining an example of the operation of one classification determination unit 12. It is a figure for demonstrating an example of GUI of cancer determination.
  • FIG. 10 is a diagram for explaining an example of the operation of the drawing unit 14.
  • 3 is a flowchart for explaining an overall operation of the image processing apparatus 1 according to the first embodiment. It is a block diagram which shows the function of the image processing apparatus by the 2nd Embodiment of this invention. It is a figure for demonstrating an example of operation
  • movement of the one classification determination part 12 by 2nd Embodiment. 4 is a flowchart for explaining the operation of a learning unit 16; It is a flowchart for demonstrating the whole operation
  • the present invention relates to image processing for detecting a specific tissue or cell (for example, cancer) included in an image obtained by photographing a tissue, a cell slice, or the like on a slide glass by an imaging device such as a camera mounted on a microscope. It is about technology.
  • Embodiments of the present invention capture the degree of deformation of cells, determine the presence or absence of abnormal cells (eg, cancer) for each type of abnormal cells (eg, cancer), and calculate the likelihood of abnormal cells (eg, cancer)
  • image processing that realizes detection failure of abnormal cells (eg, cancer) and false detection suppression
  • the embodiment of the present invention may be implemented by software running on a general-purpose computer, or may be implemented by dedicated hardware or a combination of software and hardware.
  • each processing unit as a program (for example, feature extraction unit)” as the subject (operation subject), but the program is executed by a processor (CPU or the like). Since the processing determined in this way is performed using the memory and the communication port (communication control device), the description may be made with the processor as the subject.
  • FIG. 1 is a block diagram showing a functional configuration of an image processing apparatus according to an embodiment of the present invention.
  • the image processing apparatus 1 includes an input unit 10, a feature extraction unit 11, a single classification determination unit 12, a multiple classification determination unit 13, a drawing unit 14, a recording unit 15, a control unit 91, a memory 90, have.
  • the image processing apparatus may be mounted in a tissue / cell image acquisition device such as a virtual slide, or, as will be described later (third to fourth embodiments), via the tissue / cell image acquisition device and the network. It may be implemented in a server that is connected.
  • the input unit 10, feature extraction unit 11, one classification determination unit 12, multiple classification determination unit 13, drawing unit 14, and recording unit 15 in the image processing apparatus 1 may be realized by a program or modularized. You may do it.
  • the image data is input to the input unit 10.
  • the input unit 10 obtains encoded still image data or the like in JPG, Jpeg2000, PNG, BMP format, etc. captured by imaging means such as a camera built in the microscope at predetermined time intervals.
  • the image may be an input image.
  • the input unit 10 includes Motion JPEG, MPEG, H.264. It is also possible to extract still image data of frames at a predetermined interval from moving image data of H.264, HD / SDI format, etc., and use that image as an input image.
  • the input unit 10 may use an image acquired by the imaging unit via a bus, a network, or the like as an input image. Further, the input unit 10 may use an image already stored in a removable recording medium as an input image.
  • the feature extraction unit 11 extracts feature quantities such as a plurality of direction components related to cells from the image.
  • the one classification determination unit 12 calculates the degree of deformation of the cell from the extracted feature amount, and classifies the normal cell or the abnormal cell with respect to one classification.
  • the multi-classification determination unit 13 classifies the tissue / cell using a plurality of one-class classification results set in advance.
  • the drawing unit 14 draws a detection frame on the image so as to surround the abnormal cells classified by the multiple classification determination unit 13.
  • the recording unit 15 stores an image in which the detection frame is drawn on the original image by the drawing unit 14 in the memory 90.
  • the control unit 91 is realized by a processor and connected to each element in the image processing apparatus 1.
  • the operation of each element of the image processing apparatus 1 is an autonomous operation of each component described above or an operation performed according to an instruction from the control unit 91.
  • the one classification determination unit 12 determines whether the cell is a normal cell or an abnormal cell. Classification is performed, and the plurality of classification determination unit 13 classifies the tissues and cells by using a plurality of predetermined classification results.
  • FIG. 2 is a diagram illustrating a hardware configuration example of the image processing apparatus 1 according to the embodiment of the present invention.
  • the image processing apparatus 1 outputs a CPU (processor) 201 that executes various programs, a memory 202 that stores various programs, a storage device (corresponding to the memory 90) 203 that stores various data, and an image after detection.
  • the CPU 201 reads various programs from the memory 202 and executes them as necessary.
  • the memory 202 stores the input unit 10, the feature extraction unit 11, the one classification determination unit 12, the multiple classification determination unit 13, the drawing unit 14, and the recording unit 15 as programs.
  • the learning unit 16 is a configuration necessary for the second embodiment, and the image processing apparatus 1 according to the first embodiment does not include the learning unit 16.
  • the storage device 203 is a processing target image, a classification result of one classification generated by the one classification determination unit 12 and its numerical value, a tissue / cell classification result generated by the multiple classification determination unit 13, and a drawing unit 14. Position information and the like for drawing the detection frame are stored.
  • the output device 204 includes devices such as a display, a printer, and a speaker.
  • the output device 204 displays data generated by the drawing unit 14 on the display screen.
  • the input device 205 includes devices such as a keyboard, a mouse, and a microphone. An instruction (including determination of a processing target image) by the user is input to the image processing apparatus 1 by the input device 205.
  • the communication device 206 is not an essential component for the image processing apparatus 1, and when the communication device is included in a personal computer or the like connected to the tissue / cell image acquisition apparatus, the image processing apparatus 1 holds the communication device 206. It does not have to be.
  • the communication device 206 performs an operation of receiving data (including an image) transmitted from another device (for example, a server) connected via a network and storing it in the storage device 203.
  • FIG. 3 shows a filter for obtaining a feature amount in the direction of 0 degrees.
  • filter coefficients of region 1 (region other than cells and cell nuclei), region 2 (cell region), and region 3 (cell nucleus region) in FIG. 3 are 0, 1, and ⁇ 1, respectively.
  • Equation 1 pj is a pixel value, kj is a filter coefficient, and m is the number of filter coefficients.
  • the feature quantity in each direction is calculated using a filter for obtaining the feature quantity in the direction from 0 degrees to 359 degrees.
  • the feature value distribution is calculated using the feature values (f0 to f359) from 0 degrees to 359 degrees.
  • the filter for obtaining the feature value in each direction is used.
  • the feature value fi in each direction is obtained using a filter for obtaining the feature value in one direction and an image obtained by rotating the target image once. May be.
  • the one-classification determination unit 12 calculates the distribution value var of the distribution of the feature quantity fi using the expressions 2 and 3 from the distribution of the feature quantity fi obtained by the feature extraction unit 11. .
  • fav represents an average value of fi
  • fsd represents a standard deviation of fi.
  • t represents the number of direction components to be obtained, for example, 360.
  • the calculated dispersion value var represents the uniformity of the cells, and is classified as normal cells or abnormal cells from the dispersion values.
  • the calculated dispersion value is used as a value of abnormal cell (eg, cancer) likelihood.
  • abnormal cell eg, cancer
  • FIG. 6 (a) when a tissue / cell image including cells having a uniform shape is input, the feature amount distribution shown in FIG. 6 (b) is obtained, and abnormal cells (eg, cancer) ) Since the variance value var indicating the uniqueness value is less than the threshold value Th, the input target image is classified as a normal cell.
  • FIG. 6 (c) when a tissue / cell image including cells having a non-uniform shape is input, the feature amount distribution as shown in FIG. : The variance value var indicating the likelihood of cancer is equal to or greater than the threshold value Th, so that the input target image is classified as an abnormal cell.
  • FIG. 7 is a diagram showing an example of a GUI (graphical user interface) for cancer determination as an example of cell determination.
  • FIG. 7 is an example of stomach cancer, and shows classification results of poorly differentiated tubular adenocarcinoma, moderately differentiated tubular adenocarcinoma, well differentiated tubular adenocarcinoma, papillary adenocarcinoma, and signet ring cell carcinoma It is.
  • the classification determination unit 12 classifies that the input target image includes the poorly differentiated tubular adenocarcinoma that is an abnormal cell.
  • the cancer likelihood value is calculated as 0.89.
  • the classification determination unit 12 does not include the moderately differentiated tubular adenocarcinoma that is an abnormal cell in the input target image, classifies it as a normal cell, and This is an example in which the cancer likelihood value is calculated as 0.31.
  • the classification determination unit 12 does not include the well-differentiated tubular adenocarcinoma that is an abnormal cell in the input target image, classifies it as a normal cell, and This is an example in which the cancer likelihood value was calculated to be 0.21.
  • the classification determination unit 12 does not include the papillary adenocarcinoma that is an abnormal cell in the input target image, classifies it as a normal cell, and the likelihood of papillary adenocarcinoma cancer. This is an example of calculating the value of 0.11.
  • the classification determination unit 12 does not include the signet-ring cell cancer that is an abnormal cell in the input target image, classifies it as a normal cell, and indicates the likelihood of cancer of the signet-ring cell cancer. This is an example of calculating the value of 0.05 as 0.05.
  • the multiple classification determination unit 13 compares the value of the abnormal cell (eg, cancer) likelihood that is the result of a plurality of predetermined classifications obtained by the single classification determination unit 12 with an arbitrary threshold Th, Only the types of abnormal cells (eg, cancer) exceeding Th are displayed in the abnormal cell (eg: cancer) likelihood determination result. In the example of FIG. 7, poorly differentiated tubular adenocarcinoma is displayed in the cancer likelihood determination result. Depending on the progress or type of abnormal cells (eg, cancer), it may be determined that there are multiple types of abnormal cells (eg, cancer). For this reason, the value of the likelihood of multiple abnormal cells (eg, cancer) may exceed the threshold Th, and in that case, multiple abnormal cells (eg, cancer) are included in the abnormal cell (eg: cancer) likelihood determination result. ) Type is displayed.
  • FIG. 7 When the “image” button in FIG. 7 is pressed for the items determined to be abnormal cells (for example, cancer) by the one-classification determination unit 12, the drawing unit 14 is abnormal as illustrated in FIG. 8. A detection frame is drawn in the input target image in order to indicate a place where a cell (eg, cancer) is suspected.
  • the “image” button in FIG. 7 when the “image” button in FIG. 7 is pressed, the input target image is displayed as it is without being drawn on the input target image.
  • (V) Recording unit 15 The recording unit 15 stores the coordinate information for drawing the detection frame on the target image input by the drawing unit 14 and the target image in the memory 90.
  • FIG. 9 is a flowchart for explaining the operation of the image processing apparatus 1 according to the embodiment of the present invention.
  • each processing unit input unit 10, feature extraction unit 11, etc.
  • CPU 201 executes each processing unit as a program.
  • Step 801 The input unit 10 receives the input image and outputs the input image to the feature extraction unit 11.
  • Step 802 The feature extraction unit 11 obtains feature quantities fi of a plurality of direction components using the above-described Expression 1.
  • Step 803 The one classification determination unit 12 calculates the variance value var indicating the distribution of the feature amount fi using the above-described Expressions 2 and 3 using the feature amount fi output from the feature extraction unit 11.
  • Step 804 The one classification determination unit 12 compares the calculated variance value var with the threshold value Th. That is, when the variance value var ⁇ threshold Th, the process proceeds to step 805. On the other hand, if var ⁇ threshold Th, the process proceeds to step 806.
  • Step 805 The one classification determination unit 12 sets abnormal cells (for example, 1) in the classification result res.
  • Step 806 The one classification determination unit 12 sets normal cells (for example, 0) in the classification result res.
  • Step 807 The multiple determination unit 13 repeats Steps 802 to 806 in order to perform the one classification determination unit 12 for all types set in advance. By repeating steps 802 to 806, it is possible to determine whether all the preset types are normal cells or abnormal cells. In addition, since the coefficients of the filter (FIG. 3) for obtaining the feature quantity fi are different for each type, when performing the classification process for another type, the filter coefficient is changed, and the process proceeds to step 802. Become. If it is determined that all types have been determined, the process proceeds to step 808.
  • Step 808 For the type determined as an abnormal cell, the drawing unit 14 draws and displays a detection frame indicating the abnormal cell on the image when the image button shown in FIG. 7 is pressed. For the type determined as a normal cell, the drawing unit 14 does not draw a detection frame on the image when the image button shown in FIG. 7 is pressed.
  • the recording unit 15 stores the coordinate information for drawing the detection frame on the target image input by the drawing unit 14 and the target image in the memory 90 (corresponding to the storage device 203).
  • the variance value indicating the degree of deformation of the cell is obtained using the feature quantities of the plurality of direction components. Therefore, regarding one classification, it is possible to classify normal cells or abnormal cells from one image while suppressing erroneous detection and overdetection.
  • FIG. 10 shows an image processing apparatus 1 according to the second embodiment.
  • many of the same configurations as those in FIG. 1 of the first embodiment are included, but the operations of the feature extraction unit 11 and the one classification determination unit 12 are different from those in FIG. Further, a learning unit 16 is added. Therefore, here, a different processing configuration and an additional configuration will be described with reference to FIG. 10, and an overall processing flow different from FIG. 9 will be described with reference to FIG.
  • the learning unit 16 includes the same configuration as that of the feature extraction unit 11 and the one-classification determination unit 12, and using these, for example, a machine learning technique that is a conventional technique is used to determine how the cells are deformed. learn. Note that the input image learned by the learning unit 16 and the image inputted as the evaluation target are different.
  • the feature quantity fi of the plurality of direction components obtained by the feature extraction unit 11 includes information indicating the shape of a part of the cell.
  • the one-classification determination unit 12 uses the feature quantities fi of the plurality of directional components obtained by the feature extraction unit 11 to express cells in the input tissue / cell image according to Equations 4 and 5. If the cell is a normal cell, the degree of deformation of the cell is learned using, for example, a conventional machine learning technique so as to be determined as a normal cell by logistic regression processing, for example. In addition, if the cell in the input tissue / cell image is an abnormal cell, the degree of deformation of the cell is learned so as to be determined as an abnormal cell by logistic regression processing.
  • Equation 4 w is a weight matrix, f is a matrix of each direction component fi obtained from the input image, b is an offset value, g is a non-linear function, y is a calculation result, Find the offset value of the weight and b.
  • pj is a pixel value, wj is a filter coefficient, bi is an offset value, m is the number of filter coefficients, N is the number of processes, and h is a nonlinear function.
  • Convolutional Neural Network may be used as a machine learning technique.
  • the learning unit 16 repeatedly performs the feature extraction unit 11 and the one classification determination unit 12 using a plurality of learning images, obtains weight w, filter coefficient wj, offset values b and bi, and determines whether normal cells or abnormal Create a discriminator to determine if it is a cell. Further, the learning unit 16 stores the obtained weight w, filter coefficient wj, and offset values b and bi in a memory.
  • (Ii) Feature extraction unit 11 The feature extraction unit 11 reads the filter coefficient wj and the offset value bi from the memory, and uses the equation 5 for the input image to be determined output from the input unit 10, as shown in FIG.
  • the feature quantity fi in each direction is calculated using a filter that obtains the feature quantity in the previous direction.
  • the classification determination unit 12 reads the weight w and the offset value b from the memory, and uses Equation 5 to determine whether the cell is normal from the feature quantity fi obtained by the feature extraction unit 11 as shown in FIG. Determine if it is abnormal.
  • a hardware configuration example of the image processing apparatus 1 according to the embodiment of the present invention is the same as that shown in FIG. However, in the case of the second embodiment, the image processing apparatus 1 stores the learning unit 16 in the memory 202, unlike the first embodiment. Other hardware configurations of the image processing apparatus 1 are the same as those of the image processing apparatus 1.
  • FIG. 12 is a flowchart for explaining the operation of the learning unit 16 of the image processing apparatus 1 according to the embodiment of the present invention.
  • the learning unit 16 is described as an operation subject, but it may be read so that the CPU 201 is an operation subject and the CPU 201 executes each processing unit as a program.
  • Step 1201 The input unit 10 receives an image input for learning and outputs the input image to the learning unit 16.
  • Step 1202 The learning unit 16 obtains feature quantities fi of a plurality of direction components using the above-described Expression 1.
  • Step 1203 The learning unit 16 learns how the cells are deformed using Equations 4 and 5, and calculates the weight w, the filter coefficient wj, and the offsets b and bi.
  • Step 1204 The learning unit 16 stores the calculated weight w, filter coefficient wj, and offsets b and bi in the memory 90. Note that the weight w, the filter coefficient wj, and the offsets b and bi are obtained for all types (for example, all types of cancer cells) set in advance by learning.
  • FIG. 13 is a flowchart for explaining the operation of the image processing apparatus 1 according to the embodiment of the present invention.
  • each processing unit input unit 10, feature extraction unit 11, etc.
  • CPU 201 executes each processing unit as a program.
  • Step 1301 The input unit 10 receives an input image to be determined and outputs the input image to the feature extraction unit 11.
  • Step 1302 The feature extraction unit 11 reads the filter coefficient wj and the offset bi from the memory 90, and obtains feature quantities fi of a plurality of direction components using the above-described Expression 5.
  • Step 1303 The one-classification determination unit 12 reads the weight w and the offset b from the memory 90 and calculates the calculation result y using Equation 4.
  • Step 1304 The one classification determination unit 12 compares the calculated calculation result y with the threshold value Th2. That is, when the calculation result y ⁇ threshold Th2, the process proceeds to step 1305. On the other hand, if the calculation result y ⁇ threshold Th2, the process proceeds to step 1306.
  • the one classification determination unit 12 sets abnormal cells (for example, 1) in the classification result res.
  • Step 1306 The one classification determination unit 12 sets normal cells (for example, 0) in the classification result res.
  • Step 1307 The multiple classification determination unit 13 repeats the above steps 1302 to 1306 in order to perform the single classification determination unit 12 for all types set in advance. By repeating steps 1302 to 1306, it is possible to determine whether all the preset types are normal cells or abnormal cells. When determining another type, the filter coefficient wj and the offset bi for the type are read from the memory, and the feature quantity fi corresponding to the type is obtained. If it is determined that all types have been determined, the process proceeds to step 1308.
  • Step 1308 For the type determined as an abnormal cell, the drawing unit 14 draws and displays a detection frame indicating the abnormal cell on the image when the image button shown in FIG. 7 is pressed. For the type determined as a normal cell, the drawing unit 14 does not draw a detection frame on the image when the image button shown in FIG. 7 is pressed.
  • the recording unit 15 stores the coordinate information for drawing the detection frame on the target image input by the drawing unit 14 and the target image in the memory 90 (corresponding to the storage device 203).
  • a discriminator that learns the degree of deformation of a cell by using feature quantities of a plurality of direction components, calculates a weight, a filter coefficient, and an offset, and determines whether the cell is a normal cell or an abnormal cell Therefore, regarding one classification, it is possible to classify normal cells or abnormal cells from one image while suppressing erroneous detection and overdetection.
  • abnormal cells eg, cancer
  • progression of abnormal cells eg, cancer
  • FIG. 14 is a functional block diagram showing a configuration of a remote diagnosis support system 1400 according to a third embodiment of the present invention.
  • the remote diagnosis support system 1400 includes a server 1403 and an image acquisition device 1405.
  • the image acquisition device 1405 is, for example, a device such as a virtual slide device or a personal computer equipped with a camera, and includes an imaging unit 1401 that captures image data, and a display unit that displays determination results transmitted from the server 1403 or the like. 1404. Although not shown, the image acquisition apparatus 1405 includes a communication device that transmits image data to the server or the like 1403 and receives data transmitted from the server or the like 1403.
  • a server or the like 1403 performs image processing on the image data transmitted from the image acquisition device 1405 according to the first or second embodiment of the present invention, and is output from the image processing device 1. And a storage unit 1402 for storing the determination result.
  • the server 1403 has a communication device (not shown) that receives the image data transmitted from the image acquisition device 1405 and transmits the determination result data to the image acquisition device 1405. .
  • the image processing apparatus 1 determines whether the cells in the image data captured by the imaging unit 1401 are normal cells or abnormal cells for each type of abnormal cells (eg, cancer).
  • the abnormal cell (eg, cancer) likelihood determination according to the degree of progression of the abnormal cell (eg, cancer) is performed using the classification results obtained by a plurality of preset classifiers.
  • the display unit 1404 displays the determination result transmitted from the server or the like 1403 on the display screen of the image acquisition device 1405.
  • a regenerative medical device having an imaging unit, an iPS cell culture device, an MRI, an ultrasonic imaging device, or the like may be used.
  • a cell in an image transmitted from a facility at a different point is determined as a normal cell or an abnormal cell, and the determination result is transmitted to a facility at a different point. It is possible to provide a remote diagnosis support system by displaying the determination result on the display unit of the image acquisition apparatus.
  • FIG. 15 is a functional block diagram showing a configuration of a network trust service providing system 1500 according to a fourth embodiment of the present invention.
  • the network trust service providing system 1500 includes a server 1503 and an image acquisition device 1505.
  • the image acquisition device 1505 is a device such as a virtual slide device or a personal computer equipped with a camera, for example, an image capturing unit 1501 that captures image data, a storage unit 1504 that stores a discriminator transmitted from a server 1503, and the like.
  • a second embodiment of the present invention that reads a discriminator transmitted from a server 1503 or the like and determines whether a cell in an image newly captured by the imaging unit 1501 of the image acquisition device 1505 is a normal cell or an abnormal cell.
  • an image processing apparatus 1 that performs image processing according to the above.
  • the image acquisition apparatus 1505 includes a communication device that transmits image data to the server or the like 1503 or receives data transmitted from the server or the like 1503.
  • a server or the like 1503 includes an image processing apparatus 1 that performs image processing on the image data transmitted from the image acquisition apparatus 1505 according to the second embodiment of the present invention, and a classifier output from the image processing apparatus 1. And a storage unit 1502 for storing.
  • the server 1503 has a communication device that receives image data transmitted from the image acquisition apparatus 1505 and transmits an identifier to the image acquisition apparatus 1505.
  • the image processing apparatus 1 performs machine learning so that normal cells are determined as normal cells and abnormal cells are determined as abnormal cells in cells in the image data captured by the imaging unit 1501. Create a classifier suitable for an image of a facility.
  • the storage unit 1504 stores an identifier and the like transmitted from the server 1503 and the like.
  • the image processing device 1 in the image acquisition device 1505 reads a discriminator or the like from the storage unit 1504 and uses the discriminator to normalize cells in the image newly captured by the imaging unit 1501 of the image acquisition device 1505. It is determined whether the cell is an abnormal cell, and the determination result is displayed on the display screen of the output device 204 of the image processing apparatus 1.
  • a regenerative medical device having an imaging unit, an iPS cell culture device, an MRI, an ultrasonic imaging device, or the like may be used.
  • machine learning is performed so that normal cells are determined to be normal cells and abnormal cells are determined to be abnormal cells with respect to cells in images transmitted from different facilities or the like.
  • To create a discriminator, etc. transmit the discriminator to a facility at a different point, etc., read the discriminator with an image acquisition device in the facility, etc., and about the cells in the newly taken image, normal cells By determining whether the cell is an abnormal cell, it is possible to provide a network contract service providing system.
  • the image processing apparatus relates to a process for calculating feature amounts of a plurality of direction components, a process for obtaining a dispersion value indicating the degree of deformation of a cell, and a classification.
  • a process for determining the likelihood of abnormal cells (for example, cancer) according to. More specifically, as shown in Equation 1, feature quantities of a plurality of direction components are obtained, and as shown in Equations 2 and 3, cell deformation is performed using feature quantities fi of the plurality of direction components. A variance value var indicating the condition is obtained.
  • the feature quantity fi may be obtained by rotating the target image in a plurality of directions.
  • the calculated dispersion value var represents the uniformity of the cells, and it is possible to classify whether normal cells are abnormal cells from the dispersion values.
  • tissue / cells are classified using a plurality of preset classification results, and abnormal cell (eg, cancer) is judged, so the degree of progression of abnormal cells (eg: cancer)
  • abnormal cell eg, cancer
  • the degree of progression of abnormal cells eg: cancer
  • the image processing apparatus obtains feature quantities of a plurality of directional components, and performs machine learning of cell deformation using the obtained feature quantities, and a classifier obtained by machine learning.
  • tissue and cells are classified using a process of classifying normal cells or abnormal cells from one image and a plurality of preset classification results.
  • tissue / cells are classified using a plurality of classification results that are set in advance, and abnormal cells (eg, cancer) are determined according to the degree of progression of abnormal cells (eg, cancer). The determination result corresponding to the degree of progression of abnormal cells (eg, cancer) can be displayed.
  • normal cells are determined as normal cells
  • abnormal cells are determined as abnormal cells.
  • Perform machine learning to create a classifier, etc. read the classifier with an image acquisition device in a facility at a different location, etc., and determine whether the cells in the newly captured image are normal or abnormal
  • the machine deformation of the cells is machine-learned using logistic regression, but linear regression, Poisson regression, or the like may be used, and the same effect is obtained.
  • the classification determination unit 12 performs cell classification determination using variance values or machine learning of a plurality of direction components. However, both the determination result based on the variance values of a plurality of direction components and the determination result based on machine learning may be used. Well, it has the same effect.
  • the present invention can also be realized by software program codes that implement the functions of the embodiments.
  • a storage medium recording the program code is provided to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus reads the program code stored in the storage medium.
  • the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention.
  • a storage medium for supplying such program code for example, a flexible disk, CD-ROM, DVD-ROM, hard disk, optical disk, magneto-optical disk, CD-R, magnetic tape, nonvolatile memory card, ROM Etc. are used.
  • an OS operating system
  • the computer CPU or the like performs part or all of the actual processing based on the instruction of the program code.
  • the program code is stored in a storage means such as a hard disk or a memory of a system or apparatus, or a storage medium such as a CD-RW or CD-R
  • the computer (or CPU or MPU) of the system or apparatus may read and execute the program code stored in the storage means or the storage medium when used.
  • control lines and information lines are those that are considered necessary for the explanation, and not all control lines and information lines on the product are necessarily shown. All the components may be connected to each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Urology & Nephrology (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Hematology (AREA)
  • Molecular Biology (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

　本発明は、組織や細胞が様々な形状を有する場合でも、細胞の変形具合の特徴量を算出して、画像から組織・細胞判定を実現する。本発明による画像診断支援装置は、細胞の画像を入力する処理と、処理の対象画像から複数の方向成分の特徴量を抽出する処理と、複数の前記特徴量を用いて、前記画像が一の分類に該当するか否かを判断する処理と、前記判断処理が、予め設定されているすべての分類に対して終了したかを判定する処理と、を実行する（図１）。

Description

細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、サービス提供システム、及び画像処理方法
　本発明は、細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、サービス提供システム、及び画像処理方法に関し、例えば、細胞診断を支援するための画像処理技術に関するものである。
　近年、病気の診断においては、病変部組織標本の顕微鏡観察による「病理診断」が重要な位置を占めている。病理診断では、標本作成から診断までの多くを人手に頼っており、自動化が困難である。特に、診断における病理医の能力と経験が重要であり、その個人的能力に依存している。一方で、高齢化に伴うがん患者の増加など、医療現場では病理医が不足している。 以上より、病理診断を支援する画像処理技術や遠隔診断などのニーズが増加している。このように、病理診断支援に向け、病理組織か否かを判定するために、例えば、特許文献１に提案される技術がある。当該特許文献１では、高倍率画像から低倍率画像を生成し、低倍率画像で画像を簡易分類後、低倍率画像の元となる高倍率画像を用いて、病理組織を分類している。
特開２０１０－２０３９４９号公報
　しかしながら、組織・細胞画像においては、異常細胞(例：がん)のタイプや異常細胞(例：がん)の進行度合いにより、組織や細胞は様々な形状を有することがあり、異常細胞(例：がん)の進行度合いに応じて、複数の疑わしい分類に該当する場合がある。このため、１つの分類に絞ってしまうと誤診につながる可能性があるという課題がある。このため、特許文献１のように、高倍率画像から低倍率画像を生成し、低倍率画像で画像を簡易分類後、低倍率画像の元となる高倍率画像を用いて組織・細胞を分類した場合、複数の異常細胞のタイプに該当する可能性があっても１つの分類に絞ってしまい、誤検出につながるという課題が存在する。
　また、病理診断においては１つの画像から細胞・組織を分類したいというニーズがある。ところが、特許文献１では高倍率と低倍率の両方の画像を使用する必要があり、１つの画像から組織・細胞を分類できないという課題がある。
　本発明はこのような状況に鑑みてなされたものであり、異常細胞(例：がん)のタイプや異常細胞(例：がん)の進行度合いにより組織や細胞が様々な形状を有する場合でも、１つの画像から組織・細胞判定を実現するための技術を提供するものである。
　上記課題を解決するために、本発明では、異常細胞(例：がん)の種別毎に、細胞の変形具合の特徴量を算出する。より具体的には、本発明による細胞診断支援装置は、処理の対象画像から複数の方向成分の特徴量を抽出する処理と、複数の前記特徴量を用いて、前記画像が一の分類に該当するか否かを判断する処理と、前記判断処理が、予め設定されているすべての分類に対して終了したかを判定する処理と、を実行する。
　本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本発明の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。
　本明細書の記述は典型的な例示に過ぎず、本発明の特許請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。
　本発明によれば、異常細胞(例：がん)のタイプや異常細胞(例：がん)の進行度合いにより、組織や細胞が様々な形状を有する場合でも、異常細胞(例：がん)の種別毎に、細胞の変形具合の特徴量を算出することで、誤検出や過検出を抑制して、１つの画像から組織・細胞を分類することができるようになる。
本発明の第１の実施形態による画像処理装置の機能を示すブロック図である。 本発明の第１および第２の実施形態による画像処理装置のハードウェア構成例を示す図である。 特徴抽出部１１のフィルターの一例を説明するための図である。 特徴抽出部１１の一方向の動作の一例を説明するための図である。 第１の実施形態による特徴抽出部１１の複数方向の動作の一例を説明するための図である。 一分類判定部１２の動作の一例を説明するための図である。 がん判定のＧＵＩの一例を説明するための図である。 描画部１４の動作の一例を説明するための図である。 第１の実施形態による画像処理装置１の全体動作を説明するためのフローチャートである。 本発明の第２の実施形態による画像処理装置の機能を示すブロック図である。 第２の実施形態による一分類判定部１２の動作の一例を説明するための図である。 学習部１６の動作を説明するためのフローチャートである。 第２の実施形態による画像処理装置１の全体動作を説明するためのフローチャートである。 本発明の画像処理装置を搭載した遠隔診断支援システムの概略構成を示す図である。 本発明の画像処理装置を搭載したネット受託サービス提供システムの概略構成を示す図である。
　本発明は、顕微鏡に搭載したカメラなどの撮影装置によってスライドガラス上の組織・細胞切片等を撮影した画像内に含まれる特定の組織や細胞（例えば、がん等）を検出するための画像処理技術に関するものである。本発明の実施形態は、細胞の変形具合を捉え、異常細胞(例：がん)の種別毎に異常細胞(例：がん)有無を判定して異常細胞(例：がん)らしさを算出し、さらに、予め設定されているすべての種別の判定結果から異常細胞(例：がん)を分類することで、異常細胞(例：がん)の検出漏れや誤検出抑制を実現する画像処理装置およびその方法を提供する。
　以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。
　本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
　更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。
　以下では「プログラムとしての各処理部（例えば、特徴抽出部等）」を主語（動作主体）として本発明の実施形態における各処理について説明を行うが、プログラムはプロセッサ（ＣＰＵ等）によって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、プロセッサを主語とした説明としてもよい。
（１）第１の実施形態
　＜画像処理装置の機能構成＞
　図１は、本発明の実施形態による画像処理装置の機能構成を示すブロック図である。画像処理装置１は、入力部１０と、特徴抽出部１１と、一分類判定部１２と、複数分類判定部１３と、描画部１４と、記録部１５と、制御部９１と、メモリ９０と、を有している。当該画像処理装置は、バーチャルスライド等の組織・細胞画像取得装置内に実装しても良いし、後述する（第３乃至第４の実施形態）ように、組織・細胞画像取得装置とネットワークを介して接続されるサーバー内に実装しても良い。
　画像処理装置１における、入力部１０、特徴抽出部１１、一分類判定部１２、複数分類判定部１３、描画部１４、及び記録部１５は、プログラムによって実現しても良いし、モジュール化して実現しても良い。
　入力部１０には画像データが入力される。例えば、入力部１０は、顕微鏡にビルトインされたカメラ等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、ＢＭＰ形式等の符号化された静止画像データ等を取得して、その画像を入力画像としてもよい。また、入力部１０は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像を入力画像としてもよい。また、入力部１０は、撮像手段がバスやネットワーク等を介して取得した画像を入力画像としてもよい。また、入力部１０は、脱着可能な記録媒体に、既に記憶されていた画像を入力画像としてもよい。
　特徴抽出部１１は、画像から細胞に関する複数の方向成分等の特徴量を抽出する。
　一分類判定部１２は、抽出した特徴量から細胞の変形具合を算出し、一分類に関して、正常細胞か異常細胞かを分類する。
　複数分類判定部１３は、予め設定されている複数の一分類の分類結果を用いて、組織・細胞を分類する。
　描画部１４は、複数分類判定部１３で分類した異常細胞を囲むように検出枠を画像上に描画する。
　記録部１５は、描画部１４で原画像上に検出枠を描画した画像をメモリ９０に保存する。
　制御部９１は、プロセッサで実現され、画像処理装置１内の各要素に接続される。画像処理装置１の各要素の動作は、上述した各構成要素の自律的な動作、又は制御部９１の指示により行われる動作である。
　このように本実施形態の画像処理装置１では、特徴抽出部１１で求めた細胞の変形具合を示す特徴量を用いて、一分類判定部１２で、一分類に関して、正常細胞か異常細胞かを分類し、複数分類判定部１３で、予め設定されている複数の一分類の分類結果を用いて、組織・細胞を分類することを特徴とする。
　＜画像処理装置のハードウェア構成＞
　図２は、本発明の実施形態による画像処理装置１のハードウェア構成例を示す図である。
　画像処理装置１は、各種プログラムを実行するＣＰＵ（プロセッサ）２０１と、各種プログラムを格納するメモリ２０２と、各種データを格納する記憶装置（メモリ９０に相当）２０３と、検出後画像を出力するための出力装置２０４と、ユーザによる指示や画像等を入力するための入力装置２０５と、他の装置と通信を行うための通信デバイス２０６と、を有し、これらがバス２０７によって相互に接続されている。
　ＣＰＵ２０１は、必要に応じてメモリ２０２から各種プログラムを読み込み、実行する。
　メモリ２０２は、プログラムとしての、入力部１０と、特徴抽出部１１と、一分類判定部１２と、複数分類判定部１３と、描画部１４と、記録部１５と、を格納する。なお、学習部１６は第２の実施形態で必要な構成であり、第１の実施形態による画像処理装置１は、当該学習部１６を含まない。
　記憶装置２０３は、処理対象画像、一分類判定部１２によって生成された一分類の分類結果とその数値、複数分類判定部１３によって生成された組織・細胞の分類結果、描画部１４によって生成された検出枠を描画するための位置情報等を記憶している。
　出力装置２０４は、ディスプレイ、プリンタ、スピーカー等のデバイスで構成される。例えば、出力装置２０４は、描画部１４によって生成されたデータをディスプレイ画面上に表示する。
　入力装置２０５は、キーボード、マウス、マイク等のデバイスで構成される。入力装置２０５によってユーザによる指示（処理対象画像の決定を含む）が画像処理装置１に入力されたりする。
　通信デバイス２０６は、画像処理装置１としては必須の構成ではなく、組織・細胞画像取得装置に接続されたパソコン等に通信デバイスが含まれる場合には、画像処理装置１は通信デバイス２０６を保持していなくても良い。通信デバイス２０６は、例えば、ネットワークを介して接続される他の装置（例えば、サーバー）から送信されてきたデータ（画像を含む）を受信し、記憶装置２０３に格納する動作を行う。
　＜各部の構成と動作＞
　以下、各要素の構成と動作について詳細に説明する。
（i）特徴抽出部１１
　複数の方向成分の特徴量を求める。一例として、０度の方向の特徴量を求めるフィルターを図３に示す。例えば、図３の領域１（細胞及び細胞核以外の領域）、領域２（細胞の領域）、領域３（細胞核の領域）のフィルター係数を、各々０、１、－１とする。図４に示すように、式１を用いて、対象画像の左上から右下に対して、各フィルターの計算結果を求め、計算結果の総和を処理数Nで割ることで、０度(i=0)のフィルターの特徴量fiを求める。ただし、式１において、pjは画素値、kjはフィルター係数、mはフィルター係数の数を示す。同様に、図５に示すように、０度から３５９度までの方向の特徴量を求めるフィルターを用いて、各方向の特徴量を算出する。次に、図５に示すように、０度から３５９度までの各特徴量(f0～f359)を用いて、特徴量の分布を算出する。ただし、図５では、各方向の特徴量を求めるフィルターを用いたが、一方向の特徴量を求めるフィルターと対象画像を１度ずつ回転させた画像を用いて、各方向の特徴量fiを求めてもよい。
Figure JPOXMLDOC01-appb-M000001
（ii）一分類判定部１２
　一分類判定部１２は、図６に示すように、前記特徴抽出部１１で求めた特徴量fiの分布から、式２と式３を用いて、特徴量fiの分布の分散値varを算出する。式２において、favはfiの平均値、fsdはfiの標準偏差を示す。また、式３において、tは求める複数の方向成分の数、例えば、３６０を示す。
Figure JPOXMLDOC01-appb-M000002
　次に、算出した分散値varは、細胞の均一性を表しており、分散値から正常細胞か異常細胞かを分類する。算出した分散値を異常細胞(例：がん)らしさの値とする。図６(a)に示すように、均一な形状をした細胞を含む組織・細胞画像が入力された場合は、図６(b)に示すような特徴量分布となり、異常細胞(例：がん)らしさの値を示す分散値varは閾値Ｔｈ未満となるため、入力された対象画像を正常細胞に分類する。一方、図６(c)に示すように、不均一な形状をした細胞を含む組織・細胞画像が入力された場合は、図６(d)に示すような特徴量分布となり、異常細胞(例：がん)らしさの値を示す分散値varは閾値Ｔｈ以上となるため、入力された対象画像を異常細胞に分類する。
　図７は、細胞判定の一例として、がん判定のＧＵＩ（グラフィカルユーザーインタフェース）の一例を示す図である。図７は、胃がんの場合の一例であり、低分化管状腺がん、中分化管状腺がん、高分化管状腺がん、乳頭状腺がん、印環細胞がんの分類結果を示す図である。図７の例では、低分化管状腺がんについて、一分類判定部１２は、入力された対象画像に異常細胞である低分化管状腺がんを含むと分類し、低分化管状腺がんのがんらしさの値を0.89と算出した例である。また、中分化管状腺がんについて、一分類判定部１２は、入力された対象画像に異常細胞である中分化管状腺がんを含まず、正常細胞と分類し、中分化管状腺がんのがんらしさの値を0.31と算出した例である。また、高分化管状腺がんについて、一分類判定部１２は、入力された対象画像に異常細胞である高分化管状腺がんを含まず、正常細胞と分類し、高分化管状腺がんのがんらしさの値を0.21と算出した例である。また、乳頭状腺がんについて、一分類判定部１２は、入力された対象画像に異常細胞である乳頭状腺がんを含まず、正常細胞と分類し、乳頭状腺がんのがんらしさの値を0.11と算出した例である。また、印環細胞がんについて、一分類判定部１２は、入力された対象画像に異常細胞である印環細胞がんを含まず、正常細胞と分類し、印環細胞がんのがんらしさの値を0.05と算出した例である。
（iii）複数分類判定部１３
　複数分類判定部１３は、前記一分類判定部１２で求めた予め設定されている複数の一分類の結果である異常細胞(例：がん)らしさの値と任意の閾値Ｔｈを比較し、閾値Ｔｈを超えた異常細胞(例：がん)の種別のみを異常細胞(例：がん)らしさ判定結果に表示する。図７の例では、がんらしさ判定結果に、低分化管状腺がんを表示している。異常細胞(例：がん)の進行度やタイプによっては、複数の異常細胞(例：がん)の種別と判定される場合がある。そのため、複数の異常細胞(例：がん)らしさの値が閾値Ｔｈを超える場合もあり、その場合は、異常細胞(例：がん)らしさ判定結果に、複数の異常細胞(例：がん)の種別を表示する。
（iv）描画部１４
　描画部１４は、一分類判定部１２において、異常細胞（例えば、がん等）と判定された項目については、図７において、「画像」ボタンを押下した場合、図８に示すように、異常細胞(例：がん)が疑われる箇所を示すために、入力した対象画像内に検出枠を描画する。一方、正常細胞と判定された項目については、図７において、「画像」ボタンを押下した場合、検出枠を入力した対象画像上に描画せず、入力した対象画像をそのまま表示する。
（v）記録部１５
　記録部１５は、描画部１４で入力した対象画像上に検出枠を描画するための座標情報とその対象画像をメモリ９０に保存する。
　＜画像処理装置の処理手順＞
　図９は、本発明の実施形態による画像処理装置１の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、特徴抽出部１１等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。
（i）ステップ８０１
　入力部１０は、入力された画像を受け付け、当該入力画像を特徴抽出部１１に出力する。
（ii）ステップ８０２
　特徴抽出部１１は、上述の式１を用いて、複数の方向成分の特徴量fiを求める。
（iii）ステップ８０３
　一分類判定部１２は、特徴抽出部１１が出力した特徴量fiを用いて、上述の式２,３により特徴量fiの分布を示す分散値varを算出する。
（iv）ステップ８０４
　一分類判定部１２は、算出した分散値varと閾値Ｔｈを比較する。すなわち、分散値var≧閾値Ｔｈの場合、処理はステップ８０５に移行する。一方、var＜閾値Ｔｈの場合、処理はステップ８０６に移行する。
（v）ステップ８０５
　一分類判定部１２は、分類結果resに異常細胞(例えば、１)を設定する。
（vi）ステップ８０６
　一分類判定部１２は、分類結果resに正常細胞(例えば、０)を設定する。
（vii）ステップ８０７
　複数判定部１３は、予め設定されている全ての種別について一分類判定部１２を行うため、上記ステップ８０２から８０６を繰り返す。ステップ８０２から８０６のステップを繰り返すことにより、予め設定されている全ての種別について、正常細胞か異常細胞かを判定することが可能となる。なお、各種別について特徴量fiを求めるためのフィルター（図３）の係数は異なるため、別の種別について分類処理を行う場合には当該フィルター係数は変更され、ステップ８０２に処理が移行することとなる。全種別の判定が終了したと判定されるとステップ８０８に移行する。
（viii）ステップ８０８
　描画部１４は、異常細胞と判定された種別については、図７に示す画像ボタンを押下時に、異常細胞を示す検出枠を画像上に描画して表示する。描画部１４は、正常細胞と判定された種別については、図７に示す画像ボタンを押下時に、検出枠を画像上に描画することはしない。
（ix）ステップ８０９
　記録部１５は、描画部１４で入力した対象画像上に検出枠を描画するための座標情報とその対象画像をメモリ９０（記憶装置２０３に相当）に保存する。
　本発明の実施形態によれば、複数の方向成分の特徴量を用いて、細胞の変形具合を示す分散値を求めている。したがって、一分類に関して、誤検出や過検出を抑制して、１つの画像から正常細胞か異常細胞かを分類することが可能となる。
　また、予め設定されている複数の一分類の分類結果を用いて、組織・細胞を分類するため、異常細胞(例：がん)の進行度に応じた異常細胞(例：がん)らしさ判定を行うことが可能となる。
　また、一度にすべての分類についての判断をするのではなく、各分類毎に該当するか否かを判定することで、誤検出を抑制した判定を行うことが可能となる。
（２）第２の実施形態
　第２の実施形態に係る画像処理装置１を図１０に示す。図１０に示すように、第１の実施形態の図１と同じ構成を多く含むが、特徴抽出部１１、一分類判定部１２の動作が図１と異なる。また、学習部１６が追加になっている。従って、ここでは処理の異なる構成と追加の構成について図１０、また、図９とは異なる全体の処理フローについて図１３を用いて説明をする。
　＜各部の構成と動作＞
　以下、図１と異なる各要素の構成と動作について詳細に説明する。
（i）学習部１６
　学習部１６は、特徴抽出部１１と一分類判定部１２と同一の構成を内部に含んでおり、これらを用いて、例えば、従来技術である機械学習の技術を用いて、細胞の変形具合を学習する。なお、学習部１６によって学習される入力画像と評価対象として入力される画像は異なるものである。
　すなわち、前記特徴抽出部１１で求めた複数の方向成分の特徴量fiには、細胞の一部の形状を示す情報が含まれている。
　一分類判定部１２は、図１１に示すように、前記特徴抽出部１１で求めた複数の方向成分の特徴量fiを用いて、式４と式５により、入力した組織・細胞画像内の細胞が正常細胞であれば、例えば、ロジスティック回帰処理にて、正常細胞と判定するように、例えば、従来技術である機械学習の技術を用いて、細胞の変形具合を学習する。また、入力した組織・細胞画像内の細胞が異常細胞であれば、ロジスティック回帰処理にて、異常細胞と判定するように、細胞の変形具合を学習する。ただし、式４において、ｗは重みの行列、ｆは入力画像から求めた各方向成分fiの行列、bはオフセット値、gは非線形関数、yは計算結果をそれぞれ示し、機械学習により、ｗの重みとbのオフセット値を求める。また、式５において、pjは画素値、wjはフィルター係数、biはオフセット値、mはフィルター係数の数、Nは処理数、hは非線形関数を示す。例えば、機械学習の技術として、Convolutional Neural Networkを用いてもよい。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　学習部１６は、複数の学習用画像を用いて、前記特徴抽出部１１と前記一分類判定部１２を繰り返して行い、重みｗ、フィルター係数wj、オフセット値bとbiを求め、正常細胞か異常細胞かを判定する識別器を作成する。また、学習部１６は、求めた重みｗ、フィルター係数wj、オフセット値bとbiをメモリに格納する。
（ii）特徴抽出部１１
　特徴抽出部１１は、メモリからフィルター係数wj、オフセット値biを読込み、入力部１０から出力された判定したい入力画像に対し、式５を用いて、図１１に示すように、０度から３５９度までの方向の特徴量を求めるフィルターを用いて、各方向の特徴量fiを算出する。
（iii）一分類判定部１２
　一分類判定部１２は、メモリから重みw、オフセット値bを読込み、式５を用いて、図１１に示すように、前記特徴抽出部１１で求めた特徴量fiから、細胞が正常であるか異常であるかを判定する。
　＜画像処理装置のハードウェア構成＞
　本発明の実施形態による画像処理装置１のハードウェア構成例は、図２と同様である。ただし、第２の実施形態の場合、画像処理装置１は、第１の実施形態とは異なり、メモリ２０２に学習部１６を格納する。それ以外の画像処理装置１のハードウェア構成は、画像処理装置１と同じである。
　＜画像処理装置の処理手順＞
　図１２は、本発明の実施形態による画像処理装置１の学習部１６の動作を説明するためのフローチャートである。以下では、学習部１６を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。
（i）ステップ１２０１
　入力部１０は、学習用に入力された画像を受け付け、当該入力画像を学習部１６に出力する。
（ii）ステップ１２０２
　学習部１６は、上述の式１を用いて、複数の方向成分の特徴量fiを求める。
（iii）ステップ１２０３
　学習部１６は、式４と式５を用いて、細胞の変形具合を学習し、重みw、フィルター係数wj、オフセットb、biを算出する。
（iv）ステップ１２０４
　学習部１６は、算出した重みw、フィルター係数wj、オフセットb、biをメモリ９０に保存する。なお、重みw、フィルター係数wj、オフセットb及びbiは、学習により、予め設定されている全ての種別（例えば、全ての種類のがん細胞）について求められることになる。
　図１３は、本発明の実施形態による画像処理装置１の動作を説明するためのフローチャートである。以下では、各処理部（入力部１０、特徴抽出部１１等）を動作主体として記述するが、ＣＰＵ２０１を動作主体とし、ＣＰＵ２０１がプログラムとしての各処理部を実行するように読み替えても良い。
（i）ステップ１３０１
　入力部１０は、判定したい入力画像を受け付け、当該入力画像を特徴抽出部１１に出力する。
（ii）ステップ１３０２
　特徴抽出部１１は、メモリ９０からフィルター係数wj、オフセットbiを読込み、上述の式５を用いて、複数の方向成分の特徴量fiを求める。
（iii）ステップ１３０３
　一分類判定部１２は、メモリ９０から重みw、オフセットbを読込み、式４により、計算結果yを算出する。
（iv）ステップ１３０４
　一分類判定部１２は、算出した計算結果yと閾値Th2を比較する。すなわち、計算結果y≧閾値Th2の場合、処理はステップ１３０５に移行する。一方、計算結果y＜閾値Th2の場合、処理はステップ１３０６に移行する。
（v）ステップ１３０５
　一分類判定部１２は、分類結果resに異常細胞(例えば、１)を設定する。
（vi）ステップ１３０６
　一分類判定部１２は、分類結果resに正常細胞(例えば、０)を設定する。
（vii）ステップ１３０７
　複数分類判定部１３は、予め設定されている全ての種別について一分類判定部１２を行うため、上記ステップ１３０２から１３０６を繰り返す。ステップ１３０２から１３０６のステップを繰り返すことにより、予め設定されている全ての種別について、正常細胞か異常細胞かを判定することが可能となる。別の種別について判定する場合には、メモリから当該種別用のフィルター係数wj及びオフセットbiを読み込み、当該種別に対応する特徴量fiを求めることになる。全種別の判定が終了したと判定されるとステップ１３０８に移行する。
（viii）ステップ１３０８
　描画部１４は、異常細胞と判定された種別については、図７に示す画像ボタンを押下時に、異常細胞を示す検出枠を画像上に描画して表示する。描画部１４は、正常細胞と判定された種別については、図７に示す画像ボタンを押下時に、検出枠を画像上に描画することはしない。
（ix）ステップ１３０９
　記録部１５は、描画部１４で入力した対象画像上に検出枠を描画するための座標情報とその対象画像をメモリ９０（記憶装置２０３に相当）に保存する。
　第２の実施形態によれば、複数の方向成分の特徴量を用いて、細胞の変形具合を学習し、重み、フィルター係数、オフセットを算出して、正常細胞か異常細胞かを判定する識別器を作成するため、一分類に関して、誤検出や過検出を抑制して、１つの画像から正常細胞か異常細胞かを分類することが可能となる。
　また、予め設定されている複数の一分類の識別器による分類結果を用いて、組織・細胞を分類するため、異常細胞(例：がん)の進行度に応じた異常細胞(例：がん)らしさ判定を行うことが可能となる。
　さらに、一度にすべての分類についての判断をするのではなく、各分類毎に該当するか否かを判定することで、誤検出を抑制した判定を行うことが可能となる。
（３）第３の実施形態
　図１４は、本発明の第３の実施形態による遠隔診断支援システム１４００の構成を示す機能ブロック図である。遠隔診断支援システム１４００は、サーバー１４０３と、画像取得装置１４０５と、を有する。
　画像取得装置１４０５は、例えばバーチャルスライド装置やカメラを装備したパソコンのような装置であり、画像データを撮影する撮像部１４０１と、サーバー等１４０３から伝送されてきた判定結果を表示するための表示部１４０４と、を有している。なお、画像取得装置１４０５は、図示されてはいないが、画像データをサーバー等１４０３に送信したり、サーバー等１４０３から送信されてきたデータを受信したりする通信デバイスを有している。
　サーバー等１４０３は、画像取得装置１４０５から伝送されてきた画像データに対して、本発明の第１や第２の実施形態による画像処理を行う画像処理装置１と、画像処理装置１から出力された判定結果を格納する格納部１４０２と、を有している。なお、サーバー等１４０３は、図示されてはいないが、画像取得装置１４０５から送信されてきた画像データを受信したり、画像取得装置１４０５に判定結果データを送信したりする通信デバイスを有している。
　画像処理装置１は、撮像部１４０１で撮影した画像データ内の細胞について、異常細胞(例：がん)の種別毎に正常細胞か異常細胞かを判定する。また、予め設定されている複数の一分類の識別器による分類結果を用いて、異常細胞(例：がん)の進行度に応じた異常細胞(例：がん)らしさ判定を行う。表示部１４０４は、サーバー等１４０３から伝送された判定結果を、画像取得装置１４０５の表示画面に表示する。
　画像取得装置１４０５として、撮影部を有する再生医療装置やｉＰＳ細胞の培養装置、もしくはＭＲＩや超音波画像撮像装置等を用いてもよい。
　第３の実施形態によれば、地点の異なる施設等から伝送された画像内の細胞について、正常細胞か異常細胞かを判定し、判定結果を地点の異なる施設等に伝送して、その施設等にある画像取得装置の表示部で判定結果を表示することで、遠隔診断支援システムを提供することが可能となる。
（４）第４の実施形態
　図１５は、本発明の第４の実施形態によるネット受託サービス提供システム１５００の構成を示す機能ブロック図である。ネット受託サービス提供システム１５００は、サーバー等１５０３と、画像取得装置１５０５と、を有している。
　画像取得装置１５０５は、例えばバーチャルスライド装置やカメラを装備したパソコンのような装置であり、画像データを撮影する撮像部１５０１と、サーバー等１５０３から伝送された識別器を格納する格納部１５０４と、サーバー等１５０３から伝送された識別器を読込んで、画像取得装置１５０５の撮像部１５０１にて新たに撮影した画像内の細胞について、正常細胞か異常細胞かを判定する本発明の第２の実施形態による画像処理を行う画像処理装置１とを有している。なお、画像取得装置１５０５は、図示されてはいないが、画像データをサーバー等１５０３に送信したり、サーバー等１５０３から送信されてきたデータを受信したりする通信デバイスを有している。
　サーバー等１５０３は、画像取得装置１５０５から伝送されてきた画像データに対して、本発明の第２の実施形態による画像処理を行う画像処理装置１と、画像処理装置１から出力された識別器を格納する格納部１５０２と、を有している。なお、サーバー等１５０３は、図示されてはいないが、画像取得装置１５０５から送信されてきた画像データを受信したり、画像取得装置１５０５に識別器を送信したりする通信デバイスを有している。
　画像処理装置１は、撮像部１５０１で撮影した画像データ内の細胞について、正常細胞は正常細胞と判定するように、また、異常細胞は異常細胞と判定するように機械学習を行い、地点の異なる施設等の画像に適した識別器を作成する。
　格納部１５０４は、サーバー等１５０３から伝送された識別器等を格納する。
　画像取得装置１５０５内の画像処理装置１は、格納部１５０４から識別器等を読込み、その識別器を用いて、画像取得装置１５０５の撮像部１５０１にて新たに撮影した画像内の細胞について、正常細胞か異常細胞かを判定し、画像処理装置１の出力装置２０４の表示画面に判定結果を表示する。
　画像取得装置１５０５として、撮影部を有する再生医療装置やｉＰＳ細胞の培養装置、もしくはＭＲＩや超音波画像撮像装置等を用いてもよい。
　第４の実施形態によれば、地点の異なる施設等から伝送された画像内の細胞について、正常細胞は正常細胞と判定するように、また、異常細胞は異常細胞と判定するように機械学習を行って識別器等を作成し、識別器等を地点の異なる施設等に伝送して、その施設等にある画像取得装置にて識別器を読込み、新たに撮影した画像内の細胞について、正常細胞か異常細胞かを判定することで、ネット受託サービス提供システムを提供することが可能となる。
（５）まとめ
（i）本発明による第１の実施形態の画像処理装置は、複数の方向成分の特徴量を算出する処理と、細胞の変形具合を示す分散値を求める処理と、一分類に関して、１つの画像から正常細胞か異常細胞かを分類する処理と、予め設定されている複数の一分類の分類結果を用いて組織・細胞を分類し、異常細胞(例：がん)の進行度に応じた異常細胞(例：がん)らしさ判定する処理と、を実行する。より具体的には、式１に示されるように、複数の方向成分の特徴量を求め、式２と式３に示されるように、複数の方向成分の特徴量fiを用いて、細胞の変形具合を示す分散値varを求める。特徴量fiを求める際、複数方向のフィルターを使用するのではなく、対象画像を複数方向に回転させて、特徴量fiを求めても良い。算出した分散値varは、細胞の均一性を表しており、分散値から正常細胞が異常細胞かを分類することができるようになる。
　そして、予め設定されている複数の一分類の分類結果を用いて組織・細胞を分類し、異常細胞(例：がん)らしさ判定をするので、異常細胞(例：がん)の進行度に応じた判定結果を表示することができるようになる。
（ii）第２の実施形態の画像処理装置は、複数の方向成分の特徴量を求め、求めた特徴量を用いて細胞の変形具合を機械学習する処理と、機械学習により求めた識別器を用いて、一分類に関して、１つの画像から正常細胞か異常細胞かを分類する処理と、予め設定されている複数の一分類の・BR>ェ類結果を用いて組織・細胞を分類し、異常細胞(例：がん)の進行度に応じた異常細胞(例：がん)らしさ判定する処理と、を実行する。より具体的には、式１に示されるように、複数の方向成分の特徴量を求め、式４と式５に示されるように、正常細胞は正常細胞と判定するように、また、異常細胞は異常細胞と判定するように、細胞の変形具合を機械学習して、識別器の重み、フィルター係数、オフセットを算出する。そして、機械学習により求めた識別器の重み、フィルター係数、オフセットを用いることで、判定したい入力画像内の細胞について、一分類に関して、１つの画像から正常細胞か異常細胞かを分類することができるようになる。さらに、予め設定されている複数の一分類の分類結果を用いて組織・細胞を分類し、異常細胞(例：がん)の進行度に応じた異常細胞(例：がん)らしさ判定するので、異常細胞(例：がん)の進行度に応じた判定結果を表示することができるようになる。
（iii）第３の実施形態によれば、地点の異なる施設等から伝送された画像内の細胞について、正常細胞か異常細胞かを判定し、地点の異なる施設等にある画像取得装置の表示部で判定結果を表示することで、遠隔診断支援システムを提供することが可能となる。
（iv）第４の実施形態によれば、地点の異なる施設等から伝送された画像内の細胞について、正常細胞は正常細胞と判定するように、また、異常細胞は異常細胞と判定するように機械学習を行って識別器等を作成し、地点の異なる施設等にある画像取得装置にてその識別器を読込み、新たに撮影した画像内の細胞について、正常細胞か異常細胞かを判定することで、ネット受託サービス提供システムを提供することが可能となる。
（v）以上説明した各実施形態については、次のような変形が可能である。
　特徴抽出部１１や学習部１６では、図３に示すようなフィルターを用いて複数の方向成分の特徴量を求めたが、ＨＯＧ等の他の特徴量を用いてもよく、同様の効果を有する。
　一分類判定部１２では、ロジスティック回帰を用いて細胞の変形具合を機械学習したが、線形回帰やポアソン回帰等を用いてもよく、同様の効果を有する。
　一分類判定部１２では、複数の方向成分の分散値もしくは機械学習を用いて細胞の分類判定をしたが、複数の方向成分の分散値による判定結果と機械学習による判定結果の両方を用いてもよく、同様の効果を有する。
（vi）本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或いは装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
　また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
　さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
　最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。
　さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。
　加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。
１　画像処理装置
１０　入力部
１１　特徴抽出部
１２　一分類判定部
１３　複数分類判定部
１４　描画部
１５　記録部
１６　学習部
９０　メモリ
９１　制御部
２０１　ＣＰＵ
２０２　メモリ
２０３　記憶装置
２０４　出力装置
２０５　入力装置
２０６　通信デバイス
１４００　遠隔診断支援システム
１５００　ネット受託サービス提供システム

Claims (15)

  1. 　対象画像に対して画像処理するための各種プログラムを実行するプロセッサと、
    　画像処理の結果を格納するためのメモリと、を有し、
    　前記プロセッサは、
    　　細胞を撮像した画像を入力する処理と、
    　　前記対象画像から複数の方向成分の特徴量を抽出する処理と、
    　　複数の前記特徴量を用いて、前記対象画像が一の分類に該当するか否かを判断する処理と、
    を実行する、細胞診断支援装置。
  2. 　請求項１において、
    　さらに、前記プロセッサは、前記判断する処理が予め設定されているすべての分類に対して終了したかを判定する処理と、を実行する、細胞診断支援装置。
  3. 　請求項１において、
    　前記プロセッサは、前記特徴を抽出する処理において、複数方向のフィルターを用いて、或いは前記対象画像を回転させた複数の回転画像を用いて、前記特徴量を抽出する、細胞診断支援装置。
  4. 　請求項１において、
    　前記プロセッサは、前記判断する処理において、複数の方向成分の前記特徴量の分散を用いて一分類を判断する、細胞診断支援装置。
  5. 　請求項１において、
    　前記プロセッサは、前記判断する処理において、複数の方向成分の前記特徴量を機械学習することで求めた識別器を用いて一分類を判断する、細胞診断支援装置。
  6. 　請求項２において、
    　前記プロセッサは、前記判定する処理において、予め設定されているすべての一分類の結果を用いて最終的な判定結果を表示する、細胞診断支援装置。
  7. 　対象画像において所望の細胞を分類する細胞診断支援方法であって、
    　前記対象画像に対して画像処理するための各種プログラムを実行するプロセッサが、細胞を撮像した画像を入力するステップと、
    　前記プロセッサが、前記対象画像から複数の方向成分の特徴量を抽出するステップと、　前記プロセッサが、前記対象画像に対して、複数の前記特徴量を用いて、前記対象画像が一の分類に該当するか否かを判断するステップと、
    を含む、細胞診断支援方法。
  8. 　請求項７において、さらに、
    　前記プロセッサが、前記対象画像に対して、前記判断するステップが予め設定されているすべての分類に対して終了したかを判定するステップと、
    を含む、細胞診断支援方法。
  9. 　請求項７において、
    　前記プロセッサは、前記特徴を抽出するステップにおいて、複数方向のフィルターを用いて、或いは前記対象画像を回転させた複数の回転画像を用いて、前記特徴量を抽出する、細胞診断支援方法。
  10. 　請求項７において、
    　前記プロセッサは、前記判断するステップにおいて、複数の方向成分の前記特徴量の分散を用いて一分類を判断する、細胞診断支援方法。
  11. 　請求項７において、
    　前記プロセッサは、前記判断するステップにおいて、複数の方向成分の前記特徴量を機械学習することで求めた識別器を用いて一分類を判断する、細胞診断支援方法。
  12. 　請求項８において、
    　前記プロセッサは、前記判定するステップにおいて、予め設定されているすべての一分類の結果を用いて最終的な判定結果を表示する、細胞診断支援方法。
  13. 　画像データを撮影する撮像装置を有する画像取得装置と、
    　請求項１に記載の細胞診断支援装置を有するサーバーと、を有し、
    　前記画像取得装置は、前記サーバーに前記画像データを送信し、
    　前記サーバーは、受信した前記画像データを前記細胞診断支援装置で処理して前記判定された細胞の画像と判定結果をメモリに格納するとともに、前記画像取得装置に送信し、　前記画像取得装置は、受信した前記判定された細胞の画像と判定結果を表示装置に表示することを特徴とする遠隔診断支援システム。
  14. 　画像データを撮影する撮像装置と、請求項１に記載の細胞診断支援装置と、を含む画像取得装置と、
    　請求項１に記載の細胞診断支援装置を有するサーバーと、を有し、
    　前記画像取得装置は、前記サーバーに前記画像データを送信し、
    　前記サーバーは、受信した前記画像データを前記細胞診断支援装置で処理し、前記判定された細胞の画像と識別器をメモリに格納するとともに、前記判定された細胞の画像と識別器を前記画像取得装置に送信し、
    　前記画像取得装置は、受信した前記判定された細胞の画像と識別器を格納し、
    　前記画像取得装置に含まれる前記細胞診断支援装置は、識別器を用いて他の細胞の画像を判定するとともに、判定結果を表示装置に表示することを特徴とするサービス提供システム。
  15. 　対象画像において所望の細胞を分類する画像処理方法であって、
    　前記対象画像に対して画像処理するための各種プログラムを実行するプロセッサが、前記対象画像から複数の方向成分の特徴量を抽出するステップと、
    　前記プロセッサが、前記対象画像に対して、複数の前記特徴量を用いて、前記対象画像が一の分類に該当するか否かを判断するステップと、
    　前記プロセッサが、前記対象画像に対して、前記判断ステップが予め設定されているすべての分類に対して終了したかを判定するステップと、
    を含むことを特徴とする画像処理方法。
PCT/JP2016/052426 2015-03-25 2016-01-28 細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、サービス提供システム、及び画像処理方法 WO2016152242A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680014083.7A CN107430757A (zh) 2015-03-25 2016-01-28 细胞诊断支援装置、细胞诊断支援方法、远程诊断支援系统、服务提供系统及图像处理方法
US15/556,546 US10453192B2 (en) 2015-03-25 2016-01-28 Cytologic diagnosis support apparatus, cytologic diagnosis support method, remote diagnosis support system, service providing system, and image processing method
EP16768145.1A EP3276573A4 (en) 2015-03-25 2016-01-28 Cytodiagnosis assistance device, cytodiagnosis assistance method, remote diagnosis assistance system, service provision system, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-063103 2015-03-25
JP2015063103A JP6324338B2 (ja) 2015-03-25 2015-03-25 細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、及びサービス提供システム

Publications (1)

Publication Number Publication Date
WO2016152242A1 true WO2016152242A1 (ja) 2016-09-29

Family

ID=56978080

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/052426 WO2016152242A1 (ja) 2015-03-25 2016-01-28 細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、サービス提供システム、及び画像処理方法

Country Status (5)

Country Link
US (1) US10453192B2 (ja)
EP (1) EP3276573A4 (ja)
JP (1) JP6324338B2 (ja)
CN (1) CN107430757A (ja)
WO (1) WO2016152242A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210015834A (ko) 2018-06-05 2021-02-10 스미또모 가가꾸 가부시키가이샤 진단 지원 시스템, 진단 지원 방법 및 진단 지원 프로그램

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6632288B2 (ja) * 2014-12-12 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP2016146174A (ja) * 2015-02-06 2016-08-12 パナソニックＩｐマネジメント株式会社 決定方法およびプログラム
JP6670222B2 (ja) 2016-11-01 2020-03-18 株式会社日立ハイテク 画像診断支援装置及びシステム、画像診断支援方法
JP6979278B2 (ja) * 2017-04-07 2021-12-08 株式会社日立ハイテク 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法
WO2019039595A1 (ja) * 2017-08-25 2019-02-28 学校法人東京医科大学 子宮頸部の細胞診カテゴリーの推定装置および推定方法
CN109685058B (zh) * 2017-10-18 2021-07-09 杭州海康威视数字技术股份有限公司 一种图像目标识别方法、装置及计算机设备
JP7135303B2 (ja) * 2017-11-15 2022-09-13 大日本印刷株式会社 コンピュータプログラム、検出装置、撮像装置、サーバ、検出器、検出方法及び提供方法
JP2019105703A (ja) * 2017-12-12 2019-06-27 有限会社 高度技術研究所 位相差画像検査装置及び位相差画像検査方法
AU2020276112A1 (en) * 2019-05-16 2022-01-20 PAIGE.AI, Inc. Systems and methods for processing images to classify the processed images for digital pathology
CN110263656B (zh) * 2019-05-24 2023-09-29 南方科技大学 一种癌细胞识别方法、装置和系统
CN111047577B (zh) * 2019-12-12 2021-02-26 太原理工大学 一种畸形尿红细胞分类统计方法与系统
CN115294570B (zh) * 2022-08-11 2024-05-28 武汉希诺智能医学有限公司 一种基于深度学习的细胞图像识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006517663A (ja) * 2003-02-11 2006-07-27 キネティック リミテッド 画像解析
JP2009180539A (ja) * 2008-01-29 2009-08-13 Nec Corp 病理診断支援装置、病理診断支援方法、およびプログラム
WO2010041423A1 (ja) * 2008-10-09 2010-04-15 日本電気株式会社 病理組織診断支援システム、病理組織診断支援プログラム、病理組織診断支援方法
WO2013076927A1 (ja) * 2011-11-24 2013-05-30 パナソニック株式会社 診断支援装置および診断支援方法
JP2015114172A (ja) * 2013-12-10 2015-06-22 オリンパスソフトウェアテクノロジー株式会社 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
WO2015145643A1 (ja) * 2014-03-27 2015-10-01 コニカミノルタ株式会社 画像処理装置および画像処理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6418238B1 (en) * 1997-09-22 2002-07-09 Olympus Optical Co., Ltd. Image detection apparatus and image detection method capable of detecting roundish shape
JP5321145B2 (ja) 2009-03-04 2013-10-23 日本電気株式会社 画像診断支援装置、画像診断支援方法、画像診断支援プログラム、及びその記憶媒体
JP2011095182A (ja) * 2009-10-30 2011-05-12 Sysmex Corp 細胞分析装置及び細胞分析方法
CN102682305B (zh) * 2012-04-25 2014-07-02 深圳市迈科龙医疗设备有限公司 宫颈液基细胞学自动筛查方法和系统
EP2929508A1 (en) 2012-12-07 2015-10-14 Canon Kabushiki Kaisha Image generating apparatus and image generating method
JP6362062B2 (ja) * 2012-12-07 2018-07-25 キヤノン株式会社 画像生成装置および画像生成方法
CN105705098A (zh) * 2013-09-20 2016-06-22 透壁生物技术公司 用于诊断疾病的图像分析技术
CN103839066A (zh) * 2014-03-13 2014-06-04 中国科学院光电技术研究所 一种源于生物视觉的特征提取方法
CN104036235B (zh) * 2014-05-27 2017-07-07 同济大学 基于叶片hog特征和智能终端平台的植物物种识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006517663A (ja) * 2003-02-11 2006-07-27 キネティック リミテッド 画像解析
JP2009180539A (ja) * 2008-01-29 2009-08-13 Nec Corp 病理診断支援装置、病理診断支援方法、およびプログラム
WO2010041423A1 (ja) * 2008-10-09 2010-04-15 日本電気株式会社 病理組織診断支援システム、病理組織診断支援プログラム、病理組織診断支援方法
WO2013076927A1 (ja) * 2011-11-24 2013-05-30 パナソニック株式会社 診断支援装置および診断支援方法
JP2015114172A (ja) * 2013-12-10 2015-06-22 オリンパスソフトウェアテクノロジー株式会社 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
WO2015145643A1 (ja) * 2014-03-27 2015-10-01 コニカミノルタ株式会社 画像処理装置および画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3276573A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210015834A (ko) 2018-06-05 2021-02-10 스미또모 가가꾸 가부시키가이샤 진단 지원 시스템, 진단 지원 방법 및 진단 지원 프로그램
JPWO2019235335A1 (ja) * 2018-06-05 2021-07-08 住友化学株式会社 診断支援システム、診断支援方法及び診断支援プログラム
JP7349425B2 (ja) 2018-06-05 2023-09-22 住友化学株式会社 診断支援システム、診断支援方法及び診断支援プログラム
US12026872B2 (en) 2018-06-05 2024-07-02 Sumitomo Chemical Company, Limited Diagnosis assisting system, diagnosis assisting method and diagnosis assisting program

Also Published As

Publication number Publication date
JP2016184224A (ja) 2016-10-20
EP3276573A4 (en) 2018-10-17
EP3276573A1 (en) 2018-01-31
US20180053296A1 (en) 2018-02-22
JP6324338B2 (ja) 2018-05-16
CN107430757A (zh) 2017-12-01
US10453192B2 (en) 2019-10-22

Similar Documents

Publication Publication Date Title
JP6324338B2 (ja) 細胞診断支援装置、細胞診断支援方法、遠隔診断支援システム、及びサービス提供システム
US10872411B2 (en) Diagnostic imaging assistance apparatus and system, and diagnostic imaging assistance method
WO2018186052A1 (ja) 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法
CN110428475B (zh) 一种医学图像的分类方法、模型训练方法和服务器
AU2017318691B2 (en) System and method of otoscopy image analysis to diagnose ear pathology
US20220215548A1 (en) Method and device for identifying abnormal cell in to-be-detected sample, and storage medium
CN111488921A (zh) 一种全景数字病理图像智能分析系统及方法
WO2018070285A1 (ja) 画像処理装置、及び画像処理方法
CN108231190B (zh) 处理图像的方法和神经网络系统、设备、介质
Akrimi et al. Classification red blood cells using support vector machine
US11972560B2 (en) Machine learning device, image diagnosis support device, machine learning method and image diagnosis support method
JP6665999B2 (ja) データ処理装置、決定木生成方法、識別装置及びプログラム
WO2021246013A1 (ja) 画像診断方法、画像診断支援装置、及び計算機システム
WO2021065937A1 (ja) 機械学習装置
JP7529592B2 (ja) 画像診断支援装置、画像診断支援方法、遠隔診断支援システム、ネット受託サービスシステム
Alkrimi et al. Isolation and classification of red blood cells in anemic microscopic images
B. K et al. Detection and Classification of Tumor Tissues in Colorectal Cancer Using Pathology Images
Shunmuga Priya et al. Enhanced Skin Disease Image Analysis Using Hybrid CLAHE-Median Filter and Salient K-Means Cluster
Umamaheswari et al. Optimizing Cervical Cancer Classification with SVM and Improved Genetic Algorithm on Pap Smear Images.
US20210192734A1 (en) Electronic method and device for aiding the determination, in an image of a sample, of at least one element of interest from among biological elements, associated computer program
CN118470481A (zh) 智能内窥镜图像特征处理方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16768145

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2016768145

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15556546

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE