WO2022176665A1 - 画像解析方法、画像解析装置、分類装置、分類システム、制御プログラム、記録媒体 - Google Patents

画像解析方法、画像解析装置、分類装置、分類システム、制御プログラム、記録媒体 Download PDF

Info

Publication number
WO2022176665A1
WO2022176665A1 PCT/JP2022/004597 JP2022004597W WO2022176665A1 WO 2022176665 A1 WO2022176665 A1 WO 2022176665A1 JP 2022004597 W JP2022004597 W JP 2022004597W WO 2022176665 A1 WO2022176665 A1 WO 2022176665A1
Authority
WO
WIPO (PCT)
Prior art keywords
tissue
image
classification
feature number
feature
Prior art date
Application number
PCT/JP2022/004597
Other languages
English (en)
French (fr)
Inventor
瑞穂 西尾
和昭 中根
Original Assignee
株式会社APSAM Imaging
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社APSAM Imaging filed Critical 株式会社APSAM Imaging
Priority to JP2023500734A priority Critical patent/JPWO2022176665A1/ja
Publication of WO2022176665A1 publication Critical patent/WO2022176665A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present disclosure relates to an image analysis method, an image analysis device, a classification device, a classification system, and the like that analyze tissue images obtained by imaging tissues of a living body and classify changes occurring in the tissues.
  • Non-Patent Document 1 discloses a technique of applying artificial intelligence to image diagnosis of lung cancer.
  • a pathologist determines the presence or absence of changes in the tissue from the tissue image of the patient's tissue, and classifies the changes in the tissue. For example, a pathologist determines whether the tissue of the patient's lung is normal based on the tissue image of the patient's lung. And if not normal, the pathologist decides whether the change should be classified as emphysema or a precancerous lesion of lung adenocarcinoma.
  • the progression of cancer is evaluated based on the size and depth of invasion of the lesion site.
  • lung cancer especially lung adenocarcinoma
  • an experienced pathologist may find it difficult to accurately classify premalignant lesions (or pre-invasive lesions) from tissue images of lung tissue.
  • Non-Patent Document 1 The image analysis method described in Non-Patent Document 1 has been devised to improve this situation, but there is room for improvement in terms of accuracy in classifying premalignant lesions.
  • One aspect of the present disclosure realizes an image analysis method, an image analysis device, a classification device, etc. that accurately classify changes occurring in tissues of a living body based on tissue images.
  • an image analysis method is a tissue in which cell nuclei of cells contained in a tissue of a living body and components different from the cell nuclei are shown in different hues.
  • the input data is input to a classification model that models the correspondence relationship between the first feature number, the second feature number, the third feature number, and the classification related to the change occurring in the tissue, and the tissue image and a classification step of outputting a classification result for changes occurring in the tissue imaged in the .
  • the image analysis apparatus is a tissue image in which cell nuclei of cells contained in a tissue of a living body and components different from the cell nuclei appear in different hues.
  • a single-color component image generating unit for generating a plurality of single-color component images based on pixel values corresponding to each of the plurality of color components;
  • a binarization unit that generates a binarized image; and binarizes each of the plurality of binarized images generated from each of the plurality of single-color component images into a first pixel value and a second pixel value.
  • a first characteristic number indicating the number of hole-shaped regions made up of pixels of the second pixel value after binarization, surrounded by pixels of the first pixel value after binarization; a feature number calculation unit that calculates a second feature number indicating the number of connected regions formed by connecting pixels, and a third feature number that is a ratio between the first feature number and the second feature number.
  • the classification device acquires the first feature number, the second feature number, and the third feature number from the image analysis device according to ⁇ 2> above, input data including the first feature number, the second feature number, and the third feature number calculated for each of the binarized images generated from each of the plurality of single-color component images;
  • the corresponding relationship between the number of 1 features, the number of the second features, the number of the third features, and the classification related to the changes occurring in the tissue is input into a classification model, and the tissue shown in the tissue image is input. and a classification unit that outputs classification results regarding changes occurring in the
  • the classification device configures the tissue image from tissue images in which cell nuclei of cells contained in a living tissue and components different from the cell nuclei appear in different hues.
  • a single-color component image generation unit for generating a plurality of single-color component images based on pixel values corresponding to each of the plurality of color components;
  • a binarization unit that generates a valued image; and binarizes each of the plurality of binarized images generated from each of the plurality of single-color component images into a first pixel value and a second pixel value.
  • a feature number calculation unit for calculating a second feature number indicating the number of connected regions formed by connecting the , and a third feature number that is a ratio between the first feature number and the second feature number; input data including the first feature number, the second feature number, and the third feature number calculated for each of the binarized images generated from each of the component images, the first feature number, A classification model that models the correspondence relationship between the second feature number and the third feature number and the classification related to the change occurring in the tissue, and the change occurring in the tissue shown in the tissue image and a classification unit that outputs a classification result related to the change.
  • a classification system transmits the image analysis device according to ⁇ 2> above, the classification device according to ⁇ 3> above, and the tissue image to the image analysis device. It includes an external device and a presentation device that acquires the classification result output from the classification device and presents the classification result.
  • the image analysis device and the classification device according to each aspect of the present disclosure may be realized by a computer.
  • the computer by operating the computer as each part (software element) included in the image analysis device and the classification device
  • a control program that causes a computer to implement the image analysis device and the classification device, and a computer-readable recording medium recording it are also included in the scope of the present disclosure.
  • FIG. 4 is a diagram showing an example of a tissue image showing normal lung tissue.
  • FIG. 4 is a diagram showing an example of a tissue image showing lung tissue classified as emphysema.
  • FIG. 3 is a diagram showing an example of a tissue image showing lung tissue classified as atypical adenomatous hyperplasia.
  • FIG. 4 is a diagram showing an example of a tissue image showing lung tissue classified as squamous adenocarcinoma.
  • FIG. 4 is a diagram showing an example of a tissue image showing lung tissue classified as invasive adenocarcinoma.
  • FIG. 4 is a diagram showing an example of a tissue image showing normal lung tissue.
  • FIG. 4 is a diagram showing an example of a tissue image showing lung tissue classified as emphysema.
  • FIG. 3 is a diagram showing an example of a tissue image showing lung tissue classified as atypical adenomatous hyperplasia.
  • FIG. 4 is a diagram showing an
  • FIG. 3 is a schematic diagram for explaining the Betch number in the concept of homology
  • 1 is a functional block diagram illustrating a configuration example of a classification system including a classification device according to one aspect of the present disclosure
  • FIG. 4 is a flow chart showing the flow of processing performed by the classification device
  • FIG. 4 is a diagram showing an example of a data structure of a training tissue image
  • 1 is a functional block diagram showing an example of a configuration of a main part of a classification device that generates a classification model
  • FIG. 4 is a flow chart showing the flow of processing performed by a classification device to generate a classification model
  • FIG. 5 is a diagram showing classification accuracy by an image analysis method according to one aspect of the present disclosure
  • FIG. 4 is a functional block diagram showing another configuration example of the classification system according to one aspect of the present disclosure
  • FIG. 4 is a functional block diagram showing another configuration example of the classification system according to one aspect of the present disclosure
  • FIG. 4 is a functional block diagram showing another configuration example of the classification system
  • the inventor of the present disclosure analyzes a tissue image in which cell nuclei of cells contained in a patient's (subject's) tissue (biological tissue) and components (for example, cytoplasm) different from the cell nucleus appear in different hues. Targeted.
  • tissue image obtained by imaging a patient's lung tissue as an example of a tissue image to be analyzed.
  • the inventors of the present disclosure then applied the concept of homology to describe the topological arrangement of cell nuclei in tissue images and to quantify changes occurring in the tissue.
  • the inventors of the present disclosure focused on the fact that cell nuclei and cytoplasm appear in different hues in tissue images used for pathological diagnosis, which are images of living tissues.
  • the inventors of the present disclosure extract a partial image showing a region to be analyzed from a tissue image, and extract a plurality of single-color components based on the pixel values corresponding to each of the plurality of color components forming the partial image. generated the image. For example, if the tissue image is a color image represented by red (R), green (G), and blue (B), a single-color component image based on pixel values corresponding to the R component and pixels corresponding to the G component A value-based monochrome component image and a pixel value-based monochrome component image corresponding to the B component were generated.
  • the inventors of the present disclosure generated multiple binarized images with different binarization standards from each of the multiple single-color component images. Then, the inventors of the present disclosure obtained a one-dimensional Vetch number b1 (first feature number), a 0-dimensional Vetch number b0 (second feature number), and one-dimensional Vetch numbers b1 and 0 for each of the binarized images. A ratio R (third feature number) to the dimensional Vetch number b0 was calculated. Here, the ratio R may be b1/b0 or b0/b1.
  • the inventors of the present disclosure can accurately classify the changes occurring in the tissue shown in the tissue image based on the calculated one-dimensional Betch number b1, zero-dimensional Betch number b0, and ratio R. and invented an image analysis method according to one aspect of the present disclosure. For example, by applying the image analysis method according to an aspect of the present disclosure, it is possible to accurately classify precancerous lesions such as emphysema and lung adenocarcinoma based on tissue images.
  • Changes occurring in lung tissue are classified into the following five categories (1) to (5) according to the degree of change and the progression of cancer. ⁇ (1) normal ⁇ (2) Emphysema ⁇ (3) atypical adenomatous hyperplasia (AAH) ⁇ (4) Squamous adenocarcinoma (LP: lepidic pattern of adenocarcinoma) (5) Invasive adenocarcinoma (AC).
  • AAH atypical adenomatous hyperplasia
  • LP lepidic pattern of adenocarcinoma
  • AC Invasive adenocarcinoma
  • FIG. 1 is a diagram showing an example of a tissue image showing normal lung tissue.
  • FIG. 2 is a diagram showing an example of a tissue image showing tissue classified as emphysema
  • FIG. 3 is a diagram showing an example of a tissue image showing tissue classified as atypical adenomatous hyperplasia. be.
  • FIG. 4 is a diagram showing an example of a tissue image showing tissue classified as squamous adenocarcinoma
  • FIG. 5 is a diagram showing an example of a tissue image showing tissue classified as invasive adenocarcinoma. be.
  • Each tissue image has a resolution of 1600 ⁇ 1200 pixels.
  • tissue images shown in FIGS. 1 to 5 are 100-fold images of tissue sections taken from the patient's lung, embedded in paraffin, sliced into slices, and stained with HE (Hematoxylin-Eosin). This is an enlarged image.
  • HE staining is one of the methods used for staining collected tissue pieces, and uses both hematoxylin staining and eosin staining. Hematoxylin stains chromatin in the cell nucleus and ribosomes in the cytoplasm blue-purple (first color). On the other hand, eosin stains cytoplasmic components and extracellular matrix red (secondary color).
  • tissue images to be analyzed are not limited to images of HE-stained tissues, such as the tissue images shown in FIGS.
  • the tissue image to be analyzed may be, for example, an image of a tissue stained using any known staining method capable of staining cell nuclei.
  • the tissue image to be analyzed may be a color image to which RGB expression is applied, such as the tissue images shown in FIGS. 1 to 5, but is not limited to this.
  • the tissue image may be a color image to which any representation other than RGB representation is applied, for example, a color image represented by cyan (Cy), magenta (Mg), and yellow (Ye). good.
  • the tissue image may be an image of tissue taken from the patient's body.
  • a tissue image obtained by imaging a patient's lung tissue is used as an analysis target will be described as an example.
  • the image analysis method according to an aspect of the present disclosure can analyze, for example, tissue images of the prostate, mammary glands, gastrointestinal tract, liver, pancreas, lymph nodes, and the like.
  • the image analysis method applies the concept of homology to the binarized image.
  • Homology is a field of mathematics that facilitates the analysis of geometrical properties such as combinations of figures by algebraically replacing them.
  • the concept of homology is a mathematical concept that represents the connection and contact of constituent elements.
  • a tissue image is binarized by setting an appropriate binarization reference value (also referred to as a binarization parameter). Then, the 0-dimensional Vetch number and the 1-dimensional Vetch number b1 are calculated from the binarized image. Using the calculated 0-dimensional Betch number b0 and 1-dimensional Betch number b1, it is possible to evaluate the degree of connection between constituent elements of the tissue and the degree of contact between constituent elements.
  • the Betch number is a topological suggestive number that is unrelated to the shape of figures (for example, corresponding to the constituent elements of an organization) and is related only to the contact and separation between figures.
  • a q-dimensional singular homology group is finitely generated, this q-dimensional singular homology group can be divided into a direct sum of a free abelian group and a finite abelian group.
  • the class of this free abelian group is called the Betti number.
  • the zero-dimensional Vetch number b0 is mathematically defined as follows.
  • the number of connected components of a figure (also called a one-dimensional complex) K formed by connecting a finite number of line segments is called a 0-dimensional Betch number.
  • ⁇ A figure connecting a finite number of points with a finite number of line segments is connected'' means that any vertex of this figure can be reached from any other vertex by following the edges of this figure. do.
  • pixels having one pixel value after binarization are connected.
  • the one-dimensional Vetch number b1 is mathematically defined as follows. If the following conditions (1) and (2) are satisfied, the one-dimensional Betch number b1 of figure K is r. (1) For a figure (connected one-dimensional complex) K formed by connecting a finite number of line segments, appropriate r number of open one-dimensional simplexes (for example, line segments) is removed from figure K, the number of connected components of figure K does not increase. (2) If any (r+1) open one-dimensional simplexes are removed from K, then K becomes unconnected (ie, the number of connected components of K increases by one).
  • a pixel surrounded by pixels having one pixel value after binarization (for example, a pixel value of 0 as a result of binarization)
  • the number of hole-shaped regions is the one-dimensional Vetch number b1.
  • FIG. 6 is a schematic diagram for explaining the Betch number in the concept of homology.
  • the number of black areas is one. Therefore, the zero-dimensional Vetch number b0 of the figure M1 is one. Also, in the case of figure M1, the number of white areas surrounded by black areas is one. Therefore, the one-dimensional Vetch number b1 of the figure M1 is one.
  • the number of black areas is two. Therefore, the 0-dimensional Vetch number b0 of the figure M2 is two. Also, in the case of figure M2, the number of white areas surrounded by black areas is three. Therefore, the one-dimensional Vetch number b1 of the figure M2 is three.
  • the 0-dimensional Vetch number b0 is the number of groups of components connected to each other
  • the 1-dimensional Vetch number b1 is the space surrounded by the connected components as an outer edge (hereinafter referred to as "hole-shaped area" (sometimes written as ).
  • the number of hole-shaped regions is the total number of "holes" present in the connected component.
  • FIG. 7 is a block diagram showing an example configuration of a classification system 100 including a classification device 1 that executes an image analysis method according to one aspect of the present disclosure.
  • the classification system 100 includes a classification device 1, an external device 4 that transmits a tissue image 31 to the classification device 1, and a presentation device 5 that acquires classification results output from the classification device 1 and presents the classification results. contains. Note that FIG. 7 shows an example in which the classification system 100 is introduced by the medical institution H1.
  • the external device 4 may be, for example, a microscope with an imaging function, or a computer connected to the microscope and capable of acquiring image data from the microscope.
  • the external device 4 may be a server device within the medical institution H1 that stores and manages various medical image data, pathological image data, and the like.
  • the classification device 1 acquires the tissue image 31 from the external device 4 that is separate from the classification device 1 is illustrated, it is not limited to this.
  • the classification device 1 may be built in the external device 4 .
  • the presentation device 5 may be a display and a speaker capable of presenting information output from the classification device 1 and the like.
  • the presentation device 5 may be a display provided by the classification device 1 or the external device 4 .
  • it may be a computer, a tablet terminal, or the like used by a pathologist, laboratory technician, researcher, or the like belonging to the medical institution H1.
  • the classification device 1 and the external device 4, and the classification device 1 and the presentation device 5 may be connected by wireless communication, or may be connected by wired communication.
  • the classification device 1 includes a control section 2 and a storage section 3 .
  • a tissue image 31 and a classification model 33 may be stored in the storage unit 3 .
  • Classification model 33 will be described later.
  • the storage unit 3 may store control programs for each unit executed by the control unit 2, OS programs, application programs, and the like. Further, the storage unit 3 may store various data to be read when the control unit 2 executes these programs.
  • the storage unit 3 is configured by a non-volatile storage device such as a hard disk or flash memory. In addition to the storage unit 3, it is a storage device used as a work area for temporarily holding data in the process of executing the various programs described above, and a volatile storage such as RAM (Random Access Memory). may be equipped with a device.
  • the control unit 2 may be configured by a control device such as a CPU (central processing unit) or a dedicated processor, for example.
  • a control device such as a CPU reads a program stored in the storage unit 3 realized by a ROM (read only memory) or the like to a RAM (random access memory) or the like. This can be achieved by executing
  • the control unit 2 classifies changes occurring in the tissue shown in the tissue image 31, and outputs the classification result.
  • the control unit 2 includes an image acquisition unit 21 , a single-color component image generation unit 22 , a binarization unit 23 , a feature number calculation unit 24 , a classification unit 25 and an output control unit 26 .
  • the image acquisition unit 21 acquires a tissue image 31 obtained by imaging the tissue from the external device 4 .
  • the tissue image 31 may be an image of a lung tissue piece taken from the patient's body and captured at a predetermined magnification.
  • the image acquisition unit 21 may acquire a partial image corresponding to the region extracted from the tissue image 31 from the external device 4 .
  • the image acquisition unit 21 may store the acquired tissue image 31 in the storage unit 3 .
  • the image acquisition unit 21 may have a known image recognition function and image processing function. Thereby, the image acquisition unit 21 can cut out a region showing the tissue to be analyzed from the tissue image 31, or divide the tissue image 31 to generate a plurality of partial images. For example, the image acquiring unit 21 may be able to cut out a region in which the tissue appears in the tissue image 31 while distinguishing it from surrounding regions (for example, a region in which resin appears).
  • the classification device 1 analyzes the tissue image 31 with the image resolution lowered to a predetermined level rather than analyzing the original tissue image 31 without changing the image resolution. It may be possible to more accurately classify changes occurring in existing tissues. More specifically, fine information appearing in the high-resolution tissue image 31 may become "noise" that affects each process described later. For example, intentionally lowering the resolution of the tissue image 31 is effective in blocking the inflow of fine information appearing in the original tissue image 31 . Therefore, the image acquisition unit 21 may generate the tissue image 31 by lowering the image resolution of the acquired original tissue image 31 .
  • the classification device 1 may generate a plurality of tissue images 31 with different image resolutions from the acquired original tissue images and use them as analysis targets. This is because, by using a plurality of tissue images 31 with different image resolutions as analysis targets, it may be possible to more accurately classify the changes occurring in the tissue shown in the tissue images 31 . Therefore, the image acquisition unit 21 may generate a plurality of tissue images 31 with different image resolutions for each acquired tissue image. In this specification, for each acquired tissue image, the image acquisition unit 21 generates a plurality of tissue images 31 having different image resolutions, and uses these multiple tissue images 31 as analysis targets. ”.
  • the image acquiring unit 21 For each tissue image, the image acquiring unit 21 generates one tissue image 31 adjusted to a predetermined image resolution, and using this tissue image 31 as an analysis target is called “single-scale analysis”. good too.
  • the tissue image 31 generated by the image acquisition unit 21 and having the image resolution of the original tissue image 31 reduced may be stored in the storage unit 3 and subjected to processing described later.
  • the single-color component image generation unit 22 generates a plurality of single-color component images from the tissue image 31 based on pixel values corresponding to each of the plurality of color components forming the tissue image 31 .
  • the single-color component image generator 22 For example, if the tissue image 31 is a color image to which RGB expression is applied, the single-color component image generator 22 generates 3 pixels based on the pixel values corresponding to each of the R, G, and B components from the tissue image 31 . produces two monochromatic component images.
  • the single-color component image generator 22 may also be configured to generate a grayscale image (single-color component image) based on pixel values corresponding to the luminance components of the tissue image 31 . In the case of multi-scale analysis, the single-color component image generator 22 generates multiple single-color component images for each of the multiple tissue images 31 with different image resolutions generated by the image acquisition unit 21 .
  • the binarization unit 23 performs binarization processing on the monochromatic component image divided into monochromatic components to generate a plurality of binarized images with different binarization reference values.
  • the binarization unit 23 generates a plurality of binarized images with different binarization reference values from each of the plurality of single-color component images.
  • the binarization unit 23 converts pixels having pixel values larger than the binarization reference value into white pixels, and converts pixels having pixel values equal to or less than the binarization reference value into black pixels. pixels.
  • the binarization unit 23 performs binarization processing on the single-color component image each time the reference value for binarization is changed, and generates a plurality of binarized images. That is, the binarization unit 23 generates a plurality of binarized images with different binarization reference values for all single-color component images generated from the tissue image 31 .
  • the binarization unit 23 sets the reference value for binarization in the range of 0 to 255. For example, when the reference value for binarization is set to a pixel value of 100, the pixel values of pixels with a pixel value of 100 or less become 0 as a result of the binarization process, and the pixel values of pixels with a pixel value of more than 100 become 2. 255 is obtained as a result of the value conversion processing. In one example, the binarization unit 23 may change the reference value for binarization from 1 to 255 by 1 for each single-color component image to generate 255 binarized images.
  • the binarization unit 23 may change the binarization reference value by one from 2 to 254 for each single-color component image to generate 253 binarized images.
  • 253 binarized images may be generated by changing the binarization reference value by 5 from 2 to 254 for each single-color component image.
  • the binarization unit 23 is not limited to these, and may generate a plurality of binarized images by changing the binarization reference value for each single-color component image according to a desired rule.
  • the feature number calculation unit 24 For each of the plurality of binarized images, the feature number calculation unit 24 calculates the number of binarized pixels surrounded by pixels having one binarized pixel value (hereinafter referred to as a first pixel value). A one-dimensional Vetch number b1 indicating the number of hole-shaped regions composed of pixels having a value (hereinafter referred to as a second pixel value) is calculated. Further, the feature number calculation unit 24 calculates a zero-dimensional Vetch number b0 indicating the number of connected regions formed by connecting pixels of the first pixel value, and a ratio R between the one-dimensional Vetch number b1 and the zero-dimensional Vetch number b0. do. Although the case where the ratio R is b1/b0 will be exemplified below, the ratio R may be b0/b1.
  • the connected area is, for example, an area in which pixels whose pixel value is 0 after the binarization process are gathered while being adjacent to each other.
  • Each connected area is surrounded by pixels whose pixel value is 255 after binarization processing, and is an area independent of each other.
  • the hole-shaped area is, for example, an area in which pixels having a pixel value of 255 after the binarization process are gathered while being adjacent to each other.
  • Each hole-shaped region is surrounded by pixels whose pixel value after binarization is 0 and is independent of each other.
  • the feature number calculator 24 calculates 255 one-dimensional Betch numbers.
  • a ratio R of the 0-dimensional Betch number b0,255 of b1,255 is calculated.
  • the values of the one-dimensional Vetch number b1 and the zero-dimensional Vetch number b0 calculated by the feature number calculation unit 24 are determined by the magnification and resolution set when the tissue image 31 is acquired, and the values of the tissue image 31. depends on the area of the region where Therefore, the feature number calculation unit 24 calculates the one-dimensional Vetch number b1 and the zero-dimensional Vetch number b0 for the tissue images 31 having the same magnification and resolution and having the same area of the region being imaged. It is desirable to
  • An existing program can be used as the feature number calculation unit 24 .
  • An example of such a program is CHomP.
  • CHomP is freeware conforming to GNU (General Public License). Note that the program is not limited to this, and any program other than CHomP may be used as long as it can calculate the 0-dimensional Vetch number b0 and the 1-dimensional Vetch number b1 relating to an image.
  • the classification unit 25 inputs input data including a combination of the one-dimensional Vetch number b1, the zero-dimensional Vetch number b0, and the ratio R to a classification model described later, and classifies changes occurring in the tissue shown in the tissue image 31. Print the result.
  • the change occurring in the tissue may be the degree of cell differentiation calculated based on the structural characteristics, arrangement, and invasion mode of tumor cells occurring in the tissue.
  • the classification model 33 is a model of the correspondence relationship between the one-dimensional Betch number b1, the zero-dimensional Betch number b0, the ratio R, and the classification relating to the changes occurring in the tissue. That is, the classification model 33 is generated by machine learning using a combination of (1) and (2) below as learning data.
  • a training tissue image 32 obtained by capturing an image of a tissue, to which classification information that classifies changes occurring in the tissue shown in the training tissue image 32 is assigned in advance.
  • the output control unit 26 causes the presentation device 5 to present information indicating the classification results output from the classification unit 25 .
  • the output control unit 26 may be configured to cause the presentation device 5 to present the tissue image 31 to be analyzed together with the information indicating the classification result.
  • the output control unit 26 may be configured to control the presentation device 5 so as to present the classification result of the region extracted from the tissue image 31 at a position corresponding to the region of the tissue image 31.
  • the classification device 1 can present the output classification result of the tissue image 31 and the position of the region corresponding to the classification result to users including pathologists, laboratory technologists, and researchers. can be done.
  • the method of presenting the classification results to the user may be any desired mode.
  • the presentation device 5 may present the classification results, or the classification results may be output from a printer (not shown), a speaker (not shown), or the like. may
  • FIG. 8 is a flowchart showing an example of the flow of processing performed by the classification device 1. As shown in FIG.
  • the image acquisition unit 21 acquires the tissue image 31 from the external device 4 (step S1).
  • the image acquisition unit 21 may change the image resolution of the tissue image 31 as necessary.
  • the image acquisition unit 21 may generate a plurality of tissue images 31 with different image resolutions for each acquired tissue image.
  • the single-color component image generation unit 22 generates a plurality of single-color component images from the tissue image 31 based on pixel values corresponding to each of the plurality of color components forming the tissue image 31 (step S2: single-color component image generation step).
  • the binarization unit 23 generates a plurality of binarized images with different binarization reference values from each single-color component image (step S3: binarization step).
  • the feature number calculation unit 24 calculates the one-dimensional Vetch number b1, the zero-dimensional Vetch number b0, and the ratio R calculated for each of the plurality of binarized images (step S4: feature number calculation step).
  • the classification unit 25 inputs input data including a combination of the one-dimensional Vetch number b1, the zero-dimensional Vetch number b0, and the ratio R to the classification model 33 (step S5: classification step), A classification result regarding the change occurring in the existing tissue is output (step S6: classification step).
  • the classification device 1 generates, for the tissue image 31, a plurality of single-color component images based on pixel values corresponding to each of the plurality of color components forming the tissue image 31, and each single-color component image A plurality of binarized images with different binarization reference values are generated.
  • the classification device 1 calculates the one-dimensional Vetch number b1, the zero-dimensional Vetch number b0, and the ratio R between the one-dimensional Vetch number b1 and the zero-dimensional Vetch number b0 for each of the binarized images.
  • the classification device 1 inputs the one-dimensional Vetch number b1, the zero-dimensional Vetch number b0, and the ratio R as a set of data to the classification model 33, and outputs the classification result regarding the change occurring in the tissue. As a result, the classification device 1 can accurately classify changes occurring in the tissue shown in the tissue image 31 .
  • the changes that occur in the tissues of the body are precancerous lesions such as emphysema and lung adenocarcinoma, they are often manifested in changes in the uniformity of cell shape and size.
  • the properties of the tissue image 31 obtained by imaging the tissue of the living body are mathematically analyzed using the concept of homology, and changes occurring in the tissue are classified based on the analysis results.
  • This classification result is output from the classification model 33 generated by machine learning using the training tissue image 32, which will be described later. be. Therefore, the classification results are as understandable and reliable as the pathologist's judgment results.
  • Training tissue images 32 may be used to generate a classification model 33 .
  • FIG. 9 is a diagram showing an example of the data structure of the training tissue image 32. As shown in FIG.
  • the training tissue image 32 includes a tissue image showing a tissue sampled from the patient's body and assigned a training tissue image ID.
  • each tissue image included in the training tissue images 32 cell nuclei of cells included in the tissue and components different from the cell nuclei appear in different hues.
  • Classification information has been pre-given by medical personnel indicating a classification for the changes that have occurred.
  • the classification information is the determination result determined by the pathologist who checked the tissue images included in the training tissue images 32, and is information indicating the classification of changes occurring in the tissue shown in each tissue image.
  • FIG. 10 is a functional block diagram showing an example of the main configuration of the classification device 1 that generates the classification model 33. As shown in FIG. For convenience of explanation, members having the same functions as the members explained with reference to FIG.
  • FIG. 10 shows an example in which the training tissue image 32 is stored in advance in the storage unit 3 of the classification device 1, it is not limited to this.
  • the image acquisition unit 21 shown in FIG. 7 may be configured to acquire the training tissue image 32 from the external device 4 .
  • the classification device 1 has the function of generating the classification model 33, but it is not limited to this.
  • the classification model 33 may be generated by causing another computer different from the classification device 1 to execute the processing described above.
  • the classification model 33 generated by another computer may be stored in the storage unit 3 of the classification device 1 and the classification unit 25 may use the classification model 33 .
  • classification model generation unit 27 executes a machine learning algorithm using the training tissue image 32 on the classification model candidate to generate a classification model 33 (trained).
  • the classification model 33 (trained) is stored in the storage unit 3 .
  • a known machine learning algorithm suitable for data classification can be applied.
  • generation of the classification model 33 may use perceptrons, logistic regression, k-nearest neighbors, support vector machines, decision trees, random forests, or gradient boosting.
  • FIG. 11 is a flowchart showing an example of the flow of processing performed by the classification device 1 to generate the classification model 33. As shown in FIG. 11
  • the classification model generation unit 27 reads out the training tissue image 32 from the storage unit 3 (step S11), and selects an unselected training tissue image 32 from the training tissue image 32 (for example, a training tissue image 32 in FIG. 9). A tissue image whose image ID is "T1") is selected (step S12).
  • the image resolution of the training tissue image 32 may be changed to a predetermined image resolution in advance, but is not limited to this.
  • the classification model generator 27 may change the image resolution of the training tissue image 32 as necessary.
  • the single-color component image generator 22 generates a plurality of single-color component images from the tissue image selected by the classification model generator 27 based on pixel values corresponding to each of the plurality of color components forming the tissue image. (step S13).
  • the binarization unit 23 generates a plurality of binarized images with different binarization reference values for each of the plurality of single-color component images (step S14).
  • the feature number calculation unit 24 calculates the one-dimensional Vetch number b1, the zero-dimensional Vetch number b0, and the ratio R for each of the plurality of binarized images (step S15).
  • the classification unit 25 inputs the input data including the one-dimensional Vetch number b1, the zero-dimensional Vetch number b0, and the ratio R to the classification model candidates (step S16), and A result of classifying the changes is output (step S17).
  • the classification model generation unit 27 compares the classification result output from the classification unit 25 and the classification information corresponding to the tissue image selected in step S12 to calculate an error (step S18). Further, the classification model generation unit 27 updates the classification model candidate outputting the classification result in step S18 so that the calculated error is minimized (step S19).
  • step S12 If all tissue images included in the training tissue image 32 have not been selected in step S12 (NO in step S20), the classification model generation unit 27 returns to step S12, and no tissue image has been selected from the training tissue image 32.
  • the classification model generation unit 27 converts the current classification model candidate into the classification model 33 (training completed) and stored in the storage unit 3 (step S21).
  • the classification model generated in this way is based on input of the one-dimensional Vetch number b1, the zero-dimensional Vetch number b0, and the ratio R calculated for a certain tissue image (for example, the tissue image 31 in FIG. 7). With this, it is possible to output highly accurate classification results regarding changes occurring in the tissues included in the tissues shown in the tissue image 31 .
  • the classification model 33 may be generated by causing a computer different from the classification device 1 to perform the processing shown in FIG. In this case, a trained classification model 33 may be installed in the classification device 1 .
  • the image analysis method according to one aspect of the present disclosure is applied to the tissue image 31 of the lung, and based on each tissue image 31, the precancerous lesions of emphysema and lung adenocarcinoma are classified, and the classification accuracy is evaluated.
  • FIG. 12 is a diagram illustrating classification accuracy by an image analysis method according to one aspect of the present disclosure.
  • 94 lung tissue images 31 with classification results by a professional pathologist were used.
  • 20 are classified as emphysema, 20 as normal, 23 as atypical adenomatous hyperplasia, 19 as squamous adenocarcinoma, and 12 as invasive adenocarcinoma.
  • the analysis accuracy shown in FIG. 12 is the result of comparing the classification result by the pathologist and the classification result output from the classification model 33 for the 94 lung tissue images 31 .
  • the analytical accuracy shown in FIG. 12 is the result obtained by applying multi-scale analysis including the steps shown below.
  • the image acquisition unit 21 obtains 94 tissue images 31 (image resolution is 1600 ⁇ 1200) from each of the image resolutions of 1600 ⁇ 1200 (no change in image resolution), 1800 ⁇ 600, 400 ⁇ 300, and 200 ⁇ 150.
  • a tissue image 31 was generated.
  • the single-color component image generating unit 22 generates three single-color component images based on pixel values corresponding to the R, G, and B components, and each tissue image 31. Grayscale images based on pixel values corresponding to luminance components were generated as four monochromatic component images.
  • the binarization unit 23 binarized these four types of single-color component images to generate a plurality of binarized images with different binarization reference values.
  • the feature number calculator 24 calculates the one-dimensional Vetch number b1, the zero-dimensional Vetch number b0, and the ratio R for each of the plurality of binarized images.
  • the classification unit 25 inputs input data including a combination of the one-dimensional Vetch number b1, the zero-dimensional Vetch number b0, and the ratio R to the classification model described later, and the tissue shown in each of the 94 tissue images 31 is subjected to the input data.
  • the classification device 1 classified the tissue image 31 classified by the pathologist as having atypical adenomatous hyperplasia with a correct answer rate of 78.3% ( ⁇ 18/23).
  • correct classification of atypical adenomatous hyperplasia is important because it means early detection of premalignant lesions of lung adenocarcinoma.
  • the classifier 1 had only a 4.3% chance of misclassifying a tissue image 31 classified as atypical adenomatous hyperplasia by a pathologist as normal lung.
  • the resulting tissue image 31 was classified with a correct answer rate of 83.3% ( ⁇ 10/12).
  • the classification result obtained by applying the image analysis method according to one aspect of the present disclosure has a high degree of agreement with the classification result by a pathologist, indicating that lung emphysema and lung adenocarcinoma have a high degree of agreement. It can be seen that cancer lesions can be classified accurately.
  • FIG. 7 shows an example in which the medical institution H1 introduced the classification system 100, it is not limited to this.
  • the classification device 1a may be communicably connected to the external device 4 of the medical institution H2 via the communication network 50.
  • FIG. A classification system 100a employing such a configuration will be described with reference to FIG.
  • FIG. 13 is a functional block diagram illustrating a configuration example of a classification system 100a according to one aspect of the present disclosure.
  • the classification device 1a includes a communication unit 6 that functions as a communication interface with the external device 4 of the medical institution H2.
  • the image acquisition unit 21 can acquire the tissue image 31 from the external device 4 of the medical institution H2 via the communication network.
  • the classification device 1a transmits the classification result output from the classification unit 25 to the external device 4 via the communication network 50.
  • each tissue image 31 transmitted from the medical institution H2 to the classification device 1a includes an image ID indicating each tissue image 31, and a unique patient (for example, patient) from whom the tissue shown in the tissue image 31 was collected. classification number (patient ID) may be given. Furthermore, each tissue image 31 may be given a medical institution ID indicating the medical institution H2 that is the transmission source.
  • the classification device 1a can classify the classification result obtained by analyzing the tissue image 31 acquired from each of a plurality of medical institutions to each medical institution that is the transmission source of the image data of the tissue image 31.
  • the administrator who manages the classification device 1a may charge each medical institution a predetermined fee as compensation for the service of providing the classification result estimated from the acquired tissue image 31 .
  • the classification device 1 shown in FIG. 7 and the classification device 1a shown in FIG. 13 have both an image analysis function for the tissue image 31 and a classification function using the classification model 33. However, it is not limited to this configuration. For example, by combining an image analysis device 1A that includes an image acquisition unit 21, a single-color component image generation unit 22, a binarization unit 23, and a feature number calculation unit 24, and a classification device 1B that includes a control unit 2B, a classification device 1 and 1a may be realized.
  • the control section 2B has a classification section 25 .
  • a classification system 100b employing such a configuration will be described with reference to FIG.
  • FIG. 14 is a functional block diagram illustrating a configuration example of a classification system 100b according to one aspect of the present disclosure.
  • the image analysis device 1A includes a communication unit 6A that functions as a communication interface with the external device 4 of the medical institution H2 and the classification device 1B.
  • the image acquisition unit 21 can acquire the tissue image 31 from the external device 4 of the medical institution H2 via the communication network.
  • the image analysis device 1A transmits the first feature number, the second feature number, and the third feature number calculated by the feature number calculation unit 24 to the classification device 1B via the communication network 50.
  • the classification device 1B may be communicably connected to a plurality of image analysis devices 1A.
  • various IDs may be assigned to the number of features (including the number of first features, the number of second features, and the number of third features) transmitted from the image analysis device 1A to the classification device 1B.
  • the various IDs include a classification number (patient ID) unique to the patient from whom the tissue shown in the tissue image 31 to be analyzed was collected, a medical institution ID indicating the medical institution H2 that sent each tissue image 31, and a device ID or the like specific to the image analysis device 1A that executed the image analysis.
  • the image analysis device 1A analyzes the tissue images 31 acquired from each of a plurality of medical institutions, calculates a predetermined number of features, and transmits them to the classification device 1B.
  • the classification device 1B can output a classification result using the number of features acquired from the image analysis device 1A and provide the classification result to each medical institution that is the source of the image data of the tissue image 31 .
  • the administrator who manages the classification device 1B may charge each medical institution a predetermined fee for the service of providing classification results classified from the acquired tissue image 31 .
  • the classification device 1B distributes a computer program (hereinafter referred to as an image analysis application) for the computer (for example, the presentation device 5) deployed in the medical institution H2 to function as the image analysis device 1A. good too.
  • a computer in which the image analysis application is installed can function as the image analysis device 1A.
  • the classification device 1B may send a notification requesting payment to the computer that has received and installed the image analysis application.
  • the administrator who manages the classification device 1B can receive a predetermined fee from the medical institution H2 as compensation for the service of providing the image analysis application.
  • the notification requesting payment may be sent to a credit card company or the like contracted by the user of the computer that received and installed the image analysis application.
  • various IDs may be assigned.
  • the various IDs include a classification number (patient ID) unique to the patient from whom the tissue shown in the tissue image 31 to be analyzed was collected, a medical institution ID indicating the medical institution H2 that sent each tissue image 31, and a device ID or the like specific to the image analysis device 1A that executed the image analysis.
  • the medical institution H2 does not need to transmit the tissue image 31 to the outside of the medical institution H2 (for example, the image analysis device 1A).
  • the medical institution H2 analyzes each tissue image 31 using an image analysis application to calculate the number of first features, the number of second features, and the number of third features from each tissue image 31, and classifies them into It should be sent to 1B.
  • the tissue image 31 relates to the patient's diagnostic information, it is necessary to consider the protection of personal information when transmitting the tissue image 31 to the outside of the medical institution H2.
  • this configuration there is no need to transmit the tissue image 31 to the outside of the medical institution H2.
  • this configuration it is possible to reduce the communication load compared to transmitting the tissue image 31 itself.
  • the control block (especially the control unit 2) of the classification device 1 may be implemented by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or may be implemented by software.
  • the classification device 1 is equipped with a computer that executes program instructions, which are software that implements each function.
  • This computer includes, for example, one or more processors, and a computer-readable recording medium storing the program.
  • the processor reads the program from the recording medium and executes it, thereby achieving the object of the present disclosure.
  • a CPU Central Processing Unit
  • the recording medium a "non-temporary tangible medium" such as a ROM (Read Only Memory), a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, etc. can be used.
  • a RAM Random Access Memory
  • the program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program.
  • any transmission medium communication network, broadcast wave, etc.
  • one aspect of the present disclosure can also be implemented in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Hematology (AREA)
  • Biomedical Technology (AREA)
  • Urology & Nephrology (AREA)
  • Geometry (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

分類装置（１）は、組織画像から、該組織画像を構成する複数の色成分の各々に対応する画素値に基づく複数の単色成分画像を生成する単色成分画像生成部（２２）と、単色成分画像のそれぞれから、複数の二値化画像を生成する二値化部（２３）と、二値化画像のそれぞれについて、前記第１画素値の画素に囲まれた、第２画素値の画素からなる穴形状の領域の数を示す第１特徴数、前記第１画素値の画素が連結して成る連結領域の数を示す第２特徴数、および前記第１特徴数と前記第２特徴数との比である第３特徴数を算出する特徴数算出部（２４）と、特徴数算出部（２４）によって算出された特徴数を含む入力データを、訓練済の分類モデルに入力し、組織に生じている変化に関する分類結果を出力する分類部（２５）と、を備える。

Description

画像解析方法、画像解析装置、分類装置、分類システム、制御プログラム、記録媒体
　本開示は生体の組織を撮像した組織画像を解析して、組織に生じている変化を分類する画像解析方法、画像解析装置、分類装置、および分類システム等に関する。
　組織に生じている変化を病理学的に分類することによって、その分類結果に応じて適切な治療方針が決定される。近年では、薬物治療の進歩により、組織に生じている変化を早期に発見して正確に分類することの重要性が増している。
　そこで、コンピュータによるさまざまな画像解析方法が考案されている。非特許文献１には、人工知能を肺癌の画像診断に適用する技術が開示されている。
Wang, S. et al. "Artificial intelligence in lung cancer pathology image analysis. Cancers. 11, 1-16, 2019.
　病理医は、患者の組織を撮像した組織画像から、組織に生じている変化の有無を決定し、組織に生じている変化を分類する。例えば、病理医は、患者の肺を撮像した組織画像に基づいて、該患者の肺の組織は正常か否かを判定する。そして、もし正常ではない場合、病理医は、その変化は肺気腫、および肺腺癌の前癌病変のいずれに分類すべきかを決定する。
　例えば、癌の進行度は、病変部位の大きさおよび深達度に基づいて評価される。しかし、肺癌（特に肺腺癌）の場合、細気管支および肺胞領域に生じることが多く、病変部位の大きさを評価することはある程度可能であるが、深達度の評価が困難である場合がある。熟練した病理医であっても、肺の組織を撮像した組織画像から、前癌病変（あるいは浸潤前病変）を正確に分類することは困難である場合がある。
　非特許文献１に記載されている画像解析方法は、このような状況を改善するために考案されているが、前癌病変の分類における正確さについては改善の余地がある。
　本開示の一態様は、組織画像に基づいて、生体の組織に生じた変化を正確に分類する画像解析方法、画像解析装置、分類装置等を実現する。
　＜１＞上記の課題を解決するために、本開示の一態様に係る画像解析方法は、生体の組織に含まれる細胞の細胞核と、細胞核とは異なる構成要素とが異なる色相で写っている組織画像から、該組織画像を構成する複数の色成分の各々に対応する画素値に基づく複数の単色成分画像を生成する単色成分画像生成ステップと、前記複数の単色成分画像のそれぞれから、二値化の基準値が異なる複数の二値化画像を生成する二値化ステップと、前記複数の単色成分画像のそれぞれから生成された前記複数の二値化画像のそれぞれについて、第１画素値と第２画素値とに二値化された後における前記第１画素値の画素に囲まれた、該二値化後における前記第２画素値の画素からなる穴形状の領域の数を示す第１特徴数、前記第１画素値の画素が連結して成る連結領域の数を示す第２特徴数、および前記第１特徴数と前記第２特徴数との比である第３特徴数を算出する特徴数算出ステップと、前記複数の単色成分画像のそれぞれから生成された前記二値化画像のそれぞれに関して算出された、前記第１特徴数、前記第２特徴数、および前記第３特徴数の組み合わせを含む入力データを、前記第１特徴数、前記第２特徴数、および前記第３特徴数と、前記組織に生じている変化に関する分類との対応関係をモデル化した分類モデルに入力し、前記組織画像に写っている組織に生じている変化に関する分類結果を出力する分類ステップと、を含む。
　＜２＞また、本開示の一態様に係る画像解析装置は、生体の組織に含まれる細胞の細胞核と、細胞核とは異なる構成要素とが異なる色相で写っている組織画像から、該組織画像を構成する複数の色成分の各々に対応する画素値に基づく複数の単色成分画像を生成する単色成分画像生成部と、前記複数の単色成分画像のそれぞれから、二値化の基準値が異なる複数の二値化画像を生成する二値化部と、前記複数の単色成分画像のそれぞれから生成された前記複数の二値化画像のそれぞれについて、第１画素値と第２画素値とに二値化された後における前記第１画素値の画素に囲まれた、該二値化後における前記第２画素値の画素からなる穴形状の領域の数を示す第１特徴数、前記第１画素値の画素が連結して成る連結領域の数を示す第２特徴数、および前記第１特徴数と前記第２特徴数との比である第３特徴数を算出する特徴数算出部と、を備える。
　＜３＞また、本開示の一態様に係る分類装置は、上記＜２＞に記載の画像解析装置から、前記第１特徴数、前記第２特徴数、および前記第３特徴数を取得し、前記複数の単色成分画像のそれぞれから生成された前記二値化画像のそれぞれに関して算出された、前記第１特徴数、前記第２特徴数、および前記第３特徴数を含む入力データを、前記第１特徴数、前記第２特徴数、および前記第３特徴数と、前記組織に生じている変化に関する分類との対応関係をモデル化した分類モデルに入力して、前記組織画像に写っている組織に生じている変化に関する分類結果を出力する分類部、を備える。
　＜４＞あるいは、本開示の一態様に係る分類装置は、生体の組織に含まれる細胞の細胞核と、細胞核とは異なる構成要素とが異なる色相で写っている組織画像から、該組織画像を構成する複数の色成分の各々に対応する画素値に基づく複数の単色成分画像を生成する単色成分画像生成部と、前記複数の単色成分画像のそれぞれから、二値化の基準値が異なる複数の二値化画像を生成する二値化部と、前記複数の単色成分画像のそれぞれから生成された前記複数の二値化画像のそれぞれについて、第１画素値と第２画素値とに二値化された後における前記第１画素値の画素に囲まれた、該二値化後における前記第２画素値の画素からなる穴形状の領域の数を示す第１特徴数、前記第１画素値の画素が連結して成る連結領域の数を示す第２特徴数、および前記第１特徴数と前記第２特徴数との比である第３特徴数を算出する特徴数算出部と、前記複数の単色成分画像のそれぞれから生成された前記二値化画像のそれぞれに関して算出された、前記第１特徴数、前記第２特徴数、および前記第３特徴数を含む入力データを、前記第１特徴数、前記第２特徴数、および前記第３特徴数と、前記組織に生じている変化に関する分類との対応関係をモデル化した分類モデルに入力して、前記組織画像に写っている組織に生じている変化に関する分類結果を出力する分類部と、を備える。
　＜５＞また、本開示の一態様に係る分類システムは、上記＜２＞に記載の画像解析装置と、上記＜３＞に記載の分類装置と、前記組織画像を前記画像解析装置へ送信する外部機器と、前記分類装置から出力された分類結果を取得して該分類結果を提示する提示装置と、を含む。
　本開示の各態様に係る画像解析装置および分類装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記画像解析装置および前記分類装置が備える各部（ソフトウェア要素）として動作させることにより前記画像解析装置および前記分類装置をコンピュータにて実現させる制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の範疇に入る。
　本開示の一態様によれば、組織画像に基づいて、生体の組織に生じた変化を正確に分類することができる。
正常な肺の組織が写っている組織画像の一例を示す図である。 肺気腫に分類される肺の組織が写っている組織画像の一例を示す図である。 異型腺腫様過形成に分類される肺の組織が写っている組織画像の一例を示す図である。 鱗状腺癌に分類される肺の組織が写っている組織画像の一例を示す図である。 浸潤性腺癌に分類される肺の組織が写っている組織画像の一例を示す図である。 ホモロジーの概念におけるベッチ数を説明するための模式図である。 本開示の一態様に係る分類装置を備える分類システムの構成例を示す機能ブロック図である。 分類装置が行う処理の流れを示すフローチャートである。 訓練用組織画像のデータ構造の一例を示す図である。 分類モデルを生成する分類装置の要部構成の一例を示す機能ブロック図である。 分類モデルを生成するために分類装置が行う処理の流れを示すフローチャートである。 本開示の一態様に係る画像解析方法による分類精度を示す図である。 本開示の一態様に係る分類システムの別の構成例を示す機能ブロック図である。 本開示の一態様に係る分類システムの別の構成例を示す機能ブロック図である。
　〔実施形態１〕
　以下、本開示の一実施形態について、詳細に説明する。
　（本開示の技術思想）
　まず、本開示の一態様に係る画像解析方法の技術思想について以下に説明する。
　本開示の発明者は、患者（対象者）の組織（生体の組織）に含まれる細胞の細胞核と、細胞核とは異なる構成要素（例えば、細胞質）とが異なる色相で写っている組織画像を解析対象とした。本開示の発明者は、解析対象となる組織画像の一例として、患者の肺の組織を撮像した組織画像を選択した。そして、本開示の発明者らは、組織画像に写っている細胞核同士のトポロジカルな配列を記述し、該組織に生じている変化を定量化するために、ホモロジーの概念を適用した。
　本開示の発明者らは、生体の組織を撮像した、病理診断に用いられる組織画像において、細胞核と細胞質とが異なる色相で写っていることに着目した。本開示の発明者らは、組織画像から、解析対象となる領域が写っている部分画像を抽出し、該部分画像を構成する複数の色成分の各々に対応する画素値に基づく複数の単色成分画像を生成した。例えば、組織画像が、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）により表現されたカラー画像であれば、Ｒ成分に対応する画素値に基づく単色成分画像、Ｇ成分に対応する画素値に基づく単色成分画像、およびＢ成分に対応する画素値に基づく単色成分画像を生成した。
　続いて、本開示の発明者らは、複数の単色成分画像のそれぞれから、二値化の基準が異なる複数の二値化画像を生成した。そして、本開示の発明者らは、二値化画像のそれぞれについて、１次元ベッチ数ｂ１（第１特徴数）、０次元ベッチ数ｂ０（第２特徴数）、および１次元ベッチ数ｂ１と０次元ベッチ数ｂ０との比Ｒ（第３特徴数）を算出した。ここで、比Ｒは、ｂ１／ｂ０であってもよいし、ｂ０／ｂ１であってもよい。
　本開示の発明者らは、算出された１次元ベッチ数ｂ１、０次元ベッチ数ｂ０、および比Ｒに基づいて、組織画像に写っている組織に生じている変化を精度良く分類することができることを見出し、本開示の一態様に係る画像解析方法を発明するに至った。例えば、本開示の一態様に係る画像解析方法を適用すれば、組織画像に基づいて、肺気腫、および肺腺癌の前癌病変の分類を正確に行うことが可能である。
　（肺腺癌の進行度に応じた分類）
　ここで、肺気腫、および肺腺癌の前癌病変の分類例について、図１～図５を用いて説明する。
　肺の組織に生じている変化は、その変化の度合い、および癌の進行度に応じて、下記の（１）～（５）の５つに分類される。
・（１）正常（normal）
・（２）肺気腫（emphysema）
・（３）異型腺腫様過形成（ＡＡＨ：atypical adenomatous hyperplasia）
・（４）鱗状腺癌（ＬＰ：lepidic pattern of adenocarcinoma）
・（５）浸潤性腺癌（ＡＣ：invasive adenocarcinoma）。
　図１は、正常な肺の組織が写っている組織画像の一例を示す図である。図２は、肺気腫に分類される組織が写っている組織画像の一例を示す図であり、図３は、異型腺腫様過形成に分類される組織が写っている組織画像の一例を示す図である。図４は、鱗状腺癌に分類される組織が写っている組織画像の一例を示す図であり、図５は、浸潤性腺癌に分類される組織が写っている組織画像の一例を示す図である。各組織画像の解像度は、いずれも１６００×１２００ピクセルである。
　図１～図５に示す組織画像はいずれも、患者の肺から採取された組織片をパラフィン包埋し、薄片にスライスした後にＨＥ（Hematoxylin-Eosin）染色した標本を撮像した画像を１００倍に拡大した画像である。なお、ＨＥ染色は、採取された組織片を染色するために用いられる方法の１つであり、ヘマトキシリンによる染色と、エオシンによる染色とを併用する。ヘマトキシリンは、細胞核のクロマチンと細胞質のリボソームを青紫色（第１色）に染める。一方、エオシンは、細胞質の構成成分と細胞外の基質とを赤色（第２色）に染める。
　肺腺癌の前癌病変の分類において、特に、図３に示す異型腺腫様過形成、図４に示す鱗状腺癌、および図５に示す浸潤性腺癌を正確に分類することは、患者の治療法を決定するために重要である。特に、異型腺腫様過形成を正しく分類することは、肺腺癌の前癌病変を早期に発見することを意味しており重要である。しかし、例えば、異型腺腫様過形成と鱗状腺癌とを正確に分類することは、病理医であっても容易ではない。本開示の一態様に係る画像解析方法を適用すれば、異型腺腫様過形成、鱗状腺癌、および浸潤性腺癌の分類を、短時間で、かつ正確に行うことが可能である。
　なお、本開示の一態様に係る画像解析方法は、組織に含まれる細胞の細胞核と、細胞核とは異なる構成要素とが異なる色相で写っている任意の組織画像を解析対象とすることができる。すなわち、解析対象となる組織画像は、図１～５に示す組織画像のように、ＨＥ染色された組織を撮像した画像に限定されない。解析対象となる組織画像は、例えば、細胞核を染色可能な、公知の任意の染色法を用いて染色された組織を撮像した画像であってもよい。また、解析対象となる組織画像は、図１～５に示す組織画像のように、ＲＧＢ表現を適用したカラー画像であってもよいが、これに限定されない。例えば、組織画像は、ＲＧＢ表現以外の任意の表現を適用したカラー画像であってもよく、例えば、シアン（Ｃｙ）、マゼンダ（Ｍｇ）、黄（Ｙｅ）により表現されたカラー画像であってもよい。
　組織画像は、患者の身体から採取された組織を撮像した画像であってもよい。本明細書では、患者の肺の組織を撮像した組織画像を解析対象とした場合を例に挙げて説明するが、本開示の一態様に係る画像解析方法の解析対象となる組織画像は、肺の組織画像に限定されない。本開示の一態様に係る画像解析方法は、例えば、前立腺、乳腺、消化管、肝臓、膵臓、およびリンパ節などを撮像した組織画像を解析対象とすることが可能である。
　（組織画像を解析するための数学的表現）
　次に、本開示の一態様に係る画像解析方法において、組織画像を解析するために適用される数学的表現について説明する。
　組織に生じている変化を定量化して解析するために、本開示の一態様に係る画像解析方法では、二値化画像に対して、ホモロジーの概念を適用する。ホモロジーとは、図形の形態上の性質を代数的に置き換えて、図形の結合などの解析を容易にする数学の一分野である。
　ホモロジーの概念は、構成要素の連結および接触を表す数学的な概念である。組織画像において、適切な二値化の基準値（二値化パラメータともいう）を設定して二値化する。そして、二値化された画像から０次元ベッチ数および１次元ベッチ数ｂ１を算出する。算出された０次元ベッチ数ｂ０および１次元ベッチ数ｂ１を用いて、その組織の構成要素同士の連結の程度、および構成要素同士の接触の程度の評価が可能である。
　ベッチ数とは、図形（例えば、組織の構成要素に該当）の形状には無関係であり、図形同士の接触と分離とにのみ関係するトポロジカルな示唆数である。ｑ次元特異ホモロジー群が有限生成のとき、このｑ次元特異ホモロジー群は、自由アーベル群と有限アーベル群との直和に分けられる。この自由アーベル群の階級をベッチ数という。
　＜０次元ベッチ数ｂ０＞
　０次元ベッチ数ｂ０は、数学的には以下のように定義される。一般に有限個の線分を繋ぎ合わせて成る図形（１次元複体とも呼称される）Ｋの連結成分の個数を０次元ベッチ数という。「有限個の点を有限個の線分で結んだ図形が連結である」とは、この図形の任意の頂点から他の任意の頂点に、この図形の辺を辿って到達し得ることを意図する。
　異なる二値化の基準値を用いて生成した複数の二値化画像のそれぞれにおいて、二値化後の一方の画素値（例えば、二値化の結果、画素値が０）の画素が連結して成る連結領域の数が、０次元ベッチ数ｂ０である。
　＜１次元ベッチ数ｂ１＞
　１次元ベッチ数ｂ１は、数学的には以下のように定義される。以下の（１）および（２）の条件が満たされる場合、図形Ｋの１次元ベッチ数ｂ１はｒである。（１）有限個の線分を繋ぎ合わせて成る図形（連結な１次元複体）Ｋに対して、適当なｒ個の、開いた（両端を含まない）１次元単体（例えば、線分）を図形Ｋから取り去っても図形Ｋの連結成分の個数は増加しない。（２）任意の（ｒ＋１）個の、開いた１次元単体をＫから取り去った場合にはＫは連結でなくなる（すなわち、Ｋの連結成分の個数が１つ増加する）。
　異なる二値化の基準値を用いて生成した複数の二値化画像のそれぞれにおいて、二値化後の一方の画素値（例えば、二値化の結果、画素値が０）の画素に囲まれた穴形状の領域（例えば、二値化の結果、画素値が２５５）の数が、１次元ベッチ数ｂ１である。
　＜例示的な図形の０次元ベッチ数ｂ０および１次元ベッチ数ｂ１＞
　ここで、図６に示す例示的な図形を用いて、二値化画像における０次元ベッチ数ｂ０および１次元ベッチ数ｂ１について説明する。図６は、ホモロジーの概念におけるベッチ数を説明するための模式図である。図６に示す図形Ｍ１の場合、黒い領域の数は１つである。したがって、図形Ｍ１の０次元ベッチ数ｂ０は１である。また、図形Ｍ１の場合、黒い領域によって囲まれた白い領域の数は１つである。したがって、図形Ｍ１の１次元ベッチ数ｂ１は１である。
　図６に示す図形Ｍ２の場合、黒い領域の数は２つである。したがって、図形Ｍ２の０次元ベッチ数ｂ０は２である。また、図形Ｍ２の場合、黒い領域によって囲まれた白い領域の数は３つである。したがって、図形Ｍ２の１次元ベッチ数ｂ１は３である。
　２次元画像の場合、０次元ベッチ数ｂ０は互いに連結した成分の纏まりの数であり、１次元ベッチ数ｂ１は当該連結した成分が外縁となって囲んだ空間（以下、「穴形状の領域」と記す場合がある）の数である。穴形状の領域の数は、連結成分中に存在する「穴」の総数である。
　（分類システム１００の構成）
　続いて、分類システム１００の構成について、図７を用いて説明する。図７は、本開示の一態様に係る画像解析方法を実行する分類装置１を備える分類システム１００の構成の一例を示すブロック図である。
　分類システム１００は、分類装置１と、組織画像３１を分類装置１へ送信する外部機器４と、分類装置１から出力された分類結果を取得して該分類結果を提示する提示装置５と、を含んでいる。なお、図７では、医療機関Ｈ１が分類システム１００を導入した例を示している。
　外部機器４は、例えば、撮像機能を備える顕微鏡であってもよいし、顕微鏡に接続されており、該顕微鏡から画像データを取得可能なコンピュータであってもよい。あるいは、外部機器４は、各種医用画像データおよび病理画像データなどを保存・管理している医療機関Ｈ１内のサーバ装置であってもよい。
　なお、分類装置１が、分類装置１とは別体の外部機器４から組織画像３１を取得する例を図示しているが、これに限定されない。例えば、分類装置１が外部機器４に内蔵された構成であってもよい。
　提示装置５は、分類装置１から出力される情報などを提示可能なディスプレイおよびスピーカなどであってもよい。一例において、提示装置５は、分類装置１または外部機器４が備えるディスプレイであってもよい。あるいは、医療機関Ｈ１に所属する病理医、検査技師、研究者などが使用するコンピュータおよびタブレット端末などであってもよい。
　分類装置１と外部機器４、および、分類装置１と提示装置５は無線通信で接続されていてもよいし、有線通信で接続されていてもよい。
　（分類装置１の構成）
　分類装置１は、制御部２および記憶部３を備えている。記憶部３には、組織画像３１および分類モデル３３が記憶されていてもよい。分類モデル３３については、後に説明する。
　記憶部３には、組織画像３１および分類モデル３３に加え、制御部２が実行する各部の制御プログラム、ＯＳプログラム、アプリケーションプログラムなどが格納されていてもよい。また、記憶部３には、これらプログラムを制御部２が実行するときに読み出す各種データが格納されていてもよい。記憶部３は、ハードディスク、フラッシュメモリなどの不揮発性の記憶装置によって構成される。なお、記憶部３の他に、上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用される記憶装置であり、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置を備えていてもよい。
　＜制御部２の構成＞
　制御部２は、例えば、ＣＰＵ（central processing unit）または専用プロセッサなどの制御装置により構成されてもよい。図７に示された制御部２の各部は、ＣＰＵなどの制御装置が、ＲＯＭ（read only memory）などで実現された記憶部３に記憶されているプログラムをＲＡＭ（random access memory）などに読み出して実行することで実現できる。
　制御部２は、解析対象となる組織画像３１を解析することにより、該組織画像３１に写っている組織に生じている変化を分類し、分類結果を出力する。この制御部２は、画像取得部２１、単色成分画像生成部２２、二値化部２３、特徴数算出部２４、分類部２５、および出力制御部２６を備えている。
　［画像取得部２１］
　画像取得部２１は、外部機器４から、組織を撮像した組織画像３１を取得する。ここで、解析対象の組織が肺である場合、組織画像３１は、患者の身体から採取された肺の組織片を、所定の拡大倍率で撮像した画像であってもよい。画像取得部２１は、外部機器４から、組織画像３１から抽出された領域に対応する部分画像を取得してもよい。画像取得部２１は、取得した組織画像３１を記憶部３に格納してもよい。
　画像取得部２１は、公知の画像認識機能および画像処理機能を備えていてもよい。これにより、画像取得部２１は、解析対象となる組織が写っている領域を組織画像３１から切り出したり、組織画像３１を分割して複数の部分画像を生成したりすることが可能である。例えば、画像取得部２１は、組織画像３１において、組織が写っている領域を、周囲の領域（例えば、樹脂が写っている領域）と区別して切り出すことが可能であってもよい。
　分類装置１は、取得した元の組織画像３１の画像解像度を変更せずに解析するよりも、画像解像度を所定のレベルに低下させた組織画像３１を解析する方が、組織画像３１に写っている組織に生じている変化をより正確に分類できる場合がある。より具体的には、高解像度の組織画像３１に写っている微細な情報は、後述する各処理に影響する「ノイズ」となる場合がある。元の組織画像３１に写っている微細な情報の流入を遮断するためには、例えば、組織画像３１の解像度を敢えて低下させることが有効である。そこで、画像取得部２１は、取得した元の組織画像３１の画像解像度を低下させた組織画像３１を生成してもよい。
　分類装置１は、取得した元の組織画像から、画像解像度が異なる複数の組織画像３１を生成して解析対象としてもよい。画像解像度が異なる複数の組織画像３１を解析対象とすることによって、組織画像３１に写っている組織に生じている変化をさらに正確に分類できる場合があるためである。そこで、画像取得部２１は、取得した組織画像毎に、画像解像度が互いに異なる複数の組織画像３１を生成してもよい。本明細書では、取得した組織画像毎に、画像取得部２１が、画像解像度が互いに異なる複数の組織画像３１を生成して、これら複数の組織画像３１を解析対象とすることを「マルチスケール解析」と呼称する。一方、組織画像毎に、画像取得部２１が、所定の画像解像度に調整した１つの組織画像３１を生成して、この組織画像３１を解析対象とすることは「シングルスケール解析」と呼称してもよい。画像取得部２１によって生成された、元の組織画像３１の画像解像度を低下させた組織画像３１は記憶部３に格納され、後述する処理に供されてもよい。
　［単色成分画像生成部２２］
　単色成分画像生成部２２は、組織画像３１から、該組織画像３１を構成する複数の色成分の各々に対応する画素値に基づく複数の単色成分画像を生成する。
　例えば、組織画像３１が、ＲＧＢ表現を適用したカラー画像である場合、単色成分画像生成部２２は、該組織画像３１からＲ成分、Ｇ成分、およびＢ成分の各々に対応する画素値に基づく３つの単色成分画像を生成する。なお、単色成分画像生成部２２は、組織画像３１の輝度成分に対応する画素値に基づくグレースケール画像（単色成分画像）も生成可能な構成であってもよい。マルチスケール解析の場合、単色成分画像生成部２２は、画像取得部２１によって生成された、画像解像度が互いに異なる複数の組織画像３１のそれぞれについて、複数の単色成分画像を生成する。
　［二値化部２３］
　二値化部２３は、単色成分に分けられた単色成分画像に対して二値化処理を行い、二値化の基準値が異なる複数の二値化画像を生成する。
　二値化部２３は、複数の単色成分画像のそれぞれから、二値化の基準値が異なる複数の二値化画像を生成する。二値化部２３は、二値化処理において、二値化の基準値よりも大きい画素値を有する画素を白色の画素に変換し、二値化の基準値以下の画素値を有する画素を黒色の画素に変換する。このとき二値化部２３は、単色成分画像に対して、二値化の基準値を変更する度に二値化処理を行い、複数の二値化画像を生成する。すなわち、二値化部２３は、組織画像３１から生成されたすべての単色成分画像に対して、二値化の基準値が異なる複数の二値化画像を複数生成する。
　一例において、二値化部２３は、二値化の基準値を０以上２５５以下の範囲において設定する。例えば、二値化の基準値が画素値１００に設定された場合、画素値が１００以下の画素の画素値は二値化処理の結果０となり、画素値が１００より高い画素の画素値は二値化処理の結果２５５となる。一例において、二値化部２３は、単色成分画像毎に、二値化の基準値を１から２５５まで１ずつ変更して、２５５の二値化画像を生成してもよい。あるいは、二値化部２３は、単色成分画像毎に、二値化の基準値を２から２５４まで１ずつ変更して、２５３の二値化画像を生成してもよい。あるいは、単色成分画像毎に、二値化の基準値を２から２５４まで５ずつ変更して、２５３の二値化画像を生成してもよい。なお、これらに限定されず、二値化部２３は、単色成分画像毎に、二値化の基準値を所望のルールに従って変更し、複数の二値化画像を生成すればよい。
　［特徴数算出部２４］
　特徴数算出部２４は、複数の二値化画像のそれぞれについて、二値化後における一方の画素値（以下、第１画素値）の画素に囲まれた、該二値化後における他方の画素値（以下、第２画素値）の画素からなる穴形状の領域の数を示す１次元ベッチ数ｂ１を算出する。また、特徴数算出部２４は、第１画素値の画素が連結して成る連結領域の数を示す０次元ベッチ数ｂ０、および１次元ベッチ数ｂ１と０次元ベッチ数ｂ０との比Ｒを算出する。以下では、比Ｒはｂ１／ｂ０である場合を例に挙げるが、比Ｒは、ｂ０／ｂ１であってもよい。
　上記連結領域は、例えば、二値化処理後の画素値が０である画素が隣接しつつ集まった領域である。それぞれの連結領域は、二値化処理後の画素値が２５５である画素によって囲まれており、互いに独立している領域である。
　他方、上記穴形状の領域は、例えば、二値化処理後の画素値が２５５である画素が隣接しつつ集まった領域である。それぞれの穴形状の領域は、二値化処理後の画素値が０である画素によって囲まれており、互いに独立している領域である。
　例えば、組織画像毎に、二値化の基準値を１から２５５まで１ずつ変更することによって、２５５の二値化画像が生成された場合、特徴数算出部２４は、２５５の１次元ベッチ数ｂ１、２５５の０次元ベッチ数ｂ０、２５５の比Ｒを算出する。
　なお、特徴数算出部２４によって算出される１次元ベッチ数ｂ１および０次元ベッチ数ｂ０の値は、組織画像３１を取得するときに設定された拡大倍率、解像度、および、組織画像３１に撮像されている領域の面積に依存する。それゆえ、特徴数算出部２４は、拡大倍率および解像度が等しい組織画像３１であって、撮像されている領域の面積が等しい組織画像３１について、１次元ベッチ数ｂ１および０次元ベッチ数ｂ０を算出することが望ましい。
　特徴数算出部２４として、既存のプログラムが用いられ得る。このようなプログラムの一例としてＣＨｏｍＰを挙げることができる。ＣＨｏｍＰは、ＧＮＵ（General Public License）に準拠したフリーウェアである。なお、これに限定されるものではなく、画像に関する０次元ベッチ数ｂ０および１次元ベッチ数ｂ１を算出できるプログラムであれば、ＣＨｏｍＰ以外のプログラムを用いてもよい。
　［分類部２５］
　分類部２５は、１次元ベッチ数ｂ１、０次元ベッチ数ｂ０、および比Ｒの組み合わせを含む入力データを後述の分類モデルに入力し、組織画像３１に写っている組織に生じている変化に関する分類結果を出力する。ここで、組織に生じている変化とは、組織に生じた腫瘍細胞の構造上の特性、配置、および浸潤様式に基づいて算出される細胞の分化の度合いであってもよい。分類モデル３３は、１次元ベッチ数ｂ１、０次元ベッチ数ｂ０、および比Ｒと、組織に生じている変化に関する分類との対応関係をモデル化したものである。すなわち、分類モデル３３は、下記の（１）および（２）の組み合わせを学習データとして用いた機械学習によって生成されたものである。
・（１）組織を撮像した訓練用組織画像３２であって、該訓練用組織画像３２に写っている組織に生じている変化を分類した分類情報が予め付与されている訓練用組織画像３２。
・（２）訓練用組織画像３２から生成された、二値化の基準値が異なる複数の二値化画像のそれぞれについて算出された１次元ベッチ数ｂ１、０次元ベッチ数ｂ０、および比Ｒ。
　分類モデル３３を生成するための、訓練用組織画像３２を用いた機械学習処理については、後に説明する。
　［出力制御部２６］
　出力制御部２６は、分類部２５から出力される分類結果を示す情報を、提示装置５に提示させる。なお、出力制御部２６は、分類結果を示す情報と共に、解析対象となった組織画像３１を提示装置５に提示させる構成であってもよい。
　また、出力制御部２６は、組織画像３１から抽出された領域についての分類結果を、組織画像３１の該領域に対応する位置に提示するよう、提示装置５を制御する構成であってもよい。このように構成すれば、分類装置１は、組織画像３１について出力された分類結果と、該分類結果に対応する領域の位置とを病理医、検査技師、研究者などを含むユーザに提示することができる。
　なお、分類結果をユーザに提示する方法は所望の態様であってもよい。例えば、図７に示すように、提示装置５が分類結果を提示する構成であってもよいし、プリンター（図示せず）およびスピーカー（図示せず）などから分類結果が出力される構成であってもよい。
　（分類装置１が実行する処理）
　続いて、分類装置１が実行する処理について、図８を用いて説明する。図８は、分類装置１が行う処理の流れの一例を示すフローチャートである。
　まず、画像取得部２１は、外部機器４から組織画像３１を取得する（ステップＳ１）。ここで、画像取得部２１は、必要に応じて、組織画像３１の画像解像度を変更してもよい。あるいは、画像取得部２１は、取得した組織画像毎に、画像解像度が互いに異なる複数の組織画像３１を生成してもよい。
　次に、単色成分画像生成部２２は、組織画像３１から、該組織画像３１を構成する複数の色成分の各々に対応する画素値に基づく複数の単色成分画像を生成する（ステップＳ２：単色成分画像生成ステップ）。
　続いて、二値化部２３は、各単色成分画像から、二値化の基準値が異なる複数の二値化画像を生成する（ステップＳ３：二値化ステップ）。
　特徴数算出部２４は、複数の二値化画像のそれぞれについて算出された１次元ベッチ数ｂ１、０次元ベッチ数ｂ０、および比Ｒを算出する（ステップＳ４：特徴数算出ステップ）。
　次に、分類部２５は、１次元ベッチ数ｂ１、０次元ベッチ数ｂ０、および比Ｒの組合せを含む入力データを分類モデル３３に入力し（ステップＳ５：分類ステップ）、組織画像３１に写っている組織に生じている変化に関する分類結果を出力する（ステップＳ６：分類ステップ）。
　上記の構成によれば、分類装置１は、組織画像３１について、該組織画像３１を構成する複数の色成分の各々に対応する画素値に基づく複数の単色成分画像を生成し、各単色成分画像について二値化の基準値が異なる複数の二値化画像を生成する。次に、分類装置１は、二値化画像のそれぞれについて、１次元ベッチ数ｂ１、０次元ベッチ数ｂ０、および１次元ベッチ数ｂ１と０次元ベッチ数ｂ０との比Ｒを算出する。そして、分類装置１は、１次元ベッチ数ｂ１、０次元ベッチ数ｂ０、および比Ｒを一組のデータとして分類モデル３３に入力して、組織に生じている変化に関する分類結果を出力する。これにより、分類装置１は、組織画像３１に写っている組織に生じている変化に関する分類を精度よく行うことができる。
　生体の組織に生じた変化が、肺気腫および肺腺癌の前癌病変などである場合、細胞の形状および大きさの均一さの変化に表れる場合が多い。上記の方法を採用すれば、生体の組織を撮像した組織画像３１が有する性状をホモロジーの概念を用いて数学的に解析し、該解析結果に基づいて組織に生じている変化を分類する。この分類結果は、後述する訓練用組織画像３２を用いた機械学習によって生成された分類モデル３３から出力されるため、病理医による病理学的診断の結果と同様、組織画像３１の性状に根拠がある。それゆえ、分類結果は、病理医による判断結果と同様に理解可能であり、信頼性も高い。
　（訓練用組織画像３２）
　分類モデル３３を生成するために、訓練用組織画像３２が用いられてもよい。図９は、訓練用組織画像３２のデータ構造の一例を示す図である。
　図９に示すように、訓練用組織画像３２は、訓練用組織画像ＩＤが付与された、患者の身体から採取された組織が写っている組織画像を含んでいる。訓練用組織画像３２に含まれる各組織画像には、組織に含まれる細胞の細胞核と、細胞核とは異なる構成要素とが異なる色相で写っており、該訓練用組織画像３２に写っている組織に生じている変化に関する分類を示す分類情報が医療関係者によって予め付与されている。分類情報は、訓練用組織画像３２に含まれる組織画像を確認した病理医によって判定された判定結果であり、各組織画像に写っている組織に生じている変化に関する分類を示す情報である。
　（分類モデル３３を生成する機能を備える分類装置１の構成）
　次に、分類モデル３３を生成するために学習アルゴリズムを実行中の分類装置１の構成について、図１０を用いて説明する。図１０は、分類モデル３３を生成する分類装置１の要部構成の一例を示す機能ブロック図である。なお、説明の便宜上、図７にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　図１０では、分類装置１の記憶部３に訓練用組織画像３２が予め記憶されている例を示しているが、これに限定されない。例えば、図７に示す画像取得部２１が、外部機器４から訓練用組織画像３２を取得する構成であってもよい。
　また、図１０に示す例では、分類装置１が分類モデル３３を生成する機能を備えているが、これに限定されない。例えば、分類装置１と異なる他のコンピュータに上述のような処理を実行させて、分類モデル３３を生成してもよい。この場合、分類装置１の記憶部３に、他のコンピュータによって生成された分類モデル３３を格納し、分類部２５が該分類モデル３３を利用すればよい。
　分類モデル３３を生成するための学習アルゴリズムを実行中の分類装置１の制御部２は、単色成分画像生成部２２、二値化部２３、特徴数算出部２４、分類部２５、および分類モデル生成部２７を備えている。
　［分類モデル生成部２７］
　分類モデル生成部２７は、分類モデル候補に対して、訓練用組織画像３２を用いた機械学習アルゴリズムを実行し、分類モデル３３（訓練済）を生成する。分類モデル３３（訓練済）は、記憶部３に格納される。
　分類モデル３３を生成するための機械学習において、データの分類に適した公知の機械学習アルゴリズムが適用可能である。一例として、分類モデル３３の生成には、パーセプトロン、ロジスティック回帰、ｋ－近傍法、サポートベクトルマシン、決定木、ランダムフォレスト、または勾配ブースティングが用いられてもよい。
　（分類モデル３３を生成する処理）
　続いて、分類モデル３３を生成する処理について、図１１を用いて説明する。図１１は、分類モデル３３を生成するために分類装置１が行う処理の流れの一例を示すフローチャートである。
　まず、分類モデル生成部２７は、記憶部３から訓練用組織画像３２を読み出して（ステップＳ１１）、訓練用組織画像３２から未選出の訓練用組織画像３２（例えば、図９において、訓練用組織画像ＩＤが「Ｔ１」である組織画像）を選出する（ステップＳ１２）。ここで、訓練用組織画像３２の画像解像度は、予め所定の画像解像度に変更されていてもよいが、これに限定されない。例えば、分類モデル生成部２７が訓練用組織画像３２の画像解像度を必要に応じて変更する構成であってもよい。
　次に、単色成分画像生成部２２は、分類モデル生成部２７によって選出された組織画像から、該組織画像を構成する複数の色成分の各々に対応する画素値に基づく複数の単色成分画像を生成する（ステップＳ１３）。
　続いて、二値化部２３は、複数の単色成分画像のそれぞれについて、二値化の基準値が異なる複数の二値化画像を生成する（ステップＳ１４）。
　続いて、特徴数算出部２４は、複数の二値化画像のそれぞれについて、１次元ベッチ数ｂ１、０次元ベッチ数ｂ０、および比Ｒを算出する（ステップＳ１５）。
　次に、分類部２５は、１次元ベッチ数ｂ１、０次元ベッチ数ｂ０、および比Ｒを含む入力データを分類モデル候補に入力し（ステップＳ１６）、組織画像に写っている組織に生じている変化を分類した分類結果を出力する（ステップＳ１７）。
　次に、分類モデル生成部２７は、分類部２５から出力された分類結果と、ステップＳ１２にて選出した組織画像に対応する分類情報とを比較して誤差を算出する（ステップＳ１８）。また、分類モデル生成部２７は、算出した誤差が最小となるように、ステップＳ１８にて分類結果を出力した分類モデル候補を更新する（ステップＳ１９）。
　訓練用組織画像３２に含まれる全ての組織画像が、ステップＳ１２において選出されていない場合（ステップＳ２０にてＮＯ）、分類モデル生成部２７は、ステップＳ１２に戻り、訓練用組織画像３２から未選出の組織画像を選出する。例えば、訓練用組織画像ＩＤが「Ｔ１」である組織画像が選出された場合、次に、訓練用組織画像ＩＤが「Ｔ２」である組織画像が選出される（図９参照）。
　一方、訓練用組織画像３２に含まれる全ての組織画像が、ステップＳ１２において選出済である場合（ステップＳ２０にてＹＥＳ）、分類モデル生成部２７は、現在の分類モデル候補を分類モデル３３（訓練済）として記憶部３に格納する（ステップＳ２１）。
　このように生成された分類モデルは、ある組織画像（例えば、図７の組織画像３１）について算出された、１次元ベッチ数ｂ１、０次元ベッチ数ｂ０、および比Ｒが入力されたことに応じて、該組織画像３１に写っている組織に含まれる組織に生じている変化に関する高い精度の分類結果を出力することができる。
　なお、分類装置１とは異なるコンピュータに図１１に示す処理を行わせて、分類モデル３３を生成してもよい。この場合、分類装置１に、訓練済の分類モデル３３をインストールしてもよい。
　（分類精度の評価）
　本開示の一態様に係る画像解析方法を肺の組織画像３１に適用し、各組織画像３１に基づいて、肺気腫および肺腺癌の前癌病変を分類した場合の分類精度を評価した結果について、図１２を用いて説明する。図１２は、本開示の一態様に係る画像解析方法による分類精度を示す図である。
　分類精度を評価するために、専門の病理医による分類結果が付与された９４枚の肺の組織画像３１が用いられた。９４枚の組織画像３１のうち、２０枚は肺気腫、２０枚は正常、２３枚は異型腺腫様過形成、１９枚は鱗状腺癌、１２枚は浸潤性腺癌に分類されている。
　図１２に示す分析精度は、９４枚の肺の組織画像３１について、病理医による分類結果と、分類モデル３３から出力された分類結果とを比較した結果である。図１２に示す分析精度は、下記に示す工程を含むマルチスケール解析を適用して得た結果である。
　画像取得部２１は、９４枚の組織画像３１（画像解像度は１６００×１２００）のそれぞれから、画像解像度が１６００×１２００（画像解像度に変更無し）、１８００×６００、４００×３００、および２００×１５０である組織画像３１を生成した。そして、単色成分画像生成部２２は、生成された組織画像３１のそれぞれから、Ｒ成分、Ｇ成分、およびＢ成分の各々に対応する画素値に基づく３つの単色成分画像、および各組織画像３１の輝度成分に対応する画素値に基づくグレースケール画像を４種の単色成分画像として生成した。次に、二値化部２３は、これら４種の単色成分画像に対して二値化処理を行い、二値化の基準値が異なる複数の二値化画像を生成した。特徴数算出部２４は、複数の二値化画像のそれぞれについて、１次元ベッチ数ｂ１、０次元ベッチ数ｂ０、および比Ｒを算出した。分類部２５は、１次元ベッチ数ｂ１、０次元ベッチ数ｂ０、および比Ｒの組み合わせを含む入力データを後述の分類モデルに入力し、９４枚の組織画像３１のそれぞれに写っている組織に生じている変化に関する分類結果を出力した。
　図１２に示すように、分類装置１は、病理医によって肺気腫であると分類された組織画像３１を９０％（＝１８／２０）の正答率で分類し、病理医によって正常な肺であると分類された組織画像３１を１００％（＝２０／２０）の正答率で分類した。
　また、分類装置１は、病理医によって異型腺腫様過形成であると分類された組織画像３１を７８．３％（≒１８／２３）の正答率で分類した。前述したように、異型腺腫様過形成を正しく分類することは、肺腺癌の前癌病変を早期に発見することを意味しており重要である。分類装置１は、病理医によって異型腺腫様過形成であると分類された組織画像３１を、正常な肺であると誤分類した確率は、わずか４．３％であった。
　さらに、分類装置１は、病理医によって鱗状腺癌であると分類された組織画像３１を６８．４％（＝１３／１９）の正答率で分類し、病理医によって浸潤性腺癌であると分類された組織画像３１を８３．３％（≒１０／１２）の正答率で分類した。
　図１２に示すように、本開示の一態様に係る画像解析方法を適用して得られた分類結果は、病理医による分類結果と高い一致度を有しており、肺気腫および肺腺癌の前癌病変を正確に分類可能であることがわかる。
　〔実施形態２〕
　本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　図７では、医療機関Ｈ１が分類システム１００を導入した例を示したが、これに限定されない。例えば、分類装置１ａが通信ネットワーク５０を介して医療機関Ｈ２の外部機器４と通信可能に接続されていてもよい。このような構成を採用した分類システム１００ａについて、図１３を用いて説明する。図１３は、本開示の一態様に係る分類システム１００ａの構成例を示す機能ブロック図である。
　図１３に示すように、分類装置１ａは、医療機関Ｈ２の外部機器４との通信インターフェースとして機能する通信部６を備えている。これにより、画像取得部２１は、医療機関Ｈ２の外部機器４から、通信ネットワークを介して組織画像３１を取得することができる。
　また、分類装置１ａは、分類部２５から出力される分類結果を、通信ネットワーク５０を介して外部機器４に送信する。
　なお、分類装置１ａは、複数の医療機関の外部機器４と通信可能に接続されていてもよい。この場合、医療機関Ｈ２から分類装置１ａに送信される各組織画像３１には、各組織画像３１を示す画像ＩＤ、組織画像３１に写っている組織が採取された患者（例えば、患者）に固有の分類番号（患者ＩＤ）が付与されていてもよい。さらに、各組織画像３１に、送信元である医療機関Ｈ２を示す医療機関ＩＤが付与されていてもよい。
　このような構成を採用すれば、分類装置１ａは、複数の医療機関のそれぞれから取得した組織画像３１を解析して得た分類結果を、組織画像３１の画像データの送信元である各医療機関に提供することができる。例えば、分類装置１ａを管理する管理者は、取得した組織画像３１から推定された分類結果を提供するサービスに対する対価として、各医療機関に対して所定の料金を請求してもよい。
　〔実施形態３〕
　本開示の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　図７に示す分類装置１および図１３に示す分類装置１ａは、組織画像３１に対する画像解析機能と、分類モデル３３を用いた分類機能との両方の機能を備えている。しかし、この構成に限定されるものではない。例えば、画像取得部２１、単色成分画像生成部２２、二値化部２３、および特徴数算出部２４を備える画像解析装置１Ａと、制御部２Ｂを備える分類装置１Ｂとを組み合わせることによって、分類装置１、１ａの機能を実現してもよい。制御部２Ｂは、分類部２５を備えている。このような構成を採用した分類システム１００ｂについて、図１４を用いて説明する。図１４は、本開示の一態様に係る分類システム１００ｂの構成例を示す機能ブロック図である。
　図１４に示すように、画像解析装置１Ａは、医療機関Ｈ２の外部機器４、および分類装置１Ｂとの通信インターフェースとして機能する通信部６Ａを備えている。これにより、画像取得部２１は、医療機関Ｈ２の外部機器４から、通信ネットワークを介して組織画像３１を取得することができる。
　また、画像解析装置１Ａは、特徴数算出部２４によって算出された第１特徴数、第２特徴数、および第３特徴数を、通信ネットワーク５０を介して分類装置１Ｂに送信する。
　なお、分類装置１Ｂは、複数の画像解析装置１Ａと通信可能に接続されていてもよい。この場合、画像解析装置１Ａから分類装置１Ｂに送信される特徴数（第１特徴数、第２特徴数、および第３特徴数を含む）には、各種ＩＤが付与されていてもよい。各種ＩＤは、解析対象となった組織画像３１に写っている組織が採取された患者に固有の分類番号（患者ＩＤ）、各組織画像３１の送信元である医療機関Ｈ２を示す医療機関ＩＤ、および画像解析を実行した画像解析装置１Ａに固有の装置ＩＤ等を含んでいてもよい。
　このような構成を採用すれば、画像解析装置１Ａは、複数の医療機関のそれぞれから取得した組織画像３１を解析して所定の特徴数を算出し、分類装置１Ｂに送信する。分類装置１Ｂは、画像解析装置１Ａから取得した特徴数を用いて分類結果を出力し、該分類結果を、組織画像３１の画像データの送信元である各医療機関に提供することができる。例えば、分類装置１Ｂを管理する管理者は、取得した組織画像３１から分類された分類結果を提供するサービスに対する対価として、各医療機関に対して所定の料金を請求してもよい。
　〔変形例〕
　分類装置１Ｂは、医療機関Ｈ２内に配備されているコンピュータ（例えば、提示装置５など）に、該コンピュータが画像解析装置１Ａとして機能するためのコンピュータプログラム（以下、画像解析アプリ）を配信してもよい。画像解析アプリがインストールされたコンピュータは、画像解析装置１Ａとして機能することができる。この場合、例えば、分類装置１Ｂは、画像解析アプリを受信してインストールしたコンピュータに対して、対価を請求する通知を送信してもよい。これにより、分類装置１Ｂを管理する管理者は、画像解析アプリを提供するサービスに対する対価として、医療機関Ｈ２に対して所定の料金を受け取ることができる。なお、対価を請求する通知は、画像解析アプリを受信してインストールしたコンピュータのユーザが契約しているクレジットカード会社などに送信してもよい。
　なお、画像解析アプリがインストールされた医療機関Ｈ２内に配備されているコンピュータから分類装置１Ｂに送信される特徴数（第１特徴数、第２特徴数、および第３特徴数を含む）には、各種ＩＤが付与されていてもよい。各種ＩＤは、解析対象となった組織画像３１に写っている組織が採取された患者に固有の分類番号（患者ＩＤ）、各組織画像３１の送信元である医療機関Ｈ２を示す医療機関ＩＤ、および画像解析を実行した画像解析装置１Ａに固有の装置ＩＤ等を含んでいてもよい。
　この構成によれば、医療機関Ｈ２は、組織画像３１を医療機関Ｈ２の外部（例えば、画像解析装置１Ａ）へ送信する必要はない。医療機関Ｈ２は、画像解析アプリを用いて各組織画像３１を解析することによって、各組織画像３１から第１特徴数、第２特徴数、および第３特徴数を算出して、これらを分類装置１Ｂに送信すればよい。
　組織画像３１は、患者の診断情報に関するものであるため、組織画像３１を医療機関Ｈ２の外部へ送信する場合、個人情報の保護に配慮する必要がある。この構成を採用すれば、組織画像３１を医療機関Ｈ２の外部へ送信する必要が無い。さらに、この構成を採用すれば、組織画像３１そのものを送信するよりも通信負荷を低減させることができる。
　〔ソフトウェアによる実現例〕
　分類装置１の制御ブロック（特に制御部２）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、分類装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。
１、１ａ、１Ｂ　分類装置
１Ａ　画像解析装置
　４　外部機器
　５　提示装置
２２　単色成分画像生成部
２３　二値化部
２４　特徴数算出部
２５　分類部
Ｓ２　単色成分画像生成ステップ
Ｓ３　二値化ステップ
Ｓ４　特徴数算出ステップ
Ｓ５、Ｓ６　分類ステップ

Claims (17)

  1. 　生体の組織に含まれる細胞の細胞核と、細胞核とは異なる構成要素とが異なる色相で写っている組織画像から、該組織画像を構成する複数の色成分の各々に対応する画素値に基づく複数の単色成分画像を生成する単色成分画像生成ステップと、
    　前記複数の単色成分画像のそれぞれから、二値化の基準値が異なる複数の二値化画像を生成する二値化ステップと、
    　前記複数の単色成分画像のそれぞれから生成された前記複数の二値化画像のそれぞれについて、第１画素値と第２画素値とに二値化された後における前記第１画素値の画素に囲まれた、該二値化後における前記第２画素値の画素からなる穴形状の領域の数を示す第１特徴数、前記第１画素値の画素が連結して成る連結領域の数を示す第２特徴数、および前記第１特徴数と前記第２特徴数との比である第３特徴数を算出する特徴数算出ステップと、
    　前記複数の単色成分画像のそれぞれから生成された前記二値化画像のそれぞれに関して算出された、前記第１特徴数、前記第２特徴数、および前記第３特徴数の組み合わせを含む入力データを、前記第１特徴数、前記第２特徴数、および前記第３特徴数と、前記組織に生じている変化に関する分類との対応関係をモデル化した分類モデルに入力し、前記組織画像に写っている組織に生じている変化に関する分類結果を出力する分類ステップと、を含む、
    画像解析方法。
  2. 　前記組織画像は、前記細胞核を第１色に染色可能な成分と、細胞質を前記第１色とは異なる第２色に染色可能な成分とによって染色された前記組織を撮像した画像である、
    請求項１に記載の画像解析方法。
  3. 　前記分類モデルは、（１）組織に含まれる細胞の細胞核と、細胞核とは異なる構成要素とが異なる色相で写っている訓練用組織画像であって、該訓練用組織画像に写っている組織に生じている変化に関する分類を示す分類情報が医療関係者によって予め付与されている訓練用組織画像と、（２）前記訓練用組織画像から、前記特徴数算出ステップにおいて算出された前記第１特徴数、前記第２特徴数、および前記第３特徴数の組み合わせを含むデータと、を学習データとして用いた機械学習によって生成されたものである、
    請求項１または２に記載の画像解析方法。
  4. 　前記分類モデルは、パーセプトロン、ロジスティック回帰、ｋ－近傍法、サポートベクトルマシン、決定木、ランダムフォレスト、または勾配ブースティングを用いて生成されたものである、
    請求項３に記載の画像解析方法。
  5. 　前記組織画像は、対象者の身体から採取された前記組織を撮像した画像である、
    請求項１から４のいずれか１項に記載の画像解析方法。
  6. 　前記組織は肺の組織であり、
    　前記分類ステップにおいて、前記肺の組織に変化が生じている場合、該変化が、肺気腫、異型腺腫様過形成、鱗状腺癌、および浸潤性腺癌のいずれであるか、を分類する、
    請求項５に記載の画像解析方法。
  7. 　生体の組織に含まれる細胞の細胞核と、細胞核とは異なる構成要素とが異なる色相で写っている組織画像から、該組織画像を構成する複数の色成分の各々に対応する画素値に基づく複数の単色成分画像を生成する単色成分画像生成部と、
    　前記複数の単色成分画像のそれぞれから、二値化の基準値が異なる複数の二値化画像を生成する二値化部と、
    　前記複数の単色成分画像のそれぞれから生成された前記複数の二値化画像のそれぞれについて、第１画素値と第２画素値とに二値化された後における前記第１画素値の画素に囲まれた、該二値化後における前記第２画素値の画素からなる穴形状の領域の数を示す第１特徴数、前記第１画素値の画素が連結して成る連結領域の数を示す第２特徴数、および前記第１特徴数と前記第２特徴数との比である第３特徴数を算出する特徴数算出部と、
    を備える、
    画像解析装置。
  8. 　前記画像解析装置は、前記組織画像から、前記第１特徴数、前記第２特徴数、および前記第３特徴数を算出するためのコンピュータプログラムを配信する、
    請求項７に記載の画像解析装置。
  9. 　前記画像解析装置は、前記コンピュータプログラムをインストールしたコンピュータに対して、該コンピュータプログラムを提供したことに対する対価を請求する通知を送信する、
    請求項８に記載の画像解析装置。
  10. 　請求項７に記載の画像解析装置から、前記第１特徴数、前記第２特徴数、および前記第３特徴数を取得し、前記複数の単色成分画像のそれぞれから生成された前記二値化画像のそれぞれに関して算出された、前記第１特徴数、前記第２特徴数、および前記第３特徴数を含む入力データを、前記第１特徴数、前記第２特徴数、および前記第３特徴数と、前記組織に生じている変化に関する分類との対応関係をモデル化した分類モデルに入力して、前記組織画像に写っている組織に生じている変化に関する分類結果を出力する分類部、
    を備える、
    分類装置。
  11. 　生体の組織に含まれる細胞の細胞核と、細胞核とは異なる構成要素とが異なる色相で写っている組織画像から、該組織画像を構成する複数の色成分の各々に対応する画素値に基づく複数の単色成分画像を生成する単色成分画像生成部と、
    　前記複数の単色成分画像のそれぞれから、二値化の基準値が異なる複数の二値化画像を生成する二値化部と、
    　前記複数の単色成分画像のそれぞれから生成された前記複数の二値化画像のそれぞれについて、第１画素値と第２画素値とに二値化された後における前記第１画素値の画素に囲まれた、該二値化後における前記第２画素値の画素からなる穴形状の領域の数を示す第１特徴数、前記第１画素値の画素が連結して成る連結領域の数を示す第２特徴数、および前記第１特徴数と前記第２特徴数との比である第３特徴数を算出する特徴数算出部と、
    　前記複数の単色成分画像のそれぞれから生成された前記二値化画像のそれぞれに関して算出された、前記第１特徴数、前記第２特徴数、および前記第３特徴数を含む入力データを、前記第１特徴数、前記第２特徴数、および前記第３特徴数と、前記組織に生じている変化に関する分類との対応関係をモデル化した分類モデルに入力して、前記組織画像に写っている組織に生じている変化に関する分類結果を出力する分類部と、
    を備える、
    分類装置。
  12. 　前記組織画像から、前記第１特徴数、前記第２特徴数、および前記第３特徴数を算出するためのコンピュータプログラムを配信する、
    請求項１０または１１に記載の分類装置。
  13. 　前記コンピュータプログラムをインストールしたコンピュータに対して、該コンピュータプログラムを提供したことに対する対価を請求する通知を送信する、
    請求項１２に記載の分類装置。
  14. 　請求項７に記載の画像解析装置と、
    　請求項１０に記載の分類装置と、
    　前記組織画像を前記画像解析装置へ送信する外部機器と、
    　前記分類装置から出力された分類結果を取得して該分類結果を提示する提示装置と、を含む、
    分類システム。
  15. 　請求項７～９のいずれか１項に記載の画像解析装置としてコンピュータを機能させるための制御プログラムであって、前記単色成分画像生成部、前記二値化部、および前記特徴数算出部としてコンピュータを機能させるための制御プログラム。
  16. 　請求項１０に記載の分類装置としてコンピュータを機能させるための制御プログラムであって、前記分類部としてコンピュータを機能させるための制御プログラム。
  17. 　請求項１５または１６に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2022/004597 2021-02-18 2022-02-07 画像解析方法、画像解析装置、分類装置、分類システム、制御プログラム、記録媒体 WO2022176665A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023500734A JPWO2022176665A1 (ja) 2021-02-18 2022-02-07

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021024606 2021-02-18
JP2021-024606 2021-02-18

Publications (1)

Publication Number Publication Date
WO2022176665A1 true WO2022176665A1 (ja) 2022-08-25

Family

ID=82930466

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004597 WO2022176665A1 (ja) 2021-02-18 2022-02-07 画像解析方法、画像解析装置、分類装置、分類システム、制御プログラム、記録媒体

Country Status (2)

Country Link
JP (1) JPWO2022176665A1 (ja)
WO (1) WO2022176665A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08304284A (ja) * 1995-05-09 1996-11-22 Suzuki Motor Corp 抗核抗体反応判定装置
WO2010087112A1 (ja) * 2009-01-27 2010-08-05 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析プログラムおよび記録媒体
WO2017010397A1 (ja) * 2015-07-15 2017-01-19 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析システム、画像解析プログラム、および記録媒体
JP2017085966A (ja) * 2015-11-10 2017-05-25 株式会社Ｓｃｒｅｅｎホールディングス 分類器構成方法および細胞の生死判定方法
WO2020195258A1 (ja) * 2019-03-26 2020-10-01 国立大学法人大阪大学 画像解析方法、画像解析プログラム、記録媒体、画像解析装置、画像解析システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08304284A (ja) * 1995-05-09 1996-11-22 Suzuki Motor Corp 抗核抗体反応判定装置
WO2010087112A1 (ja) * 2009-01-27 2010-08-05 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析プログラムおよび記録媒体
WO2017010397A1 (ja) * 2015-07-15 2017-01-19 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析システム、画像解析プログラム、および記録媒体
JP2017085966A (ja) * 2015-11-10 2017-05-25 株式会社Ｓｃｒｅｅｎホールディングス 分類器構成方法および細胞の生死判定方法
WO2020195258A1 (ja) * 2019-03-26 2020-10-01 国立大学法人大阪大学 画像解析方法、画像解析プログラム、記録媒体、画像解析装置、画像解析システム

Also Published As

Publication number Publication date
JPWO2022176665A1 (ja) 2022-08-25

Similar Documents

Publication Publication Date Title
Joseph et al. Improved multi-classification of breast cancer histopathological images using handcrafted features and deep neural network (dense layer)
Laibacher et al. M2u-net: Effective and efficient retinal vessel segmentation for real-world applications
Araújo et al. Classification of breast cancer histology images using convolutional neural networks
CN110033456B (zh) 一种医疗影像的处理方法、装置、设备和系统
JP2022119882A (ja) 腫瘍を識別するための畳み込みニューラルネットワークを用いた組織像の処理
Laibacher et al. M2U-Net: Effective and efficient retinal vessel segmentation for resource-constrained environments
Cheng et al. Skin lesion classification using relative color features
Abbas et al. Computer‐aided pattern classification system for dermoscopy images
De Guzman et al. Design and evaluation of a multi-model, multi-level artificial neural network for eczema skin lesion detection
Salian et al. Skin lesion classification using deep learning architectures
US10956795B2 (en) Predicting recurrence in early stage non-small cell lung cancer (NSCLC) using spatial arrangement of clusters of tumor infiltrating lymphocytes and cancer nuclei
Møllersen et al. Unsupervised segmentation for digital dermoscopic images
Kolla et al. CNN‐Based Brain Tumor Detection Model Using Local Binary Pattern and Multilayered SVM Classifier
Bohaju Brain tumor
Iqbal et al. A heteromorphous deep CNN framework for medical image segmentation using local binary pattern
Hameed et al. Immunohistochemical analysis of oral cancer tissue images using support vector machine
Maree et al. Constructing a hybrid activation and parameter-fusion based CNN medical image classifier
Narhari et al. Automated diagnosis of diabetic retinopathy enabled by optimized thresholding-based blood vessel segmentation and hybrid classifier
WO2022176665A1 (ja) 画像解析方法、画像解析装置、分類装置、分類システム、制御プログラム、記録媒体
Hiary et al. Segmentation and localisation of whole slide images using unsupervised learning
US20230005148A1 (en) Image analysis method, image analysis device, image analysis system, control program, and recording medium
Gandomkar et al. Determining image processing features describing the appearance of challenging mitotic figures and miscounted nonmitotic objects
Turkeli et al. A smart dermoscope design using artificial neural network
Razzaq et al. Least complex oLSVN-based computer-aided healthcare system for brain tumor detection using MRI images
EP4372379A1 (en) Pathology image analysis method and system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22755986

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023500734

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 17.10.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 22755986

Country of ref document: EP

Kind code of ref document: A1