WO2019044579A1 - 病理診断装置、画像処理方法及びプログラム - Google Patents

病理診断装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2019044579A1
WO2019044579A1 PCT/JP2018/030758 JP2018030758W WO2019044579A1 WO 2019044579 A1 WO2019044579 A1 WO 2019044579A1 JP 2018030758 W JP2018030758 W JP 2018030758W WO 2019044579 A1 WO2019044579 A1 WO 2019044579A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
contour
lesion
area
range
Prior art date
Application number
PCT/JP2018/030758
Other languages
English (en)
French (fr)
Inventor
三善　英知
佳宏 鎌田
鈴木　貴
景子 板野
Original Assignee
国立大学法人大阪大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人大阪大学 filed Critical 国立大学法人大阪大学
Priority to JP2019539384A priority Critical patent/JPWO2019044579A1/ja
Priority to EP18851431.9A priority patent/EP3677168A4/en
Publication of WO2019044579A1 publication Critical patent/WO2019044579A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Definitions

  • the present invention relates to a technique used for pathological diagnosis based on an image of a body part to be diagnosed.
  • a biopsy that observes a specimen prepared from tissue surgically obtained by puncture or surgery with a microscope is useful with high accuracy It is conventionally performed as a method.
  • a biomarker measured in a biological sample such as blood.
  • Blood collection is useful in that the physical burden on the subject to be examined is small compared to the collection of tissue by surgery.
  • the pathological tissue image is divided using its pixel value to obtain background area, cytoplasmic area and cell nucleus area, and area divided image data showing these areas
  • Patent Document 1 A technique related to a method of extracting features of a pathological tissue image from the above has been proposed (see, for example, Patent Document 1).
  • the binarization of the image performed for dividing the image in this method is not properly performed due to the difference between the images of the object in the images or the difference between the image of the object and the background, etc. In some cases, the features of the pathological tissue image can not be properly extracted.
  • a substance in the blood as a biomarker for any disease, it is premised that the correlation between the amount of the substance and a specific abnormality in a tissue is examined through many cases. This verification is performed, for example, by statistically analyzing the blood test results and the biopsy results in each case. Then, if a certain correlation between the amount of substance and a specific abnormality in a certain tissue is verified based on the accumulated analysis results, for example, a blood test alone for measuring the amount of the substance can be applied to screening Become.
  • the present invention has been made in view of such a problem, and from an image showing a region to be diagnosed, a feature which is difficult to find stably depending on human vision is accurately captured, and based on the feature, the image Provide a technology to identify the range of lesions shown in
  • a pathological diagnosis apparatus provided to achieve the above object divides an image showing a diagnostic target region of a body into a plurality of regions based on luminance values of pixels constituting the image. Using the image division unit to be extracted, a contour extraction unit that extracts a contour in one of the plurality of regions, and a lesion that specifies a lesion range included in an image in which the diagnosis target site is captured using the extracted contour A range identification unit and a diagnosis result output unit that outputs a diagnosis result based on the identified lesion range.
  • an image processing method provided to achieve the above-described object is an image processing method according to an aspect of the present invention, in which an image showing a diagnosis target portion of a body is divided into a plurality of regions Divided into these areas, the outline is extracted from one of the plurality of areas, and the extracted outline is used to identify the lesion area shown in the image from which the diagnosis target site is taken, and the identified lesion area It is a method of generating data to be presented on the image.
  • the present invention from the image in which the site to be diagnosed is taken, it is possible to accurately capture a feature that is difficult to find stably depending on human vision, and based on this feature, the range of the lesion included in the image is identified. Ru.
  • FIG. 1A is an example of a liver biopsy image in which only fatification is observed.
  • FIG. 1B is an example of a liver biopsy image in which a lesion further advanced than the example shown in FIG. 1A is recognized.
  • FIG. 2 is a block diagram showing the configuration of the pathological diagnosis apparatus according to the embodiment.
  • FIG. 3 is a block diagram showing a functional configuration of an image dividing unit provided in the above-described pathological diagnosis apparatus.
  • FIG. 4A is a diagram for describing an overview of normalization processing of the frequency distribution by the normalization unit, which is included in the image division unit included in the above-described pathological diagnosis apparatus.
  • FIG. 4B is a diagram for describing an overview of the frequency distribution normalization processing by the normalization unit described above.
  • FIG. 4C is a diagram for describing an application example of the mixed Gaussian distribution method to a frequency distribution.
  • FIG. 5 is a flow diagram for describing a series of procedure examples included in an operation for processing from acquisition of an image by the above-described pathological diagnostic device to output of diagnostic result data.
  • FIG. 6A is a flowchart for explaining an example procedure of image division processing by the image division unit.
  • FIG. 6B is a flowchart for explaining a procedure example of region selection by the contour extraction unit included in the above-described pathological diagnosis device.
  • FIG. 6C is a flowchart for explaining an example procedure from preprocessing to contour extraction by the contour extraction unit.
  • FIG. 7A is an original image of a liver biopsy image used in the example.
  • FIG. 7A is an original image of a liver biopsy image used in the example.
  • FIG. 7B is a raw image histogram of the liver biopsy image described above.
  • FIG. 8A is a view showing an image showing one of the regions obtained by applying the mixed Gaussian distribution method to the original image of the liver biopsy image described above.
  • FIG. 8B is a histogram of the image showing one of the regions obtained by applying the Gaussian mixture method to the original image of the liver biopsy image.
  • FIG. 9A is a diagram showing an image showing another one of the regions obtained by applying the mixed Gaussian distribution method to the original image of the liver biopsy image described above.
  • FIG. 9B is a histogram of the image showing another one of the regions obtained by applying the Gaussian mixture method to the original image of the liver biopsy image.
  • FIG. 10A is a diagram showing an image showing still another one of the regions obtained by applying the mixed Gaussian distribution method to the original image of the liver biopsy image described above.
  • FIG. 10B is a histogram of the image showing still another one of the regions obtained by applying the Gaussian mixture method to the original image of the liver biopsy image.
  • FIG. 11 is an image obtained as a result of the opening process being performed on an image of one region selected from the plurality of regions of the liver biopsy image in the first embodiment.
  • 12A is a diagram showing the results of the lesion range identified in Example 1.
  • FIG. 12B is a diagram showing a finding by a pathologist of the above-mentioned lesion range.
  • FIG. 13A is a diagram illustrating an example of blood vessels excluded using predetermined conditions in Example 2.
  • FIG. 13A is a diagram illustrating an example of blood vessels excluded using predetermined conditions in Example 2.
  • FIG. 13B is a diagram showing an example of a fat droplet excluded using predetermined conditions in Example 2.
  • FIG. 14 shows the determination results of BH performed using predetermined conditions in Example 2.
  • FIG. 15A shows a determination example of BH performed in the second embodiment.
  • FIG. 15B shows a determination example of BH performed in the second embodiment.
  • FIG. 15C shows a determination example of BH performed in Example 2.
  • FIG. 15D shows a determination example of BH performed in Example 2.
  • fatty liver disease includes alcoholic fatty liver disease caused by excessive intake of alcohol and non-alcoholic fatty liver disease that occurs in people without significant drinking history.
  • -Alcoholic fatty liver disease and in the following, it is written using its acronym NAFLD).
  • NAFLD The appearance of macroscopic hepatic fat deposition in biopsy images is common to all diseases.
  • NAFLD NAFLD
  • a simple fatty liver that does not involve inflammation or fibrosis of tissue. In this case, the improvement in obesity is often resolved, and the prognosis is good.
  • the other is NASH described above, which is associated with tissue inflammation and fibrosis and includes progressive cases. Progressive cases may lead to liver cirrhosis or liver cancer.
  • the number of patients with NASH is said to be on the rise around 60 million in the world and about 1 to 2 million in Japan comparable to viral hepatitis B or C, and is on the rise.
  • symptomatic drug treatment is given when fibrosis is beginning to progress, but there is no approved NASH treatment yet.
  • liver when it is recognized that liver fatification has progressed to some extent or more by blood test and abdominal echo test. Biopsy is performed to confirm the presence of inflammatory cell infiltration, balloon-like hepatocytes, and liver fibrosis seen in NASH liver.
  • the round and white images aligned in the vicinity of the center on the left and right are liver cells that have undergone steatosis.
  • the liver biopsy image in FIG. 1B shows BH and inflammatory cells, and the arrow shows an example of BH.
  • the present inventors have performed image processing for identifying an image of BH contained in a liver biopsy image with accuracy close to discrimination by an experienced pathologist from data of the liver biopsy image. I thought about the method.
  • an apparatus for executing an image processing method for performing a diagnosis based on a pathological image data conventionally based on analysis of pathological image data conventionally performed by an experienced pathologist is described in detail below. It demonstrates as a pathological-diagnosis apparatus which concerns on embodiment.
  • the solution to the problem of identifying the image of BH as described above is a clue, and in the following, the method of identifying the image of BH included in the liver biopsy image is taken as an example of the embodiment of the present invention And although an Example is described, the scope of application of the present invention is not limited to this. Other applications of the invention will be described later.
  • FIG. 2 is a block diagram showing the configuration of the pathological diagnosis apparatus according to the embodiment.
  • the pathological diagnosis apparatus 10 processes the data of the image in which the region to be diagnosed of the body is taken to identify the lesion range shown in the image, and outputs the diagnosis result based on the identified lesion range.
  • the pathological diagnosis apparatus 10 may be used as an electronic computer including a storage device (not shown) for storing a program for this process and an arithmetic processing unit (processor, not shown) for executing this program, or a target disease. It is realized as an integrated circuit (micro controller) included in a device or the like dedicated to pathological diagnosis.
  • the pathological diagnosis apparatus 10 includes an image acquisition unit 110, an image division unit 130, an outline extraction unit 150, a lesion range specification unit 170, and a diagnosis result output unit 190.
  • the image acquisition unit 110 acquires an image in which a region to be diagnosed of the body, which is a target of processing by the pathological diagnosis apparatus 10, is captured. More specifically, for example, data (image data) of an image obtained by imaging with the imaging device 20 is acquired.
  • This image in the present embodiment is a biopsy image.
  • it is a microscope image of a slide sample obtained by fixing, slicing, and staining a tissue collected by a surgical technique from a subject to be examined.
  • this image data is obtained, for example, by photographing this microscope image with a digital camera which is an example of the imaging device 20.
  • the imaging apparatus 20 is not particularly limited as long as it is an apparatus capable of outputting image data that can be processed by the pathological diagnosis apparatus 10, and an image scanner including a film scanner may be mentioned as another example. Thereby, image data which can be processed by the pathological diagnosis apparatus 10 can be obtained from a liver biopsy image of a past case photographed using a film.
  • the image of the process target of the pathological diagnosis apparatus 10 may be acquired from the storage device 30 that stores image data acquired by imaging in the past.
  • the storage device 30 is a hard disk drive or a solid state drive provided in an external server device.
  • the image acquisition unit 110 may be input from various storage media 40 such as a recordable compact disc or a DVD.
  • an image to be processed may be stored in a storage device provided in the pathological diagnosis apparatus 10 and read from the storage device.
  • FIG. 3 is a block diagram showing a functional configuration of the image dividing unit 130 provided in the pathological diagnosis apparatus 10. As shown in FIG.
  • the image dividing unit 130 includes a statistical processing unit 131, a normalization unit 133, and a region dividing unit 135.
  • the statistical processing unit 131 acquires, from the pixel data of the image acquired by the image acquisition unit 110, the frequency distribution of the appearance frequency of the luminance of the pixel.
  • the luminance of the pixel is represented, for example, by an 8-bit value (0 to 255).
  • the statistical processing unit 131 acquires the frequency distribution of 256 classes from 0 to 255 based on the luminance value of the pixel.
  • the luminance value of each pixel may be directly indicated in the pixel data, or various pixel values indicated by the pixel data, for example, R (Red) value, G (Green) value, and B (Blue) value. It may be calculated (converted) from the color values.
  • the luminance value of each pixel may be expressed by more gradations such as 16 bits or 32 bits.
  • the normalization unit 133 normalizes the frequency distribution acquired by the statistical processing unit 131. For example, in an execution environment in which luminance values can take values from 0 to 255, the entire frequency distribution is expanded so that the minimum value of classes having frequency distribution is 0 and the maximum value is 255.
  • FIGS. 4A and 4B are diagrams for describing an overview of the frequency distribution normalization process by the normalization unit 133.
  • FIG. FIG. 4A is a schematic view of the frequency distribution of the luminance values acquired by the statistical processing unit 131.
  • FIGS. 4A and 4B and FIG. 4C described later show only the continuous function approximating the line connecting the tops of the columns of the histogram of the frequency distribution, and the columns are omitted for the sake of convenience.
  • FIG. 4A shows the frequency distribution of luminance values of an image.
  • the minimum value of the class in which the frequency is distributed is greater than 0 and the maximum value is less than 255.
  • FIG. 4B shows the minimum value of the class in which the frequencies are distributed.
  • the maximum value of the histogram does not change before and after normalization, and the peak formed by the histogram is expanded in width while maintaining the original shape to some extent.
  • the normalization processing by the normalization unit 133 may be omitted.
  • the region dividing unit 135 executes region division of the input image based on the frequency distribution after the normalization processing by the statistical processing unit 131.
  • the area division unit 135 uses a mixed Gaussian distribution method.
  • a mixed Gaussian distribution method Use More specifically, a plurality of Gaussian distributions (normal distributions) are adjusted with respective weighting coefficients, averages, and covariances so as to approximate continuous functions approximating the histogram of the frequency distribution as described above. And linear combination.
  • FIG. 4C is a diagram for describing an application example of the mixed Gaussian distribution method.
  • the combination of a plurality of normal distributions indicated by a broken line, a dotted line, or an alternate long and short dash line curve is approximated to a histogram indicated by a solid line (a continuous function approximating a line connecting the tops of the columns).
  • Modeling the frequency distribution with a plurality of normal distributions in this way may be referred to as dividing the (histogram) of the frequency distribution by the normal distribution in the present disclosure, and the mixed Gaussian distribution method is used for this processing.
  • the region division unit 135 divides the input image into a plurality of regions by treating sets (regions) of pixels corresponding to the plurality of normal distributions as the same region.
  • a pixel corresponding to a certain normal distribution means, for example, a pixel having a value falling within a predetermined deviation of one normal distribution.
  • the division of pixels according to the corresponding normal distribution, the extraction of the pixels corresponding to the specific normal distribution, the specific normal A process according to a common rule (algorithm) for pixels corresponding to the distribution may be mentioned.
  • the above-mentioned histogram does not include spatial information (position information) of each pixel, information of luminance (or a color converted to luminance) is reflected.
  • the information on the luminance of each pixel is considered to reflect to some extent the composition or structure of the material of the object shown in the portion of the pixel.
  • the inventors consider that the brightness or color can be treated as information reflecting the material or structure of the object.
  • the mixed Gaussian distribution method is used for image division because images of objects of the same or similar material or structure, for example, the same structure in cells, are obtained by dividing the luminance histogram. It is based on the assumption that it is comprised by the pixel which belongs to the same normal distribution among several normal distributions.
  • the pixel value of each pixel is binarized based on the magnitude relationship with the threshold, and the image is divided into binary areas.
  • One of the conventionally proposed techniques for setting the threshold value to an optimal value is adopted in the technique described in Patent Document 1.
  • This technique is likely to produce good results in the separation of images that contain more than a certain amount of contrast.
  • the differences between the images of the objects in the images or between the images of the objects and the background are small, they may be in the same area.
  • the set threshold is the range It may go inside. Therefore, as a result of image segmentation, an image of an object in an image, for example, an image of a structure having a different material composition in a cell may enter a single region or an image of the same structure may enter a plurality of regions. The possibility of doing so is not fully considered.
  • the region of the image of the object having high commonality of the composition or structure of the material is likely to be treated as a single region.
  • the region of the image of the less common object is likely to be treated as another region. Therefore, the image is more appropriately divided, that is, a divided image according to the object shown in the image, for example, a biopsy image, it is easy to obtain divided images such as structures having different material compositions in cells.
  • the threshold method it is possible to obtain an appropriate image segmentation result by executing the binarization procedure a plurality of times with different settings.
  • binarized image data is acquired from each of two types of separate data (RGB image data and CIE Luv image data) of one image, and one area is used in each of the subsequent procedures. (Cytoplasmic region, background region) is obtained.
  • a third region is further acquired by using the negative logical sum of two divided images obtained by the threshold method.
  • the mixed Gaussian distribution method used in the present embodiment it is possible to directly acquire even three or more areas used in the subsequent procedure by one image division process from one image data, so efficiency Is good.
  • a continuous function of a histogram of pixel values (luminance values or color values) of an image to be processed is regarded as a linear combination of a plurality of normal distributions, and the histograms Divide into distributions.
  • the weighting factor given to each normal distribution in this linear combination corresponds to the mixing ratio adjusted between the normal distributions, and the sum of all the weights is 1.
  • a set of pixels having pixel values in each normal distribution obtained in this manner is treated as the same region. Also, these normal distributions do not overlap in the histogram. That is, since one pixel value does not belong to a plurality of normal distributions, each pixel does not belong to a plurality of regions (a pixel and two or more normal distributions do not correspond to each other). Furthermore, there is no gap between adjacent normal distributions in the histogram. Therefore, by using the mixed Gaussian distribution method, each pixel in one image can be completely attributed to any one region according to the pixel value, and images of structures different in material composition are displayed. A plurality of regions, each containing a high percentage, is obtained.
  • the number of normal distributions used may be appropriately adjusted so as to obtain more suitable results according to the purpose of diagnosis.
  • Data resulting from such image division processing (divided image data) acquired by the image division unit 130 is input to the contour extraction unit 150.
  • the contour extraction unit 150 performs contour extraction in one region selected from a plurality of regions indicated by the divided image data input from the image division unit 130.
  • the contour extraction unit 150 is realized by a processor of an electronic computer or integrated circuit (micro controller) that reads out and executes the program from a storage device that stores a program for this process.
  • Selection of an area to be subjected to outline extraction may be performed by human hands, or the outline extraction unit 150 may be performed based on pixel values of pixels included in each area. Details of the processing of selection by the contour extraction unit 150 will be described later.
  • the process of contour extraction may be performed using a known contour extraction algorithm.
  • a known contour extraction algorithm For example, the algorithm of Suzuki 85 is mentioned (refer nonpatent literature 1).
  • the contour extraction unit 150 processes a dilation, an erosion, or a closing or opening including these for the purpose of emphasizing or deleting a small line or point appearing in an image as a pre-processing of the contour extraction. May be further executed.
  • the closing process the bright small area included in the dark area is erased
  • the opening process the dark small area included in the bright area is erased.
  • the size of the area to be extinguished can be adjusted by changing the number of repeated expansion and contraction in each process.
  • the outline extracted in the outline extraction process is the outline of the intracellular structure consisting of a cell membrane or the like, or the outline of a structure consisting of proteins, saccharides etc. existing inside and outside the cell. This pretreatment is performed as needed in order to make the structure used for pathological diagnosis stand out among these, or to make things other than this structure inconspicuous.
  • the divided image data including the result of the contour extraction is input to the lesion area identification unit 170.
  • the lesion area identification unit 170 is also realized by a processor of an electronic computer or integrated circuit (micro controller) that reads out and executes the program from a storage device that stores a program for specific processing.
  • a processor of an electronic computer or integrated circuit micro controller
  • the lesion range identification unit 170 that receives the divided image data including the result of the contour extraction uses the contour extracted by the contour extraction unit 150 to identify the lesion range shown in the image indicated by the image data.
  • the process of specifying the lesion range by the lesion range specifying unit 170 will be described later using an example.
  • Data indicating the identified lesion range is input to the diagnosis result output unit 190.
  • the diagnosis result output unit 190 outputs a diagnosis result based on the lesion range identified by the lesion range identification unit 170 as data (diagnosis result data).
  • Diagnostic results can be output in various ways.
  • the data may be output as data of an image attached with a figure or a symbol indicating a lesion range in the input liver biopsy image of a test subject.
  • it may be output as statistical data indicating the number, size and the like of the lesion area.
  • data indicating qualitative information such as the necessity of further examination or the degree (progression degree) of the disease can be obtained if the disease can be further obtained from the presence or absence of the disease or the information obtained from the image. Good.
  • Such data may be output in combination.
  • the diagnosis result data may be, for example, data in a format used for display or printing for the purpose of viewing by a doctor or a person to be examined.
  • the diagnostic result data output from the diagnostic result output unit 190 is input to the display or the printer.
  • the diagnostic result data may also be in a form that can be used for further processing by the computer for other purposes, such as statistical analysis, or machine learning teacher data to aid in diagnosis by artificial intelligence.
  • the diagnostic result data output from the diagnostic result output unit 190 is stored in a storage device inside or outside the pathological diagnostic device 10.
  • the image acquisition unit 110, the image division unit 130, the contour extraction unit 150, the lesion range specification unit 170, and the diagnosis result output unit 190 have a functional configuration of the pathological diagnosis apparatus 10 realized by an electronic computer or an integrated circuit. It is an element, and in the pathological diagnosis apparatus 10, a program read from a storage device is realized by being executed by a processor.
  • means for realizing these functional components are not particularly limited.
  • an operating system such as Windows (registered trademark), Linux (registered trademark), and Android (registered trademark) is installed and operated.
  • a program may be realized by being executed by a processor on a computer or an integrated circuit by combining a program included in an OpenCV image processing library and a program described in a programming language such as C ++ as necessary.
  • CAE Computer Aided Engineering
  • MATLAB may be used on such an electronic computer or the like, or image processing software provided with a function corresponding to processing by each component, or each component It may be realized using a program in which the processing content is described.
  • FIG. 5 is a flow diagram for describing a series of procedure examples included in the operation of processing from acquisition of an image by the pathology diagnostic apparatus 10 to image processing to output of diagnostic result data.
  • the image acquisition unit 110 acquires an image to be processed (step S10).
  • the image to be processed is as described above, and more specifically, is an image showing a region to be diagnosed, and is, for example, a biopsy image.
  • FIG. 6A is a flowchart for explaining a procedure example of image division processing by the image division unit 130.
  • the statistical processing unit 131 acquires the frequency distribution of pixels based on the acquired pixel information of the image (step S21).
  • step S22 the obtained frequency distribution is normalized by the normalization unit 133 (step S22).
  • the mixed Gaussian distribution method is applied to the normalized frequency distribution by the region dividing unit 135, and the frequency distribution is divided using a plurality of normal distributions (step S23).
  • the region dividing unit 135 divides the image into a plurality of regions by treating the pixels corresponding to each of the plurality of normal distributions as a single region (step S24).
  • the outline extraction unit 150 selects an area which is an object of outline extraction from a plurality of areas included in the image (step S30).
  • FIG. 6B is a flow chart showing an example of the procedure of this selection. In this example, it is assumed that there are two areas, the first area and the second area, which are candidates for the process of contour extraction.
  • the first area and the second area are areas obtained as a result of the above-described mixed Gaussian distribution method, and therefore can be distinguished by their respective average luminances (median values) different from each other.
  • the contour extraction unit 150 selects, for example, either the first region or the second region according to the result of comparing the pixel values of the pixels forming the input biopsy image with a predetermined condition (steps S31 to S33). .
  • predetermined conditions here different ones are used depending on the type or state of a structure whose contour is extracted in a biopsy image. This is because structures differ in their appearance depending on the type or condition. Examples of the type or condition of the structure that may affect the appearance include the body part from which the cells were collected, the type and result of the treatment for sampling such as staining (for example, the degree of staining in the case of staining) Degree etc.
  • the predetermined condition may relate to, for example, the luminance value of a biopsy image, or may be related to any color value if the biopsy image is a color image. More specifically, it is a condition regarding the magnitude relationship between various statistics such as a representative value obtained as sample data of such values and a predetermined threshold, or the magnitude relationship between statistics, and the like. Such a statistic is an example of a feature that indicates features of the entire biopsy image or divided regions of the biopsy image. Examples of specific feature quantities used under predetermined conditions are shown in the examples described later.
  • FIG. 6C is a flow chart showing an example of the procedure when pre-processing is performed.
  • the contour extraction unit 150 changes the procedure until the subsequent contour extraction, depending on whether the selected region is the first region or the second region.
  • the selected area is the first area ("first area" in step S41)
  • the first area is further divided into smaller areas and one of them is selected (step S42). ).
  • the process of this division may be performed again by the image division unit 130 in the same manner as step S20.
  • the structure from which the contour is extracted and the other structures are relatively close in material or structure, these structures may be included in the same area in one division. In such a case, it is possible to obtain an area including a higher proportion of the structure from which the outline is extracted by performing image division repeatedly.
  • Pre-processing A is applied to the selected area (step S43), and thereafter contour extraction is performed (step S45).
  • the pretreatment A is, for example, the opening described above.
  • the pre-processing B is applied to the second area (step S44), and thereafter contour extraction is performed (step S45).
  • the pretreatment B is, for example, the above-mentioned closing.
  • Such processing according to the selected area may be performed for the purpose of more reliable extraction of the contour of the structure used for pathological diagnosis or the improvement of the accuracy of the subsequent processing on the extracted contour.
  • step S20 The series of procedures shown in FIG. 6C is merely an example, and the procedure until the contour extraction algorithm is applied to the region obtained in step S20 is not limited to this.
  • the second image division and pre-processing are performed as needed as described above. Also, regardless of the area selected in light of the conditions, the contents of the pre-processing prior to step S45 may be common. Further, the number of regions treated as options in step S41 may be plural, and is not limited to two as in the above example. The same applies to step S42.
  • the lesion range identification unit 170 identifies a lesion range that is a range in which a lesion appears in the pathological image, using the extracted contour (step S50).
  • pixel information of pixels in a range within the contour may be used.
  • Some structures are nearly homogeneous if not abnormal, but if there is an abnormality, foreign substances such as impurities may be mixed, and the foreign substances may have a color or brightness different from that of the structure.
  • differences may occur in color or brightness.
  • Foreign matter in the structure may appear as an image in which pixel values or luminance values of each color in the contour of the structure are different from those in other portions in the biopsy image.
  • the former is almost uniform in internal color, but BH with fibrosis is in its inside The reservoirs appear in different colors.
  • step S30 an area where this structure, for example, a certain type of cell appears in the biopsy image is selected, and in step S40, the outline of the structure is extracted, and then in step S50, the outline of the structure is extracted. If the value indicating the variance of the pixel values of the pixels included in the pixel exceeds the predetermined threshold, the range within this contour may be identified as the lesion range.
  • This threshold is an example of the eighth threshold in the present embodiment.
  • the average of pixel values may be used instead of the dispersion of pixel values, or the pixel value of a specific color in the contour is higher or The number or proportion of low pixels may be compared to a predetermined threshold to determine whether the range within the contour is a lesion range.
  • features relating to the shape of the contour may be used.
  • Some structures exhibit almost the same shape in both vertical and horizontal dimensions if there is no abnormality, but if there is an abnormality, they may be deformed to have an elongated shape, or they may appear elongated due to the effect of foreign matter due to the abnormality.
  • the circumscribed ellipse of the contour of the extracted structure is calculated, and the range within this contour is the ratio of the minor axis to the major axis of the circumscribed ellipse (aspect ratio) is equal to or less than a predetermined threshold. May be identified as the lesion area.
  • This threshold is an example of the first threshold in the present embodiment.
  • both the outline of the extracted structure and the circumscribed ellipse may be used.
  • Some structures have a shape close to a perfect circle when there is no abnormality, and if there is an abnormality, they may be deformed and have a irregular shape, or they may appear distorted due to the effect of foreign matter due to the abnormality. is there.
  • the ratio of the area of the contour to the area of the circumscribed ellipse is equal to or less than a predetermined threshold
  • the range in the contour may be specified as the lesion range.
  • This threshold is an example of the seventh threshold in the present embodiment.
  • the distortion in the shape of such a structure may be determined based on the distance from the circumscribed ellipse on the biopsy image to the contour therein, and the lesion area may be identified according to the result. For example, with respect to an outline of a certain extracted structure, if the pixels on the outline include more pixels than the predetermined threshold from the pixels on the circumscribed ellipse, the number of pixels within the outline is The range may be identified as a lesion range.
  • the predetermined threshold regarding this distance is an example of the second threshold in the present embodiment.
  • the pixels on this contour include a pixel whose distance from the pixel on the circumscribed ellipse exceeds a predetermined threshold more than a predetermined ratio
  • the range within this contour may be specified as the lesion range .
  • the predetermined threshold regarding this distance is an example of the third threshold in the present embodiment.
  • the predetermined number or the predetermined ratio may be a fixed value, or a value that can be manually adjusted by a user such as a pathologist or automatically adjusted by the pathological diagnosis apparatus 10. It is also good.
  • the user or the pathological diagnostic device 10 changes the value to a value suitable for observation for diagnosis in accordance with, for example, the magnification of a pathological image or the specification (number of pixels, bit depth, etc.) of the imaging device 20 or image data.
  • the ratio of the distance to the major axis, minor axis, or peripheral length of the ellipse may be used other than the above example. That is, whether the ratio of this distance to the major axis of the circumscribed ellipse exceeds a predetermined threshold (example of the fourth threshold) or does the ratio of the minor axis of the circumscribed ellipse exceed a predetermined threshold (example of the fifth threshold)
  • the range within the contour is specified as the lesion range based on whether the condition such as whether the ratio to the perimeter of the circumscribed ellipse exceeds a predetermined threshold (example of the sixth threshold) is satisfied or not It may be done. The higher such a ratio, the shape of the structure can be said to be distorted relative to its circumscribed ellipse.
  • the distance between the center of the circumscribed ellipse and the center of gravity (geometric center) of the contour in it may be used.
  • the circumscribed ellipse of the extracted contour of the structure is used to determine the characteristic of the shape of the structure, but instead of the circumscribed ellipse, a convex hull of a set of all points on the contour
  • a convex hull of contour may be used.
  • the ratio of the size in the lateral direction (short diameter) to the longitudinal size (long diameter) of the convex hull is the same as in the case of the circumscribed ellipse.
  • the lesion range is based on numerical values such as variance, ratio, number, or ratio, but in the case of the lesion range, A determination may be made as to the extent of the lesion to be used as an indicator of disease progression. For example, these numerical values may be used as a score of continuous values or discrete values indicating the degree of the lesion, or the lesion may be graded based on these numerical values. Alternatively, instead of the binary classification determination as to whether or not the lesion area is present, three or more evaluations regarding the possibility of the lesion area may be made based on these numerical values.
  • the color of the range in the contour that is, the condition on the variance of the pixel values, the mean, etc., and the geometric condition on the shape or the area of the contour or its circumscribed figure is satisfied. , Determination of whether or not it is a lesion range, or evaluation of the possibility of being a lesion range may be made.
  • the combination of conditions is not limited to the combination of the condition on color and the geometric condition, and may be a combination of conditions on color or a combination of geometric conditions. For example, based on whether two or more conditions regarding the shape of the contour are satisfied, it may be determined whether or not the area is a lesion area, or may be evaluated as to the possibility of being a lesion area.
  • the diagnosis result output unit 190 adds the processing as necessary to the data as data corresponding to the purpose of use (step S60).
  • the identification of the non-lesioned area in the biopsy image may be performed using the various conditions described above.
  • the range satisfying the pixel value or the geometrical predetermined condition may be excluded from the range specified as the lesion range.
  • a lesion area for hepatocytes when specifying a lesion area for hepatocytes, it is possible to exclude a range of images of structures other than hepatocytes, for example, stroma or blood vessels that appear mixed in the selected area.
  • the determination based on the size of the major axis or the minor axis of the outline of the structure or the circumscribed figure thereof may be performed.
  • a threshold of 15 ⁇ m may be set, and even if it is a range satisfying the condition of the lesion range regarding color, shape or area, it may be specified as not being the lesion range if it is below this threshold.
  • a portion that may be a lesion range in a biopsy image and a range that is not a lesion range are identified with higher accuracy, which leads to an improvement in examination accuracy.
  • a structure having an appearance similar to that of a lesion area which is not a lesion area to be called noise may be mixed. The possibility of erroneously identifying a range including such a structure as a lesion range is suppressed.
  • the above operation includes a procedure which is a target of determination in which the pixel value of the biopsy image or the divided area thereof is illuminated under a predetermined condition, and in this pixel value, the determination in light of the predetermined condition Before the process, normalization may be performed as needed.
  • the content of the pre-processing performed by the contour extraction unit 150 before the contour extraction in the above is changed depending on whether the selected region is the first region or the second region.
  • the determination method of the content of is not limited to this. For example, it may be determined based on various statistics of the pixel value of the selected area, such as the dispersion value of the frequency distribution of the luminance value. As another example, it may be determined based on the area ratio of the selected area to the non-selected area or the entire biopsy image.
  • the criteria for the determination of the content of pre-processing taking these examples are pre-selected based on the appearance change that may be caused by the lesion in the image of the site to be examined that appears in the biopsy image.
  • the change in appearance As a more specific example of the change in appearance, as the fibrosis of the tissue progresses, the variation in luminance value of the image increases, or the second image mainly including the image of the first region mainly containing the image of the cytoplasm A change can be made such that the area ratio to the area is reduced.
  • the content of the pre-processing is that the opening processing is performed on the first area as the pre-processing if the dispersion value of the luminance value is less than or equal to a predetermined value. To be determined.
  • the first region is further divided, and a region obtained by this division Among the above, it may be determined that the opening process is applied to a region of higher average brightness.
  • Such a change can be determined in advance, for example, with the knowledge of a pathologist or the like. Also, the content of the pre-processing may be determined based on a plurality of these changes.
  • the process by the image division unit 130 may be performed as a process after the division process. That is, it may be performed after division of the image into a plurality of regions and before execution of contour extraction.
  • the contour extraction unit 150 and the lesion range specification unit 170 are functional components realized by execution of a program by the arithmetic processing unit in the pathological diagnosis device 10, and The division of each of the above-described procedures as the operation of is for convenience of explanation. It is the intention of the present invention as long as it is reasonable, even if the division is different from the above. Further, the same applies to all functional components, including the image acquisition unit 110, the image division unit 130, and the diagnosis result output unit 190.
  • each procedure of operation is not limited to the above, and may be changed as long as it is reasonable, and therefore, changes may be added in each procedure.
  • the selection of the region is not performed prior to the extraction of the contour, and may be performed until the contour extraction or the identification of the lesion range for all the regions. Selection of the regions may then be performed based on the contour extraction in each region or the specific result of the lesion area. In this way, if the criteria for selecting a region that contains a higher percentage of structures used for the target of the lesion are not well defined, or if a pathological diagnosis is performed on a pathological image that includes exceptional image information It is thought that will be turned later.
  • FIG. 7A shows an original image of a liver biopsy image used in this example
  • FIG. 7B shows a histogram of the original image.
  • the actual original image was a color image to which hematoxylin and eosin staining was applied in the process of sampling.
  • FIG. 7B is a histogram of the luminance, R value, G value, and B value of this original image in order from the top.
  • FIG. 8A, FIG. 9A and FIG. 10A obtained by applying the mixed Gaussian distribution method by the image dividing unit 130 to this liver biopsy image are shown in FIG. 8A, FIG. 9A and FIG. Histograms of values, G values and B values are shown in FIG. 8B, FIG. 9B and FIG. 10B.
  • FIG. 8A is an image of the first region with the highest average brightness, and is an image (hereinafter also referred to as a cytoplasmic region image) in which the region corresponding to cytoplasm is mainly captured.
  • FIG. 9A is an image of the second region having the next highest average brightness, and is an image mainly including a region corresponding to a structure or fiber close to a fiber such as actin (hereinafter also referred to as a fiber region image). is there.
  • FIG. 10A is an image of the third region with the lowest average luminance, and is an image in which the region corresponding to the cell nucleus is mainly captured.
  • hematoxylin and eosin staining cell nuclei are stained in blue purple by hematoxylin.
  • cytoplasm and fibers are stained by eosin at different concentrations from red to pink for each type of structure or different materials or structures.
  • the inventors have the contour extraction unit 150 select an image to be used as a target of contour extraction from these three images obtained as a result of division (step S30).
  • a diagnosis for NASH is made based on whether steatosis-induced hepatocytes are characterized by the appearance of NASH as BH. As degeneration progresses, BH becomes lighter, rounder and more prominent than normal hepatocytes. Therefore, extracting the contour of a cell or its main structure from a cytoplasmic region image may be an option.
  • BH contains granular aggregates consisting of a part of fibers. It is known to an experienced pathologist that the shape of the hepatocytes planarly grasped in the biopsy image may appear to be missing from the original rounded shape by this aggregate. It was Using this point, if there is a possibility of advanced NASH to some extent, it may be possible to obtain a better result by performing contour extraction on a fiber region image. That is, if the determination as to whether to use the image of the first area or the image of the second area can be made in light of some conditions, diagnosis can be performed more efficiently.
  • the present inventors examine liver biopsy images of a large number of cases, and empirically use one method for grasping from the image information the proportion of fiber images in the cytoplasmic region image, which increases as fibrosis progresses. I found it. This is derived from the tendency found in the ratio of the two maximum values in the frequency distribution of B value in the first region.
  • the second maximum value is Although the value is smaller than the first maximum value, the ratio of the second maximum value to the first maximum value increases as the fibrosis progresses. This is considered to result from the inclusion of mainly the blue component with lower gradation than the cytoplasm, as also seen in the histogram of FIG. 9B.
  • the inventors of the present invention in the contour extraction unit 150, an image of a target for extracting the contour when the ratio of the second maximum value to the first maximum value in the distribution of the B value is larger than the threshold value 0.55.
  • fiber area image was selected.
  • a cytoplasmic region image that is, an image of the first region was selected as an image of an object whose contour is to be extracted.
  • FIG. 11 is an image obtained by performing the opening process on the image of the first area of FIG. 8A. The dark small area included in the bright area disappears from the image of FIG. 8A.
  • the contour extraction unit 150 applies the Suzuki 85 algorithm to the image of the first area after the opening processing to extract the contour (step S40).
  • the present inventors have the lesion range identification unit 170 execute a process of identifying the pathological range (step S50).
  • the present inventors cause the lesion range identification unit 170 to calculate the circumscribed ellipse of the extracted contour, and find the ratio of the area inside the contour to the area of the circumscribed ellipse, and this ratio is less than the threshold 0.970.
  • the contour was treated as a candidate for the contour of BH.
  • the value of this threshold value 0.970 is an example of the seventh threshold value in the present embodiment, which is obtained empirically by the present inventors.
  • the present inventors make the lesion range identification unit 170 find the ratio of the minor axis to the major axis of the circumscribed ellipse described above, and when this ratio is less than the threshold 0.999, the contour is a candidate for the contour of BH.
  • This threshold 0.999 is an example of the first threshold in the present embodiment, which the present inventors obtained empirically.
  • the inventors of the present invention specify the contour as a candidate for the contour of BH.
  • Treated as The threshold value 0.43 is an example of the eighth threshold value in the present embodiment, which is obtained by the present inventors empirically.
  • the present inventors use the lesion range identification unit 170 as a candidate for the contour of BH, which satisfies all of the three conditions respectively including any of the first threshold, the seventh threshold, and the eighth threshold described above. I was narrowed down as.
  • the present inventors have the lesion range identification unit 170 determine the distance to the convex hull of this contour as the distance to the circumscribed figure of this contour.
  • the contour of which the distance exceeds a predetermined threshold is determined by the contour of BH and the lesion range identifying unit 170.
  • the range of the contour is a lesion range specified by the lesion range specifying unit 170.
  • FIG. 12A shows the result of the pathological range thus identified.
  • FIG. 12B is a view showing a finding by a liver pathologist who saw the original image.
  • the contour extracted by the contour extraction unit 150 appears.
  • both ends of the part where the outline deviates inward from the convex hull are symbols of triangles, The farthest point from the connected straight line is indicated by a cross symbol.
  • Such a line or each symbol is an example of what is used to present a feature or a specified lesion range used for pathological diagnosis on an image.
  • the image of the cells corresponding to the lesion range specified by the lesion range specifying unit 170 is an elongated circle on the original image input to the pathological diagnosis device 10 in the example. It is indicated by. Further, regardless of the specific result of the pathological diagnosis device 10, the liver pathologist points the cells determined to be BH by looking at the original image with arrows.
  • the lesion range identifying unit 170 determined that the cells not partially determined by the liver pathologist to be BH are also BH, but determined by the liver pathologist to be BH The cells were all judged to be BH.
  • the present inventors performed the determination of BH using the pathological diagnosis apparatus 10 in 31 liver biopsy images in the same manner as the above-described example, and compared the result of the determination with the findings by the liver pathologist.
  • the cells determined as BH by the pathology diagnostic apparatus 10 include 45 out of 51 cells determined as BH according to the findings of the liver pathologist, and the indication rate is approximately 88.2%. there were.
  • the candidate for BH is identified using the condition regarding the shape or area ratio of the extracted contour and its circumscribed figure using the pathological diagnosis device 10, and among them, the major axis is 15 ⁇ m or more From this, the final BH identification was performed using conditions to exclude blood vessels or fat droplets. In addition, identification of the candidate of BH was performed in the next two steps.
  • Step 1 Identification based on outline chipped out and dent based on outline
  • Step 2 Specification based on area ratio Note that the method used in Step 1 performs processing faster than the method used in Step 2 However, the method used in step 2 is less likely to leak when identifying BH, but it tends to be more likely to determine normal cells as BH in excess.
  • Ratio of area in contour to area of circumscribed figure ⁇ 0.799
  • Aspect ratio of circumscribed figure ⁇ 0.72
  • Pixel values of the area in the contour 0.15 ⁇ R ⁇ 0.29, 0.40 ⁇ G, and B ⁇ 0.29
  • the parameters included in these conditions are values obtained experimentally by the present inventors.
  • FIG. 13A shows an example of an image of blood vessels detected and excluded in a liver biopsy image using the above conditions.
  • the actual processing is performed on a color liver biopsy image, and in this figure, the images (two places) of the blood vessels excluded as a result thereof are shown surrounded by dashed ovals.
  • FIG. 13B is a diagram showing an example of a fat drop image detected and excluded in a liver biopsy image using the above conditions. Note that the actual processing is performed on a color liver biopsy image, and in this figure, the images (6 places) of fat drops excluded as a result thereof are shown surrounded by dashed ovals.
  • FIG. 14 shows the determination results of BH performed using these conditions.
  • the BH number is the number of BH indicated by a liver pathologist in a liver biopsy image. Further, the indicated number is the number of BH indicated using the above condition by the pathological diagnosis device 10. Further, the number of correct answers is the number of BHs pointed out by the pathology diagnostic apparatus 10 that matches the one pointed out by the liver pathologist, and the number of incorrect answers is a BH among the BHs pointed out by the pathology diagnostic apparatus 10 Not the number of cells diagnosed.
  • the correct diagnosis rate is the number of correct answers / number of indications
  • the misdiagnosis rate is the number of incorrect answers / number of indications
  • the indicated rate is the number of correct answers / BH number.
  • 15A, 15B, 15C, and 15D are liver biopsy images of the specimens E, F, H, and I listed in the table of FIG. 14, respectively, and show an example of determination of BH.
  • the solid circle is the region of BH identified in both Stage 1 and Phase 2
  • the dotted circle is the region of BH identified in Phase 2 only
  • the arrows are the liver pathologists. The BH indicated by visual observation performed separately is shown.
  • a slightly bright area of about two thirds from the top of the right half of the image is an area in which cells close to BH form a population.
  • the wrong answer in this area is close to the correct answer, or it can be said that the liver pathologist has identified a cell in a place where he should closely watch the change to BH in the future.
  • the example of the sample F is an excellent example in which the result equivalent to a liver pathologist was obtained in any of the stages 1 and 2.
  • the sample I is an example shown in FIG. 13A in which the image of the blood vessel is excluded. Even in the region once identified as BH in Step 1 or Step 2, as a result of excluding the image of the blood vessel, incorrect answers were reduced.
  • each above-mentioned threshold is an example to the last. It goes without saying that different values are used if the present invention is applied to the pathological diagnosis of other diseases, and different threshold values may be used in the pathological diagnosis of NASH.
  • conditions which are not used in the above-mentioned present embodiment can also be used for diagnosis relating to NASH.
  • diagnosis relating to NASH there were cases in which the determination regarding BH based only on the distance between the extracted cytoplasm outline and its convex hull or circumscribed ellipse showed high accuracy.
  • the circumscribing ellipse and the convex hull are illustrated as the circumscribing figure, but circumscribing figures other than the circumscribing ellipse or the convex hull, such as a regular polygon circumscribing the extracted contour are used May be
  • the graphic to be used is determined according to the shape of a cell or a structure to be observed for diagnosis, in the normal case or in the case of causing a lesion.
  • the selection of the area that is the target of outline extraction is performed based on the distribution of the blue component in the image of the first area, but is not limited to this.
  • an area to be subjected to contour extraction may be selected based on the ratio of the areas within the predetermined dispersion range of each peak.
  • the area may be selected based on a plurality of pixel values. For example, the determination may be performed in the light of each of the above conditions for at least two or more of the luminance value and each of the RGB color values, and the region may be selected based on the combination of the results. Also, the area may be selected based on the ratio of the area of the frequency distribution of two pixel values, the magnitude relationship of the maximum values, and the like.
  • pixel values used as criteria for selecting a region statistics (features) such as maximum values, and thresholds occur in tissues to be diagnosed. It may be different from the above-mentioned each example according to a lesion, a kind of staining solution used in sampling, etc. Also in the pathological diagnosis of NASH, a color value or a feature value different from the above-mentioned example Etc. may be used as a standard.
  • the numerical values used as the criteria for selecting the region are not limited to those obtained from the first image as in the above embodiment. Any of the feature quantities based on the pixel values of each region may be used, or numerical values derived from a plurality of feature quantities may be used.
  • the region is selected using one feature amount related to the B value of the entire original image of the biopsy image, but the numerical value derived from the plurality of feature amounts related to a plurality of pixel values of the entire original image is It may be used.
  • selection with high accuracy is possible with a selection method that uses feature quantities based on pixel values in each area, when a long time is required only for the process of dividing a biopsy image, feature quantities in each area are further determined It may be used as a simple selection method that does not require any problems.
  • elements found in each image shown in FIGS. 12A and 12B may be included in the diagnosis result output from the diagnosis result output unit 190.
  • the image indicated by the image data output from the diagnosis result output unit 190 has the feature of the image used for pathological diagnosis on the original pathological image, such as a line or a symbol of an outline seen in the image of FIG. 12A.
  • the elements shown may be superimposed.
  • a lesion range specified using a graphic superimposed on the original pathological image may be presented, such as a round box or an arrow seen in the image of FIG. 12B.
  • display / non-display of these lines, symbols, or figures as superimposed on the original pathological image may be output as an image that can be switched by the operation of the user.
  • an image obtained by correcting the brightness, color tone, contrast or the like may be appropriately used as the image presented to the user.
  • a pathologist who is a user can easily grasp a cell which has caused a lesion or a cell likely to be a lesion and use it as a reference for his / her diagnosis.
  • the pathologist may further adjust the parameters used in each process in the pathological diagnosis apparatus 10 by viewing the image. As a result, the user can obtain more appropriate pathological diagnostic images from the pathological diagnostic device 10 according to each case.
  • the pathological diagnosis apparatus 10 includes an image division unit 130, a contour extraction unit 150, a lesion range specification unit 170, and a diagnosis result output unit 190.
  • the image dividing unit 130 divides an image in which a region to be diagnosed of the body is captured into a plurality of regions based on the luminance values of the pixels constituting the image.
  • the contour extraction unit 150 extracts a contour in one region selected from the plurality of regions.
  • the lesion area identification unit 170 identifies the lesion area shown in the above-mentioned image, using the extracted outline.
  • the diagnosis result output unit 190 outputs a diagnosis result based on the identified lesion range.
  • features that are difficult to stably detect depending on human vision are accurately captured from an image in which a site to be diagnosed is captured, and a lesion range included in the image is identified based on the features. Also, the range of the identified lesion is presented by a user such as a pathologist in a form that can be used for diagnosis.
  • the lesion range identifying unit 170 may calculate a circumscribed figure of the extracted contour, and may identify the lesion range based on the circumscribed figure.
  • the lesion range identifying unit 170 may identify the range in the contour as the lesion range.
  • the lesion range is specified based on the shape of a structure or the like having an aspect ratio close to 1: 1 if normal.
  • one of the diameters is treated as the major diameter and the other as the minor diameter.
  • the lesion area identification unit 170 may identify the lesion area based on the distance from the circumscribed figure described above to the extracted contour present therein.
  • the lesion area is identified based on the degree of deformation of the specific structure.
  • the lesion area identification unit 170 determines the extracted contour (Condition 1)
  • the contour includes more than a predetermined number of pixels whose distance to the circumscribed figure exceeds a second threshold value.
  • Condition 2 The contour includes more than a predetermined percentage of pixels whose distance to the circumscribed figure exceeds a third threshold value.
  • the lesion area is identified based on the degree of deformation of the specific structure.
  • the lesion range identifying unit 170 may identify the range in the contour as the lesion range.
  • the lesion area is identified based on the degree of deformation of the specific structure.
  • the above circumscribed figure may be a convex hull or circumscribed ellipse of the extracted contour.
  • elliptical is used as a word of a concept including a perfect circle.
  • the lesion range identifying unit 170 may identify the range in the contour as the lesion range.
  • the image dividing unit 130 divides the frequency distribution of the appearance frequency of the luminance value of the above image into a plurality of normal distributions using a mixed Gaussian distribution method, and the pixels corresponding to each of the plurality of normal distributions
  • the image may be divided into the plurality of regions by treating a set as the same region.
  • one image can be divided into a plurality of regions mainly including structures having different materials or structures.
  • the above image is a color image
  • the contour extraction unit 150 determines the gradation of a predetermined color of the pixels constituting the first area or the second area of the color image obtained by the division by the image division unit 130.
  • One of a plurality of regions may be selected based on the appearance frequency of the value, and the contour may be extracted from the selected region.
  • the plurality of regions include a first region and a second region whose average luminance is lower than that of the first region, and the frequency distribution of the appearance frequency is the first maximum value and the first maximum value.
  • the contour extraction unit 150 detects the contour when the ratio of the second maximum value to the first maximum value is equal to or less than a predetermined threshold.
  • the first region may be selected as a target for extracting
  • the second region may be selected as a target for extracting an outline.
  • the material contained mainly in the structure reflected in the second area may increase the amount contained in the first area by the lesion.
  • the second area is used instead of the first area for extracting the contour when the lesion is not progressing, It is possible to switch the area which is the target of outline extraction.
  • the present invention has been described by taking a pathological diagnosis apparatus as an example, but the present invention is not limited to the image processing including the procedure for image processing among the processes executed in the pathological diagnosis apparatus. It can also be realized as a method. Furthermore, the present invention is also realized as a program that causes a general-purpose electronic computer to execute the procedure of each process performed by the pathological diagnosis device 10 or causes an arithmetic processing unit (processor) included in a microcontroller of a dedicated pathological diagnosis device to execute. It is possible. The effects as described above can also be obtained by these methods or programs.
  • the present invention is realized as an apparatus or the like for performing pathological diagnosis using a biopsy image, and is stable according to the experience of the diagnostician, the process of sampling, or conditions such as imaging. It is described as solving the problem that it was difficult to make a serious diagnosis.
  • the present invention can also utilize accumulated past pathological images as an asset, it is useful not only in the medical field but also in research.
  • diagnosis results of the same case and the diagnosis result of the blood test can be used together to some extent, by correlating these results statistically, more reliable and early screening is possible. Available biomarkers may be discovered.
  • the present invention enables the health of the public to be easily checked in conjunction with other diseases that can be tested with high precision only with blood, which had previously required special tests. Contributing to the promotion.
  • the present invention has been specifically described above in connection with the pathological diagnosis of NASH, the disease to which the present invention is applicable is not limited to NASH.
  • NASH dilated cardiomyopathy and other various diseases causing cell degeneration accompanied by fibrosis, diseases that may shift to cancer such as colon polyps, and diseases that are difficult to distinguish from cancer
  • the pathological diagnosis device according to the present invention captures characteristics of the shape, brightness, color and the like of cells or structures inside and outside the cells that are not easily recognized by the human eye in biopsy images of such diseases, and makes an early and accurate diagnosis. You can
  • the condition used to specify the lesion range and the threshold value included in this condition are the original image of the biopsy image and the image dividing unit. It is possible to use pixel information (luminance, RGB values, and a histogram of these) of each area obtained by division.
  • the presence or absence of a lesion can be obtained by statistically analyzing the characteristics of statistics derived from the pixel information and the patient's medical history and medical condition of the case of the biopsy image to find these correlations. Alternatively, statistics of image information highly relevant to the degree of progress are identified. And the content and threshold of the condition regarding this statistic are derived from a large number of cases.
  • the conditions that the present inventors have empirically obtained and used in the above embodiment and the threshold values thereof are also derived in this manner.
  • the extreme value, the mode, the standard deviation, and the area or foot width of the whole or a part of the histogram are used as feature quantities.
  • these feature quantities of the original image may be used.
  • the present inventors also determined the tail width of the histogram of B value and G value of the cytoplasmic region and the original image.
  • the present invention realizes a pathological diagnostic device or an image processing method, and a pathological diagnostic device for accurately identifying the feature of a lesion which is difficult to find stably by human vision from an image in which a site to be diagnosed is captured. It is available as a program for

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

病理診断装置（１０）は、身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割する画像分割部（１３０）と、これらの複数の領域から選択された１つの領域において輪郭を抽出する輪郭抽出部（１５０）と、抽出された輪郭を用いて、当該画像に写る病変範囲を特定する病変範囲特定部（１７０）と、特定された病変範囲を提示する診断結果出力部（１９０）とを備える。

Description

病理診断装置、画像処理方法及びプログラム
　本発明は、診断対象である身体部位の画像に基づく病理診断に用いられる技術に関する。
　身体組織の異常の存在、性状、疾病の進行度等を判断する病理診断では、穿刺又は手術等によって外科的に採取した組織から作成される標本を顕微鏡で観察する生検が精度の高い有用な手法として従来行われている。
　また、別の判断手法として、血液等の生体サンプル中に測定されるバイオマーカーが用いられるものがある。血液の採取は、手術による組織の採取に比べると侵襲による検査対象者への身体的負担が小さい点で有用である。
国際公開第２０１２／０１１５７９号
Satoshi Suzuki and Keiichi Abe, K.,"Topological Structural Analysis of Digitized Binary Images by Border Following", Computer Vision, Graphics, and Image Processing, April 1985, vol. 30, issue 1, pp. 32-46
　しかしながら、疾病によっては、病理診断における上記の判断の基準である視覚上の違いを見つけるのが困難であり、また、その違いについて観察者間での正確な共有が困難であるために、観察者の熟練度によって判断にばらつきが生じやすいという問題がある。また、そのような視覚上の違いが微妙であるために、同じ観察者でも、組織の標本化又は病理画像の撮影の条件等によって判断にばらつきが生じやすいという問題がある。
　上記でいう観察者である医師の負担を減らす技術として、病理組織画像をその画素値を用いて分割して背景領域、細胞質領域、及び細胞核領域を得て、これらの領域を示す領域分割画像データから病理組織画像の特徴を抽出する手法に関する技術が提案されている（例えば特許文献１参照）。
　しかしながら、この手法において画像の分割のために行われる画像の２値化は、画像における対象物の像同士の差、又は対象物の像と背景との差の過小等の要因で適切に実行されないことがあり、その結果として病理組織画像の特徴を適切に抽出できない場合がある。
　また、血液中のある物質を何らかの疾病のバイオマーカーとして用いるには、その前提として、その物質の量とある組織の特定の異常との相関についての、多くの症例を通じた検証が行われる。この検証は、例えば各症例における血液検査の結果及び生検の結果を統計的に解析して行われる。そして、蓄積された解析結果に基づいて、物質の量とある組織の特定の異常との確かな相関が検証されれば、例えばその物質の量を測る血液検査単独でスクリーニングへの適用が可能になる。
　ところが、上記のように生検での医師の判断にばらつきの生じやすい疾病では、この生検の結果の確度が十分でないため、上記の相関の検証ができない。したがって、精度の高い診断には、検査対象者の身体的負担及びリスクのより大きい外科的な手法も依然として必要である。あるいは、検査対象者の既往歴によっては外科的な手法が適用できない場合もある。
　本発明はこのような問題に鑑みてなされたものであり、診断対象の部位が写る画像から、人の視覚によっては安定的な発見が困難な特徴を精度よく捉え、この特徴に基づいて当該画像に写る病変の範囲を特定する技術を提供する。
　上記の目的を達成するために提供される本発明の一態様に係る病理診断装置は、身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割する画像分割部と、これらの複数の領域から選択された１つの領域において輪郭を抽出する輪郭抽出部と、抽出された輪郭を用いて、診断対象部位が写る画像に写る病変範囲を特定する病変範囲特定部と、特定された病変範囲に基づく診断結果を出力する診断結果出力部とを備える。
　また、上記の目的を達成するために提供される本発明の一態様に係る画像処理方法は、身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割し、これらの複数の領域から選択された１つの領域において輪郭を抽出し、抽出された輪郭を用いて、診断対象部位が写る画像に写る病変範囲を特定し、特定された病変範囲を当該画像上で提示するデータを生成する方法である。
　本発明によれば、診断対象の部位が写る画像から、人の視覚によっては安定的な発見が困難な特徴を精度よく捉えられ、この特徴に基づいて、当該画像に写る病変の範囲が特定される。
図１Ａは、脂肪化のみが認められる肝生検画像の例である。 図１Ｂは、図１Ａに示す例よりさらに進んだ病変が認められる肝生検画像の例である。 図２は、実施の形態に係る病理診断装置の構成を示すブロック図である。 図３は、上記の病理診断装置が備える画像分割部の機能的な構成を示すブロック図である。 図４Ａは、上記の病理診断装置が備える画像分割部に含まれる、正規化部による度数分布の正規化処理の概要を説明するための図である。 図４Ｂは、上記の正規化部による度数分布の正規化処理の概要を説明するための図である。 図４Ｃは、混合ガウス分布法の度数分布への適用例を説明するための図である。 図５は、上記の病理診断装置による画像の取得から診断結果データの出力までの処理のための動作に含まれる一連の手順例を説明するためのフロー図である。 図６Ａは、上記の画像分割部による画像分割の処理の手順例を説明するためのフロー図である。 図６Ｂは、上記の病理診断装置が備える輪郭抽出部による領域の選択の手順例を説明するためのフロー図である。 図６Ｃは、上記の輪郭抽出部による前処理から輪郭の抽出までの手順例を説明するためのフロー図である。 図７Ａは、実施例にて用いられた肝生検画像の原画像である。 図７Ｂは、上記の肝生検画像の原画像ヒストグラムである。 図８Ａは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域のひとつを示す画像を示す図である。 図８Ｂは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域のひとつを示す上記画像のヒストグラムである。 図９Ａは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域の他のひとつを示す画像を示す図である。 図９Ｂは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域の他のひとつを示す上記画像のヒストグラムである。 図１０Ａは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域のさらに他のひとつを示す画像を示す図である。 図１０Ｂは、上記の肝生検画像の原画像に混合ガウス分布法を適用して得られた領域のさらに他のひとつを示す上記画像のヒストグラムである。 図１１は、実施例１において、上記の肝生検画像の複数の領域から選択されたひとつの領域の画像にオープニングの処理が行われた結果の画像である。 図１２Ａは、実施例１において特定された病変範囲の結果を示す図である。 図１２Ｂは、上記の病変範囲の病理医による所見を示す図である。 図１３Ａは、実施例２において所定の条件を用いて除外された血管の例を示す図である。 図１３Ｂは、実施例２において所定の条件を用いて除外された脂肪滴の例を示す図である。 図１４は、実施例２において所定の条件を用いて実施したＢＨの判定結果を示す。 図１５Ａは、実施例２において実施したＢＨの判定例を示す。 図１５Ｂは、実施例２において実施したＢＨの判定例を示す。 図１５Ｃは、実施例２において実施したＢＨの判定例を示す。 図１５Ｄは、実施例２において実施したＢＨの判定例を示す。
　（本発明の基礎となった知見）
　本発明者らは、非アルコール性脂肪肝炎（英語名称はｎｏｎ－ａｌｃｏｈｏｌｉｃ　ｓｔｅａｔｏｈｅｐａｔｉｔｉｓであり、以下では、その頭字語であるＮＡＳＨを用いて表記する）という疾患の診断において、以下の問題が生じることを見出した。
　まず、脂肪性の肝疾患には、アルコールの過剰摂取を原因とするアルコール性の脂肪性肝障害と、顕著な飲酒歴がない人に発現する、非アルコール性脂肪性肝疾患（英語名称はｎｏｎ－ａｌｃｏｈｏｌｉｃ　ｆａｔｔｙ　ｌｉｖｅｒ　ｄｉｓｅａｓｅであり、以下では、その頭字語であるＮＡＦＬＤを用いて表記する）とがある。生検画像に大滴性の肝脂肪沈着が見られる点はいずれの疾患にも共通である。
　さらに、このＮＡＦＬＤには２種類ある。ひとつは、組織の炎症や線維化を伴わない単純性脂肪肝である。この場合、多くは肥満が解消されることで好転し、予後は良好である。もうひとつが上述のＮＡＳＨであり、組織の炎症や線維化を伴い、進行性の症例を含む。進行性の場合には、肝硬変または肝がんに至ることがある。
　ＮＡＳＨの患者数は、世界では約６０００万人、日本国内ではＢ型又はＣ型のウイルス性肝炎に匹敵する約１００万から２００万人といわれ、増加傾向にある。
　ＮＡＳＨの治療方法としては、食事療法に加えて、線維化が進み始めている場合には対症的な薬物治療が行われるものの、承認されたＮＡＳＨの治療薬はまだない。
　より早期のＮＡＳＨの診断ができれば、食事制限、運動の習慣化、又は薬物の投与等によって線維化への進行を抑制できる可能性もある。しかし、その時点では患者に自覚症状がほとんど現れない。また、血液検査、つまり血液標本中のバイオマーカーに基づく診断手法も研究は進められているが、この手法単独で臨床での早期診断への適用には至っていない。
　このような状況にあって、ＮＡＳＨの早期診断の手法のひとつとして従来提案されているのが、血液検査、及び腹部エコー検査で肝臓の脂肪化がある程度以上進行していると認められる場合に肝生検を実施し、ＮＡＳＨの肝臓で見られる炎症細胞浸潤、風船様肝細胞、肝線維化の有無を確認するというものである。
　ただし、ここでなお問題となるのが、肝生検画像に写る風船様肝細胞（英語名称はｂａｌｌｏｏｎｉｎｇ　ｈｅｐａｔｏｃｙｔｅであり、以下ではＢＨとも表記する）の判別の難しさである。単純性脂肪肝にも見られる脂肪変性をきたした肝細胞との区別は、ある程度以上経験のある病理専門医の間でも所見に差が出ることがある。参考までに、異常として脂肪化のみが認められる肝生検画像の例を図１Ａに、さらに進んだ病変が認められる肝生検画像の例を図１Ｂに示す。図１Ａの肝生検画像において、左右の中央付近で上下に並ぶ、丸みを帯びて白く写るのが脂肪変性をきたした肝細胞である。図１Ｂの肝生検画像にはＢＨ及び炎症細胞が見え、矢印で示されるのがＢＨの例である。
　このような状況に鑑み、本発明者らは、肝生検画像のデータから、経験を積んだ病理専門医による判別に近い精度で肝生検画像に含まれるＢＨの像を特定するための画像処理方法に想到した。
　以下では、このように、従来は各々経験豊かな病理専門医によって行われてきた病理画像に基づく診断を病理画像データの解析に基づいて行うための画像処理方法を実行する装置を、本発明の一実施の形態に係る病理診断装置として説明する。
　なお、本発明は上述のとおりＢＨの像を特定するという課題の解決を着想の糸口とし、以下では、肝生検画像に含まれるＢＨの像を特定する手法を例に本発明の実施の形態及び実施例を説明するが、本発明の適用範囲はこれに限定されない。本発明の他の適用については後述する。
　また、以下で説明する実施の形態は、本発明の包括的な例又は具体的な例を示すものである。ただし、実施の形態で示される数値、形状、材料、構成要素、並びに構成要素の位置、配置及び接続形態などは一例であり、本発明を限定する趣旨ではない。以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素は、本発明の任意の構成要素として説明される。
　（実施の形態）
　［１．構成］
　図２は、実施の形態に係る病理診断装置の構成を示すブロック図である。
　実施の形態に係る病理診断装置１０は、身体の診断対象の部位が写る画像のデータを処理することで、当該画像に写る病変範囲を特定し、特定された病変範囲に基づく診断結果を出力する。例えば病理診断装置１０は、この処理のためのプログラムを記憶する記憶装置（図示なし）と、このプログラムを実行する演算処理装置（プロセッサ、図示なし）を備える電子計算機として、又は対象とする疾病の病理診断専用の装置等に含まれる集積回路（マイクロコントローラ）として実現される。
　病理診断装置１０は、画像取得部１１０、画像分割部１３０、輪郭抽出部１５０、病変範囲特定部１７０、及び診断結果出力部１９０を備える。
　画像取得部１１０は、病理診断装置１０による処理の対象である、身体の診断対象部位が写る画像を取得する。より具体的には、例えば撮像装置２０で撮像されて得られる画像のデータ（画像データ）を取得する。
　本実施の形態におけるこの画像は生検画像である。例えば検査対象者から外科的手法で採取された組織を固定、スライス、染色して得られたスライド標本の顕微鏡画像である。
　また、この画像データは、例えばこの顕微鏡画像を撮像装置２０の一例であるデジタルカメラで撮影して得られたものである。なお、撮像装置２０としては、病理診断装置１０による処理が可能な画像データを出力可能な装置であれば特に限定されず、他の例としてフィルムスキャナを含むイメージスキャナが挙げられる。これにより、フィルムを用いて撮影された過去の症例の肝生検画像から病理診断装置１０による処理が可能な画像データが得られる。
　また、病理診断装置１０の処理対象の画像は、過去に撮影して取得された画像データを記憶する記憶装置３０から取得されてもよい。例えば記憶装置３０は、外部のサーバ装置が備える、ハードディスクドライブ又はソリッドステートドライブ等である。または、記録型のコンパクトディスク又はＤＶＤ等の各種の記憶媒体４０から画像取得部１１０に入力されても良い。
　その他、図２には示されていないが、処理対象の画像は、病理診断装置１０が備える記憶装置に保管され、この記憶装置から読み取られてもよい。
　画像分割部１３０は、入力された画像を、その画像を構成する画素の画素データを用いて複数の領域に分割する処理（ｓｅｇｍｅｎｔａｔｉｏｎ）を実行する。図３は、病理診断装置１０が備える画像分割部１３０の機能的な構成を示すブロック図である。
　画像分割部１３０は、統計処理部１３１、正規化部１３３、及び領域分割部１３５を備える。
　統計処理部１３１は、画像取得部１１０が取得した画像の画素データから、当該画素の輝度の出現頻度の度数分布を取得する。画素の輝度は、例えば例えば８ビットの値（０～２５５）で表わされる。この場合、統計処理部１３１は画素の輝度値に基づく０～２５５までの２５６階級の度数分布を取得する。なお、各画素の輝度値は、画素データに直接示されていてもよいし、画素データが示す各種の画素値、例えばＲ（Ｒｅｄ）値、Ｇ（Ｇｒｅｅｎ）値、及びＢ（Ｂｌｕｅ）値の色値から算出（変換）して取得されてもよい。また、各画素の輝度値は、１６ビット又は３２ビット等のより多階調で表現されてもよい。
　正規化部１３３は、統計処理部１３１が取得した度数分布を正規化する。例えば、輝度値が０から２５５の値を取り得る実行環境において、度数が分布している階級の最小値が０に、最大値が２５５になるように度数分布全体を拡張する。図４Ａ及び図４Ｂは、正規化部１３３による度数分布の正規化処理の概要を説明するための図である。図４Ａに示されるのは、統計処理部１３１が取得した輝度値の度数分布の模式図である。なお、図４Ａ及び図４Ｂ、並びに後述の図４Ｃは、便宜上、度数分布のヒストグラムの各柱の頂点を結ぶ線に近似する連続関数のみを示し、柱の図示は省略されている。
　図４Ａは、ある画像の輝度値の度数分布を示す。この度数分布では度数が分布している階級の最小値は０より大きく、最大値は２５５より小さい。正規化処理によって度数分布全体が拡張された結果、図４Ｂに示されるように度数が分布している階級の最小値が０に、最大値が２５５になる。なお、連続関数の極値は正規化の前後で保持される。図４Ａと図４Ｂとを比較すれば、例えば正規化の前後でヒストグラムの最大値は変化せず、ヒストグラムがなす山は元の形状をある程度保って幅が拡大されていることがわかる。この正規化処理の結果、画像全体としてはコントラストが強調されるため、後述の領域分割部１３５による処理で良好な結果が得やすくなる。また、分布の峰の幅が狭い場合に後述の領域分割部１３５による処理がうまく行われない場合がある。正規化処理ではこの峰の幅が広げられるため、領域分割部１３５による処理で良好な結果が得やすくなる。
　なお、処理対象として入力された画像の輝度分布が元々広範な場合には、正規化部１３３による正規化処理は省略されてもよい。
　領域分割部１３５は、統計処理部１３１による正規化処理後の度数分布に基づいて、入力された画像の領域分割を実行する。
　画像の領域分割には、閾値法、エッジ抽出法、ｋ－ｍｅａｎｓ分割法等の各種の既知の手法が利用可能であるが、本実施の形態においては、領域分割部１３５は混合ガウス分布法を利用する。より具体的には、上述のような度数分布のヒストグラムに近似する連続関数に近似させるように、複数のガウス分布（正規分布）を、それぞれの重み付け係数と、平均と、共分散とを調節して線形結合する。図４Ｃは、混合ガウス分布法の適用例を説明するための図である。この例では、破線、点線、又は一点鎖線の曲線で示される複数の正規分布の結合を、実線で示されるヒストグラム（その柱の頂点を結ぶ線に近似する連続関数）に近似させている。このように複数の正規分布で度数分布をモデリングすることを、本開示では度数分布（のヒストグラム）を正規分布で分割する、ともいい、混合ガウス分布法はこの処理のために用いられる。
　次に領域分割部１３５は、複数の正規分布のそれぞれに対応する画素の集合（領域）を同一の領域として扱うことで入力画像を複数の領域に分割する。ここで、ある正規分布に対応する画素とは、例えば１つの正規分布の所定の偏差に収まる値を有する画素であることをいう。また、このような画素の集合を同一の領域として扱うことの具体的な例を挙げると、対応する正規分布に応じた画素の塗り分け、特定の正規分布に対応する画素の抽出、特定の正規分布に対応する画素を対象とする共通の規則（アルゴリズム）に従った処理が挙げられる。
　上記のヒストグラムには、各画素の空間的情報（位置情報）は含まれないが、輝度（又は輝度に変換された色）の情報が反映されている。そして各画素の輝度の情報は、当該画素の部分に写る対象物の材料の組成又は構造をある程度反映していると考えられる。言い換えると、輝度又は色は、対象物の材料又は構造が反映された情報として扱うことができると本発明者らは考える。本実施の形態において画像分割に混合ガウス分布法が用いられるのは、同一又は類似の材料又は構造の対象物、例えば細胞内の同一の構造物の像は、輝度のヒストグラムを分割して得た複数の正規分布のうち、同じ正規分布に属する画素で構成されるという想定に基づくものである。
　ここで、例えば上に挙げた閾値法では、閾値との大小関係に基づいて各画素の画素値を２値化し、画像は２値のそれぞれの領域に分割される。この閾値を最適な値に設定するための従来提案されている技術のひとつが特許文献１に記載の手法に採用されている。
　この技術は、ある程度以上の大きさの明暗差（コントラスト）を含む画像の分離では好適な結果が得やすい。しかしながら、画像における対象物の像同士、又は対象物の像と背景との差が小さい場合には、これらが同一の領域に入ることがある。また、同一の対象物の像に含まれる画素の画素値の度数分布における範囲の幅が比較的大きく、かつその範囲での度数の変化が比較的小さい場合には、設定される閾値がその範囲内に入ることがある。したがって、画像分割の結果、画像に写る対象物の像、例えば細胞内で材料組成の異なる構造物の像が、単一の領域に入ったり、同一の構造物の像が複数の領域に入ったりする可能性について十分に考慮はされていない。
　一方、上述したように、本実施の形態で用いられる混合ガウス分布法では、材料の組成又は構造の共通性が高い対象物の像の領域は単一の領域として扱われる可能性が高く、ひいては共通性が低い対象物の像の領域は別の領域として扱われる可能性が高い。したがって、画像をより適切に分割し、つまりは、画像に写る対象物に応じた分割画像、例えば生検画像であれば細胞内において材料組成の異なる構造物ごと等の分割画像が得やすい。
　あるいは、閾値法では、２値化の手順を、設定を変えて複数回実行することで適切な画像分割の結果を得ることは可能である。例えば特許文献１では、１つの画像の２種類の別個のデータ（ＲＧＢ画像データ及びＣＩＥＬｕｖ画像データ）のそれぞれから２値化した画像データを取得し、後の手順で用いる領域をそれぞれで１つずつ（細胞質領域、背景領域）得ている。なお、特許文献１では、閾値法で得られた２つの分割画像の否定論理和を用いることで３つめの領域がさらに取得されている。
　一方、本実施の形態で用いられる混合ガウス分布法では、１つの画像データから１回の画像分割の処理で、後の手順で用いる領域を３つ以上でも直接に取得することができるため、効率がよい。
　より具体的には、混合ガウス分布法では、処理対象である画像の画素値（輝度値又は色値）のヒストグラムの連続関数を複数の正規分布の線形結合とみなして、当該ヒストグラムをこれらの正規分布に分割する。この線形結合の際に各正規分布に与えられる重み付け係数は正規分布間で調節される混合比に対応し、すべての重みの総和は１となる。
　このようにして得られた各正規分布内の画素値を持つ画素の集合は、それぞれ同一の領域として扱われる。また、これらの正規分布はヒストグラム内で重複しない。つまり、ひとつの画素値が複数の正規分布に属することはないため、各画素が複数の領域に属することもない（１つの画素と２つ以上の正規分布とが対応することはない。）。さらに、ヒストグラム内で隣り合う正規分布間で間が空くこともない。したがって、混合ガウス分布法を用いる分割によってひとつの画像内にある各画素を、その画素値に応じて、もれなくいずれかひとつの領域に帰属させることができ、材料組成の互いに異なる構造物の像を高い割合でそれぞれ含む複数の領域が得られる。
　なお、この処理では、診断の目的に応じてより適した結果が得られるように、用いられる正規分布の個数が適宜調整されてもよい。
　画像分割部１３０によって取得されるこのような画像分割処理の結果のデータ（分割済み画像データ）は、輪郭抽出部１５０に入力される。
　輪郭抽出部１５０は、画像分割部１３０から入力された分割済み画像データが示す複数の領域から選択された１つの領域において輪郭抽出を実行する。輪郭抽出部１５０は、この処理のためのプログラムを記憶する記憶装置から当該プログラムを読み出して実行する、電子計算機又は集積回路（マイクロコントローラ）のプロセッサによって実現される。
　輪郭抽出の対象となる領域の選択は、人の手によって行われてもよいし、輪郭抽出部１５０が各領域に含まれる画素の画素値に基づいて行ってもよい。輪郭抽出部１５０による選択の処理についての詳細は後述する。
　輪郭抽出の処理は、既知の輪郭抽出のアルゴリズムを用いて実行されてもよい。例えばＳｕｚｕｋｉ８５のアルゴリズムが挙げられる（非特許文献１参照）。
　また、輪郭抽出部１５０は、輪郭抽出の前処理として、画像中に小さく写る線又は点の強調又は削除を目的として、膨張（ｄｉｌａｔｉｏｎ）、収縮（ｅｒｏｓｉｏｎ）、又はこれらを含むクロージング若しくはオープニングの処理をさらに実行してもよい。クロージングの処理では、暗い領域に含まれる明るい小領域が消され、オープニングの処理では、明るい領域に含まれる暗い小領域が消される。消される領域の大きさは、各処理で繰り返される膨張及び収縮の回数を変えることで調整可能である。輪郭抽出の処理で抽出される輪郭とは、細胞膜等からなる細胞内の構造物の輪郭、又は細胞の内外に存在するタンパク質、糖類等からなる構造物の輪郭である。この前処理は、これらのうち、病理診断に用いられる構造物を際立たせたり、又はこの構造物以外の物を目立たなくしたりするために、必要に応じて行われる。
　輪郭抽出の結果を含む分割済み画像データは、病変範囲特定部１７０に入力される。
　病変範囲特定部１７０もまた、特定の処理のためのプログラムを記憶する記憶装置から当該プログラムを読み出して実行する、電子計算機又は集積回路（マイクロコントローラ）のプロセッサによって実現される。
　輪郭抽出の結果を含む分割済み画像データを受け取った病変範囲特定部１７０は、輪郭抽出部１５０によって抽出された輪郭を用いて、当該画像データが示す画像に写る病変範囲を特定する。病変範囲特定部１７０による病変範囲の特定の処理については、例を用いて後述する。
　特定された病変範囲を示すデータは、診断結果出力部１９０に入力される。
　診断結果出力部１９０は、病変範囲特定部１７０によって特定された病変範囲に基づく診断結果をデータ（診断結果データ）として出力する。
　診断結果は様々な形で出力され得る。例えば、入力された一検査対象者の肝生検画像内の病変範囲を示す図形又は記号を付した画像のデータとして出力されてもよい。また、病変範囲の個数、大きさ等を示す統計的なデータとして出力されてもよい。また、疾病の有無、又は、画像から得られた情報からさらに取得可能であれば、さらなる検査の要否若しくはその疾病の程度（進行度）等、定性的な情報を示すデータが出力されてもよい。このようなデータは組み合わせて出力されてもよい。
　なお、診断結果データは、例えば医師又は検査対象者等が見る目的で表示又は印刷に用いられる形式のデータであってもよい。この場合、診断結果出力部１９０が出力した診断結果データは、ディスプレイ又はプリンタに入力される。また、診断結果データは、電子計算機による他の目的のさらなる処理、例えば統計的な分析、又は人工知能による診断に資する機械学習用の教師データに利用可能な形式のデータであってもよい。この場合、診断結果出力部１９０が出力した診断結果データは、病理診断装置１０の内部又は外部の記憶装置に記憶される。
　このような画像取得部１１０、画像分割部１３０、輪郭抽出部１５０、病変範囲特定部１７０、及び診断結果出力部１９０は、電子計算機又は集積回路によって実現される病理診断装置１０の機能的な構成要素であり、病理診断装置１０において、記憶装置から読み込まれたプログラムがプロセッサによって実行されることで実現される。
　また、これらの機能的な各構成要素を実現するための手段は特に限定されず、例えばＷｉｎｄｏｗｓ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ａｎｄｏｒｏｉｄ（登録商標）等のオペレーティングシステムが実装されて稼働する電子計算機又は集積回路上で、ＯｐｅｎＣＶの画像処理ライブラリに含まれるプログラム及びＣ＋＋等のプログラミング言語で記述されたプログラムを必要に応じて組み合わせたプログラムがプロセッサによって実行されて実現されてもよい。または、そのような電子計算機等の上で、ＭＡＴＬＡＢ等のＣＡＥ（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｅｎｇｉｎｅｅｒｉｎｇ）ソフトウェアが用いられてもよいし、各構成要素による処理に対応する機能を備える画像処理ソフトウェア、若しくは各構成要素の処理内容が記述されたプログラムを用いて実現されてもよい。
　［２．動作］
　次に、上記の構成を有する病理診断装置１０の動作について説明する。図５は、病理診断装置１０による画像の取得から画像処理を経て、診断結果データの出力までの処理の動作に含まれる一連の手順例を説明するためのフロー図である。
　まず、画像取得部１１０によって、処理対象の画像が取得される（ステップＳ１０）。この処理対象の画像とは、上述のとおりであり、より具体的には、診断対象部位が写る画像であり、例えば生検画像である。
　次に、画像分割部１３０によって、処理対象の画像が当該画像を構成する画素の輝度値に基づいて複数の領域に分割される（ステップＳ２０）。この手順のより詳細については、図６Ａのフロー図を用いて説明する。図６Ａは、画像分割部１３０による画像分割の処理の手順例を説明するためのフロー図である。
　まず、統計処理部１３１によって、この取得された画像の画素情報に基づく画素の度数分布が取得される（ステップＳ２１）。
　次に、正規化部１３３によって、この取得された度数分布が正規化される（ステップＳ２２）。
　次に、領域分割部１３５によって、この正規化された度数分布に混合ガウス分布法が適用され、複数の正規分布を用いてこの度数分布が分割される（ステップＳ２３）。
　画像分割部１３０では、最後に、領域分割部１３５によって、複数の正規分布のそれぞれに対応する画素が単一の領域として扱われることで、画像が複数の領域に分割される（ステップＳ２４）。
　次に、輪郭抽出部１５０によって、画像に含まれる複数の領域から、輪郭の抽出の対象である領域が選択される（ステップＳ３０）。図６Ｂは、この選択の手順例を示すフロー図である。この例では、輪郭抽出の処理の対象の候補である領域が第一領域と第二領域の２つある場合を想定している。なお、第一領域と第二領域とは、上記の混合ガウス分布法の結果得られた領域であるため、互いに異なるそれぞれの平均輝度（中央値）で区別することができる。
　輪郭抽出部１５０は、例えば入力された生検画像を構成する画素の画素値を所定の条件に照らした結果に応じて第一領域又は第二領域のいずれかを選択する（ステップＳ３１からＳ３３）。
　ここでいう所定の条件には、生検画像で輪郭が抽出される構造物の種類又は状態に応じて異なるものが用いられる。これは、構造物は、その外観が種類又は状態に応じて異なるためである。外観に影響し得る構造物の種類又は状態の例としては、細胞が採取された身体部位、染色等の標本化のための処理の種類及び結果（例えば染色の場合の染まり具合）、病状の進行度等が挙げられる。
　所定の条件は、例えば生検画像の輝度値に関するものであってもよいし、生検画像がカラー画像であれば、いずれかの色値に関するものであってもよい。より具体的には、このような値を標本データとして得られる代表値などの各種の統計量と所定の閾値との大小関係、又は統計量同士の大小関係等に関する条件である。このような統計量は、生検画像全体、又は生検画像の分割された各領域での特徴を示す特徴量の例である。所定の条件にて用いられる具体的な特徴量の例は、後述する実施例において示す。
　次に輪郭抽出部１５０は、選択した領域に対して輪郭抽出を実行する。ただし、構成の説明で上述したとおり、必要に応じてさらに前処理が行われてもよい。図６Ｃは、前処理が行われる場合の手順例を示すフロー図である。輪郭抽出部１５０では、選択された領域が第一領域であるか第二領域であるかに応じて、その後の輪郭抽出までの手順が変更される。
　図６Ｃに示される例では、選択された領域が第一領域の場合（ステップＳ４１で「第一領域」）、第一領域がさらに細かい領域に分割されてその１つが選択されている（ステップＳ４２）。この分割の処理は、再び画像分割部１３０によってステップＳ２０と同じ手法で実行されてもよい。例えば、輪郭が抽出される構造物とそれ以外の構造物とが、材料又は構造が比較的近い場合、一度の分割ではこれらの構造物が同一の領域に含まれることがある。そのような場合に、画像分割を重ねて実行することで、輪郭が抽出される構造物をより高い割合で含む領域を得ることができる。選択された領域には、前処理Ａが施され（ステップＳ４３）、その後、輪郭抽出が実行される（ステップＳ４５）。前処理Ａとは、例えば上述のオープニングである。
　一方、選択された領域が第二領域の場合には、第二領域に前処理Ｂが施され（ステップＳ４４）、その後、輪郭抽出が実行される（ステップＳ４５）。前処理Ｂとは、例えば上述のクロージングである。
　このような、選択された領域に応じた処理が、病理診断に用いられる構造物の輪郭のより確実な抽出、又は抽出された輪郭に対するその後の処理の精度の向上を目的として行われてもよい。
　なお、図６Ｃに示される一連の手順はあくまで例であり、ステップＳ２０で得られた領域に輪郭抽出アルゴリズムが適用されるまでの手順はこれに限定されない。再度の画像分割及び前処理は、上述のとおり必要に応じて実行されるものである。また、条件に照らして選択される領域に拘わらず、ステップＳ４５に先立つ前処理の内容は共通であってもよい。また、ステップＳ４１で選択肢として扱われる領域の数は複数であればよく、上記の例のように２つには限定されない。ステップＳ４２についても同様である。
　次は、病変範囲特定部１７０によって、抽出された輪郭を用いて、病理画像で病変が写る範囲である病変範囲が特定される（ステップＳ５０）。
　病理画像上の輪郭を用いて病変範囲を特定する方法には、病変によって細胞に起こる変化に応じた種々のものを選択し得る。以下に例を挙げる。
　例えば、輪郭内の範囲にある画素の画素情報が用いられてもよい。ある構造物は、異常がなければほぼ均質であるが、異常があれば不純物等の異物が混じり、そしてこの異物は、当該構造物とは異なる色又は輝度を有する場合がある。または、異物の種類によって、色又は輝度に差が生じる場合がある。当該構造物中の異物は、生検画像内では、構造物の輪郭内での各色の画素値又は輝度値が他の部分と異なる像として現れ得る。具体例を挙げると、肝生検画像において、単純性脂肪肝で脂肪滴を有する肝細胞とＢＨとでは、前者は内部の色がほぼ一様であるが、線維化を伴うＢＨはその内部の貯留物が異なる色で現れる。つまり、肝生検画像における単純性脂肪肝の肝細胞と、今後の進行が危ぶまれるＢＨとを区別して特定するために、細胞の輪郭内のこのような異なる色の画素の存否又は量によって変化する画素値の分散を利用することができる。ステップＳ３０では、生検画像内でこの構造物、例えばある種の細胞が写る領域が選択され、ステップＳ４０ではこの構造物の輪郭が抽出された上で、ステップＳ５０において、当該構造物の輪郭内に含まれる画素の画素値の分散を示す値が所定の閾値を超える場合、この輪郭内の範囲が病変範囲と特定されてもよい。この閾値は、本実施の形態における第八閾値の例である。
　また、特定対象の病変の種類又は検査対象の組織等に応じて、画素値の分散に代えて、画素値の平均を用いてもよいし、輪郭内の特定の色の画素値がより高い又は低い画素の個数又は割合を所定の閾値と比較して、当該輪郭内の範囲が病変範囲であるか否かが特定されてもよい。
　また例えば、輪郭の形状に関する特徴が用いられてもよい。ある構造物は、異常がなければ縦横の寸法がほぼ等しい形状を呈するが、異常があれば変形して細長い形状を呈するか、又は異常が原因で中に増える異物の影響で細長く見える場合がある。このような場合には、例えば抽出された構造物の輪郭の外接楕円を算出し、外接楕円の長径に対する短径の比率（アスペクト比）が所定の閾値以下である場合に、この輪郭内の範囲を病変範囲と特定されてもよい。この閾値は、本実施の形態における第一閾値の例である。
　また、このような外接楕円に基づく病変範囲の特定方法の他の例として、抽出された構造物の輪郭とその外接楕円との両方が用いられてもよい。ある構造物は、異常がない場合に真円に近い形状を呈し、異常があれば、変形していびつな形状を呈するか、又は異常が原因で中に増える異物の影響でいびつに見える場合がある。このような場合には、例えば外接楕円の面積に対する、当該輪郭の面積の比率が所定の閾値以下である場合に、この輪郭内の範囲を病変範囲と特定されてもよい。この閾値は本実施の形態における第七閾値の例である。
　あるいはこのような構造物の形状のいびつさが、生検画像上での外接楕円からその中の輪郭までの距離に基づいて判定され、その結果に応じて病変範囲が特定されてもよい。例えば、抽出されたある構造物の輪郭について、当該輪郭上の画素に、その外接楕円上の画素からの距離が所定の閾値を超える画素が、所定の個数より多く含まれる場合、この輪郭内の範囲が病変範囲と特定されてもよい。この距離に関する所定の閾値は本実施の形態における第二閾値の例である。または、この輪郭上の画素に、その外接楕円上の画素からの距離が所定の閾値を超える画素が、所定の割合より多く含まれる場合、この輪郭内の範囲が病変範囲と特定されてもよい。この距離に関する所定の閾値は、本実施の形態における第三閾値の例である。
　ここで、上記の所定の個数又は所定の割合は、固定の値であってもよいし、病理医等であるユーザが手動で、又は病理診断装置１０が自動的に調節可能な値であってもよい。ユーザ又は病理診断装置１０は、例えば病理画像の倍率、又は撮像装置２０若しくは画像データの仕様（画素数、ビット深度等）に応じて、診断のための観察に適した値に変更する。
　また、外接楕円からその中の輪郭までの距離に基づく判定には、上記の例以外に、楕円の長径、短径、又は周囲長に対する当該距離の比率が用いられてもよい。つまり、この距離の、外接楕円の長径に対する比率が所定の閾値（第四閾値の例）を超えるか否か、外接楕円の短径に対する比率が所定の閾値（第五閾値の例）を超えるか否か、又は外接楕円の周囲長に対する比率が所定の閾値（第六閾値の例）を超えるか否か、といった条件が満たされるか否かに基づいて、当該輪郭内の範囲が病変範囲として特定されてもよい。このような比率が高いほど、当該構造物の形状は、その外接楕円に対していびつであるということができる。
　また、上記の外接楕円からその中の輪郭までの距離に代えて、又は加えて、外接楕円の中心とその中の輪郭の重心（幾何中心）との距離が用いられてもよい。
　また上記では、構造物の形状の特徴に関する判定に、抽出されたこの構造物の輪郭の外接楕円が用いられているが、外接楕円に代えて、輪郭上のあらゆる点の集合の凸包（以下、簡略に「輪郭の凸包」ともいう）が用いられてもよい。凸包が用いられる場合も、構造物の形状のいびつさは、外接楕円の場合と同様に、凸包の長手方向の大きさ（長径）に対する短手方向の大きさ（短径）の比率、凸包とその中の輪郭との距離、凸包の長径、短径、又は周囲長に対するその距離の比率、凸包と輪郭との面積比、又は凸包及び輪郭それぞれの幾何中心間の距離等に基づいて判定される。このような外接楕円及び凸包は、本実施の形態における輪郭の外接図形の例である。
　なお、ここまでに例示した病変範囲の特定では、分散、比率、個数、又は割合等の数値に基づく病変範囲であるか否かの判定がなされているが、病変範囲である場合には、さらに病気の進行度の指標として利用される病変の程度についての特定がなされてもよい。例えばこれらの数値は、病変の程度を示す連続値又は離散値のスコアとして用いられてもよいし、これらの数値に基づく病変の段階分けがなされてもよい。あるいは、病変範囲であるか否かの二項分類的な判定に代えて、病変範囲である可能性に関する３段階以上の評価がこれらの数値に基づいてなされてもよい。
　また、上記では第一閾値から第八閾値までのいずれかをそれぞれ含む、病変範囲を特定するための８つの条件を例示したが、これらの条件は単独で用いられてもよいし、複数が組み合わせて用いられてもよい。また、複数の条件が組み合わせて用いられる場合には、いずれかが満たされればよいＯＲ条件として用いられてもよいし、すべてが満たされるべきＡＮＤ条件として用いられてもよい。
　後者の例として、輪郭内の範囲の色、つまり画素値の分散、平均等に関する条件と、輪郭又はその外接図形の形状又は面積に関する幾何的な条件との両方が満たされるか否かに基づいて、病変範囲であるか否かの判定、又は病変範囲である可能性の評価がなされてもよい。
　なお、条件の組み合わせは、色に関する条件と幾何的な条件との組み合わせに限定されず、色に関する条件どうし、又は幾何的な条件どうしの組み合わせであってもよい。例えば輪郭の形状に関する２つ以上の条件が満たされるか否かに基づいて、病変範囲であるか否かの判定、又は病変範囲である可能性の評価がなされてもよい。
　このようにして特定された病変範囲に関する情報に基づいて、診断結果出力部１９０は、当該情報をその利用目的に応じたデータとして、必要に応じて処理を加えて出力する（ステップＳ６０）。
　［３．変形例］
　本実施の形態に係る病理診断装置１０の構成及び動作は上記の説明に限定されるものでなく、その変形にも本発明の技術的範囲に含まれるものがあり、以下にその例を挙げる。
　例えば、上記の各種の条件を用いて生検画像中の病変範囲でない部分の特定が実行されてもよい。例えば病変範囲特定部１７０による病変範囲の特定の処理（ステップＳ５０）において、画素値又は幾何的な所定の条件を満たす範囲を、病変範囲として特定される範囲から除外してもよい。より具体的な例として、特定の色の画素値の分散が所定の閾値未満の画素、又はこの条件を満たす画素を所定の割合より多く含む範囲を、病変範囲として特定される範囲から除外してもよい。これにより、例えば肝細胞についての病変範囲を特定する際に、選択された領域内に混じって映る肝細胞以外の構造物、例えば間質又は血管の像の範囲を除外することができる。また別の例として、構造物の輪郭又はその外接図形の長径又は短径の大きさに基づく判定が実行されてもよい。例えば同種の構造物でも、正常な細胞と病変を来たしている細胞とでは、大きさに特定の傾向が見られる場合がある。例えば正常な肝細胞はその長径のほとんどが１０μｍ以下であるところ、異物を含んで膨化した異常な肝細胞はより大きい傾向がある。このような場合に、例えば１５μｍの閾値を設定して、色、形状又は面積に関する病変範囲の条件を満たす範囲であっても、この閾値以下の場合には病変範囲でないと特定されてもよい。
　これらのような条件を組み合わせて用いることで、生検画像中の病変範囲であり得る部分と病変範囲ではない範囲とがより高い精度で特定され、検査精度の向上につながる。例えばステップＳ２０で画素値に基づいて分割した領域内には、ノイズともいうべき病変範囲ではない病変範囲と近い外観を呈する構造物が混在することもある。このような構造物を含む範囲を誤って病変範囲と特定する可能性が抑えられる。
　また、上記の動作には、生検画像又はその分割された領域の画素値が所定の条件に照らされる判定の対象となる手順が含まれるが、この画素値には、所定の条件に照らす判定の前に、必要に応じて正規化の処理がなされてもよい。
　また、上記の動作の手順の例として、選択された１つの領域に対してさらに行われる領域分割の手順が示されているが、この領域分割には、上記に例示したような各種の領域分割の手法を用いることができる中で、再び混合ガウス分布法が用いられてもよいし、他の手法が用いられてもよい。
　また、上記において輪郭抽出部１５０が輪郭抽出の前に行う前処理は、選択された領域が第一領域であるか第二領域であるかに応じてその内容が変えられていたが、前処理の内容の決定手法はこれに限定されない。例えば、輝度値の度数分布の分散値等、選択された領域の画素値の各種の統計量に基づいて決定されてもよい。他の例として、選択された領域の、選択されなかった領域又は生検画像全体に対する面積比に基づいて決定されてもよい。
　これらを例とする前処理の内容の決定のための基準は、生検画像に写る検査対象の部位の像に、病変によって起こり得る外観上の変化に基づいてあらかじめ選択される。外観上の変化のより具体的な例としては、組織の線維化が進むと画像の輝度値のばらつきが大きくなる、又は細胞質の像をおもに含む第一領域の、線維の像をおもに含む第二領域に対する面積比が小さくなるといった変化を挙げることができる。前処理の内容は、例えば第一領域が選択されているときに、その輝度値の分散値が所定の値以下の場合には、前処理として第一領域にオープニングの処理が施される、というように決定される。または、複数の外観上の変化に照らして決定されてもよい。例えば、第一領域の輝度値の分散値が所定の値を超え、かつ、第二領域に対する面積比が所定の値を超える場合には、第一領域をさらに分割し、この分割によって得た領域のうち、平均輝度のより高い領域にオープニングの処理が施される、というように決定されてもよい。
　これにより、入力された画像又は選択されたその領域に写る、目的の構造物の輪郭をより適切に抽出することができる。
　このような変化は、例えば病理専門医等の知見を得てあらかじめ定めることができる。また、これらの変化の複数に基づいて前処理の内容が決定されてもよい。
　また、上記において輪郭抽出部１５０が輪郭抽出の前に行う領域の選択から前処理までは、画像分割部１３０による、分割の処理後の処理として実行されてもよい。つまり、画像の複数の領域への分割後であって、輪郭抽出の実行前に行われればよい。なお、上述のとおり、輪郭抽出部１５０及び病変範囲特定部１７０は、病理診断装置１０において、演算処理装置によってプログラムが実行されることで実現される機能的な構成要素であり、各構成要素への動作としての上記の各手順の分担は、説明のための便宜的なものである。上記とは異なる分担であっても、合理的である限り本発明の意図するところである。また、画像取得部１１０、画像分割部１３０、及び診断結果出力部１９０を含め、いずれの機能的な構成要素間での分担についても同様である。
　また、動作の各手順の順序は上記に限定されず、合理的である限り入れ替えられてもよいし、そのために各手順において変更が加えられてもよい。例えば、領域の選択は、輪郭の抽出に先行して行われず、すべての領域について輪郭抽出又は病変範囲の特定まで行われてもよい。領域の選択は、その後に各領域での輪郭抽出又は病変範囲の特定の結果に基づいて実行されてもよい。病変の対象に用いられる構造物をより高い割合で含む領域の選択の基準が十分に定まっていない場合、又は例外的な画像情報を含む病理画像で病理診断が行われる場合に、このように選択が後に回されることが考えられる。
　［４．実施例１］
　次に、本実施の形態に係る病理診断装置１０の実施例を説明する。この説明では、病理診断装置１０を用いて、本発明の着想の基になった肝生検画像を用いたＮＡＳＨの兆候の有無に関する診断を例に用いる。なお、以下の実施例では、ＯｐｅｎＣＶにて提供される統計処理、正規化、領域分割、輪郭抽出、及び欠け検出のための各ライブラリ、並びに必要に応じて、本発明者らが用意したＣ＋＋で記述されたプログラムがこれらのライブラリと組み合わせて利用された。
　図７Ａは、本実施例にて用いられた肝生検画像の原画像であり、図７Ｂは、当該原画像のヒストグラムを示す。ただし、実際の原画像は、標本化の過程でヘマトキシリン・エオジン染色が施されたカラーの画像であった。図７Ｂにおいて、上から順にこの原画像の輝度、Ｒ値、Ｇ値、Ｂ値のヒストグラムである。
　この肝生検画像に画像分割部１３０による混合ガウス分布法を適用（ステップＳ２０）して得られたのが、図８Ａ、図９Ａ及び図１０Ａに示す画像であり、それぞれの画像の輝度、Ｒ値、Ｇ値及びＢ値のヒストグラムを図８Ｂ、図９Ｂ、図１０Ｂに示す。
　図８Ａに示されるのは、最も平均輝度が高い第一領域の画像であり、細胞質に対応する領域がおもに写る画像（以下では細胞質領域画像ともいう）である。図９Ａに示されるのは、次に平均輝度が高い第二領域の画像であり、アクチン等の線維に近い構造物又は線維に対応する領域がおもに写る画像（以下では線維領域画像ともいう）である。図１０Ａに示されるのは、最も平均輝度が低い第三領域の画像であり、細胞核に対応する領域がおもに写る画像である。
　ヘマトキシリン・エオジン染色では、細胞核はヘマトキシリンによって青紫色に染色される。また、細胞質及び線維はエオジンによって、材料又は構造が異なる構造物の種類ごとに、赤からピンクにかけての異なる濃度に染色される。このように構造物の種類によって異なる染色の結果は、混合ガウス分布法を利用する構造物ごとの領域に画像を分割するにあたって好都合に利用された。
　次に、本発明者らは、輪郭抽出部１５０に、分割の結果得られたこれらの３つの画像から、輪郭抽出の対象として用いる画像を選択させた（ステップＳ３０）。
　ＮＡＳＨに関する診断は、脂肪変性をきたした肝細胞に、ＢＨとしてＮＡＳＨの兆候を示す特徴が認められるか否かに基づいて行われる。ＢＨは変性の進行につれて、通常の肝細胞に比べて淡明化し、丸みを帯びて目立つ腫大となる。したがって、細胞質領域画像から細胞又はその主たる構造物の輪郭を抽出するというのはひとつの選択肢として可能性がある。
　しかしながら、ＮＡＳＨが進行すると肝組織の線維化が進み、進行がある程度に達すると、ＢＨには線維の一部からなる顆粒状の凝集物が含まれるようになる。この凝集物により、生検画像で平面視的に把握される肝細胞の形状は、本来の丸みを帯びた形状から欠けているように見える場合があることが経験豊かな病理医には知られていた。この点を利用して、ある程度進行したＮＡＳＨの可能性がある場合には、線維領域画像で輪郭抽出を行う方が良好な結果が得られる可能性もある。つまり、ここで第一領域の画像と第二領域の画像のいずれを使うかについての判定が何らかの条件に照らして可能であれば、診断をより効率よく行うことができる。
　ここで本発明者らは、多数の症例の肝生検画像を検討し、線維化が進むことで増加する、細胞質領域画像における線維の像の割合を画像情報から把握するひとつの手法を経験的に見出していた。これは、第一領域における、Ｂ値の度数分布における２つの極大値の比率に見られる傾向から導かれたものである。
　その傾向とは、２つの極大値を、階調値のより高い第一極大値とより低い第二極大値とした場合（図８Ａ参照）に、線維化が進んでいない症例では、第二極大値は第一極大値に比べて小さいが、線維化が進んだ症例ほど、第一極大値に対する第二極大値の比率が高くなるというものである。これは、図９Ｂのヒストグラムにも見られるように、染色された線維は細胞質に比べてより階調の低い青色成分を中心に含むことから生じる傾向であると考えられる。
　本実施例では、本発明者らは、輪郭抽出部１５０に、Ｂ値の分布において第一極大値に対する第二極大値の比率が閾値０．５５より大きい場合に、輪郭を抽出する対象の画像として線維領域画像を選択させた。本実施例の症例では、この比率が０．５５を下回ったため、細胞質領域画像、つまり第一領域の画像を、輪郭を抽出する対象の画像として選択した。
　選択された細胞質領域画像には、輪郭抽出部１５０によって、輪郭抽出の処理の前処理としてオープニング処理が行われた。図１１は、図８Ａの第一領域の画像に、オープニング処理を行った画像である。図８Ａの画像から明るい領域に含まれる暗い小領域が消滅している。
　次いで、輪郭抽出部１５０によって、オープニング処理後の第一領域の画像にＳｕｚｕｋｉ８５アルゴリズムを適用して輪郭の抽出が行われた（ステップＳ４０）。
　次に、本発明者らは、病変範囲特定部１７０に、病理範囲の特定の処理を実行させた（ステップＳ５０）。
　本発明者らは、病変範囲特定部１７０に、抽出された輪郭の外接楕円を算出させ、この外接楕円の面積に対する輪郭の内部の面積の比率を求めさせ、この比率が閾値０．９７０以下の場合に、当該輪郭をＢＨの輪郭の候補として扱わせた。この閾値０．９７０の値は、本発明者らが経験的に求めた、本実施例における第七閾値の例である。
　また、本発明者らは、病変範囲特定部１７０に、上記の外接楕円の長径に対する短径の比を求めさせ、この比が閾値０．９９９以下の場合に、当該輪郭をＢＨの輪郭の候補として扱わせた。この閾値０．９９９は、本発明者らが経験的に求めた、本実施例における第一閾値の例である。
　また、本発明者らは、病変範囲特定部１７０に、抽出された各輪郭に含まれる画素の画素値の分散を示す値が閾値０．４３を超える場合に、当該輪郭をＢＨの輪郭の候補として扱わせた。この閾値０．４３は、本発明者らが経験的に求めた、本実施例における第八閾値の例である。
　次に本発明者らは、病変範囲特定部１７０に、上記の第一閾値、第七閾値、及び第八閾値のいずれかをそれぞれ含む３つの条件のすべてを満たす輪郭を、ＢＨの輪郭の候補として絞り込ませた。
　次に本発明者らは、病変範囲特定部１７０に、上記のＢＨの候補である輪郭について、この輪郭の外接図形との距離として、この輪郭の凸包との距離を求めさせた。この距離の求め方には種々のバリエーションが考えられるが、本実施例では、抽出された輪郭の、凸包から乖離して内側に凹んだ部分の両端を結んだ直線から当該部分で最も遠い点までの距離を用いた。そしてこの距離が所定の閾値を超える輪郭を、ＢＨの輪郭と病変範囲特定部１７０に判定させた。この輪郭の範囲は、病変範囲特定部１７０が特定する病変範囲である。
　図１２Ａは、このようにして特定された病理範囲の結果を示す図である。また、図１２Ｂは、原画像を見た肝臓病理医による所見を示す図である。図１２Ａの画像には、輪郭抽出部１５０によって抽出された輪郭が表れている。また、その輪郭のうち、病変範囲特定部１７０によってＢＨの輪郭と特定されたものについては、当該輪郭がその凸包から内側への乖離している部分の両端が三角形の記号、これらの両端を結んだ直線から最も遠い点がクロス状の記号で示されている。このような線又は各記号は、病理診断に用いられる特徴又は特定された病変範囲を画像上で提示するために用いられるものの例である。
　一方、図１２Ｂの肝臓病理医による所見を示す画像では、実施例で病理診断装置１０に入力された原画像上で、病変範囲特定部１７０が特定した病変範囲に相当する細胞の像が長円で示されている。また、病理診断装置１０の特定結果と関係なく、肝臓病理医がこの原画像を見てＢＨであると判定した細胞を矢印で指している。
　図１２Ａ及び図１２Ｂからわかるように、病変範囲特定部１７０は、一部は肝臓病理医がＢＨであると判定していない細胞もＢＨと判定したが、肝臓病理医がＢＨであると判定した細胞はもれなくＢＨと判定した。
　本発明者らは、病理診断装置１０を用いて３１件の肝生検画像で上記の実施例と同様にＢＨの判定を行い、その判定の結果と肝臓病理医による所見とを照合した。３１件全体では、病理診断装置１０がＢＨと判定した細胞には、肝臓病理医の所見でＢＨと判定された５１個の細胞のうち４５個が含まれ、指摘率は約８８．２％であった。
　［５．実施例２］
　本実施例では、病理診断装置１０を用いて、肝生検画像において、抽出した輪郭とその外接図形との形状又は面積比に関する条件を用いてＢＨの候補を特定し、そのうちで長径が１５μｍ以上であるものから、血管又は脂肪滴を除外するための条件を用いて最終的なＢＨの特定を行った。なお、ＢＨの候補の特定は、次の２段階で行った。
（段階１）輪郭の外接図形に対する欠け、へこみに基づく特定
（段階２）面積比に基づく特定
　なお、段階１で用いられた手法は、段階２で用いられた手法に比べて処理を速く行うことができるが、ＢＨの特定に漏れが出やすい傾向があること、段階２で用いられた手法は、ＢＨの特定に漏れは出にくいが、正常細胞等を過剰にＢＨと判定しやすい傾向があることを、実施の時点で本発明者らは把握していた。
　血管の除外については、以下の条件を組み合わせて用いた。
　輪郭内の面積の外接図形の面積に対する比：＜０．７９９
　外接図形のアスペクト比：＜０．７２
　輪郭内の領域の画素値：０．１５＜Ｒ＜０．２９、０．４０＜Ｇ、かつＢ＜０．２９
　なお、これらの条件に含まれるパラメータは、本発明者らが経験的に得た値である。
　図１３Ａは、上記の条件を用いて肝生検画像で検知されて除外される血管の像の例を示す図である。なお、実際の処理はカラーの肝生検画像で行われており、本図では、その結果として除外された血管の像（２か所）を、破線の長円で囲んで示している。
　また、脂肪滴の除外には以下の５種類の条件（又は条件の組み合わせ）を用いた。
（条件１）確実に脂肪滴である領域を除外するための条件の組み合わせ
　輪郭内の面積の外接図形の面積に対する比：＜０．９７０
　外接図形のアスペクト比：＜０．９１０
（条件２－１）くっついた２つの脂肪滴である領域を除外するための条件の組み合わせ
　輪郭内の面積の外接図形の面積に対する比：＜０．８０
　外接図形のアスペクト比：＜０．６０
（条件２－２）くっついた２つの脂肪滴である領域を除外するための条件
　Ｒの分散値＜０．２９
（条件３）くっついた３つの脂肪滴である領域を除外するための条件の組み合わせ
　輪郭内の面積の外接図形の面積に対する比：＜０．７２
　外接図形のアスペクト比：＜０．７０
　輪郭内の領域の赤色分散値＜０．２２
（条件４）上記以外の１つの脂肪滴である領域を除外するための条件の組み合わせ
　輪郭内の面積の外接図形の面積に対する比：＜０．９０
　外接図形のアスペクト比：＜０．７７０
　輪郭内の領域の赤色分散値＜０．２９
　なお、（条件２－１）の組み合わせ及び（条件２－２）は（条件１）に合致しないもの、（条件３）の組み合わせはさらに（条件２－１）の組み合わせ及び（条件２－２）のいずれにも合致しないもの、（条件４）の組み合わせはさらに（条件３）にも合致しないものに適用した。また、これらの条件に含まれるパラメータは、本発明者らが経験的に得た値である。
　図１３Ｂは、上記の条件を用いて肝生検画像で検知されて除外される脂肪滴の像の例を示す図である。なお、実際の処理はカラーの肝生検画像で行われており、本図では、その結果として除外された脂肪滴の像（６か所）を、破線の長円で囲んで示している。
　図１４は、これらの条件を用いて実施したＢＨの判定結果を示す。表中、ＢＨ数は、肝生検画像内で肝臓病理医が指摘したＢＨの個数である。また、指摘数は、病理診断装置１０によって上記条件を用いて指摘したＢＨの個数である。また、正解数は、病理診断装置１０が指摘したＢＨのうち、肝臓病理医が指摘したものと一致した個数、誤答数は、病理診断装置１０が指摘したＢＨのうち、肝臓病理医がＢＨではないと診断した細胞の個数である。正診率は、正解数／指摘数、誤診率は、誤答数／指摘数、指摘率は、正解数／ＢＨ数である。
　また、図１５Ａ、図１５Ｂ、図１５Ｃ、図１５Ｄは、それぞれ図１４の表に挙がる検体Ｅ、Ｆ、Ｈ、Ｉの肝生検画像であり、ＢＨの判定例を示す。図１５Ａ～図１５Ｄのそれぞれにおいて、実線の円は段階１及び段階２の両方で特定されたＢＨの領域、点線の円は段階２のみで特定されたＢＨの領域、矢印は、肝臓病理医が別途行った目視で指摘したＢＨを示す。
　これらの図からわかるように、肝臓病理医が指摘したＢＨの９０％以上が病理診断装置１０によって特定されている。
　個別の例をみると、検体Ｅの例のように誤診率が高いものがある。ただし、肝臓病理医によれば、この例において画像右半分強の上端から約三分の二のやや明るい範囲は、ＢＨに近い細胞が集団を形成している領域である。つまり、この領域の誤答は正解に近い、又は肝臓病理医にとっても今後のＢＨへの変化具合を注視すべき箇所の細胞が特定されたともいえる。
　検体Ｆの例は、段階１及び２いずれにおいても、肝臓病理医と同等の結果が得られた好例である。
　検体Ｈ及びＩの例では、肝臓病理医が指摘したものの特定については比較的良好な結果を示したが、段階１及び２のいずれで特定されたものにも誤答があった。この点は、さらなる症例の積み重ねによって新たな条件又はより適切なパラメータを得ることで今後の誤診率の低下が可能である。なお、検体Ｉは図１３Ａにて示した、血管の像が除外された例である。段階１又は段階２でいったんＢＨと特定された領域であっても、血管の像の除外がなされた結果、誤答が削減された。
　［６．他の実施の形態］
　上記の実施例１では、ＢＨの輪郭の判定に３つの条件を用いたが、これらの３つの条件を組み合わせて用いることは本発明に必須ではない。
　上記の実施の形態に係る病理診断装置１０を用いて多くの症例が積み重ねられることで、輪郭抽出より前に行われる処理に用いられるより適切なパラメータ、判定の条件に含まれる各閾値のより適切な値が得られることで、より少ない条件で同程度の確度での判定が可能であると考える。なお、上記の各閾値の値はあくまで例である。本発明が他の疾病の病理診断に応用されれば異なる値が用いられることは言うまでもなく、ＮＡＳＨの病理診断においても、異なる閾値が用いられてよい。
　また、実施の形態に記載した条件のうち、上記の本実施例では用いられなかった条件もＮＡＳＨに関する診断に利用可能である。例えば、抽出された細胞質の輪郭とその凸包又は外接楕円との距離のみに基づくＢＨに関する判定が高い精度を示した症例もあった。
　また、上記の実施の形態及び実施例では、外接図形として外接楕円及び凸包を例示したが、抽出された輪郭に外接する正多角形等の、外接楕円又は凸包以外の外接図形が用いられてもよい。用いられる図形は、診断のための観察の対象である細胞又は構造物の、正常な場合又は病変をきたしている場合の形状に応じて決定される。
　また、上記の実施例においては、輪郭の抽出の対象である領域の選択を、第一領域の画像における青色成分の分布に基づいて行ったが、これに限定されない。本発明者らは、肝生検細胞の画像には、緑色成分についても青色成分ほど高くはないが、線維化の度合いと相関する有意な傾向を見出した。したがって、細胞質領域画像における緑色成分の極大値を領域の選択の基準に用いることが可能であり、青色成分と併用されてもよい。
　また、度数分布から導かれる他の数値が用いられてもよい。例えばある画素値の度数分布が多峰性である場合に、各峰の所定の分散の範囲内での面積の比率に基づいて、輪郭の抽出の対象である領域が選択されてもよい。
　また、複数の画素値に基づいて領域が選択されてもよい。例えば輝度値及びＲＧＢの各色値の少なくとも２つ以上について、上記の各条件に照らした判定を行い、その結果の組み合わせに基づいて領域が選択されてもよい。また、２つの画素値の度数分布の面積の比率、最大値の大小関係等に基づいて領域が選択されてもよい。
　また、本発明がＮＡＳＨ以外の疾患の病理診断に応用されれば、領域の選択の基準に用いられる画素値、極大値等の統計量（特徴量）、及び閾値は、診断対象の組織に生じる病変、又は標本化で用いられる染色液の種類等に応じて上述の各例とは異なるものであってもよく、ＮＡＳＨの病理診断においても、上記の実施例とは異なる色値、又は特徴量等が基準に用いられてよい。
　また、領域の選択の基準に用いられる数値は、上記の実施例のような第一画像から得られるものに限定されない。各領域の画素値に基づく特徴量のいずれかが利用されてもよいし、又は複数の特徴量から導かれる数値が利用されてもよい。
　また、上記の例では生検画像の原画像全体のＢ値に関する１つの特徴量を用いて領域の選択がされたが、原画像全体の複数の画素値に関する複数の特徴量から導かれる数値が利用されてもよい。各領域の画素値に基づく特徴量を利用する選択手法で精度の高い選択が可能ではあるが、生検画像の分割の処理のみで長時間を要する場合に、さらに各領域での特徴量を求めることを要しない簡易的な選択手法として利用されてもよい。
　また、図１２Ａ及び図１２Ｂに示される各画像に見られる要素が、診断結果出力部１９０から出力される診断結果に含まれてもよい。例えば、診断結果出力部１９０から出力される画像データが示す画像は、元の病理画像上に、図１２Ａの画像に見られる輪郭の線又は記号のように、病理診断に用いられる画像の特徴を示す要素が重畳されたものであってもよい。あるいは、図１２Ｂの画像に見られる丸い囲み又は矢印等のように、元の病理画像に重畳される図形を用いて特定された病変範囲が提示されてもよい。また、これらの線、記号、又は図形の、元の病理画像に重畳しての表示／非表示がユーザの操作で切り替え可能な映像として出力されてもよい。また、ユーザに提示される画像には、元の病理画像に代えて、その明るさ、色調、又はコントラスト等を補正して得られた画像が適宜用いられてもよい。
　このような画像から、例えばユーザである病理医は、病変をきたした細胞、又はその蓋然性の高い細胞を容易に把握して、自らの診断の参考に用いることができる。また、病理医は、その画像を見て、病理診断装置１０において各処理で用いられるパラメータをさらに調整してもよい。これにより、ユーザは各症例にあわせたより適切な病理診断画像を病理診断装置１０から得ることができる。
　［７．効果］
　本実施の形態に係る病理診断装置１０は、画像分割部１３０と、輪郭抽出部１５０と、病変範囲特定部１７０と、診断結果出力部１９０とを備える。
　画像分割部１３０は、身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割する。
　輪郭抽出部１５０は、これらの複数の領域から選択された１つの領域において輪郭を抽出する。
　病変範囲特定部１７０は、抽出されたこの輪郭を用いて、上記の画像に写る病変範囲を特定する。
　診断結果出力部１９０は、特定されたこの病変範囲に基づく診断結果を出力する。
　これにより、診断対象の部位が写る画像から、人の視覚によっては安定的な発見が困難な特徴を精度よく捉え、この特徴に基づいて当該画像に写る病変範囲が特定される。また、特定された病変の範囲は、病理医等のユーザによって診断に利用な可能な形で提示される。
　例えば、病変範囲特定部１７０は、抽出された輪郭の外接図形を算出し、この外接図形に基づいて病変範囲を特定してもよい。
　細胞の内外には、病変の有無又は程度に応じて形状が変化する構造物がある。病理画像に写るこのような構造物の形状を、このような外接図形に基づいて解析することで病変範囲を特定することができる。
　一具体例として、病変範囲特定部１７０は、上記の外接図形の長径に対する短径の比率が第一閾値以下である場合、当該輪郭内の範囲を病変範囲として特定してもよい。
　これにより、正常であれば縦横比が１：１に近い構造物等の形状に基づいて病変範囲が特定される。
　なお、外接図形について長手方向及び短手方向を特定し得ない場合もあるが、本開示においては、そのような場合も便宜的に径の一方を長径、他方を短径として扱う。
　他の具体例として、病変範囲特定部１７０は、上記の外接図形からその中にある抽出された輪郭までの距離に基づいて病変範囲を特定してもよい。
　これにより、特定の構造物の変形の度合いに基づいて病変範囲が特定される。
　より具体的には、病変範囲特定部１７０は、抽出された輪郭について、
　（条件１）当該輪郭が、その外接図形までの距離が第二閾値を超える画素を所定の個数より多く含む、
　（条件２）当該輪郭が、その外接図形までの距離が第三閾値を超える画素を所定の割合より多く含む、
　（条件３）外接図形の周囲長に対する外接図形までの距離の比率が第四閾値を超える、
　（条件４）前記外接図形の長径に対する外接図形までの距離の比率が第五閾値を超える、又は
　（条件５）前記外接図形の短径に対する外接図形までの距離の比率が第六閾値を超える
　のいずれかの条件が満たされる場合、当該輪郭内の範囲を病変範囲として特定してもよい。
　いずれの条件でも、抽出された輪郭の、その外接図形との形状の差の大きさ、別の言い方をすれば輪郭が抽出された構造物は、ある程度を超える変形をしているか否かに関する判定がされる。これにより、特定の構造物の変形の度合いに基づいて病変範囲が特定される。
　また、病変範囲特定部１７０は、抽出された輪郭の、その外接図形に対する面積の比率が第七閾値以下である場合、当該輪郭内の範囲を病変範囲として特定してもよい。
　この条件では、抽出された輪郭の面積とその外接図形の面積との差に基づいて、構造物の形状がある程度を超えていびつか否かに関する判定がされる。これにより、特定の構造物の変形の度合いに基づいて病変範囲が特定される。
　また、上記の外接図形は、抽出された輪郭の凸包又は外接楕円であってもよい。
　これにより、例えば構造物の輪郭に凹みがあるか否か、あればその凹みの大きさに基づいて当該構造物の病変の有無又はその程度が判定される。上記の実施例では、肝細胞の細胞質の輪郭とその凸包を用いて、当該肝細胞がＢＨであるか否かの判定がなされた。
　なお、本開示において、「楕円」は真円を包含する概念の語として用いられている。
　また、病変範囲特定部１７０は、抽出された輪郭内に含まれる画素の画素値の分散を示す値が第八閾値を超える場合、当該輪郭内の範囲を病変範囲として特定してもよい。
　この条件では、例えば所定の病変に伴って不純物を内包する構造物が、この不純物をある程度の割合を超えて含むか否かに関する判定がされる。これにより、特定の構造物が含む不純物の多寡に基づいて病変範囲が特定される。
　また、画像分割部１３０は、上記の画像の輝度値の出現頻度の度数分布を、混合ガウス分布法を用いて複数の正規分布に分割し、これらの複数の正規分布のそれぞれに対応する画素の集合を同一の領域として扱うことで前記画像を前記複数の領域に分割してもよい。
　これにより、ひとつの画像を、材料又は構造が互いに異なる構造物をそれぞれおもに含む複数の領域に分割することができる。
　また、上記の画像はカラー画像であって、輪郭抽出部１５０は、画像分割部１３０による分割によって得られた当該カラー画像の第一領域又は第二領域を構成する画素の所定の色の階調値の出現頻度に基づいて複数の領域のいずれか１つを選択し、選択した当該領域から輪郭を抽出してもよい。
　これにより、病変の有無又は程度によって変化する構造物の画像情報に基づいて、輪郭抽出により適した領域を選択することができる。
　より具体的な例として、複数の領域には、第一領域及び前記第一領域より平均輝度が低い第二領域が含まれ、上記の出現頻度の度数分布は、第一極大値及び前記第一極大値よりも低い階調値における極大値である第二極大値を有しているとき、輪郭抽出部１５０は、第一極大値に対する第二極大値の比率が所定の閾値以下の場合、輪郭を抽出する対象として第一領域を選択してもよい。また、第一極大値に対する第二極大値の比率が所定の閾値より大きい場合、輪郭を抽出する対象として第二領域を選択してもよい。
　病変をきたしていなければ第二領域に写る構造物におもに含まれるある材料が、病変によって第一領域に含まれる量が増すことがある。このような場合に、この材料が第一領域に含まれる量がある程度を超えると、病変が進行していないときに輪郭を抽出する第一領域ではなく、第二領域を用いる、というように、輪郭の抽出の対象となる領域を切り替えることができる。
　また、上記の実施の形態では、病理診断装置を例として本発明の説明がなされたが、本発明は、当該病理診断装置において実行される処理のうち、画像処理のための手順を含む画像処理方法としても実現可能である。また、本発明は、病理診断装置１０で行われる各処理の手順を汎用の電子計算機が備える、又は専用の病理診断装置のマイクロコントローラに含まれる演算処理装置（プロセッサ）に実行させるプログラムとしても実現可能である。上記のような効果は、これらの方法又はプログラムによっても得られる。
　また、上記の実施の形態及び実施例では、本発明は生検画像を用いた病理診断を行うための装置等として実現され、診断者の経験、標本化の工程、又は撮影等の条件によって安定的な診断が困難であったという問題を解消するものとして説明されている。
　ここで、本発明は蓄積された過去の病理画像を資産として活用することも可能であることから、医療の現場のみならず、研究においても有用である。
　また、同一の症例についての病理画像による診断結果及び血液検査による診断結果がある程度まとまって利用可能であれば、統計的にこれらの結果の相関を得ることで、より信頼性が高く早期のスクリーニングに利用可能なバイオマーカーが発見される可能性がある。その結果、検査対象者への身体的負担及びリスクが採血よりも高い外科的な手法での生検用の組織の採取の必要性を下げることができる。さらには、従来は特別な検査が必要だった疾病の検査を、血液のみですでに高い確度で検査が可能な他の病気とあわせて容易に行うことを可能にする本発明は、公衆の健康増進に資する。
　［８．その他］
　ここまでは、ＮＡＳＨの病理診断に関連して本発明を具体的に説明したが、本発明が適用可能な疾患はＮＡＳＨに限定されない。例えば、拡張型心筋症その他の線維化を伴う細胞変性が生じる各種の疾患、大腸ポリープ等のがんに移行する可能性がある疾患、又はがんとの判別が難しい疾患への適用が考えられる。このような疾患の生検画像で人の目には容易に分からない細胞又はその内外の構造体の形状、輝度、色等の特徴を本発明に係る病理診断装置で捉え、早期で正確な診断をすることができる。
　なお、このようにある疾患に本発明の技術を新たに適用する場合、病変範囲の特定に用いられる条件及びこの条件に含まれる閾値は、生検画像の原画像及び画像分割部が原画像を分割して得られた各領域の画素情報（輝度、ＲＧＢ値、及びこれらのヒストグラム）を用いることができる。
　より具体的には、これらの画素情報から導かれる統計量の特徴と、当該生検画像の症例の患者の病歴及び病状とを統計的に分析してこれらの相関を見出すことで、病変の有無又は進行度と関連の高い画像情報の統計量が特定される。そして、この統計量に関する条件の内容及び閾値が、多数の症例から導かれる。上記の実施例で本発明者らが経験的に求めて用いた条件及びその閾値もこのようにして導かれたものである。
　このような特徴の利用例としては、原画像を分割して得られた各領域の画素値（輝度値及びＲＧＢの各色値）が１以上の画素の個数（領域面積）、画素値の度数分布の極値、最頻値、標準偏差及びヒストグラム全体又は一部の面積又は裾幅を特徴量として用いるケースが挙げられる。また、原画像についてのこれらの特徴量が用いられてもよい。例えば本発明者らは、ＮＡＳＨの病理診断に用いる条件及びその閾値の検討の過程で、細胞質領域及び原画像のＢ値及びＧ値のヒストグラムの裾幅も求めた。
　本発明は、診断対象の部位が写る画像から、人の視覚によっては安定的な発見が困難な病変の特徴を精度よく特定するための病理診断装置又は画像処理方法、及び病理診断装置を実現するためのプログラムとして利用可能である。
　１０　　病理診断装置
　２０　　撮像装置
　３０　　記憶装置
　４０　　記憶媒体
　１１０　画像取得部
　１３０　画像分割部
　１３１　統計処理部
　１３３　正規化部
　１３５　領域分割部
　１５０　輪郭抽出部
　１７０　病変範囲特定部
　１９０　診断結果出力部

Claims (13)

  1. 　身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割する画像分割部と、
    　前記複数の領域から選択された１つの領域において輪郭を抽出する輪郭抽出部と、
    　前記輪郭を用いて、前記画像に写る病変範囲を特定する病変範囲特定部と、
    　特定された前記病変範囲に基づく診断結果を出力する診断結果出力部とを備える
    　病理診断装置。
  2. 　前記病変範囲特定部は、前記輪郭の外接図形を算出し、前記外接図形に基づいて前記病変範囲を特定する
    　請求項１に記載の病理診断装置。
  3. 　前記病変範囲特定部は、前記輪郭について算出された前記外接図形の長径に対する短径の比率が第一閾値以下である場合、当該輪郭内の範囲を前記病変範囲として特定する
    　請求項２に記載の病理診断装置。
  4. 　前記病変範囲特定部は、前記外接図形から前記輪郭までの距離に基づいて前記病変範囲を特定する
    　請求項２に記載の病理診断装置。
  5. 　前記病変範囲特定部は、前記輪郭について、
    　（条件１）当該輪郭が、前記距離が第二閾値を超える画素を所定の個数より多く含む、
    　（条件２）当該輪郭が、前記距離が第三閾値を超える画素を所定の割合より多く含む、
    　（条件３）前記外接図形の長径に対する前記距離の比率が第四閾値を超える、
    　（条件４）前記外接図形の短径に対する前記距離の比率が第五閾値を超える、又は
    　（条件５）前記外接図形の周囲長に対する前記距離の比率が第六閾値を超える
    　のいずれかの条件が満たされる場合、
    　当該輪郭内の範囲を前記病変範囲として特定する
    　請求項４に記載の病理診断装置。
  6. 　前記病変範囲特定部は、前記外接図形の面積に対する前記輪郭の面積の比率が第七閾値以下である場合、当該輪郭内の範囲を前記病変範囲として特定する
    　請求項２に記載の病理診断装置。
  7. 　前記外接図形は、前記輪郭の凸包又は外接楕円である
    　請求項２から６のいずれか１項に記載の病理診断装置。
  8. 　前記病変範囲特定部は、前記輪郭内に含まれる画素の画素値の分散を示す値が第八閾値を超える場合、当該輪郭内の範囲を前記病変範囲として特定する
    　請求項１に記載の病理診断装置。
  9. 　前記画像分割部は、
    　前記輝度値の出現頻度の度数分布を、混合ガウス分布法を用いて複数の正規分布に分割し、
    　前記複数の正規分布のそれぞれに対応する画素の集合を同一の領域として扱うことで前記画像を前記複数の領域に分割する
    　請求項１から８のいずれか１項に記載の病理診断装置。
  10. 　前記画像はカラー画像であって、
    　前記輪郭抽出部は、前記画像分割部による分割によって得られた当該カラー画像の第一領域又は第二領域を構成する画素の所定の色の階調値の出現頻度に基づいて前記複数の領域のいずれか１つを選択し、選択した当該領域から前記輪郭を抽出する
    　請求項９に記載の病理診断装置。
  11. 　前記複数の領域には、第一領域及び前記第一領域より平均輝度が低い第二領域が含まれ、
    　前記出現頻度の度数分布は、第一極大値及び前記第一極大値よりも低い階調値における極大値である第二極大値を有し、
    　前記輪郭抽出部は、
    　前記第一極大値に対する前記第二極大値の比率が所定の閾値以下である場合、前記輪郭を抽出する対象として前記第一領域を選択し、
    　前記第一極大値に対する前記第二極大値の比率が所定の閾値より大きい場合、前記輪郭を抽出する対象として前記第二領域を選択する
    　請求項１０に記載の病理診断装置。
  12. 　身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割し、
    　前記複数の領域から選択された１つの領域において輪郭を抽出し、
    　前記輪郭を用いて、前記画像に写る病変範囲を特定し、
    　前記病変範囲を前記画像上で提示するデータを生成する
    　画像処理方法。
  13. 　プロセッサに、
    　身体の診断対象部位が写る画像を、当該画像を構成する画素の輝度値に基づいて複数の領域に分割させ、
    　前記複数の領域から選択された１つの領域において輪郭を抽出させ、
    　前記輪郭を用いて、前記画像に写る病変範囲を特定させ、
    　特定された前記病変範囲に基づく診断結果を出力させる
    　プログラム。
PCT/JP2018/030758 2017-08-31 2018-08-21 病理診断装置、画像処理方法及びプログラム WO2019044579A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019539384A JPWO2019044579A1 (ja) 2017-08-31 2018-08-21 病理診断装置、画像処理方法及びプログラム
EP18851431.9A EP3677168A4 (en) 2017-08-31 2018-08-21 PATHOLOGICAL DIAGNOSTIC DEVICE, IMAGE PROCESSING METHOD AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-167549 2017-08-31
JP2017167549 2017-08-31

Publications (1)

Publication Number Publication Date
WO2019044579A1 true WO2019044579A1 (ja) 2019-03-07

Family

ID=65525526

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/030758 WO2019044579A1 (ja) 2017-08-31 2018-08-21 病理診断装置、画像処理方法及びプログラム

Country Status (3)

Country Link
EP (1) EP3677168A4 (ja)
JP (1) JPWO2019044579A1 (ja)
WO (1) WO2019044579A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022004198A1 (ja) * 2020-07-02 2022-01-06 富士フイルム株式会社 病理診断支援装置、病理診断支援装置の作動方法、病理診断支援装置の作動プログラム
CN116934742A (zh) * 2023-09-13 2023-10-24 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种淋巴结构图像识别方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000331143A (ja) * 1999-05-14 2000-11-30 Mitsubishi Electric Corp 画像処理方法
WO2005104041A1 (ja) * 2004-04-27 2005-11-03 Hitachi Medical Corporation 画像描画装置及びその方法
JP2008307229A (ja) * 2007-06-14 2008-12-25 Olympus Corp 画像処理装置および画像処理プログラム
JP2009180539A (ja) * 2008-01-29 2009-08-13 Nec Corp 病理診断支援装置、病理診断支援方法、およびプログラム
JP2012016454A (ja) * 2010-07-07 2012-01-26 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
WO2012011579A1 (ja) 2010-07-23 2012-01-26 独立行政法人産業技術総合研究所 病理組織画像の領域分割画像データ作成システム及び病理組織画像の特徴抽出システム
JP2015137857A (ja) * 2014-01-20 2015-07-30 富士ゼロックス株式会社 検出制御装置、プログラム及び検出システム
JP2016530000A (ja) * 2013-08-14 2016-09-29 ブイエスピー ラブス インコーポレイテッドＶｓｐ Ｌａｂｓ，Ｉｎｃ． 顔特徴を測定するシステム及び方法
WO2017033516A1 (ja) * 2015-08-24 2017-03-02 富士フイルム株式会社 読影支援装置及び方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3486615B2 (ja) * 2001-05-22 2004-01-13 畦元 将吾 医療用画像の領域抽出方法
WO2005076197A2 (en) * 2004-01-31 2005-08-18 Bioimagene, Inc. Method and system for morphology based mitosis identification and classification of digital images
JP5542454B2 (ja) * 2010-01-14 2014-07-09 株式会社東芝 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
WO2016181550A1 (ja) * 2015-05-14 2016-11-17 オリンパス株式会社 画像処理装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000331143A (ja) * 1999-05-14 2000-11-30 Mitsubishi Electric Corp 画像処理方法
WO2005104041A1 (ja) * 2004-04-27 2005-11-03 Hitachi Medical Corporation 画像描画装置及びその方法
JP2008307229A (ja) * 2007-06-14 2008-12-25 Olympus Corp 画像処理装置および画像処理プログラム
JP2009180539A (ja) * 2008-01-29 2009-08-13 Nec Corp 病理診断支援装置、病理診断支援方法、およびプログラム
JP2012016454A (ja) * 2010-07-07 2012-01-26 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
WO2012011579A1 (ja) 2010-07-23 2012-01-26 独立行政法人産業技術総合研究所 病理組織画像の領域分割画像データ作成システム及び病理組織画像の特徴抽出システム
JP2016530000A (ja) * 2013-08-14 2016-09-29 ブイエスピー ラブス インコーポレイテッドＶｓｐ Ｌａｂｓ，Ｉｎｃ． 顔特徴を測定するシステム及び方法
JP2015137857A (ja) * 2014-01-20 2015-07-30 富士ゼロックス株式会社 検出制御装置、プログラム及び検出システム
WO2017033516A1 (ja) * 2015-08-24 2017-03-02 富士フイルム株式会社 読影支援装置及び方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ITANO, KEIKO: "Understand data acquisition and analysis of mixed gaussian distribution model for medical image data", EXPERIMENTAL MEDICINE, vol. 35, no. 5, Special issue, 15 March 2017 (2017-03-15), pages 752 - 759, XP009519055, ISSN: 0288-5514 *
SATOSHI SUZUKIKEIICHI ABE, K.: "Topological Structural Analysis of Digitized Binary Images by Border Following", COMPUTER VISION, GRAPHICS, AND IMAGE PROCESSING, vol. 30, no. 1, April 1985 (1985-04-01), pages 32 - 46, XP001376400
See also references of EP3677168A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022004198A1 (ja) * 2020-07-02 2022-01-06 富士フイルム株式会社 病理診断支援装置、病理診断支援装置の作動方法、病理診断支援装置の作動プログラム
JP7436666B2 (ja) 2020-07-02 2024-02-21 富士フイルム株式会社 病理診断支援装置、病理診断支援装置の作動方法、病理診断支援装置の作動プログラム
CN116934742A (zh) * 2023-09-13 2023-10-24 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种淋巴结构图像识别方法及系统
CN116934742B (zh) * 2023-09-13 2024-02-27 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种淋巴结构图像识别方法及系统

Also Published As

Publication number Publication date
EP3677168A1 (en) 2020-07-08
EP3677168A4 (en) 2020-11-04
JPWO2019044579A1 (ja) 2020-11-05

Similar Documents

Publication Publication Date Title
JP7076698B2 (ja) 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
US8111897B2 (en) Evaluation system, evaluation method, and recording medium
CN111951221B (zh) 一种基于深度神经网络的肾小球细胞图像识别方法
CN106462767B (zh) 用于处理和分析图像的检查设备
US7907775B2 (en) Image processing apparatus, image processing method and image processing program
JP5953035B2 (ja) 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム
US9779499B2 (en) Grading of glandular tissue cancer by detailed image analysis of stained tissue slices
EP2926716A1 (en) Image processing device, image processing method, and image processing program
JP2004286666A (ja) 病理診断支援装置および病理診断支援プログラム
CN103327883A (zh) 医用图像处理装置和医用图像处理方法
JP5771513B2 (ja) 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム
Tang et al. Splat feature classification: Detection of the presence of large retinal hemorrhages
WO2019044579A1 (ja) 病理診断装置、画像処理方法及びプログラム
KR100291149B1 (ko) 병리조직진단지원장치
Schmuck et al. Automated high content image analysis of dendritic arborization in primary mouse hippocampal and rat cortical neurons in culture
US11776115B2 (en) System and method for estimating a quantity of interest based on an image of a histological section
US9754383B1 (en) Automated methods for assessment of celiac disease
JP5624505B2 (ja) 画像処理装置
WO2018128091A1 (ja) 画像解析プログラム及び画像解析方法
US20210398321A1 (en) Method for identification of different categories of biopsy sample images
Palokangas et al. Segmentation of folds in tissue section images
JP4452624B2 (ja) 細管の自動組織学的類別
JP2022112407A (ja) 病理診断装置及び画像処理方法
Silva et al. Development of a quantitative semi-automated system for intestinal morphology assessment in Atlantic salmon, using image analysis
US20100106022A1 (en) Carotid plaque identification method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18851431

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2019539384

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018851431

Country of ref document: EP

Effective date: 20200331