WO2019181845A1 - 生体組織解析装置、生体組織解析プログラムおよび生体組織解析方法 - Google Patents

生体組織解析装置、生体組織解析プログラムおよび生体組織解析方法 Download PDF

Info

Publication number
WO2019181845A1
WO2019181845A1 PCT/JP2019/011152 JP2019011152W WO2019181845A1 WO 2019181845 A1 WO2019181845 A1 WO 2019181845A1 JP 2019011152 W JP2019011152 W JP 2019011152W WO 2019181845 A1 WO2019181845 A1 WO 2019181845A1
Authority
WO
WIPO (PCT)
Prior art keywords
biological tissue
analysis
analysis target
altered state
hyperspectral data
Prior art date
Application number
PCT/JP2019/011152
Other languages
English (en)
French (fr)
Inventor
大輝 中矢
佐鳥　新
Original Assignee
一般財団法人未来科学研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 一般財団法人未来科学研究所 filed Critical 一般財団法人未来科学研究所
Priority to US16/981,451 priority Critical patent/US11499958B2/en
Priority to SG11202008891RA priority patent/SG11202008891RA/en
Priority to EP19772299.4A priority patent/EP3770584B1/en
Priority to CN201980028047.XA priority patent/CN112204378A/zh
Priority to CA3096740A priority patent/CA3096740A1/en
Publication of WO2019181845A1 publication Critical patent/WO2019181845A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0264—Electrical interface; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178—Methods for obtaining spatial resolution of the property being measured
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Definitions

  • the present invention relates to a technique for analyzing a biological tissue using hyperspectral data, and in particular, a biological tissue analysis apparatus and a biological tissue analysis suitable for identifying an altered state of a biological tissue such as a cancerous state of a cell nucleus.
  • the present invention relates to a program and a biological tissue analysis method.
  • Japanese Patent Application Laid-Open No. 2017-203737 discloses an analysis step for determining whether or not a cell is a tumor cell by a statistical method, machine learning, or pattern recognition based on a spectrum of a cell contained in a sample.
  • a method for detecting tumor cells having the above has been proposed (Patent Document 1).
  • Patent Document 1 merely determines whether or not the cell to be analyzed is a tumor cell. For this reason, for example, the four stages of canceration (non-cancer cells, mild dysplasia (LGD: Low Grade Dysplasia), high dysplasia (HGD: High Grade Dysplasia), cancer cells) etc. As described above, there is a problem that the state of deterioration of the living tissue cannot be identified in detail.
  • the present invention has been made in order to solve such problems, and a biological tissue analysis apparatus and a biological tissue analysis program capable of identifying an altered state of a biological tissue with high accuracy using hyperspectral data It is another object of the present invention to provide a biological tissue analysis method.
  • the biological tissue analysis apparatus associates spectral information with each pixel constituting a two-dimensional image in order to solve the problem of accurately identifying the altered state of biological tissue using hyperspectral data.
  • a biological tissue analysis apparatus for analyzing a biological tissue using hyperspectral data comprising the following (i) and (ii) and the following (iii) and / or (iv) apparatus; (I) a hyperspectral data acquisition unit that acquires the hyperspectral data of a living tissue from a hyperspectral camera; (Ii) An analysis target part extraction unit that extracts pixels corresponding to the analysis target part from the two-dimensional image of the living tissue based on the hyperspectral data by image processing; (Iii) An altered state classification unit that roughly classifies the altered state of the living tissue by classifying each pixel corresponding to the analysis target site by unsupervised learning; (Iv) An altered state identifying unit that identifies an altered state of the living tissue by classifying each pixel corresponding to the analysis target site by supervised learning.
  • the analysis target region is identified before being identified by the altered state identifying unit. It is possible to have an altered state main classification unit that classifies each of the pixels corresponding to the above by unsupervised learning.
  • the analysis is performed according to the spectrum information of the light source used when acquiring the hyperspectral data.
  • the staining influence removal part which removes the spectrum component which changes with the staining density
  • the analysis target part extraction unit sets each pixel as the analysis target part based on the similarity of the spectrum information. It may be labeled with other parts, and the pixels labeled as the analysis target part may be filtered.
  • the analysis target site extraction unit specifies a gland duct by a two-dimensional image of the living tissue by image recognition processing.
  • the cell nucleus on the gland duct may be specified as an analysis target site by image recognition processing.
  • the alteration state specified by the alteration state main part is an ulcer.
  • Non-cancer cells and mild dysplasia LGD: Low Grade Dysplasia
  • the altered state identified by the altered state identifier is non-cancerous cells, mild dysplasia (LGD: Low Grade Dysplasia).
  • LGD Low Grade Dysplasia
  • HGD High Grade dysplasia
  • cancer cells in polyps May be specified.
  • visible light is included in the wavelength band of the hyperspectral data. Also good.
  • the biological tissue analysis program provides spectral information for each pixel constituting a two-dimensional image in order to solve the problem of accurately identifying the altered state of biological tissue using hyperspectral data.
  • a biological tissue analysis program for analyzing a biological tissue using hyperspectral data associated with the computer wherein the computer functions as (i) and (ii) below, and the computer as (iii) and / or (iv) below Functioning the biological tissue analysis program;
  • a hyperspectral data acquisition unit that acquires the hyperspectral data of a living tissue from a hyperspectral camera;
  • An analysis target part extraction unit that extracts pixels corresponding to the analysis target part from the two-dimensional image of the living tissue based on the hyperspectral data by image processing;
  • An altered state classification unit that roughly classifies the altered state of the living tissue by classifying each pixel corresponding to the analysis target site by unsupervised learning;
  • An altered state identifying unit that identifies an altered state of the living tissue by classifying each
  • the biological tissue analysis method provides spectral information for each pixel constituting a two-dimensional image in order to solve the problem of accurately identifying the altered state of biological tissue using hyperspectral data.
  • a biological tissue analysis method for analyzing a biological tissue using hyperspectral data associated with the biological tissue wherein the biological tissue has the following (i) and (ii) and the following (iii) and / or (iv) Tissue analysis method; (I) a hyperspectral data acquisition step of acquiring the hyperspectral data of a living tissue from a hyperspectral camera; (Ii) an analysis target part extraction step of extracting pixels corresponding to the analysis target part from the two-dimensional image of the biological tissue based on the hyperspectral data by image processing; (Iii) an altered state classification step for roughly classifying the altered state of the living tissue by classifying each pixel corresponding to the analysis target site by unsupervised learning; (Iv) An altered state identifying step for identifying an altered state of the biological tissue by classifying each pixel corresponding to the
  • Example 1 it is a table
  • surface which shows the contribution rate of each main component specified by the main component analysis.
  • Example 3 it is a table
  • Example 4 it is a table
  • Example 5 it is a graph which shows the independent component analysis result of hyperspectral data.
  • the biological tissue analysis system of the present embodiment is based on a hyperspectral camera 10 that acquires hyperspectral data of a biological tissue, and on the basis of hyperspectral data acquired by the hyperspectral camera 10. It is comprised from the biological tissue analyzer 1 which analyzes the alteration state of this.
  • a hyperspectral camera 10 that acquires hyperspectral data of a biological tissue
  • the biological tissue is a concept including all tissues in which a plurality of cells are gathered in a predetermined pattern in a living body including a human being and an animal.
  • the altered state is a concept including all states indicating how much the biological tissue is altered, such as the progression of cancer and the malignancy of cancer.
  • the hyperspectral camera 10 acquires two-dimensional spatial information and spectral information (hyperspectral information) at a plurality of wavelengths at the same time. Specifically, as shown in FIG. 2, hyperspectral data in which spectrum information is associated with each pixel constituting a two-dimensional image is acquired.
  • the spectral information is also called a spectral spectrum, and indicates the light intensity distribution for each band (wavelength).
  • the unit pixel constituting the two-dimensional image is set to a size included in the analysis target part in the biological tissue, and acquires hyperspectral data having a plurality of pixels for the analysis target part. It is supposed to be.
  • a cell nucleus is set as the analysis target site.
  • the site to be analyzed can be appropriately selected according to the altered state of the biological tissue to be analyzed, such as lymphocytes, mucus, and histocytes (white blood cells).
  • the biological tissue is fixed with formalin or the like and then embedded with paraffin or the like to create a section, which is subjected to hematoxylin / eosin staining or the like and then sandwiched between the preparations. Then, in a state where the preparation is set on a microscope, the transmitted light obtained by irradiating with a visible light source is enlarged, and the transmitted light is measured by the hyperspectral camera 10 in contact with the eyepiece.
  • infrared rays and ultraviolet rays used in general medical equipment have a low microscope lens permeability (optical coding performance) compared to the visible light range, and are easily affected by aberrations.
  • calcium fluoride used for a microscope lens emits fluorescence when excited by near-infrared light, and thus interferes with measurement of weak Raman signals.
  • visible light has a smaller photon energy than X-rays and has less influence on the human body.
  • the spectral information of visible light changes due to the influence of chromatin concentration in the cell nucleus. Like Raman spectroscopy, it may potentially contain information on many cellular tissues as well as chromatin. Is expensive. Therefore, in this embodiment, a visible light source is used so that visible light is included in the wavelength band of hyperspectral data.
  • the biological tissue analysis apparatus 1 is constituted by a computer such as a personal computer. As shown in FIG. 1, the biological tissue analysis apparatus 1 mainly includes a display means 2, an input means 3, a storage means 4, an arithmetic processing means 5, and have. Hereinafter, each component will be described in detail.
  • the display means 2 is composed of a liquid crystal display or the like, and displays an analysis result or the like by the biological tissue analyzer 1.
  • the input means 3 is composed of a keyboard, a mouse, etc., and inputs instructions and selections by the user.
  • the display means 2 having only the display function and the input means 3 having only the input function are used separately.
  • Display input means such as a touch panel having a function may be used.
  • the storage unit 4 stores various data and functions as a working area when the arithmetic processing unit 5 performs arithmetic processing.
  • the storage means 4 is composed of a hard disk, a ROM (Read Only Memory), a RAM (Random Access Memory), a flash memory, etc.
  • a program storage unit 41, teacher data And a storage unit 42 As shown in FIG. 1, a program storage unit 41, teacher data And a storage unit 42.
  • each component will be described in more detail.
  • a biological tissue analysis program 1a for controlling the biological tissue analysis apparatus 1 of the present embodiment is installed. Then, the arithmetic processing means 5 executes the biological tissue analysis program 1a to cause the computer as the biological tissue analysis apparatus 1 to function as each component described later.
  • the utilization form of the biological tissue analysis program 1a is not limited to the above configuration.
  • the biological tissue analysis program 1a may be stored in a computer-readable recording medium such as a CD-ROM or DVD-ROM, and directly read from the recording medium and executed.
  • the teacher data storage unit 42 stores teacher data as spectrum information related to living tissue.
  • the cell nucleus in the ulcer is an analysis target site, the four stages of non-cancerous cells, mild dysplasia (LGD: Low Grade Dysplasia), high dysplasia (HGD: High Grade Dysplasia) and cancer cells in the ulcer.
  • Spectral information is registered as teacher data for each of the altered states specified by.
  • the teacher data is not limited to the above, and is appropriately selected according to the altered state of the living tissue to be analyzed.
  • the polyp is identified by three stages of mild atypical adenoma (LGA: Low Grade Adenoma), high atypical adenoma (HGA: High Grade Adenoma) and cancer cells. Spectral information will be registered for each altered state.
  • the arithmetic processing means 5 acquires hyperspectral data from the hyperspectral camera 10 and executes a biological tissue analysis process.
  • the arithmetic processing means 5 is composed of a CPU (Central Processing Unit) and the like, and by executing the biological tissue analysis program 1a installed in the storage means 4, as shown in FIG.
  • a spectrum data acquisition unit 51 an analysis target part extraction unit 52, a light source effect removal unit 53, a staining effect removal unit 54, a data number reduction unit 55, an alteration state classification unit 56, and an alteration state identification unit 57 It is supposed to function.
  • a spectrum data acquisition unit 51 an analysis target part extraction unit 52, a light source effect removal unit 53, a staining effect removal unit 54, a data number reduction unit 55, an alteration state classification unit 56, and an alteration state identification unit 57 It is supposed to function.
  • each component will be described in more detail.
  • the hyperspectral data acquisition unit 51 acquires hyperspectral data of biological tissue from the hyperspectral camera 10.
  • the hyperspectral data acquisition unit 51 outputs a control signal to the hyperspectral camera 10 to scan the living tissue, and acquires the image signal output from the imaging device as hyperspectral data for each line. It has become.
  • the analysis target part extraction unit 52 extracts pixels corresponding to the analysis target part from the two-dimensional image of the biological tissue based on the hyperspectral data by image processing.
  • the analysis target part extraction unit 52 first extracts spectral information of each pixel constituting the two-dimensional image, as shown in FIG. Next, as shown in FIG. 3B, based on the similarity of the extracted spectral information, each pixel is labeled with the analysis target site and other sites (lymphocytes, tissue spheres, mucus, etc.). Then, as shown in FIG. 3C, the pixels labeled as the analysis target part are filtered. The filtered spectral information of each pixel (light intensity for each band) becomes analysis data.
  • the analysis target part extraction unit 52 calculates the similarity of spectrum information based on the distance between vectors, the Mahalanobis distance, and the like.
  • a similarity threshold is set for each analysis target region and each other region, and pixels having a similarity equal to or higher than any one of the thresholds are labeled as regions corresponding to the threshold. It is like that.
  • the analysis target part extraction unit 52 extracts the analysis target part based on the similarity of the spectrum information.
  • the present invention is not limited to this configuration, and other extraction methods are adopted. May be. Specifically, ulcers and polyps have a gland duct structure, and cell nuclei (glandular epithelial cells) serving as analysis target sites exist on the gland duct.
  • the analysis target region extraction unit 52 synthesizes a two-dimensional image (RGB image) of the biological tissue from the hyperspectral data
  • a gland duct may be specified by performing image recognition processing on a dimensional image, and a cell nucleus on the gland duct may be specified as an analysis target site by image recognition processing.
  • the light source effect removing unit 53 removes the influence of the light source on the analysis data.
  • the light source influence removing unit 53 removes the influence of the light source by dividing the spectral information of the pixel corresponding to the analysis target portion by the spectral information of the light source used when acquiring the hyperspectral data. It has become.
  • the light source influence removing unit 53 calculates the spectral reflectance R i by the following equation (1) for each band of the analysis data.
  • R i I i / I 0 Formula (1)
  • each symbol represents the following.
  • I i Spectrum information of i-th cell nucleus
  • I 0 Spectrum information of light source
  • the analysis target part extraction unit 52 since the analysis target part extraction unit 52 extracts pixels corresponding to the analysis target part, the spectral reflectance R i is calculated for each pixel. However, as described above, when the analysis target part extraction unit 52 extracts the analysis target part by the image recognition processing, the spectral reflectance R i is calculated for each analysis target part. If the conditions of the light source at the time of acquiring the hyperspectral data are constant, it is not necessary to cause the light source effect removing unit 53 to function, and the spectrum information is directly used as analysis data.
  • the staining effect removing unit 54 removes the influence of staining on the analysis target site on the analysis data.
  • the staining influence removing unit 54 removes the influence of staining by removing the spectral components that change depending on the staining density of the analysis target part based on the spectral information of the pixel corresponding to the analysis target part. It has become.
  • the spectral components that change depending on the staining concentration of the site to be analyzed are specified in advance by independent component analysis or the like, as will be described later in Example 5. If the staining concentration of the analysis target site is constant, it is not necessary to cause the staining effect removing unit 54 to function, and the spectrum information from which the spectrum component is not removed becomes the analysis data as it is.
  • the data number reduction unit 55 reduces the number of data for analysis.
  • the data number reduction unit 55 improves the analysis speed by reducing the dimension of the analysis data by principal component analysis.
  • the method for reducing the number of data is not limited to principal component analysis, and the number of data may be reduced by selecting only an arbitrary band included in the analysis data. Further, when priority is given to analysis accuracy over analysis speed, all the data for analysis may be analyzed without causing the data number reduction unit 55 to function.
  • the altered state classification unit 56 roughly classifies the altered state of the biological tissue by classifying each pixel corresponding to the analysis target site by unsupervised learning.
  • the alteration state large classification unit 56 employs a cluster analysis (Ward method) for collecting clusters having different properties from a group in which different properties are mixed as unsupervised learning and creating clusters. is doing. For this reason, when analyzing the canceration state in the ulcer as in this embodiment, as described later in Example 1, among the four stages described above, non-cancer cells that are easy to identify and mild dysplasia (LGD) 2 Stages are broadly classified with high accuracy.
  • unsupervised learning is not limited to cluster analysis, and can be appropriately adopted as long as it can roughly classify the state of deterioration of living tissue.
  • the classification by the altered state classification unit 56 is performed before the alteration by the altered state discriminating unit 57 to narrow down the identification target and improve the identification accuracy and versatility, but is not necessarily executed. Furthermore, when analyzing the canceration state in a polyp, there is no stage of non-cancerous cells, so classification by the altered state general classification unit 56 is unnecessary.
  • the alteration state identification unit 57 identifies the alteration state of the living tissue by classifying each pixel corresponding to the analysis target site by supervised learning.
  • the altered state identifying unit 57 employs logistic regression having a high classification function as supervised learning. For this reason, as will be described later in Example 3, two stages of highly dysplasia (HGD) and cancer cells, which were difficult to identify in the altered state major classification unit 56, are also identified with high accuracy.
  • supervised learning is not limited to logistic regression, and support vector machines (SVM: Support Vector Machine), random forest, deep learning, etc. can be used as long as they can identify the altered state of living tissue. Neural network-related methods, discriminant analysis, and the like can be employed as appropriate. Further, when the non-cancer cell and the mild dysplasia (LGD) are not roughly classified in advance by the altered state classification unit 56, each of the four stages may be identified directly by the altered state identification unit 57. Furthermore, when only the classification by the altered state classification unit 56 is sufficient, it is not necessary to execute the identification by the altered state identifying unit 57.
  • SVM Support Vector Machine
  • Hyperspectral data of biological tissue is acquired from the hyperspectral camera 10 (step S1: hyperspectral data acquisition step).
  • a visible light source that uses a microscope lens that is more transmissive than infrared rays and ultraviolet rays and is less susceptible to aberrations is used. Visible light has less influence on the human body than X-rays, and its spectral spectrum potentially contains information on many cellular tissues. Therefore, hyperspectral data suitable for analyzing the altered state of the biological tissue is acquired.
  • the analysis target region extraction unit 52 extracts pixels corresponding to the analysis target region from the two-dimensional image of the living tissue based on the hyperspectral data acquired by the hyperspectral data acquisition unit 51 (step S2: analysis). Target part extraction step). Thereby, since the spectral information of the pixel is output as analysis data, processing corresponding to the analysis mode is executed on the analysis data (step S3).
  • step S3 when the high-accuracy mode is set (step S3: YES), the light source effect removing unit 53 divides the spectral information of each pixel corresponding to the analysis target site by the spectral information of the light source (step S4). : Light source effect removal step). Thereby, since the influence of the light source with respect to the data for analysis is removed, analysis accuracy improves.
  • the staining effect removal unit 54 removes the spectral components that change depending on the staining concentration of the analysis target site (step S5: staining effect removal step). As a result, the influence of staining on the analysis data is removed, so that the analysis accuracy is improved.
  • step S3 NO
  • step S6 data number reduction step
  • the alteration state classification unit 56 classifies each pixel corresponding to the analysis target part by unsupervised learning (step S7: alteration state classification step). As a result, the altered state of the living tissue is roughly classified, and the alteration state identifying unit 57 narrows down the objects to be identified, thereby improving the analysis accuracy.
  • the altered state identifying unit 57 classifies each pixel corresponding to the analysis target part by supervised learning (step S8: altered state identifying step). Thereby, the altered state of the living tissue is identified with high accuracy.
  • the analysis result is displayed on the display means 2 or the like by the ratio of the number of pixels classified into each of the altered states with respect to the total number of pixels (step S9: analysis result display step).
  • step S1 and step S2 described above may be executed by an analysis device (program) separate from the biological tissue analysis device 1. That is, the hyperspectral data of the biological tissue is acquired from the hyperspectral camera 10 by a separate analysis device, and pixels corresponding to the analysis target site are extracted based on the hyperspectral data. Then, the biological tissue analysis apparatus 1 may acquire and analyze the pixel.
  • an analysis device program
  • Steps S3 to S6 and Step S9 described above are not essential processes, but are appropriately executed as necessary or according to the user's selection. Further, one or both of the above-described steps S7 and S8 are executed according to the required analysis accuracy, and the analysis is performed in the order of only step S7, only step S8, and both step S7 and step S8. Accuracy is improved.
  • the influence of the light source on the analysis data can be removed, and the analysis accuracy can be improved. 3. It is possible to remove the influence of staining on the analysis data and improve the analysis accuracy. 4).
  • the analysis target part can be extracted in units of pixels. 5).
  • the site to be analyzed can be extracted in units of cell nuclei. 6).
  • the cancerous state of cell nuclei in ulcers and polyps can be identified according to pathological diagnosis. 7).
  • By including visible light in the wavelength band it is possible to acquire hyperspectral data suitable for analyzing the altered state of biological tissue.
  • Example 1 an experiment was performed to confirm the discrimination performance of cluster analysis adopted as unsupervised learning by the altered state general classification unit 56 in the above-described embodiment.
  • a specimen related to ulcerative colitis is prepared as a living tissue, and is previously prepared by a pathologist in four stages of non-cancer cells, mild dysplasia (LGD), severe dysplasia (HGD), and cancer cells. Was identified. Next, hyperspectral data of cell nuclei were obtained for each of the identified four stages.
  • Example 1 hyperspectral data was acquired by directly placing the hyperspectral camera 10 (Hokkaido Satellite Co., Ltd .: HSC1702) on the eyepiece of an upright microscope (Olympus Corporation). At this time, the white LED built in the microscope was used as the light source, and the magnification of the microscope was 400 times (10 times the eyepiece, 40 times the objective).
  • the measurement wavelength range was from 350 nm to 1050 nm of visible light and the near infrared range, and a total of 141 bands of hyperspectral data was acquired with a wavelength sampling interval of 5 nm.
  • the non-cancer 1 to 4 which is each feature amount of the non-cancer cell has a discrimination rate of about 100% with respect to other feature amounts.
  • LGD1 which is one of the features of mild dysplasia (LGD)
  • LGD mild dysplasia
  • HSD advanced dysplasia
  • Example 2 an experiment was performed to confirm the performance of principal component analysis adopted as a data number reduction method by the data number reduction unit 55 in the above-described embodiment.
  • HSD highly dysplasia
  • the principal component analysis can reduce the number of data with little loss of information amount of the hyperspectral data and can improve the analysis speed.
  • Example 3 an experiment for confirming the identification performance of logistic regression adopted as supervised learning by the altered state identification unit 57 in the above-described embodiment was performed.
  • Example 2 hyperspectral data of cancer cells and highly dysplasia (HGD) in which the number of data was reduced in Example 2 was prepared.
  • HSD highly dysplasia
  • Hybrid-learn LogisticRegression function in extension module (scikit-learn) of numerical analysis software (Python)
  • analysis was performed by logistic regression.
  • the ratio of the number of high dysplasia (HGD) samples (490) and the number of cancer cell samples (320) it was divided into training data and test data at a ratio of 7: 3, and learning was performed.
  • the identification rate was as high as 95.9%.
  • the analysis target is analyzed by the support vector machine after being narrowed down in advance by the analysis accuracy when analyzed by the support vector machine which is one of the supervised learning and the cluster analysis which is one of the unsupervised learning. An experiment was conducted to compare the analysis accuracy of the case.
  • specimens related to ulcerative colitis are prepared, and only four stages of non-cancer cells, mild dysplasia (LGD), severe dysplasia (HGD), and cancer cells in the ulcer are prepared by using only the support vector machine. Identified.
  • non-cancer cells were identified in advance by cluster analysis, and then the remaining three stages of mild dysplasia (LGD), advanced dysplasia (HGD), and cancer cells were identified by a support vector machine. The result is shown in FIG.
  • the discrimination rates for the four stages of cancer cells, mild dysplasia (LGD), high dysplasia (HGD), and non-cancer cells were 92, respectively. 0.2%, 78.8%, 55.6% and 100.0%.
  • the discrimination rate for the four stages of cancer cells, mild dysplasia (LGD), and high dysplasia (HGD) is , 90.0%, 71.0% and 86.6%, respectively.
  • the identification of the cancerous state of the ulcer is performed in combination with the unsupervised learning by the alteration state large classification unit 56 rather than only by the supervised learning by the alteration state identification unit 57. It was shown that the identification accuracy is improved.
  • Example 5 an experiment was performed to identify spectral components that change according to the staining concentration of the site to be analyzed that should be removed by the staining effect removal unit 54 in the above-described embodiment.
  • paraffin-embedded sections were first prepared from formalin-fixed cancer surface epithelial tumors, and pathological specimens were prepared with hematoxylin and eosin staining.
  • hematoxylin and eosin staining chromatin in the nucleus is stained deep blue-purple. For this reason, the light transmittance changes depending on the chromatin concentration in the cell nucleus, and a spectrum change depending on the absorption spectrum of the staining solution is observed.
  • Example 2 using the same hyperspectral camera 10 as in Example 1, an average of three hyperspectral images were taken from one specimen with the magnification fixed at 200 times.
  • cancer cells since the cell nuclei are enlarged and it is difficult to confirm the cytoplasm, 1 to 10 cell nuclei were analyzed, and an average spectrum for each cell nucleus was used.
  • the staining concentration in the hyperspectral image was visually divided into three stages, and the staining level was set to 1, staining level 2, and staining level 3 from the one with the lowest staining concentration.
  • the independent component analysis of hyperspectral data was performed by setting the number of independent components to three. The result is shown in FIG. In the analysis, the reflection intensity measured by dividing the wavelength between 445 nm and 745 nm by a 5 nm band was used.
  • the independent component indicated by Signal 1 is a spectral component that varies depending on the staining density.
  • Example 5 it was shown that the spectral component that changes depending on the staining concentration of the site to be analyzed can be extracted by performing independent component analysis on the hyperspectral data.
  • biological tissue analysis apparatus 1 the biological tissue analysis program 1a, and the biological tissue analysis method according to the present invention are not limited to the above-described embodiments, and can be changed as appropriate.
  • cluster analysis is employed as unsupervised learning by the altered state main classification unit 56, but the present invention is not limited to this.
  • principal component analysis may be adopted as unsupervised learning, and hyperspectral data whose dimensions are reduced by the principal component analysis may be analyzed by linear discriminant analysis.
  • the cancerous state of the cell nucleus in the ulcer or polyp is identified as the altered state of the living tissue.
  • the altered state of the living tissue as shown below is identified. It is possible.
  • the data number reduction unit 55 reduces the dimension of the analysis data by principal component analysis.
  • the present invention is not limited to this method, and is for dimensional compression using a neural network.
  • An auto encoder self-encoder
  • a plurality of clusters may be formed using cluster analysis, which is one of unsupervised learning, and some of them may be removed as noise clusters.
  • hematoxylin and eosin staining is performed when measuring a living tissue.
  • the present invention is not limited to this, and antigens can be used as long as they have identifiability at the cellular level. You may use the immunostaining etc. which are used in order to visualize an antibody reaction (immune reaction).
  • the living body tissue is measured by bringing the hyperspectral camera 10 into contact with the eyepiece lens of the microscope.
  • the present invention is not limited to this configuration, and the eyepiece lens of the trinocular microscope is not limited to this configuration.
  • a biological tissue may be measured by bringing the spectrum camera 10 into contact therewith.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】　ハイパースペクトルデータを用いて生体組織の変質状態を高精度に識別することができる生体組織解析装置、生体組織解析プログラムおよび生体組織解析方法を提供する。 【解決手段】　二次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを用いて生体組織を解析する生体組織解析装置であって、下記（i），（ii）を有するとともに、下記（iii）および／または（iv）を有する、前記生体組織解析装置；（i）ハイパースペクトルデータを取得するハイパースペクトルデータ取得部；（ii）生体組織の二次元画像から解析対象部位に相当するピクセルを抽出する解析対象部位抽出部；（iii）教師なし学習によって生体組織の変質状態を大別する変質状態大別部；（iv）教師あり学習によって生体組織の変質状態を識別する変質状態識別部。

Description

生体組織解析装置、生体組織解析プログラムおよび生体組織解析方法
　本発明は、ハイパースペクトルデータを用いて生体組織を解析する技術に関し、特に、細胞核のガン化状態等のように、生体組織の変質状態を識別するのに好適な生体組織解析装置、生体組織解析プログラムおよび生体組織解析方法に関するものである。
　従来、細胞核のガン化状態等のように、生体組織の変質状態を診断するに際しては、病理専門医による顕微鏡画像を利用した形態学的診断が行われている。しかしながら、そのような形態学的診断は、病理専門医の知識や経験によるところが大きく、一人前になるまでには数年に渡るトレーニングが必要とされるほど困難なものとされている。
　そこで、近年、分光スペクトルを用いて生体組織を光学的に分析する方法が検討されている。例えば、特開２０１７－２０３６３７号公報には、試料に含まれる細胞の分光スペクトルに基づいて、統計的手法、機械学習又はパターン認識により、当該細胞が腫瘍細胞であるか否かを判定する分析工程を有する腫瘍細胞検出方法が提案されている（特許文献１）。
特開２０１７－２０３６３７号公報
　しかしながら、特許文献１に記載された発明においては、分析対象の細胞が腫瘍細胞であるか否かを判定するものに過ぎない。このため、例えば、発症初期の大腸癌等における４段階のガン化状態（非ガン細胞、軽度異形成（ＬＧＤ：Low Grade Dysplasia）、高度異形成（ＨＧＤ：High Grade Dysplasia）、ガン細胞）等のように、生体組織の変質状態を細かく識別することはできないという問題がある。
　本発明は、このような問題点を解決するためになされたものであって、ハイパースペクトルデータを用いて生体組織の変質状態を高精度に識別することができる生体組織解析装置、生体組織解析プログラムおよび生体組織解析方法を提供することを目的としている。
　本発明に係る生体組織解析装置は、ハイパースペクトルデータを用いて生体組織の変質状態を高精度に識別するという課題を解決するために、二次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを用いて生体組織を解析する生体組織解析装置であって、下記（i），（ii）を有するとともに、下記（iii）および／または（iv）を有する、前記生体組織解析装置；
　（i）ハイパースペクトルカメラから生体組織の前記ハイパースペクトルデータを取得するハイパースペクトルデータ取得部；
　（ii）前記ハイパースペクトルデータに基づいて、前記生体組織の二次元画像から解析対象部位に相当するピクセルを画像処理によって抽出する解析対象部位抽出部；
　（iii）前記解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類することにより、前記生体組織の変質状態を大別する変質状態大別部；
　（iv）前記解析対象部位に相当するピクセルのそれぞれを教師あり学習によって分類することにより、前記生体組織の変質状態を識別する変質状態識別部。
　また、本発明の一態様として、生体組織の変質状態を予め大別することで、解析精度を向上するという課題を解決するために、前記変質状態識別部によって識別する前に、前記解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類する変質状態大別部を有していてもよい。
　さらに、本発明の一態様として、解析用データに対する光源の影響を除去し、解析精度を向上するという課題を解決するために、前記ハイパースペクトルデータの取得時に用いた光源のスペクトル情報によって、前記解析対象部位に相当するピクセルの前記スペクトル情報を除算する光源影響除去部を有していてもよい。
　また、本発明の一態様として、解析用データに対する染色の影響を除去し、解析精度を向上するという課題を解決するために、前記解析対象部位に相当するピクセルの前記スペクトル情報に基づいて、前記解析対象部位の染色濃度によって変化するスペクトル成分を除去する染色影響除去部を有していてもよい。
　さらに、本発明の一態様として、解析対象部位をピクセル単位で抽出するという課題を解決するために、前記解析対象部位抽出部は、前記スペクトル情報の類似度に基づいて各ピクセルを解析対象部位とその他の部位とにラベリングし、前記解析対象部位としてラベリングされたピクセルをフィルタリングしてもよい。
　また、本発明の一態様として、解析対象部位を細胞核単位で抽出するという課題を解決するために、前記解析対象部位抽出部は、前記生体組織の二次元画像を画像認識処理によって腺管を特定するとともに、前記腺管上における細胞核を解析対象部位として画像認識処理によって特定してもよい。
　さらに、本発明の一態様として、潰瘍やポリープにおける細胞核のガン化状態を病理診断に従って識別するという課題を解決するために、前記変質状態大別部によって特定される前記変質状態は、潰瘍における、非ガン細胞および軽度異形成（ＬＧＤ：Low Grade Dysplasia）の２ステージであり、前記変質状態識別部によって識別される前記変質状態は、潰瘍における、非ガン細胞、軽度異形成（ＬＧＤ：Low Grade Dysplasia）、高度異形成（ＨＧＤ：High Grade Dysplasia）およびガン細胞の４ステージ、またはポリープにおける、軽度異型腺腫（ＬＧＡ：Low Grade Adenoma）、高度異型腺腫（ＨＧＡ：High Grade Adenoma）およびガン細胞の３ステージによって特定されてもよい。
　また、本発明の一態様として、生体組織の変質状態を解析するのに適したハイパースペクトルデータを取得するという課題を解決するために、前記ハイパースペクトルデータの波長帯域に可視光が含まれていてもよい。
　また、本発明に係る生体組織解析プログラムは、ハイパースペクトルデータを用いて生体組織の変質状態を高精度に識別するという課題を解決するために、二次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを用いて生体組織を解析する生体組織解析プログラムであって、下記（i），（ii）としてコンピュータを機能させるとともに、下記（iii）および／または（iv）としてコンピュータを機能させる、前記生体組織解析プログラム；
　（i）ハイパースペクトルカメラから生体組織の前記ハイパースペクトルデータを取得するハイパースペクトルデータ取得部；
　（ii）前記ハイパースペクトルデータに基づいて、前記生体組織の二次元画像から解析対象部位に相当するピクセルを画像処理によって抽出する解析対象部位抽出部；
　（iii）前記解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類することにより、前記生体組織の変質状態を大別する変質状態大別部；
　（iv）前記解析対象部位に相当するピクセルのそれぞれを教師あり学習によって分類することにより、前記生体組織の変質状態を識別する変質状態識別部。
　さらに、本発明に係る生体組織解析方法は、ハイパースペクトルデータを用いて生体組織の変質状態を高精度に識別するという課題を解決するために、二次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを用いて生体組織を解析する生体組織解析方法であって、下記（i），（ii）を有するとともに、下記（iii）および／または（iv）を有する、前記生体組織解析方法；
　（i）ハイパースペクトルカメラから生体組織の前記ハイパースペクトルデータを取得するハイパースペクトルデータ取得ステップ；
　（ii）前記ハイパースペクトルデータに基づいて、前記生体組織の二次元画像から解析対象部位に相当するピクセルを画像処理によって抽出する解析対象部位抽出ステップ；
　（iii）前記解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類することにより、前記生体組織の変質状態を大別する変質状態大別ステップ；
　（iv）前記解析対象部位に相当するピクセルのそれぞれを教師あり学習によって分類することにより、前記生体組織の変質状態を識別する変質状態識別ステップ。
　本発明によれば、ハイパースペクトルデータを用いて生体組織の変質状態を高精度に識別することができる。
本発明に係る生体組織解析装置の一実施形態を示すブロック図である。 ハイパースペクトルデータの一例を示す図である。 本実施形態の解析対象部位抽出部によって実行される、（ａ）スペクトル情報抽出処理、（ｂ）ラベリング処理および（ｃ）フィルタリング処理を示す図である。 本実施形態の生体組織解析装置および生体組織解析プログラムによって実行される生体組織解析方法を示すフローチャートである。 実施例１において、各ステージにおける全特徴量の組み合わせについての識別率を示す表である。 実施例２において、主成分分析によって特定された各主成分の寄与率を示すグラフである。 実施例３において、ロジスティック回帰による予測結果の混同行列を示す表である。 実施例４において、（ａ）サポートベクターマシンのみによる解析結果、および（ｂ）クラスター分析とサポートベクターマシンによる解析結果を示す表である。 実施例５において、ハイパースペクトルデータの独立成分分析結果を示すグラフである。
　以下、本発明に係る生体組織解析装置、生体組織解析プログラムおよび生体組織解析方法の実施形態について図面を用いて説明する。
　本実施形態の生体組織解析システムは、図１に示すように、生体組織のハイパースペクトルデータを取得するハイパースペクトルカメラ１０と、このハイパースペクトルカメラ１０によって取得されたハイパースペクトルデータに基づいて、生体組織の変質状態を解析する生体組織解析装置１とから構成されている。以下、各構成について説明する。
　なお、本発明において、生体組織とは、人間や動物等を含む生体において、複数の細胞が所定のパターンで集合してなる全ての組織を含む概念である。また、本発明において、変質状態とは、ガンの進行度やガンの悪性度等のように、生体組織がどの程度変質しているかを示す全ての状態を含む概念である。
　ハイパースペクトルカメラ１０は、二次元の空間情報と、複数の波長におけるスペクトル情報（ハイパースペクトル情報）とを同時に取得するものである。具体的には、図２に示すように、二次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを取得するものである。なお、スペクトル情報は、分光スペクトルとも呼ばれ、各バンド（波長）ごとの光強度の分布を示すものである。
　本実施形態において、上記二次元画像を構成する単位ピクセルは、生体組織における解析対象部位の内部に含まれる大きさに設定されており、当該解析対象部位について複数のピクセルを有するハイパースペクトルデータを取得するようになっている。また、本実施形態では、潰瘍やポリープにおけるガン化状態（ガンの進行度）を解析する場合、細胞核が解析対象部位とされる。しかしながら、解析対象部位は、リンパ球、粘液、組織球（白血球）等のように、解析しようとする生体組織の変質状態に応じて適宜選択され得る。
　また、本実施形態において、生体組織は、ホルマリン等で固定してからパラフィン等で包埋して切片を作成し、ヘマトキシリン・エオシン染色等を施した上でプレパラートに挟まれている。そして、当該プレパラートを顕微鏡にセットした状態で、可視光源によって照射して得られる透過光を拡大し、当該透過光を接眼レンズに当接させたハイパースペクトルカメラ１０によって計測するようになっている。
　なお、一般的な医療機器に使用される赤外線や紫外線は、顕微鏡レンズの透過性（光学コーディング性能）が可視光域に比べて低く、収差の影響も受けやすい。また、顕微鏡レンズに使用されるフッ化カルシウムは、近赤外光の励起で蛍光を発するため、弱いラマン信号の測定を妨害することが知られている。一方、可視光はＸ線に比べてフォトンエネルギーが小さく、人体への影響が少ない。また、可視光の分光情報は、細胞核内のクロマチン濃度の影響で変化することが知られており、ラマン分光と同様にクロマチンだけでなく多くの細胞組織の情報を潜在的に含んでいる可能性が高い。そこで、本実施形態では、ハイパースペクトルデータの波長帯域に可視光が含まれるように可視光源を使用している。
　つぎに、生体組織解析装置１は、パーソナルコンピュータ等のコンピュータによって構成されており、図１に示すように、主として、表示手段２と、入力手段３と、記憶手段４と、演算処理手段５とを有している。以下、各構成手段について詳細に説明する。
　表示手段２は、液晶ディスプレイ等で構成されており、生体組織解析装置１による解析結果等を表示するものである。入力手段３は、キーボードやマウス等で構成されており、ユーザによる指示や選択を入力するものである。なお、本実施形態では、表示機能のみを備えた表示手段２と入力機能のみを備えた入力手段３とを別々に使用しているが、この構成に限定されるものではなく、表示機能および入力機能を兼ね備えたタッチパネル等の表示入力手段を使用してもよい。
　記憶手段４は、各種のデータを記憶するとともに、演算処理手段５が演算処理を行う際のワーキングエリアとして機能するものである。本実施形態において、記憶手段４は、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等で構成されており、図１に示すように、プログラム記憶部４１と、教師データ記憶部４２とを有している。以下、各構成部についてより詳細に説明する。
　プログラム記憶部４１には、本実施形態の生体組織解析装置１を制御するための生体組織解析プログラム１ａがインストールされている。そして、演算処理手段５が、当該生体組織解析プログラム１ａを実行することにより、生体組織解析装置１としてのコンピュータを後述する各構成部として機能させるようになっている。
　なお、生体組織解析プログラム１ａの利用形態は、上記構成に限られるものではない。例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等のように、コンピュータで読み取り可能な記録媒体に生体組織解析プログラム１ａを記憶させておき、当該記録媒体から直接読み出して実行してもよい。また、外部サーバ等からクラウドコンピューティング方式やＡＳＰ（Application Service Provider）方式で利用してもよい。
　教師データ記憶部４２は、生体組織に関するスペクトル情報としての教師データを記憶するものである。本実施形態では、潰瘍における細胞核を解析対象部位としているため、潰瘍における、非ガン細胞、軽度異形成（ＬＧＤ：Low Grade Dysplasia）、高度異形成（ＨＧＤ：High Grade Dysplasia）およびガン細胞という４ステージによって特定される変質状態のそれぞれについて、スペクトル情報が教師データとして登録されている。
　なお、教師データは、上記に限定されるものではなく、解析しようとする生体組織の変質状態に応じて適宜選択される。例えば、ポリープにおける細胞核のガン化状態を解析する場合には、ポリープにおける、軽度異型腺腫（ＬＧＡ：Low Grade Adenoma）、高度異型腺腫（ＨＧＡ：High Grade Adenoma）およびガン細胞という３ステージによって特定される変質状態のそれぞれについて、スペクトル情報が登録されることとなる。
　演算処理手段５は、ハイパースペクトルカメラ１０からハイパースペクトルデータを取得し、生体組織の解析処理を実行するものである。本実施形態において、演算処理手段５は、ＣＰＵ（Central Processing Unit）等で構成されており、記憶手段４にインストールされた生体組織解析プログラム１ａを実行することにより、図１に示すように、ハイパースペクトルデータ取得部５１と、解析対象部位抽出部５２と、光源影響除去部５３と、染色影響除去部５４と、データ数削減部５５と、変質状態大別部５６と、変質状態識別部５７として機能するようになっている。以下、各構成部についてより詳細に説明する。
　ハイパースペクトルデータ取得部５１は、ハイパースペクトルカメラ１０から生体組織のハイパースペクトルデータを取得するものである。本実施形態において、ハイパースペクトルデータ取得部５１は、ハイパースペクトルカメラ１０に制御信号を出力して生体組織をスキャンさせ、撮像素子から出力された画像信号を１ラインごとにハイパースペクトルデータとして取得するようになっている。
　解析対象部位抽出部５２は、ハイパースペクトルデータに基づいて、生体組織の二次元画像から解析対象部位に相当するピクセルを画像処理によって抽出するものである。本実施形態において、解析対象部位抽出部５２は、まず、図３（ａ）に示すように、二次元画像を構成する各ピクセルのスペクトル情報を抽出する。つぎに、図３（ｂ）に示すように、抽出したスペクトル情報の類似度に基づいて、各ピクセルを解析対象部位とその他の部位（リンパ球、組織球、粘液等）とにラベリングする。そして、図３（ｃ）に示すように、解析対象部位としてラベリングされたピクセルをフィルタリングする。このフィルタリングされた各ピクセルのスペクトル情報（各バンドごとの光強度）が解析用データとなる。
　なお、本実施形態において、解析対象部位抽出部５２は、ベクトル間距離やマハラノビス距離等によってスペクトル情報の類似度を算出するようになっている。また、本実施形態では、解析対象部位およびその他の各部位ごとに類似度の閾値が設定されており、いずれかの閾値以上の類似度を有するピクセルが、当該閾値に対応する部位としてラベリングされるようになっている。
　また、本実施形態において、解析対象部位抽出部５２は、スペクトル情報の類似度に基づいて解析対象部位を抽出しているが、この構成に限定されるものではなく、他の抽出方法を採用してもよい。具体的には、潰瘍やポリープは腺管構造を有しており、当該腺管上に解析対象部位となる細胞核（腺上皮細胞）が存在している。このため、本実施形態のように、潰瘍やポリープにおけるガン化状態を解析する場合、解析対象部位抽出部５２は、ハイパースペクトルデータから生体組織の二次元画像（ＲＧＢ画像）を合成し、当該二次元画像を画像認識処理することによって腺管を特定するとともに、当該腺管上における細胞核を解析対象部位として画像認識処理によって特定してもよい。
　光源影響除去部５３は、光源が解析用データに与える影響を除去するものである。本実施形態において、光源影響除去部５３は、ハイパースペクトルデータの取得時に用いた光源のスペクトル情報によって、解析対象部位に相当するピクセルのスペクトル情報を除算することにより、光源の影響を除去するようになっている。
　具体的には、光源影響除去部５３は、解析用データの各バンドごとに下記式（１）によって分光反射率Ｒｉを算出する。
　Ｒｉ＝Ｉｉ／Ｉ０　…式（１）
　ただし、各符号は以下を表す。
　Ｉｉ：ｉ番目の細胞核のスペクトル情報
　Ｉ０：光源のスペクトル情報
　なお、本実施形態では、上記のとおり、解析対象部位抽出部５２が、解析対象部位に相当するピクセルを抽出しているため、ピクセルごとに分光反射率Ｒｉを算出している。しかしながら、上記のとおり、解析対象部位抽出部５２が、画像認識処理によって解析対象部位を抽出する場合、当該解析対象部位ごとに分光反射率Ｒｉを算出する。また、ハイパースペクトルデータの取得時における光源の条件が一定であれば、光源影響除去部５３を機能させる必要はなく、スペクトル情報がそのまま解析用データとなる。
　染色影響除去部５４は、解析対象部位に対する染色が解析用データに与える影響を除去するものである。本実施形態において、染色影響除去部５４は、解析対象部位に相当するピクセルのスペクトル情報に基づいて、解析対象部位の染色濃度によって変化するスペクトル成分を除去することにより、染色による影響を除去するようになっている。
　なお、解析対象部位の染色濃度によって変化するスペクトル成分は、実施例５で後述するとおり、独立成分分析等によって事前に特定される。また、解析対象部位の染色濃度が一定であれば、染色影響除去部５４を機能させる必要はなく、上記スペクトル成分を除去していないスペクトル情報がそのまま解析用データとなる。
　データ数削減部５５は、解析用データのデータ数を削減するものである。本実施形態において、データ数削減部５５は、主成分分析によって解析用データの次元を削減することにより、解析速度を向上するようになっている。なお、データ数の削減方法は、主成分分析に限定されるものではなく、解析用データに含まれる任意のバンドのみを選択することにより、データ数を削減してもよい。また、解析速度よりも解析精度を優先する場合は、データ数削減部５５を機能させずに、全ての解析用データについて解析すればよい。
　変質状態大別部５６は、解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類することにより、前記生体組織の変質状態を大別するものである。本実施形態において、変質状態大別部５６は、教師なし学習として、異なる性質のものが混ざり合った集団から、互いに似た性質を持つものを集め、クラスターを作るクラスター分析（ウォード法）を採用している。このため、本実施形態のように、潰瘍におけるガン化状態を解析する場合、実施例１で後述するとおり、上述した４ステージのうち、識別しやすい非ガン細胞および軽度異形成（ＬＧＤ）の２ステージが高精度に大別される。
　なお、教師なし学習としては、クラスター分析に限定されるものではなく、生体組織の変質状態を大別しうるものであれば適宜採用することができる。また、変質状態大別部５６による分類は、変質状態識別部５７による識別の前に行うことによって識別対象を絞り込み、識別精度および汎用性を向上するものであるが、必ずしも実行する必要はない。さらに、ポリープにおけるガン化状態を解析する場合は、非ガン細胞というステージはないため、変質状態大別部５６による分類は不要である。
　変質状態識別部５７は、解析対象部位に相当するピクセルのそれぞれを教師あり学習によって分類することにより、生体組織の変質状態を識別するものである。本実施形態において、変質状態識別部５７は、教師あり学習として、高い分類機能を有するロジスティック回帰を採用している。このため、実施例３で後述するとおり、変質状態大別部５６では識別が困難であった高度異形成（ＨＧＤ）およびガン細胞の２ステージについても高精度に識別される。
　なお、教師あり学習としては、ロジスティック回帰に限定されるものではなく、生体組織の変質状態を識別しうるものであれば、サポートベクターマシン（ＳＶＭ：Support Vector Machine）、ランダムフォレスト、ディープラーニングなどのニューラルネットワーク関連手法および判別分析等を適宜採用することができる。また、変質状態大別部５６によって非ガン細胞および軽度異形成（ＬＧＤ）を予め大別しない場合には、変質状態識別部５７によって直接、上記４ステージのそれぞれを識別してもよい。さらに、変質状態大別部５６による分類のみで十分な場合は、変質状態識別部５７による識別を実行する必要はない。
　つぎに、本実施形態の生体組織解析装置１、生体組織解析プログラム１ａおよび生体組織解析方法による作用について説明する。
　本実施形態の生体組織解析装置１、生体組織解析プログラム１ａおよび生体組織解析方法を用いて生体組織の変質状態を解析する場合、図４に示すように、まず、ハイパースペクトルデータ取得部５１が、ハイパースペクトルカメラ１０から生体組織のハイパースペクトルデータを取得する（ステップＳ１：ハイパースペクトルデータ取得ステップ）。
　このとき、本実施形態では、赤外線や紫外線と比較して顕微鏡レンズの透過性が高く、収差の影響を受けにくい可視光源を使用する。また、可視光は、Ｘ線と比較して人体への影響が少なく、その分光スペクトルには多くの細胞組織に関する情報が潜在的に含まれている。よって、生体組織の変質状態を解析するのに適したハイパースペクトルデータが取得される。
　つぎに、解析対象部位抽出部５２が、ハイパースペクトルデータ取得部５１によって取得されたハイパースペクトルデータに基づいて、生体組織の二次元画像から解析対象部位に相当するピクセルを抽出する（ステップＳ２：解析対象部位抽出ステップ）。これにより、当該ピクセルのスペクトル情報が解析用データとして出力されるため、当該解析用データに対して、解析モードに応じた処理が実行される（ステップＳ３）。
　具体的には、高精度モードに設定されている場合（ステップＳ３：ＹＥＳ）、光源影響除去部５３が、解析対象部位に相当する各ピクセルのスペクトル情報を光源のスペクトル情報で除算する（ステップＳ４：光源影響除去ステップ）。これにより、解析用データに対する光源の影響が除去されるため、解析精度が向上する。
　つづいて、染色影響除去部５４が、解析対象部位の染色濃度によって変化するスペクトル成分を除去する（ステップＳ５：染色影響除去ステップ）。これにより、解析用データに対する染色の影響が除去されるため、解析精度が向上する。
　一方、高精度モードに設定されていない場合（ステップＳ３：ＮＯ）、データ数削減部５５が、解析用データのデータ数を削減する（ステップＳ６：データ数削減ステップ）。これにより、実施例２で後述するとおり、一定の解析精度が維持されたまま、解析速度が向上する。
　解析モードに応じた処理が実行された後、変質状態大別部５６が、解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類する（ステップＳ７：変質状態大別ステップ）。これにより、生体組織の変質状態が大別され、変質状態識別部５７によって識別すべき対象が絞り込まれるため、解析精度が向上する。
　つづいて、変質状態識別部５７が、解析対象部位に相当するピクセルのそれぞれを教師あり学習によって分類する（ステップＳ８：変質状態識別ステップ）。これにより、生体組織の変質状態が高精度に識別される。なお、本実施形態において、解析結果は、全ピクセル数に対する、変質状態のそれぞれに分類されたピクセル数の割合によって表示手段２等に表示される（ステップＳ９：解析結果表示ステップ）。
　なお、本発明において、上述したステップＳ１およびステップＳ２は、生体組織解析装置１とは別体の解析装置（プログラム）に実行させてもよい。すなわち、別体の解析装置によって、ハイパースペクトルカメラ１０から生体組織のハイパースペクトルデータを取得させ、当該ハイパースペクトルデータに基づいて、解析対象部位に相当するピクセルを抽出させる。そして、当該ピクセルを生体組織解析装置１が取得して解析してもよい。
　また、上述したステップＳ３からステップＳ６およびステップＳ９については必須の処理ではなく、必要に応じてまたはユーザの選択に応じて適宜実行される処理である。さらに、上述したステップＳ７およびステップＳ８は、要求される解析精度に応じていずれか一方または双方が実行されるものであり、ステップＳ７のみ、ステップＳ８のみ、ステップＳ７およびステップＳ８の双方の順に解析精度が向上する。
　以上のような本実施形態の生体組織解析装置１、生体組織解析プログラム１ａおよび生体組織解析方法によれば、以下のような効果を奏する。
１．ハイパースペクトルデータを用いて生体組織の変質状態を高精度に識別することができる。
２．解析用データに対する光源の影響を除去し、解析精度を向上することができる。
３．解析用データに対する染色の影響を除去し、解析精度を向上することができる。
４．解析対象部位をピクセル単位で抽出することができる。
５．解析対象部位を細胞核単位で抽出することができる。
６．潰瘍やポリープにおける細胞核のガン化状態を病理診断に従って識別することができる。
７．波長帯域に可視光を含ませることにより、生体組織の変質状態を解析するのに適したハイパースペクトルデータを取得することができる。
　つぎに、本発明に係る生体組織解析装置１、生体組織解析プログラム１ａおよび生体組織解析方法の具体的な実施例について説明する。
　本実施例１では、上述した本実施形態において、変質状態大別部５６による教師なし学習として採用されたクラスター分析の識別性能を確認する実験を行った。
　具体的には、まず、生体組織として潰瘍性大腸炎に関連する検体を用意し、予め病理医によって、非ガン細胞、軽度異形成（ＬＧＤ）、高度異形成（ＨＧＤ）およびガン細胞の４ステージを識別させた。つぎに、識別された４ステージのそれぞれについて、細胞核のハイパースペクトルデータを取得した。
　本実施例１において、ハイパースペクトルデータは、ハイパースペクトルカメラ１０（北海道衛星株式会社：ＨＳＣ１７０２）を正立顕微鏡（オリンパス株式会社）の接眼レンズに直接当てて取得した。このとき、顕微鏡に内蔵された白色ＬＥＤを光源とし、顕微鏡の倍率は４００倍（接眼１０倍、対物４０倍）であった。また、計測波長域は３５０ｎｍから１０５０ｎｍの可視光と近赤外域であり、波長サンプリング間隔を５ｎｍとして計１４１バンドのハイパースペクトルデータを取得した。
　つぎに、取得したハイパースペクトルデータについてウォード法によるクラスター分析を行い、３～４つの特徴量をクラスターとして抽出した。そして、各ステージについて抽出した全特徴量の識別率（類似度）を主成分分析と線形判別分析とによって算出し、各ステージの指標となる特徴量がないかどうかを検討した。その結果を図５に示す。
　図５に示すように、非ガン細胞の各特徴量である非ガン１～４は、他の特徴量に対する識別率がほぼ１００％であった。よって、非ガン細胞は、クラスター分析によって容易に識別しうることが示された。また、軽度異形成（ＬＧＤ）の特徴量の一つであるＬＧＤ１は、他の特徴量に対する識別がいずれも８３．３％以上であり、平均すると約９５．５％であった。よって、軽度異形成（ＬＧＤ）は、ガン細胞や高度異形成（ＨＧＤ）が持たない特有の特徴量を有しており、この特徴量を用いることにより軽度異形成（ＬＧＤ）は、クラスター分析によって他のステージから識別できることが示された。
　以上の本実施例１によれば、教師なし学習としてのクラスター分析は、潰瘍のガン化状態における４ステージのうち、非ガン細胞および軽度異形成（ＬＧＤ）を高精度に識別できることが示された。
　本実施例２では、上述した本実施形態において、データ数削減部５５によるデータ数の削減方法として採用された主成分分析の性能を確認する実験を行った。
　具体的には、まず、クラスター分析では識別が困難であったガン細胞と高度異形成（ＨＧＤ）のサンプルを用意し、実施例１と同様の方法によりハイパースペクトルデータを取得した。つぎに、主成分分析によってハイパースペクトルデータのデータ数を二次元データに削減し、寄与率を算出した。その結果を図６に示す。図６に示すように、第一主成分から第二主成分までの累積寄与率が９０％を超えているため、第三主成分までの次元を削減しても情報量の損失がきわめて少ないことが示された。
　以上の本実施例２によれば、主成分分析は、ハイパースペクトルデータの情報量をほとんど損失させることなくデータ数を削減でき、解析速度を向上しうることが示された。
　本実施例３では、上述した本実施形態において、変質状態識別部５７による教師あり学習として採用されたロジスティック回帰の識別性能を確認する実験を行った。
　具体的には、まず、実施例２でデータ数を削減したガン細胞と高度異形成（ＨＧＤ）のハイパースペクトルデータを用意した。つぎに、数値解析ソフト（Python）の拡張モジュール（scikit-learn）中にあるLogisticRegression関数を使用し、ロジスティック回帰によって解析を行った。このとき、高度異形成（ＨＧＤ）のサンプル数（４９０個）と、ガン細胞のサンプル数（３２０個）の比率を保ったまま、７：３の割合でトレーニングデータとテストデータに分割し、学習と予測（識別）を行ったところ、その識別率は９５．９％という高い値であった。
　また、予測結果について、真陽性、偽陽性、偽陰性および真陰性の個数を表す混合行列を図７に示す。図７の混合行列に基づいて、予測結果の評価尺度の一つであるＦ値（精度と再現率の調和平均）を算出したところ、９６．９％という高いスコアであった。なお、行列内の各数値は、以下の値を示すものである。
　左上（真陽性：ＴＰ）：ガンであり、ガンと識別された細胞
　右上（偽陽性：ＦＰ）：ＨＧＤであるが、ガンと識別された細胞
　左下（偽陰性：ＦＮ）：ガンであるが、ＨＧＤと識別された細胞
　右下（真陰性：ＴＮ）：ＨＧＤであり、ＨＧＤと識別された細胞
　以上の本実施例３によれば、教師あり学習としてのロジスティック回帰は、潰瘍のガン化状態における４ステージのうち、ガン細胞および高度異形成（ＨＧＤ）を高精度に識別できることが示された。
　本実施例４では、教師あり学習の一つであるサポートベクターマシンによって解析した場合の解析精度と、教師なし学習の一つであるクラスター分析によって予め解析対象を絞り込んでからサポートベクターマシンによって解析した場合の解析精度とを比較する実験を行った。
　具体的には、潰瘍性大腸炎に関連する検体を用意し、サポートベクターマシンのみによって、潰瘍における、非ガン細胞、軽度異形成（ＬＧＤ）、高度異形成（ＨＧＤ）およびガン細胞の４ステージを識別した。また、同様の検体について、クラスター分析によって予め非ガン細胞を識別した後、サポートベクターマシンによって、残りの軽度異形成（ＬＧＤ）、高度異形成（ＨＧＤ）およびガン細胞の３ステージを識別した。その結果を図８に示す。
　図８（ａ）に示すように、サポートベクターマシンのみによって解析した場合、ガン細胞、軽度異形成（ＬＧＤ）、高度異形成（ＨＧＤ）および非ガン細胞の４ステージについての識別率は、それぞれ９２．２％、７８．８％、５５．６％および１００．０％であった。一方、図８（ｂ）に示すように、クラスター分析とサポートベクターマシンとを組み合わせて解析した場合、ガン細胞、軽度異形成（ＬＧＤ）および高度異形成（ＨＧＤ）の４ステージについての識別率は、それぞれ９０．０％、７１．０％および８６．６％であった。
　すなわち、クラスター分析とサポートベクターマシンとを組み合わせて解析した場合、軽度異形成（ＬＧＤ）の識別率は、７．８％向上し、高度異形成（ＨＧＤ）の識別率は１５．４％向上した。
　以上の本実施例４によれば、潰瘍のガン化状態の識別は、変質状態識別部５７による教師あり学習のみによって行うよりも、変質状態大別部５６による教師なし学習と組み合わせた方が、識別精度が向上することが示された。
　本実施例５では、上述した本実施形態において、染色影響除去部５４によって除去すべき、解析対象部位の染色濃度によって変化するスペクトル成分を特定する実験を行った。
　具体的には、まず、ガンの表層上皮性腫瘍でホルマリン固定したものからパラフィン包埋切片を作製し、ヘマトキシリン・エオジン染色を施した病理標本を用意した。なお、ヘマトキシリン・エオジン染色では、核内のクロマチンが濃青紫色に染色される。このため、細胞核内のクロマチン濃度によって光の透過率が変化し、染色液の吸収スペクトルに依存したスペクトル変化がみられることとなる。
　つぎに、実施例１と同様のハイパースペクトルカメラ１０を使用し、倍率を２００倍に固定して１つの標本から平均３枚のハイパースペクトルイメージを撮影した。なお、ガン細胞では、細胞核が肥大化し細胞質を確認することが困難になるため、１枚から１０個の細胞核について分析し、１つの細胞核ごとの平均スペクトルを使用した。
　つづいて、ハイパースペクトルイメージにおける染色濃度を目視で３段階に分け、染色濃度が低いものから、染色レベル１、染色レベル２、染色レベル３とした。そして、独立成分の数を３つとして、ハイパースペクトルデータの独立成分分析を行った。その結果を図９に示す。なお、分析に際しては、４４５ｎｍ～７４５ｎｍの波長間を５ｎｍのバンドで区切って計測された反射強度を使用した。
　図９に示すように、３つの独立成分（Signal1，Signal2，Signal3）のうち、特にSignal1で示す独立成分は、５４０ｎｍ～７００ｎｍの波長範囲において段階的に変化していることが確認された。一方、その他の独立成分（Signal2，Signal3）は、全ての染色レベルにおいてほぼ共通していることが確認された。よって、Signal1で示す独立成分は、染色濃度によって変化するスペクトル成分といえる。
　以上の本実施例５によれば、ハイパースペクトルデータを独立成分分析することにより、解析対象部位の染色濃度によって変化するスペクトル成分を抽出できることが示された。
　なお、本発明に係る生体組織解析装置１、生体組織解析プログラム１ａおよび生体組織解析方法は、前述した実施形態に限定されるものではなく、適宜変更することができる。
　例えば、上述した本実施形態では、変質状態大別部５６による教師なし学習として、クラスター分析が採用されているが、これに限定されるものではない。例えば、教師なし学習として主成分分析を採用し、当該主成分分析によって次元を削減したハイパースペクトルデータを線形判別分析によって解析してもよい。
　また、上述した本実施形態では、生体組織の変質状態として、潰瘍やポリープにおける細胞核のガン化状態を識別しているが、具体的には、以下に示すような生体組織の変質状態を識別することが可能である。
（１）膵管上皮細胞における、正常細胞、膵腺房細胞癌（ＡＣＣ：Acinar Cell Carcinoma of pancreatic body）、神経内分泌腫瘍（ＮＥＴ：Neuroendocrine Tumor）、膵嚢胞性腫瘍（ＳＰＮ：Solid Pseudopapillary Neoplasm）、膵ガン細胞
（２）前立腺細胞における、萎縮細胞、前立腺ガン細胞、前立腺肥大細胞
（３）子宮細胞における、軽度異形成（ＣＩＮ１）、中等度異形成（ＣＩＮ２）、高度異形成・上皮内ガン（ＣＩＮ３）
（４）肺細胞における、肺扁平上皮ガン、肺腺ガン
（５）乳管細胞における、浸潤性乳管ガンの３グレード、非浸潤性乳管ガンの３グレード
　さらに、上述した本実施形態では、データ数削減部５５が主成分分析によって解析用データの次元を削減しているが、この手法に限定されるものではなく、ニューラルネットワークを使用した次元圧縮のためのアルゴリズムであるオートエンコーダ（自己符号化器）を使用してもよい。あるいは、教師データや解析対象データの前処理として、教師なし学習の１つであるクラスター分析を用いて複数のクラスターを形成し、その一部をノイズクラスターとして除去してもよい。
　また、上述した本実施形態では、生体組織を計測する際に、ヘマトキシリン・エオシン染色を施しているが、これに限られるものではなく、細胞レベルでの識別可能性を有するものであれば、抗原抗体反応（免疫反応）を可視化するために用いられる免疫染色等を用いてもよい。
　さらに、上述した本実施形態では、顕微鏡の接眼レンズにハイパースペクトルカメラ１０を当接させて生体組織を計測しているが、この構成に限定されるものではなく、三眼顕微鏡の接眼レンズにハイパースペクトルカメラ１０を当接させて生体組織を計測してもよい。
　１　生体組織解析装置
　１ａ　生体組織解析プログラム
　２　表示手段
　３　入力手段
　４　記憶手段
　５　演算処理手段
　１０　ハイパースペクトルカメラ
　４１　プログラム記憶部
　４２　教師データ記憶部
　５１　ハイパースペクトルデータ取得部
　５２　解析対象部位抽出部
　５３　光源影響除去部
　５４　染色影響除去部
　５５　データ数削減部
　５６　変質状態大別部
　５７　変質状態識別部

Claims (9)

  1. 　二次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを用いて生体組織を解析する生体組織解析装置であって、下記（i），（ii）を有するとともに、下記（iii）および／または（iv）を有する、前記生体組織解析装置；
    　（i）ハイパースペクトルカメラから生体組織の前記ハイパースペクトルデータを取得するハイパースペクトルデータ取得部；
    　（ii）前記ハイパースペクトルデータに基づいて、前記生体組織の二次元画像から解析対象部位に相当するピクセルを画像処理によって抽出する解析対象部位抽出部；
    　（iii）前記解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類することにより、前記生体組織の変質状態を大別する変質状態大別部；
    　（iv）前記解析対象部位に相当するピクセルのそれぞれを教師あり学習によって分類することにより、前記生体組織の変質状態を識別する変質状態識別部。
  2. 　前記ハイパースペクトルデータの取得時に用いた光源のスペクトル情報によって、前記解析対象部位に相当するピクセルの前記スペクトル情報を除算する光源影響除去部を有している、請求項１に記載の生体組織解析装置。
  3. 　前記解析対象部位に相当するピクセルの前記スペクトル情報に基づいて、前記解析対象部位の染色濃度によって変化するスペクトル成分を除去する染色影響除去部を有している、請求項１または請求項２に記載の生体組織解析装置。
  4. 　前記解析対象部位抽出部は、前記スペクトル情報の類似度に基づいて各ピクセルを解析対象部位とその他の部位とにラベリングし、前記解析対象部位としてラベリングされたピクセルをフィルタリングする、請求項１から請求項３のいずれかに記載の生体組織解析装置。
  5. 　前記解析対象部位抽出部は、前記生体組織の二次元画像を画像認識処理によって腺管を特定するとともに、前記腺管上における細胞核を解析対象部位として画像認識処理によって特定する、請求項１から請求項３のいずれかに記載の生体組織解析装置。
  6. 　前記変質状態大別部によって特定される前記変質状態は、潰瘍における、非ガン細胞および軽度異形成（ＬＧＤ：Low Grade Dysplasia）の２ステージであり、
    　前記変質状態識別部によって識別される前記変質状態は、潰瘍における、非ガン細胞、軽度異形成（ＬＧＤ：Low Grade Dysplasia）、高度異形成（ＨＧＤ：High Grade Dysplasia）およびガン細胞の４ステージ、またはポリープにおける、軽度異型腺腫（ＬＧＡ：Low Grade Adenoma）、高度異型腺腫（ＨＧＡ：High Grade Adenoma）およびガン細胞の３ステージである、請求項１から請求項５のいずれかに記載の生体組織解析装置。
  7. 　前記ハイパースペクトルデータの波長帯域に可視光が含まれている、請求項１から請求項６のいずれかに記載の生体組織解析装置。
  8. 　二次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを用いて生体組織を解析する生体組織解析プログラムであって、下記（i），（ii）としてコンピュータを機能させるとともに、下記（iii）および／または（iv）としてコンピュータを機能させる、前記生体組織解析プログラム；
    　（i）ハイパースペクトルカメラから生体組織の前記ハイパースペクトルデータを取得するハイパースペクトルデータ取得部；
    　（ii）前記ハイパースペクトルデータに基づいて、前記生体組織の二次元画像から解析対象部位に相当するピクセルを画像処理によって抽出する解析対象部位抽出部；
    　（iii）前記解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類することにより、前記生体組織の変質状態を大別する変質状態大別部；
    　（iv）前記解析対象部位に相当するピクセルのそれぞれを教師あり学習によって分類することにより、前記生体組織の変質状態を識別する変質状態識別部。
  9. 　二次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを用いて生体組織を解析する生体組織解析方法であって、下記（i），（ii）を有するとともに、下記（iii）および／または（iv）を有する、前記生体組織解析方法；
    　（i）ハイパースペクトルカメラから生体組織の前記ハイパースペクトルデータを取得するハイパースペクトルデータ取得ステップ；
    　（ii）前記ハイパースペクトルデータに基づいて、前記生体組織の二次元画像から解析対象部位に相当するピクセルを画像処理によって抽出する解析対象部位抽出ステップ；
    　（iii）前記解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類することにより、前記生体組織の変質状態を大別する変質状態大別ステップ；
    　（iv）前記解析対象部位に相当するピクセルのそれぞれを教師あり学習によって分類することにより、前記生体組織の変質状態を識別する変質状態識別ステップ。
PCT/JP2019/011152 2018-03-19 2019-03-18 生体組織解析装置、生体組織解析プログラムおよび生体組織解析方法 WO2019181845A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/981,451 US11499958B2 (en) 2018-03-19 2019-03-18 Biological tissue analyzing device, biological tissue analyzing program, and biological tissue analyzing method
SG11202008891RA SG11202008891RA (en) 2018-03-19 2019-03-18 Biological tissue analyzing device, biological tissue analyzing program, and biological tissue analyzing method
EP19772299.4A EP3770584B1 (en) 2018-03-19 2019-03-18 Biological tissue analyzing device, biological tissue analyzing program, and biological tissue analyzing method
CN201980028047.XA CN112204378A (zh) 2018-03-19 2019-03-18 活体组织解析装置、活体组织解析程序以及活体组织解析方法
CA3096740A CA3096740A1 (en) 2018-03-19 2019-03-18 Biological tissue analyzing device, biological tissue analyzing program, and biological tissue analyzing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018051114A JP6392476B1 (ja) 2018-03-19 2018-03-19 生体組織解析装置および生体組織解析プログラム
JP2018-051114 2018-03-19

Publications (1)

Publication Number Publication Date
WO2019181845A1 true WO2019181845A1 (ja) 2019-09-26

Family

ID=63580045

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/011152 WO2019181845A1 (ja) 2018-03-19 2019-03-18 生体組織解析装置、生体組織解析プログラムおよび生体組織解析方法

Country Status (7)

Country Link
US (1) US11499958B2 (ja)
EP (1) EP3770584B1 (ja)
JP (1) JP6392476B1 (ja)
CN (1) CN112204378A (ja)
CA (1) CA3096740A1 (ja)
SG (1) SG11202008891RA (ja)
WO (1) WO2019181845A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021256514A1 (ja) * 2020-06-17 2021-12-23

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020152815A1 (ja) * 2019-01-24 2020-07-30 国立大学法人大阪大学 推定装置、学習モデル、学習モデルの生成方法、及びコンピュータプログラム
US11455999B1 (en) * 2019-04-10 2022-09-27 Educational Testing Service Detection of off-topic spoken responses using machine learning
TWI732544B (zh) * 2020-05-05 2021-07-01 國立中正大學 二維材料薄膜檢測方法及二維材料薄膜檢測系統
CN114354464B (zh) * 2021-12-22 2024-04-09 南京大学 一种对不同金属纳米颗粒高光谱库之间的相似性进行定量分析的方法
CN115346009B (zh) * 2022-05-18 2023-04-28 上海航遥信息技术有限公司 基于高光谱数据和倾斜三维数据的地理实体语义建模方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010185858A (ja) * 2009-02-13 2010-08-26 Olympus Corp 画像処理装置および画像処理プログラム
JP2013174823A (ja) * 2012-02-27 2013-09-05 Olympus Corp 画像処理装置、顕微鏡システム、及び画像処理方法
JP2013178232A (ja) * 2012-01-30 2013-09-09 Canon Inc 生体組織画像の再構成方法、取得方法及び装置
JP2015052581A (ja) * 2013-01-08 2015-03-19 キヤノン株式会社 生体組織画像の再構成方法及び装置並びに該生体組織画像を用いた画像表示装置
JP2015148473A (ja) * 2014-02-05 2015-08-20 佐鳥　新 対象物探索装置、対象物探索プログラムおよび人命救助用探索システム
JP2015203586A (ja) * 2014-04-11 2015-11-16 住友電気工業株式会社 検査方法
WO2015199067A1 (ja) * 2014-06-24 2015-12-30 株式会社ニコン 画像解析装置、撮像システム、手術支援システム、画像解析方法、及び画像解析プログラム
WO2017161097A1 (en) * 2016-03-16 2017-09-21 Ohio State Innovation Foundation System and method for the discrimination of tissues using a fast infrared cancer probe
JP2017203637A (ja) 2016-05-09 2017-11-16 住友電気工業株式会社 腫瘍細胞検出方法及び腫瘍細胞検出装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7562057B2 (en) * 1999-04-09 2009-07-14 Plain Sight Systems, Inc. System and method for hyper-spectral analysis
WO2002057426A2 (en) * 2001-01-19 2002-07-25 U.S. Army Medical Research And Materiel Command A method and apparatus for generating two-dimensional images of cervical tissue from three-dimensional hyperspectral cubes
JP2004061176A (ja) * 2002-07-25 2004-02-26 Hiroki Kusumoto ハイパースペクトル画像解析システム
JP4575474B2 (ja) * 2008-06-11 2010-11-04 国立大学法人東京工業大学 生体組織識別装置および方法
US20130338479A1 (en) * 2008-12-19 2013-12-19 Universidad De Cantabria Apparatus And Method For Surgical Instrument With Integral Automated Tissue Classifier
US9025850B2 (en) * 2010-06-25 2015-05-05 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
WO2013138513A1 (en) * 2012-03-13 2013-09-19 The Regents Of The University Of California Application of light scattering patterns to determine differentiation status of stem cells and stem cell colonies
TWI493171B (zh) * 2013-06-27 2015-07-21 Univ China Medical System and method for analyzing tissue cells by using hyperspectral image
US10032287B2 (en) * 2013-10-30 2018-07-24 Worcester Polytechnic Institute System and method for assessing wound
WO2015152258A1 (ja) * 2014-03-31 2015-10-08 ダイキン工業株式会社 フッ素含有水溶液の処理方法
AU2015265811B2 (en) * 2014-05-30 2020-04-30 Providence Health & Services - Oregon An image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
EP3478165A4 (en) * 2016-06-29 2020-03-04 Niramai Health Analytix Pvt. Ltd. EXTRACTION OF BLOOD VESSELS IN TWO-DIMENSIONAL THERMOGRAPHY
WO2018075679A1 (en) * 2016-10-18 2018-04-26 The Johns Hopkins University Hyperspectral imaging for passive detection of colorectal cancers
WO2018095516A1 (en) * 2016-11-22 2018-05-31 Universidad De Las Palmas De Gran Canaria Method of non-invasive detection of tumour and/or healthy tissue and hyperspectral imaging apparatus
US10806334B2 (en) * 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
EP3589191A4 (en) * 2017-03-02 2020-11-11 Spectral MD Inc. AUTOMATIC LEARNING SYSTEMS AND TECHNIQUES FOR MULTISPECTRAL ANALYSIS OF AMPUTATION SITES

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010185858A (ja) * 2009-02-13 2010-08-26 Olympus Corp 画像処理装置および画像処理プログラム
JP2013178232A (ja) * 2012-01-30 2013-09-09 Canon Inc 生体組織画像の再構成方法、取得方法及び装置
JP2013174823A (ja) * 2012-02-27 2013-09-05 Olympus Corp 画像処理装置、顕微鏡システム、及び画像処理方法
JP2015052581A (ja) * 2013-01-08 2015-03-19 キヤノン株式会社 生体組織画像の再構成方法及び装置並びに該生体組織画像を用いた画像表示装置
JP2015148473A (ja) * 2014-02-05 2015-08-20 佐鳥　新 対象物探索装置、対象物探索プログラムおよび人命救助用探索システム
JP2015203586A (ja) * 2014-04-11 2015-11-16 住友電気工業株式会社 検査方法
WO2015199067A1 (ja) * 2014-06-24 2015-12-30 株式会社ニコン 画像解析装置、撮像システム、手術支援システム、画像解析方法、及び画像解析プログラム
WO2017161097A1 (en) * 2016-03-16 2017-09-21 Ohio State Innovation Foundation System and method for the discrimination of tissues using a fast infrared cancer probe
JP2017203637A (ja) 2016-05-09 2017-11-16 住友電気工業株式会社 腫瘍細胞検出方法及び腫瘍細胞検出装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AKIYOSHI HINOKI; TAKESHI NAGADE; HIROKI HASHIMOTO: "Cell detection and state classification using two-step machine learning", LECTURE PROCEEDINGS OF VIEW: VISION ENGINEERING WORKSHOP, 8 December 2016 (2016-12-08), pages 1 - 4, XP009523808 *
DAIKI NAKAYA, SHIN ENDO , SHIN SATORI , TSUTOMU YOSHIDA , MAKOTO SAEGUSA , TOMONORI ITO , MASAKI KANO: "Machine Learning Classification of Colorectal Cancer Using Hyperspectral Images", JOURNAL OF THE COLOR SOCIETY OF JAPAN, vol. 41, no. 3, 7 October 2017 (2017-10-07), pages 99 - 101, XP055742168, ISSN: 0389-9357, DOI: 10.15048/jcsaj.41.3__99 *
DAIKI NAKAYA; TAKERU TAKAHASHI; SHIA SATORI; TSUTOMU YOSHIDA; MAKOTO SACGUSA; TOMONORI ITO; MASALA KANOH: "The Evaluation of Stomach Cancer Identification by Hyper Spectral Data", LECTURE CONFERENCE OF SICESI, 15 December 2016 (2016-12-15), JP, pages 2627 - 2630, XP009523803 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021256514A1 (ja) * 2020-06-17 2021-12-23
WO2021256514A1 (ja) * 2020-06-17 2021-12-23 大輝 中矢 生体細胞解析装置、生体細胞解析システム、生体細胞解析プログラムおよび生体細胞解析方法
JP7427289B2 (ja) 2020-06-17 2024-02-05 Ｍｉｌｋ．株式会社 生体細胞解析装置、生体細胞解析システム、生体細胞解析プログラムおよび生体細胞解析方法

Also Published As

Publication number Publication date
EP3770584A1 (en) 2021-01-27
EP3770584A4 (en) 2021-12-22
US20210072219A1 (en) 2021-03-11
CN112204378A (zh) 2021-01-08
JP2019163981A (ja) 2019-09-26
US11499958B2 (en) 2022-11-15
EP3770584B1 (en) 2023-09-13
SG11202008891RA (en) 2020-10-29
JP6392476B1 (ja) 2018-09-19
CA3096740A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
WO2019181845A1 (ja) 生体組織解析装置、生体組織解析プログラムおよび生体組織解析方法
JP6366556B2 (ja) 生物学的試片をスペクトル画像により分析する方法
Bird et al. Infrared spectral histopathology (SHP): a novel diagnostic tool for the accurate classification of lung cancer
JP6333326B2 (ja) スペクトルイメージングによる生体試料の分析方法
KR20200140301A (ko) 딥 러닝을 이용한 무-표지 형광 영상들의 디지털 염색을 위한 방법 및 시스템
Pilling et al. Infrared spectral histopathology using haematoxylin and eosin (H&E) stained glass slides: a major step forward towards clinical translation
US20200321102A1 (en) Computational pathology approach for retrospective analysis of tissue-based companion diagnostic driven clinical trial studies
Majeed et al. Quantitative histopathology of stained tissues using color spatial light interference microscopy (cSLIM)
US7956996B2 (en) Distinguishing between invasive ductal carcinoma and invasive lobular carcinoma using raman molecular imaging
WO2009035942A1 (en) Distinguishing between renal oncocytoma and chromophobe renal cell carcinoma using raman molecular imaging
WO2013064605A2 (en) Generate percentage of positive cells for biomarkers by normalizing and autothresholding the image intensity produced by immunohistochemistry technique
MX2014004004A (es) Metodo y sistema para analizar especimenes biologicos por medio de imagenes espectrales.
Soltani et al. Prostate cancer histopathology using label-free multispectral deep-UV microscopy quantifies phenotypes of tumor aggressiveness and enables multiple diagnostic virtual stains
JP2016514869A (ja) スペクトル画像による生物試料の分析方法およびシステム
Mayerich et al. Breast histopathology using random decision forests-based classification of infrared spectroscopic imaging data
Maktabi et al. Tumor cell identification and classification in esophageal adenocarcinoma specimens by hyperspectral imaging
Mayerich et al. Real-time interactive data mining for chemical imaging information: application to automated histopathology
CN107847145B (zh) 光子结构和化学计量学病理系统
Yu et al. Deep multi-feature fusion residual network for oral squamous cell carcinoma classification and its intelligent system using Raman spectroscopy
WO2023107844A1 (en) Label-free virtual immunohistochemical staining of tissue using deep learning
Joseph Hyperspectral optical imaging for detection, diagnosis and staging of cancer
Wang Fast automatic quantitative cell replication with fluorescent live cell imaging
Soares de Oliveira et al. Simulated fine-needle aspiration diagnosis of follicular thyroid nodules by hyperspectral Raman microscopy and chemometric analysis
Wang et al. Fast Real-Time Brain Tumor Detection Based on Stimulated Raman Histology and Self-Supervised Deep Learning Model
Rana et al. High accuracy tumor diagnoses and benchmarking of hematoxylin and eosin stained prostate core biopsy images generated by explainable deep neural networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19772299

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3096740

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019772299

Country of ref document: EP

Effective date: 20201019