WO2018008136A1 - 画像処理装置および画像処理装置の作動方法 - Google Patents

画像処理装置および画像処理装置の作動方法 Download PDF

Info

Publication number
WO2018008136A1
WO2018008136A1 PCT/JP2016/070197 JP2016070197W WO2018008136A1 WO 2018008136 A1 WO2018008136 A1 WO 2018008136A1 JP 2016070197 W JP2016070197 W JP 2016070197W WO 2018008136 A1 WO2018008136 A1 WO 2018008136A1
Authority
WO
WIPO (PCT)
Prior art keywords
fluorescence
fluorescence intensity
unit
cell
image processing
Prior art date
Application number
PCT/JP2016/070197
Other languages
English (en)
French (fr)
Inventor
金子　善興
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2018525902A priority Critical patent/JPWO2018008136A1/ja
Priority to PCT/JP2016/070197 priority patent/WO2018008136A1/ja
Publication of WO2018008136A1 publication Critical patent/WO2018008136A1/ja
Priority to US16/237,800 priority patent/US10921252B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6417—Spectrofluorimetric devices
    • G01N2021/6419—Excitation at two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an image processing apparatus that performs processing on an image obtained by imaging a living body and an operation method of the image processing apparatus.
  • Patent Document 1 describes that a three-dimensional fluorescent image can be obtained by acquiring a fluorescent image while changing the sample height in the optical axis direction of the optical system.
  • Patent Document 1 merely forms a three-dimensional image by superimposing two-dimensional images. For example, when trying to detect specific cell information for each gland duct of the colonic mucosa , Different gland ducts can be confused with the same gland duct. For this reason, accurate information on specific cells in the living tissue cannot be acquired, and the state of the living tissue cannot be accurately determined.
  • the present invention has been made in view of the above, and accurately obtains information on specific cells in a living tissue using a fluorescence image obtained by irradiating a living body with excitation light, and determines the state of the living tissue. It is an object of the present invention to provide an image processing apparatus and an operation method of the image processing apparatus that can accurately determine.
  • the image processing apparatus is a fluorescence in a fluorescence image in which the influence of fluorescence other than the imaging surface is removed from fluorescence generated from a living body irradiated with excitation light.
  • a fluorescence intensity calculation unit for calculating the intensity of the image, and a plurality of fluorescence images calculated by the fluorescence intensity calculation unit, and the fluorescence intensity of the plurality of fluorescence images corresponding to different cross sections of the same living body
  • the fluorescence intensity distribution creating unit for creating the fluorescence intensity distribution, the fluorescence intensity information storing unit for storing the fluorescence intensity information of the predetermined living tissue and the fluorescence intensity information of the detection target cell, and the fluorescence intensity distribution creating unit
  • a living tissue discriminating unit that discriminates a living tissue that matches the fluorescence intensity information of the predetermined living tissue read from the fluorescence intensity information storage unit
  • a fluorescence intensity distribution creating unit A cell discriminating unit that discriminates, for each biological tissue that has been discriminated by the biological tissue discriminating unit, a cell that matches the fluorescence intensity information of the detection target cell read from the fluorescence intensity information storage unit using the fluorescence intensity distribution
  • a state determining unit that determines the state
  • the biological tissue discriminating unit performs particle analysis of a binarized image by performing threshold processing of fluorescence intensity on each of the plurality of fluorescence images.
  • the predetermined living tissues existing in the same living body are discriminated one by one.
  • the biological tissue discriminating unit performs machine learning on each of the plurality of fluorescent images, thereby identifying the predetermined biological tissue existing in the same living body as 1 It is characterized by distinguishing one by one.
  • the state determination unit measures a feature amount of the detection target cell for each of the biological tissues, and the feature determination unit measures the feature amount of the cells in the biological tissue. The condition of the living tissue is determined.
  • the image processing apparatus is characterized in that, in the above invention, the feature amount is the number of cells to be detected in the living tissue.
  • the image processing apparatus is characterized in that, in the above invention, the feature amount is a statistical value of a volume of the detection target cell in the living tissue.
  • the image processing apparatus is characterized in that, in the above invention, the feature amount is a total volume of cells to be detected in the living tissue.
  • the image processing apparatus is characterized in that, in the above invention, the feature amount is a statistical value of a surface area of the detection target cell in the living tissue.
  • the image processing apparatus is characterized in that, in the above invention, the feature amount is a total surface area of the detection target cells in the living tissue.
  • the image processing apparatus is characterized in that, in the above invention, the predetermined biological tissue is a gland duct of the digestive tract.
  • the image processing apparatus is characterized in that, in the above invention, the gland duct is unstained.
  • the cell is an enterochromaffin cell
  • the wavelength band of the excitation light is 340 to 390 nm
  • the wavelength band for capturing the fluorescent image is 420 to 700 nm. It is characterized by that.
  • the fluorescence intensity calculation unit calculates the intensity of the fluorescence in the fluorescence image from which the influence of the fluorescence other than the imaging surface is removed from the fluorescence generated from the living body irradiated with the excitation light.
  • the fluorescence intensity calculating step and the fluorescence intensity distribution creating unit create a three-dimensional fluorescence intensity distribution of the same living body from the fluorescence intensities of the plurality of fluorescent images corresponding to different sections of the same living body.
  • the fluorescence intensity distribution creating step and the biological tissue discriminating unit read out from the fluorescence intensity information storage unit that stores the fluorescence intensity information of a predetermined biological tissue and the fluorescence intensity information of the detection target cell using the fluorescence intensity distribution.
  • a biological tissue discrimination step for discriminating a biological tissue that matches the fluorescence intensity information of a predetermined biological tissue, and the cell discrimination unit reads from the fluorescence intensity information storage unit using the fluorescence intensity distribution.
  • the present invention it is possible to accurately acquire information on specific cells in a living tissue using a fluorescent image obtained by irradiating the living body with excitation light, and to accurately determine the state of the living tissue.
  • FIG. 1 is a block diagram showing a configuration of an imaging system provided with an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically showing a cross section of a normal human large intestine mucosa tissue.
  • FIG. 3 is an image obtained by fluorescent observation of an unstained specimen of normal human large intestine mucosa.
  • FIG. 4 is an image obtained by fluorescent observation of an unstained specimen of the large intestinal mucosa, which is a human large intestine mucosa and in which colon cancer has occurred.
  • FIG. 5 is a diagram for explaining an overview of an observation method performed in an embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of an imaging system provided with an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically showing a cross section of a normal human large intestine mucosa tissue.
  • FIG. 3 is an image obtained by fluorescent observation of an unstained specimen of normal human large intestine muco
  • FIG. 6 is a diagram illustrating a configuration example of determination information stored in the determination information storage unit of the image processing apparatus according to the embodiment of the present invention.
  • FIG. 7 is a flowchart showing an outline of processing executed by the image processing apparatus according to the embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a configuration example (second example) of determination information stored in the determination information storage unit of the image processing apparatus according to another embodiment of the present invention.
  • FIG. 9 is a diagram showing a configuration example (third example) of determination information stored in the determination information storage unit of the image processing apparatus according to another embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a configuration example (fourth example) of determination information stored in the determination information storage unit of the image processing apparatus according to another embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a configuration example (fifth example) of determination information stored in the determination information storage unit of the image processing apparatus according to another embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of an imaging system provided with an image processing apparatus according to an embodiment of the present invention.
  • the imaging system 1 shown in FIG. 1 includes an imaging device 2, an image processing device 3, and a display device 4.
  • the imaging system 1 captures a fluorescent image of unstained biological tissue, and determines the state of the biological tissue based on the fluorescent image.
  • the living tissue is a gland duct of the digestive tract.
  • the term “gland duct” as used herein is a general term for sites that form mucosal epithelia such as the large intestine, small intestine, stomach, and esophagus.
  • the imaging device 2 is an epi-illumination type fluorescence microscope that generates image data by irradiating a living body of a specimen with excitation light and capturing a fluorescent image by fluorescence generated from the living body.
  • the imaging device 2 has a function of capturing a fluorescent image from which fluorescence other than the imaging surface is removed from fluorescence generated from a living body.
  • the imaging device 2 having such a function includes a light field optical system having an imaging lens that forms incident fluorescence and a microlens array in which a plurality of microlenses are arranged in a direction perpendicular to the optical axis of the imaging lens;
  • the light lens is arranged on the back side of the microlens array so that the light receiving surface is parallel to the direction in which the microlens array is arranged, and is configured using a light field camera having an image pickup device that photoelectrically converts received light and outputs it.
  • the imaging device is configured using an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • Light field cameras include, for example, Ren Ng et al., “Light Field Photography with a Hand-held Plenoptic Camera”, Computer Science Technical Report CSTR, Vol. 2, No. 11, pp. 1-11, April 2005. May, disclosed.
  • the light field camera can form an image focused on a virtual plane (also called a refocus plane) different from the focal plane of the imaging lens. For this reason, the light field camera can capture a plurality of fluorescent images with different focal points to obtain a three-dimensional fluorescent image by removing the influence of the fluorescent light generated from the living body other than the imaging surface. it can.
  • a virtual plane also called a refocus plane
  • FIG. 2 is a diagram schematically showing a cross section of a normal human large intestine mucosa as an example of a biological tissue.
  • the large intestine mucosa shown in FIG. 2 includes a gland duct M1 and a lamina basement M2 existing between and below the gland duct M1.
  • goblet cells C1 and enterochromaffin cells (hereinafter referred to as EC cells) C2 are included in the gland duct M1.
  • a glandular cavity C3 is formed in the gland duct M1.
  • the glandular cavity C3 is a name for the space inside the gland duct.
  • the present inventor has discovered that EC cells C2 have specific autofluorescence different from other gland duct tissues.
  • FIG. 3 is an image obtained by fluorescent observation of an unstained specimen of normal human large intestine mucosa. Specimens to be observed are normal human colonic mucosa fixed in formalin, embedded in paraffin, sliced with a microtome, deparaffinized, fixed on a slide glass, and unstained with xylene A cover glass is adhered to a slide glass using an agent.
  • the image shown in FIG. 3 is obtained by observing the sample by irradiating the sample with excitation light having a wavelength band of 340 to 390 nm generated by the excitation light source after setting the sample at a predetermined position on the stage of the imaging device 2. It is.
  • the imaging wavelength of the light field camera was set to 400 to 700 nm, and a fluorescent cube capable of transmitting fluorescence including the imaging wavelength was provided on the optical path between the sample and the light field camera.
  • EC cells shown in green in this experiment
  • the gland duct shown in blue in this experiment
  • EC cells are known to specifically express serotonin in the gland ducts of the digestive tract (large intestine, small intestine, stomach).
  • the inventor of the present application has discovered that a green autofluorescent molecule is a molecule having the same expression site as serotonin.
  • FIG. 4 is an image obtained by fluorescent observation of an unstained specimen of the large intestine mucosa, which is a human large intestine mucosa, where colon cancer has occurred.
  • the specimen to be observed is prepared by the same procedure as the specimen shown in FIG.
  • the imaging wavelength was set to 400 to 700 nm as in the case shown in FIG. 3
  • the EC cell was 1 as shown in FIG. Neither was observed.
  • the inventor of the present application has found that the specific expression of EC cells is markedly reduced in the colonic mucosa where colon cancer has occurred.
  • FIG. 3 is compared with FIG. 4, FIG. 3 is a fluorescence observation of a cross section substantially parallel to the large intestine mucosa shown in FIG. 2, whereas FIG. 4 is a cross section intersecting with the large intestine mucosa shown in FIG. It can be seen that this was observed with fluorescence.
  • the cut surface obtained by slicing cells when preparing a specimen changes each time. Therefore, for example, in the case shown in FIG. 4, just because no EC cell is observed in this section, it cannot be determined that no EC cell is observed in another section of the same gland duct. That is, it is not possible to determine the number of EC cells contained in the gland duct by observing only the cross section shown in FIGS.
  • the conventional technique since the conventional technique only generates a three-dimensional image by observing a plurality of cross sections, there is a possibility that the gland duct cannot be correctly determined three-dimensionally. As a result, the conventional technique cannot detect gland duct abnormalities such as colon cancer with high accuracy.
  • FIG. 5 is a diagram for explaining an outline of an observation method performed in the present embodiment in order to solve such a conventional problem.
  • individual gland ducts are recognized three-dimensionally using a plurality of two-dimensional images, and the number of EC cells contained in one gland duct is accurately determined.
  • the image processing apparatus 3 includes partial gland ducts M11 to M14 included in four two-dimensional fluorescent images 101 to 104 in different xy planes, respectively.
  • a process of recognizing that one gland duct M1 is configured is performed. This recognition method will be described later.
  • the image processing device 3 calculates the number of EC cells C2 contained in the partial ducts M11 to M14, and determines whether or not the duct M1 is normal based on the number of cells.
  • the image processing apparatus 3 includes an input unit 31 that receives an instruction and information input to the image processing apparatus 3, an image acquisition unit 32 that acquires image data corresponding to an image to be processed, and image data and various calculation results. An output unit 33 for outputting, a calculation unit 34 for performing predetermined calculation processing on the input image data, a control unit 35 for controlling the operation of the image processing apparatus 3 in total, and a storage unit for storing various information 36.
  • the input unit 31 includes input devices such as a keyboard, various buttons, and various switches, and pointing devices such as a mouse and a touch panel provided on the display screen of the display device 4. The input of the corresponding signal is received and input to the control unit 35.
  • the image acquisition unit 32 is an interface that receives the image data output from the imaging device 2.
  • the imaging device 2 and the image processing device 3 can transmit and receive information via a communication network.
  • the image acquisition unit 32 may receive image data sequentially from the imaging device 2 or may receive image data temporarily stored in the imaging device 2 at a predetermined timing.
  • the communication network here is realized by one or a plurality of combinations such as a LAN (Local Area Network), a WAN (Wide Area Network), and an existing public line network, and may be wired or wireless.
  • the output unit 33 is an interface that outputs various types of information including image data to be displayed on the display device 4 to the display device 4.
  • the calculation unit 34 includes a fluorescence intensity calculation unit 341, a fluorescence intensity distribution creation unit 342, a biological tissue determination unit 343, a cell determination unit 344, and a state determination unit 345.
  • the calculation unit 34 is configured using a general-purpose processor such as a CPU (Central Processing Unit) or a dedicated integrated circuit that executes a specific function such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • Various arithmetic processes are executed by reading various programs stored in the storage unit 36.
  • the fluorescence intensity calculation unit 341 calculates the intensity of fluorescence generated from a gland duct that is a living tissue in a plurality of fluorescence images.
  • the fluorescence intensity calculation unit 341 calculates the luminance value of the pixel included in the fluorescence image as the fluorescence intensity.
  • the plurality of fluorescent images for calculating the fluorescence intensity are two-dimensional images obtained by imaging the same living body with different cross sections.
  • the imaging device 2 may capture a plurality of fluorescent images based on a single specimen, or may capture a plurality of fluorescent images based on a plurality of specimens created by slicing from the beginning. .
  • the fluorescence intensity distribution creating unit 342 creates a three-dimensional fluorescence intensity distribution of the same living body including the living tissue to be observed by using the fluorescence intensities in the plurality of fluorescence images calculated by the fluorescence intensity calculating unit 341. .
  • the fluorescence intensity distribution creation unit 342 identifies a color, for example, by performing unmixing processing or threshold processing in a color space, and calculates a three-dimensional fluorescence intensity distribution of the same living body.
  • the biological tissue discriminating unit 343 discriminates a gland duct of the large intestine mucosa as a predetermined biological tissue using the three-dimensional region fluorescence intensity distribution created by the fluorescence intensity distribution creating unit 342.
  • the living tissue discriminating unit 343 discriminates a living tissue that matches the fluorescence intensity information of the gland duct of the large intestine mucosa stored in the fluorescence intensity information storage unit 361 of the storage unit 36.
  • the fluorescence intensity information is, for example, a range of fluorescence intensity that can be regarded as a gland duct.
  • the living tissue discriminating unit 343 exists in the three-dimensional region by performing particle analysis based on the binarized image by performing the threshold processing of the fluorescence intensity on each of the plurality of fluorescence images. Discriminate the ducts one by one.
  • the living tissue is a gland duct of the large intestine mucosa
  • the living tissue is not limited to this.
  • the biological tissue to be discriminated may be a human renal tubule or the like.
  • the biological tissue discriminating unit 343 may perform a process of expanding a gap between adjacent gland ducts in advance.
  • Examples of the process for expanding the gap between adjacent gland ducts include a morphological process and a process using a bottom hat filter having a gap size to be expanded. By performing such processing, the detection accuracy of the gland duct can be further improved.
  • the biological tissue discrimination unit 343 may discriminate the gland duct based on the calculation result of the gland duct volume.
  • the distance between adjacent two-dimensional fluorescent images in a direction perpendicular to (corresponding to the z-axis direction in FIG. 5) is all d, and is calculated by (S 1 + S 2 +... + S N ) ⁇ d.
  • the gland duct is approximated by an elliptic cylinder, the short axis and the long axis of the ellipse are calculated in the two-dimensional two-dimensional fluorescence image corresponding to the bottom surface, and the area S T and S B of the ellipse on each bottom surface are calculated,
  • the distance between the two bottom surfaces that is, the height of the elliptic cylinder, may be D, and the volume of the gland duct may be calculated by D ⁇ (S T + S D ) / 2.
  • the biological tissue discriminating unit 343 discriminates a gland duct when these calculation results have values within a predetermined range. Also in this case, the detection accuracy of the gland duct can be further improved.
  • the biological tissue discriminating unit 343 may discriminate gland ducts existing in the three-dimensional region one by one by performing machine learning on the fluorescence image.
  • a classifier that performs machine learning based on a large amount of teacher data and performs recognition processing is configured.
  • Classifiers include neural networks (eg Tanaka et al., “Neural Networks and Circuits (Modern Nonlinear Science Series)”, Corona, April 1999) and support vector machines (eg Takeuchi Ichiro et al., "Support Vector Machine (Machine Learning Professional Series)", Kodansha, see August 2015) can be applied.
  • the biological tissue discriminating unit 343 uses a technique of deep learning (for example, refer to Nikkei Electronics Editing, “Artificial Intelligence Technology Overview”, Nikkei BP, September 2015) using a multilayer neural network.
  • the organization may be determined.
  • the deep learning technique it is possible to perform discrimination of living tissue with higher accuracy.
  • the cell discrimination unit 344 discriminates an EC cell as a detection target cell in the gland duct using the three-dimensional region fluorescence intensity distribution created by the fluorescence intensity distribution creation unit 342.
  • the cell discriminating unit 344 discriminates cells that match the EC cell fluorescence intensity information stored in the fluorescence intensity information storage unit 361 of the storage unit 36.
  • the fluorescence intensity information for example, a range of fluorescence intensity that can be regarded as EC cells is given.
  • the detection target cell in the present embodiment is an EC cell, the detection target cell is not limited to this.
  • the state determination unit 345 analyzes the pixel region corresponding to the EC cell determined by the cell determination unit 344, calculates the feature amount of the EC cell, and determines the state of the gland duct using the feature amount. Specifically, the state determination unit 345 determines each gland based on the EC cell feature amount determined by the cell determination unit 344 and the determination information stored in the determination information storage unit 362 of the storage unit 36 described later. Determine the condition of the tube.
  • the determination information is information for the state determination unit 345 to determine the state of the gland duct based on the EC cell feature amount, and details thereof will be described later.
  • the feature amount of EC cells is the number of EC cells (cell number) in one gland duct.
  • the control unit 35 is configured using a general-purpose processor such as a CPU or a dedicated integrated circuit that executes a specific function such as an ASIC or FPGA. Note that the control unit 35 and the calculation unit 34 may be configured by the same general-purpose processor or integrated circuit.
  • the storage unit 36 is used for determining the state of each gland duct and the fluorescence intensity information storage unit 361 that stores information on the fluorescence intensity of the gland duct and the fluorescence intensity of the EC cells to be detected in the living tissue. And a determination information storage unit 362.
  • FIG. 6 is a diagram illustrating a configuration example of the determination information stored in the determination information storage unit 362.
  • the determination information shown in the figure is a diagram illustrating a configuration example of the determination information when the feature amount of the cell is the number of EC cells in one gland duct.
  • the determination information shown in FIG. 6 the case where the number of EC cells is 10 or more and less than 50 is associated with a “normal” state, while the number of EC cells is less than 10 or 50 or more. Is associated with an “abnormal” state.
  • the storage unit 36 also stores the image data captured by the image acquisition unit 32, a plurality of programs and various setting information respectively executed by the calculation unit 34 and the control unit 35.
  • the plurality of programs includes a program for executing the operation method of the image processing apparatus according to the present embodiment.
  • the program may be written and stored in a computer-readable recording medium. Writing of the program into the storage unit 36 or the recording medium may be performed when the computer or the recording medium is shipped as a product, or may be performed by downloading via a communication network.
  • the storage unit 36 includes a volatile memory such as a RAM (Random Access Memory) and a nonvolatile memory such as a ROM (Read Only Memory). Note that the storage unit 36 may be configured using a computer-readable recording medium such as a memory card that can be externally mounted.
  • a volatile memory such as a RAM (Random Access Memory)
  • a nonvolatile memory such as a ROM (Read Only Memory).
  • the storage unit 36 may be configured using a computer-readable recording medium such as a memory card that can be externally mounted.
  • the display device 4 is configured using, for example, a display panel made of liquid crystal, organic EL (Electro Luminescence), or the like, and displays an image and various information output from the output unit 33 of the image processing device 3.
  • a display panel made of liquid crystal, organic EL (Electro Luminescence), or the like, and displays an image and various information output from the output unit 33 of the image processing device 3.
  • the image acquisition unit 32 acquires a fluorescence image obtained by the imaging device 2 imaging an unstained specimen of a living body (step S1).
  • This unstained specimen is, for example, the above-mentioned unstained specimen of human large intestine mucosa.
  • the fluorescence image is a two-dimensional image and is an image from which the influence of fluorescence on other imaging surfaces is eliminated.
  • the image acquisition unit 32 acquires a plurality of such two-dimensional fluorescent image data. The plurality of image data only needs to be able to reproduce a part of a three-dimensional living body as a whole.
  • the plurality of image data may be obtained by slicing one living body to create a plurality of unstained specimens, and the imaging device 2 images each unstained specimen, or one unstained specimen created from one living tissue.
  • the dyed specimen may be captured multiple times by the imaging device 2.
  • the fluorescence intensity calculation unit 341 calculates the intensity of the fluorescence generated from the gland duct which is a predetermined living tissue in the fluorescence image using the luminance value of each pixel included in the fluorescence image (step S2).
  • the fluorescence intensity distribution creating unit 342 creates a fluorescence intensity distribution in the three-dimensional region of the same living body from the fluorescence intensities of the plurality of images calculated by the fluorescence intensity calculating unit 341 (step S3).
  • the fluorescence intensity distribution creation unit 342 writes and stores the created fluorescence intensity distribution in the storage unit 36.
  • the biological tissue discriminating unit 343 discriminates a biological tissue that matches the fluorescence intensity information of the gland duct read from the fluorescence intensity information storage unit 361 using the fluorescence intensity distribution created by the fluorescence intensity distribution creating unit 342 (Ste S4).
  • the biological tissue discriminating unit 343 performs particle analysis based on the binarized image by performing the threshold processing of the fluorescence intensity on the fluorescence image, or on the fluorescence image. By performing machine learning, three-dimensional gland ducts are individually recognized.
  • the cell discrimination unit 344 uses the three-dimensional region fluorescence intensity distribution created by the fluorescence intensity distribution creation unit 342 to match the fluorescence intensity information of the detection target EC cell read from the fluorescence intensity information storage unit 361. Is determined for each gland duct (step S5).
  • the state determination unit 345 calculates the number of EC cells determined by the cell determination unit 344 for each gland duct, and refers to the determination information stored in the determination information storage unit 362, so that each gland duct Is determined (step S6). For example, in the case of the duct M1 shown in FIG. 5, since the number of EC cells is 8, the state determination unit 345 refers to the determination information shown in FIG. 6 and determines that the duct M1 shown in FIG. 5 is abnormal. To do.
  • control unit 35 outputs the determination result of the state determination unit 345 from the output unit 33 to the display device 4 to display the determination result on the display device 4, and stores the determination result in the storage unit 36 (step S7). ).
  • the control unit 35 causes the display device 4 to display the determination result in characters.
  • the control unit 35 may cause the display device 4 to display the determined fluorescence image together with the determination result.
  • the control unit 35 may display the feature amount of the cell in accordance with the display device 4, and may mark the feature amount in each gland duct when displaying the fluorescence image together.
  • the control unit 35 may display the display on the display device 4 by trimming or painting the abnormal biological tissue so that the abnormal biological tissue can be distinguished from other biological tissues.
  • the control unit 35 may cause the display device 4 to display or blink the detection target cell in a color different from other cells. Thereafter, the image processing apparatus 3 ends the series of processes.
  • a biological tissue that matches the fluorescence intensity information of a predetermined biological tissue stored in advance is determined, and this
  • identification within the living tissue using the fluorescence image obtained by irradiating the living body with excitation light It is possible to accurately acquire information on the cells and accurately determine the state of the living tissue.
  • particle analysis of a binarized image is performed by performing fluorescence intensity threshold processing on each of a plurality of fluorescence images, or a machine is applied to each of a plurality of fluorescence images.
  • the living tissue existing in the three-dimensional region is discriminated one by one, so that the living tissue is prevented from being confused between the two-dimensional fluorescent images, and the state of the living tissue is accurately determined. Can do.
  • the state of the living tissue is determined using the feature amount of the detection target cell, it is possible to more accurately support the diagnosis of the living tissue by a doctor or the like.
  • the present invention should not be limited only by the above-described embodiment.
  • the feature amount of cells used for the determination information may be other than the number of cells described above.
  • 8 to 11 are diagrams showing examples of the configuration of other determination information.
  • FIG. 8 is a diagram showing a configuration example of information for determination when the feature amount of cells is the average of the volume ( ⁇ m 3 ) of EC cells in the same gland duct.
  • the determination information shown in FIG. 8 the case where the average volume of EC cells contained in one gland duct is 20 ⁇ m 3 or more and less than 200 ⁇ m 3 is associated with a “normal” state, while the average of the volumes Is less than 20 ⁇ m 3 or 200 ⁇ m 3 or more is associated with an “abnormal” state.
  • the state determination unit 345 calculates the volume of the EC cell based on, for example, the number of pixels representing one EC cell.
  • other statistical values such as the mode value and the maximum value may be used.
  • FIG. 9 is a diagram illustrating a configuration example of information for determination when the feature amount of the cell is the total volume ( ⁇ m 3 ) of EC cells per gland duct.
  • the state determination unit 345 calculates the volume of EC cells, for example, as described above, and calculates the total volume of EC cells contained in the same gland duct.
  • FIG. 10 is a diagram illustrating a configuration example of the determination information when the cell feature amount is an average of the surface area ( ⁇ m 2 ) of one EC cell.
  • the determination information shown in FIG. 10 the case where the average surface area of one EC cell is 10 ⁇ m 2 or more and less than 100 ⁇ m 2 is associated with a “normal” state, while the average surface area is less than 10 ⁇ m 2 or 1000 ⁇ m.
  • a case of 2 or more is associated with an “abnormal” state.
  • the state determination unit 345 calculates the surface area of the EC cell based on the number of pixels representing one EC cell, for example.
  • the state determination unit 345 measures the amount corresponding to the major axis 2a and the minor axis 2b of the ellipse corresponding to the EC cell in each two-dimensional fluorescent image, Further, assuming that the diameter 2c in the height direction (corresponding to the z-axis direction in FIG. 5) is equal to the minor diameter 2b obtained from the two-dimensional fluorescent image, the surface area S is calculated according to the following equation (1).
  • x (1 ⁇ c 2 / a 2 ) 1/2
  • k x ⁇ 1 (1 ⁇ c 2 / b 2 ) 1/2 (a ⁇ b ⁇ c).
  • other statistical values such as the mode value and the maximum value may be used.
  • FIG. 11 is a diagram illustrating a configuration example of information for determination when the feature amount of a cell is the total surface area ( ⁇ m 2 ) of EC cells per gland duct.
  • the case of less than or less than 5000 ⁇ m 2 is associated with an “abnormal” state.
  • the state determination unit 345 calculates the surface area of the EC cells, for example, as described above, and calculates the total surface area of the EC cells included in the same gland duct.
  • the determination information shown in FIGS. 6 and 8 to 11 can be used when determining the state of the gland duct alone, but the state determination unit 345 uses two or more pieces of the determination information.
  • the state of the gland duct may be determined.
  • the state determination unit 345 adopts the larger determination result.
  • the state determination unit 345 performs determination according to a predetermined rule such as, for example, always abnormal. This rule may be settable by the user.
  • priorities are set for the respective pieces of determination information in advance, and when different determination results are generated, the state determination unit 345 determines according to the priority order. Also good. Also in this case, the priority may be set by the user.
  • a confocal microscope including a confocal optical system that can pass only fluorescence from a cross section to be imaged may be applied to capture a three-dimensional fluorescence image.
  • a three-dimensional fluorescence image may be taken by applying a two-photon excitation microscope having a two-photon optical system that excites only the focal plane using a photon absorption process.
  • the present invention can also be applied to a specimen that is thicker than an imaging apparatus having a light field optical system. Examples of thick specimens include excised specimens of rat large intestine with no formalin fixed, paraffin specimens of rat large intestine with a thickness of about 20 ⁇ m and fixed with formalin.
  • a new index such as the degree of abnormality or the degree of risk may be provided as an index when the state determination unit 345 determines the state.
  • the state determination unit 345 determines the state. For example, when an abnormality occurs in the gland duct on the end side in the entire specimen, there is a high possibility that the abnormal part is left behind. When the abnormal part is cancer, if cancer cells remain, the cancer may recur or metastasize, and it may be necessary to take measures such as re-operation. Therefore, when an abnormality occurs in the gland duct on the end side in the entire specimen, the state determination unit 345 highly evaluates the degree of abnormality or the degree of risk. In this case, the gland duct with a high degree of abnormality may be highlighted on the display device 4.
  • the determination result can be displayed on the display device 4 in various display modes. For example, display may be performed so that the display device 4 can rotate the biological tissue so that it can be seen from three-dimensionally different angles. Further, the display device 4 may display an image for enabling the user to determine the position of the predetermined biological tissue in the whole specimen.
  • the present invention can include various embodiments not described herein, and various design changes can be made within the scope of the technical idea specified by the claims. It is.

Abstract

励起光を照射した生体から発生する蛍光のうち撮像面以外の蛍光の影響を除去した蛍光画像内の蛍光の強度を算出する蛍光強度算出部と、蛍光強度算出部が算出した複数の蛍光画像であって同一生体の異なる断面に対応する複数の蛍光画像の蛍光強度から同一生体の３次元的な蛍光強度分布を作成する蛍光強度分布作成部と、所定の生体組織の蛍光強度情報および検出対象の細胞の蛍光強度情報を記憶する蛍光強度情報記憶部と、蛍光強度分布作成部が作成した蛍光強度分布を用いて、蛍光強度情報記憶部から読み出した所定の生体組織の蛍光強度情報と一致する生体組織を判別する生体組織判別部と、蛍光強度分布作成部が作成した蛍光強度分布を用いて、蛍光強度情報記憶部から読み出した検出対象の細胞の蛍光強度情報と一致する細胞を生体組織判別部が判別した生体組織ごとに判別する細胞判別部と、細胞判別部が判別した細胞の情報に基づいて生体組織の状態を判定する状態判定部と、を備える。

Description

画像処理装置および画像処理装置の作動方法
　本発明は、生体を撮像した画像に対して処理を施す画像処理装置および画像処理装置の作動方法に関する。
　従来、生体の観察領域へ励起光を照射し、生体組織等の被観察物において発生する蛍光の強度分布を生成して観察用の蛍光画像を作成する技術が知られている。例えば、特許文献１には、光活性化蛍光物質を含む被観察物上に活性化光を集光し、活性化光の集光スポットで被観察物上の観察領域を走査し、その観察領域へ励起光を照射することによって蛍光強度分布を検出する光活性化限局顕微鏡が開示されている。この特許文献１には、光学系の光軸方向の標本高さを変化させながら蛍光画像を取得することによって３次元の蛍光像が得られることが記載されている。
特開２０１０－１０２３３２号公報
　しかしながら、上述した特許文献１に記載の技術は、２次元の画像を重ねて３次元の画像を形成するに過ぎず、例えば大腸粘膜の腺管ごとに特定の細胞の情報を検出しようとした場合、異なる腺管を同一の腺管と混同してしまう可能性がある。このため、生体組織内の特定の細胞に関する正確な情報を取得することができず、生体組織の状態を精度よく判定することができなかった。
　本発明は、上記に鑑みてなされたものであって、生体に励起光を照射して得られる蛍光画像を用いて生体組織内の特定の細胞に関する情報を正確に取得し、生体組織の状態を精度よく判定することができる画像処理装置および画像処理装置の作動方法を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、励起光を照射した生体から発生する蛍光のうち撮像面以外の蛍光の影響を除去した蛍光画像内の蛍光の強度を算出する蛍光強度算出部と、前記蛍光強度算出部が算出した複数の蛍光画像であって同一生体の異なる断面に対応する複数の蛍光画像の蛍光強度から前記同一生体の３次元的な蛍光強度分布を作成する蛍光強度分布作成部と、所定の生体組織の蛍光強度情報および検出対象の細胞の蛍光強度情報を記憶する蛍光強度情報記憶部と、前記蛍光強度分布作成部が作成した前記蛍光強度分布を用いて、前記蛍光強度情報記憶部から読み出した前記所定の生体組織の蛍光強度情報と一致する生体組織を判別する生体組織判別部と、前記蛍光強度分布作成部が作成した前記蛍光強度分布を用いて、前記蛍光強度情報記憶部から読み出した前記検出対象の細胞の蛍光強度情報と一致する細胞を前記生体組織判別部が判別した生体組織ごとに判別する細胞判別部と、前記細胞判別部が判別した細胞の情報に基づいて前記生体組織の状態を判定する状態判定部と、を備えたことを特徴とする。
　本発明に係る画像処理装置は、上記発明において、前記生体組織判別部は、前記複数の蛍光画像の各々に対して蛍光強度の閾値処理を行って２値化した画像の粒子解析を行うことにより、前記同一生体に存在する前記所定の生体組織を１つずつ判別することを特徴とする。
　本発明に係る画像処理装置は、上記発明において、前記生体組織判別部は、前記複数の蛍光画像の各々に対して機械学習を行うことにより、前記同一生体に存在する前記所定の生体組織を１つずつ判別することを特徴とする。
　本発明に係る画像処理装置は、上記発明において、前記状態判定部は、前記生体組織ごとに前記検出対象の細胞の特徴量を計測し、前記生体組織内の前記細胞の特徴量に応じて前記生体組織の状態を判定することを特徴とする。
　本発明に係る画像処理装置は、上記発明において、前記特徴量は、前記生体組織内の前記検出対象の細胞の数であることを特徴とする。
　本発明に係る画像処理装置は、上記発明において、前記特徴量は、前記生体組織内の前記検出対象の細胞の体積の統計値であることを特徴とする。
　本発明に係る画像処理装置は、上記発明において、前記特徴量は、前記生体組織内の前記検出対象の細胞の体積の総計であることを特徴とする。
　本発明に係る画像処理装置は、上記発明において、前記特徴量は、前記生体組織内の前記検出対象の細胞の表面積の統計値であることを特徴とする。
　本発明に係る画像処理装置は、上記発明において、前記特徴量は、前記生体組織内の前記検出対象の細胞の表面積の総計であることを特徴とする。
　本発明に係る画像処理装置は、上記発明において、前記所定の生体組織が消化管の腺管であることを特徴とする。
　本発明に係る画像処理装置は、上記発明において、前記腺管は未染色であることを特徴とする。
　本発明に係る画像処理装置は、上記発明において、前記細胞がエンテロクロマフィン細胞であり、前記励起光の波長帯域が３４０～３９０ｎｍであり、前記蛍光画像を撮像する波長帯域が４２０～７００ｎｍであることを特徴とする。
　本発明に係る画像処理装置の作動方法は、蛍光強度算出部が、励起光を照射した生体から発生する蛍光のうち撮像面以外の蛍光の影響を除去した蛍光画像内の蛍光の強度を算出する蛍光強度算出ステップと、蛍光強度分布作成部が、複数の蛍光画像であって同一生体の異なる断面に対応する複数の蛍光画像の蛍光強度から前記同一生体の３次元的な蛍光強度分布を作成する蛍光強度分布作成ステップと、生体組織判別部が、前記蛍光強度分布を用いて、所定の生体組織の蛍光強度情報および検出対象の細胞の蛍光強度情報を記憶する蛍光強度情報記憶部から読み出した前記所定の生体組織の蛍光強度情報と一致する生体組織を判別する生体組織判別ステップと、細胞判別部が、前記蛍光強度分布を用いて、前記蛍光強度情報記憶部から読み出した前記検出対象の細胞の蛍光強度情報と一致する細胞を前記生体組織判別ステップで判別した生体組織ごとに判別する細胞判別ステップと、状態判定部が、前記細胞判別ステップで判別した細胞の情報に基づいて生体組織の状態を判定する状態判定ステップと、を含むことを特徴とする。
　本発明によれば、生体に励起光を照射して得られる蛍光画像を用いて生体組織内の特定の細胞に関する情報を正確に取得し、生体組織の状態を精度よく判定することができる。
図１は、本発明の一実施の形態に係る画像処理装置を備えた撮像システムの構成を示すブロック図である。 図２は、ヒトの正常な大腸粘膜の組織の断面を模式的に示す図である。 図３は、ヒトの正常な大腸粘膜の未染色標本を蛍光観察することにより取得した画像である。 図４は、ヒトの大腸粘膜であって大腸癌が発生した大腸粘膜の未染色標本を蛍光観察することにより取得した画像である。 図５は、本発明の一実施の形態において行う観察方法の概要を説明する図である。 図６は、本発明の一実施の形態に係る画像処理装置の判定用情報記憶部が記憶する判定用情報の構成例を示す図である。 図７は、本発明の一実施の形態に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図８は、本発明の別の実施の形態に係る画像処理装置の判定用情報記憶部が記憶する判定用情報の構成例（第２例）を示す図である。 図９は、本発明の別の実施の形態に係る画像処理装置の判定用情報記憶部が記憶する判定用情報の構成例（第３例）を示す図である。 図１０は、本発明の別の実施の形態に係る画像処理装置の判定用情報記憶部が記憶する判定用情報の構成例（第４例）を示す図である。 図１１は、本発明の別の実施の形態に係る画像処理装置の判定用情報記憶部が記憶する判定用情報の構成例（第５例）を示す図である。
　以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。
　図１は、本発明の一実施の形態に係る画像処理装置を備えた撮像システムの構成を示すブロック図である。同図に示す撮像システム１は、撮像装置２と、画像処理装置３と、表示装置４とを備える。撮像システム１は、未染色の生体組織の蛍光画像を撮像し、この蛍光画像に基づいてその生体組織の状態を判定する。本実施の形態では、一例として生体組織が消化管の腺管である場合を説明する。ここでいう腺管とは、大腸、小腸、胃、食道等の粘膜上皮を形成する部位の総称である。
　撮像装置２は、標本の生体に励起光を照射し、生体から発生する蛍光による蛍光画像を撮像することによって画像データを生成する落射型の蛍光顕微鏡である。撮像装置２は、生体から発生する蛍光のうち撮像面以外の蛍光の影響を除去した蛍光画像を撮像する機能を有する。
　このような機能を有する撮像装置２は、入射した蛍光を結像する撮像レンズおよび撮像レンズの光軸と直交する方向に複数のマイクロレンズを並べて配置したマイクロレンズアレイを有するライトフィールド光学系と、マイクロレンズアレイの背面側に受光面がマイクロレンズアレイの並ぶ方向と平行となるように配置され、受光した光を光電変換して出力する撮像素子とを有するライトフィールドカメラを用いて構成される。撮像素子は、ＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementery　Metal　Oxide　Semiconductor）等のイメージセンサを用いて構成される。なお、ライトフィールドカメラは、例えば、Ren　Ng他著、「Light　Field　Photography　with　a　Hand-held　Plenoptic　Camera」、Computer　Science　Technical　Report　CSTR、Vol.2、No.11、pp.1-11、2005年4月、に開示されている。
　ライトフィールドカメラは、撮像レンズの焦点面とは異なる仮想的な面（リフォーカス面とも呼ばれる）に合焦した画像を構成することができる。このため、ライトフィールドカメラは、生体から発生する蛍光のうち撮像面以外の蛍光の影響を除去することにより、互いに焦点が異なる複数の蛍光画像を撮像して３次元的な蛍光画像を得ることができる。
　つぎに、画像処理装置３および表示装置４の構成を説明するのに先立って、図２～図５を参照して、本実施の形態における画像処理の概要を説明する。図２は、生体組織の一例として、ヒトの正常な大腸粘膜の組織の断面を模式的に示す図である。図２に示す大腸粘膜は、腺管Ｍ１と、該腺管Ｍ１の間や下層に存在する粘膜固有層Ｍ２とを含む。腺管Ｍ１内には、杯細胞Ｃ１と、エンテロクロマフィン細胞（以下、ＥＣ細胞という）Ｃ２とが含まれる。また、腺管Ｍ１には、腺腔Ｃ３が形成されている。腺腔Ｃ３は、腺管内部の空間の呼称である。本願発明者は、ＥＣ細胞Ｃ２が、他の腺管組織とは異なる特異的な自家蛍光を有することを発見した。
　図３は、ヒトの正常な大腸粘膜の未染色標本を蛍光観察することにより取得した画像である。観察対象の標本は、ヒトの正常な大腸粘膜をホルマリン固定してパラフィン包埋し、ミクロトームにより薄切した後に脱パラフィン処理を施してスライドグラス上に固定し、未染色の状態でキシレン系の封入剤を用いてスライドグラスにカバーグラスを接着させたものである。図３に示す画像は、この標本を撮像装置２が有するステージ上の所定位置にセットした後、励起光源が発生した波長帯域が３４０～３９０ｎｍの励起光を標本に照射して観察を行ったものである。この観察において、ライトフィールドカメラの撮影波長を４００～７００ｎｍとし、標本とライトフィールドカメラとの間の光路上に撮影波長を含む蛍光を透過可能な蛍光キューブを設けた。
　図３においては、画像中で全体的に表示されている腺管（本実験中では青色で示された）の内部に、強い蛍光を発するＥＣ細胞（本実験中では緑色で示された）が特異的に観察された（図中矢印で指示）。ＥＣ細胞は、消化管（大腸、小腸、胃）の腺管内において、セロトニンを特異的に発現することが知られている。本願発明者は、緑色の自家蛍光分子が、セロトニンと発現部位が同じ分子であることを発見した。
　なお、励起波長を４６０～４９５ｎｍとし、撮影波長を５１０～７００ｎｍとして上記同様の蛍光観察を行った場合には、腺管の内部に黄色の蛍光を発する細胞が観察された。また、励起波長を５３０～５５０ｎｍとし、撮影波長を５７０～７００ｎｍとして上記同様の蛍光観察を行った場合には、赤色の蛍光を発する細胞が観察された。本願発明者は、これらの自家蛍光分子が、セロトニン分子、またはセロトニンの発現分解に関与する分子であってセロトニンと発現部位が同じ分子であることを発見した。
　図４は、ヒトの大腸粘膜であって大腸癌が発生した大腸粘膜の未染色標本を蛍光観察することにより取得した画像である。観察対象の標本は、大腸癌が発生した大腸粘膜を図３に示す標本と同様の手順により作成したものである。撮像装置２を用いた標本の観察を行う際、図３に示す場合と同様に励起波長を３４０～３９０ｎｍとし、撮影波長を４００～７００ｎｍとして観察したところ、図４に示すようにＥＣ細胞は１つも観察されなかった。本願発明者は、大腸癌が発生した大腸粘膜においては、ＥＣ細胞の特異的な発現が著しく減少することを発見した。
　ところで、図３と図４を比較すると、図３は、図２に示す大腸粘膜とほぼ平行な断面を蛍光観察したものであるのに対し、図４は図２に示す大腸粘膜と交差する断面を蛍光観察したものであることがわかる。このように、標本を作成する際に細胞を薄切して得られる切断面はその都度変化する。そのため、例えば図４に示す場合には、この断面でＥＣ細胞が１つも観察されないからといって、同じ腺管の他の断面においてもＥＣ細胞が観察されないと断定することはできない。すなわち、図３や図４に示す断面だけを観察して腺管に含まれるＥＣ細胞の数を判定することはできない。そこで、個々の腺管を３次元的に認識することが重要となってくる。この点につき、従来の技術は複数の断面を観察して３次元画像を生成するに過ぎないため、腺管を３次元的に正しく判別できないおそれがあった。その結果、従来の技術では、大腸癌等の腺管の異常を高精度で検出することができなかった。
　図５は、このような従来の問題を解決するために、本実施の形態において行う観察方法の概要を説明する図である。本実施の形態では、複数の２次元画像を用いて個々の腺管を３次元的に認識し、１つの腺管に含まれるＥＣ細胞の数を正確に判定する。具体的には、画像処理装置３は、図５の（ａ）に示すように、互いに異なるｘｙ平面における４つの２次元蛍光画像１０１～１０４にそれぞれ含まれる部分腺管Ｍ１１～Ｍ１４が、図５の（ｂ）に示すように１つの腺管Ｍ１を構成していることを認識する処理を行う。この認識の手法については後述する。その後、画像処理装置３は、部分腺管Ｍ１１～Ｍ１４に含まれるＥＣ細胞Ｃ２の細胞数を算出し、この細胞数に基づいて腺管Ｍ１が正常であるか否かを判定する。
　再び図１を参照して、画像処理装置３および表示装置４の構成を説明する。
　画像処理装置３は、当該画像処理装置３に対する指示や情報の入力を受け付ける入力部３１と、処理対象の画像に対応する画像データを取得する画像取得部３２と、画像データや種々の演算結果を出力する出力部３３と、入力された画像データに対して所定の演算処理を施す演算部３４と、画像処理装置３の動作を統括して制御する制御部３５と、各種情報を記憶する記憶部３６とを備える。
　入力部３１は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスや表示装置４の表示画面上に設けられるタッチパネル等のポインティングデバイスを含み、これらのデバイスに対して外部からなされる操作に応じた信号の入力を受け付けて制御部３５に入力する。
　画像取得部３２は、撮像装置２が出力した画像データを受信するインタフェースである。撮像装置２と画像処理装置３は、通信ネットワークを介して情報の送受信を行うことが可能である。画像取得部３２は、撮像装置２から画像データを順次受信してもよいし、撮像装置２に一時的に保存された画像データを所定のタイミングで受信してもよい。ここでいう通信ネットワークとは、例えばＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）、既存の公衆回線網等の一または複数の組み合わせによって実現されるものであり、有線、無線を問わない。
　出力部３３は、表示装置４に表示させる画像データを含む各種情報を表示装置４へ出力するインタフェースである。
　演算部３４は、蛍光強度算出部３４１と、蛍光強度分布作成部３４２と、生体組織判別部３４３と、細胞判別部３４４と、状態判定部３４５とを有する。演算部３４は、例えばＣＰＵ（Central　Processing　Unit）等の汎用プロセッサまたはＡＳＩＣ（Application　Specific　Integrated　Circuit）もしくはＦＰＧＡ（Field　Programmable　Gate　Array）等の特定の機能を実行する専用の集積回路等を用いて構成され、記憶部３６が記憶する各種プログラムを読み込むことによって各種演算処理を実行する。
　蛍光強度算出部３４１は、複数の蛍光画像内において生体組織である腺管から発生した蛍光の強度を算出する。蛍光強度算出部３４１は、蛍光画像内に含まれる画素の輝度値を蛍光強度として算出する。ここで蛍光強度を算出する複数の蛍光画像は、同一の生体を異なる断面で撮像した２次元的な画像である。撮像装置２は、１つの標本をもとに複数の蛍光画像を撮像してもよいし、初めからスライスして個別に作成した複数の標本をもとに複数の蛍光画像を撮像してもよい。
　蛍光強度分布作成部３４２は、蛍光強度算出部３４１により算出された複数の蛍光画像内の蛍光強度を用いることにより、観察対象の生体組織を含む同一生体の３次元的な蛍光強度分布を作成する。蛍光強度分布作成部３４２は、例えばアンミキシング処理または色空間での閾値処理を行うことによって色を識別して同一生体の３次元的な蛍光強度分布を算出する。
　生体組織判別部３４３は、蛍光強度分布作成部３４２が作成した３次元領域蛍光強度分布を用いて所定の生体組織として大腸粘膜の腺管を判別する。生体組織判別部３４３は、記憶部３６が有する蛍光強度情報記憶部３６１が記憶する大腸粘膜の腺管の蛍光強度情報と一致する生体組織を判別する。蛍光強度情報は、例えば腺管とみなしうる蛍光強度の範囲である。この際、生体組織判別部３４３は、複数の蛍光画像の各々に対して蛍光強度の閾値処理を行って２値化した画像をもとに粒子解析を行うことにより、３次元領域内に存在する腺管を１つずつ判別する。なお、本実施の形態では、生体組織が大腸粘膜の腺管である場合を説明するが、生体組織はこれに限られるわけではない。例えば、判別対象の生体組織がヒトの腎臓尿細管等でもよい。
　生体組織判別部３４３は、予め隣接する腺管の隙間を拡張する処理を施してもよい。隣接する腺管の隙間を拡張する処理として、例えばモホロジー処理や、拡張したい隙間サイズを有するボトムハットフィルターを用いた処理を挙げることができる。このような処理を行うことにより、腺管の検出精度をさらに向上させることができる。
　生体組織判別部３４３は、腺管の体積の算出結果に基づいて腺管を判別してもよい。腺管の体積は、例えば各２次元蛍光画像Ｐi（ｉ＝１，２，・・・，Ｎ）において求まる腺管の面積をＳiとするとともに、２次元面（図５のｘｙ平面に相当）と垂直な方向（図５のｚ軸方向に相当）において隣接する２次元蛍光画像間の距離をすべてｄとし、（Ｓ1＋Ｓ2＋・・・＋ＳN）・ｄにより算出される。なお、腺管を楕円柱で近似し、底面に相当する２つの平面の２次元蛍光画像において楕円の短径と長径を算出して各底面における楕円の面積ＳTおよびＳBをそれぞれ算出し、この２つの底面間の距離すなわち楕円柱の高さをＤとして、腺管の体積をＤ・（ＳT＋ＳD）／２によって算出してもよい。生体組織判別部３４３は、これらの算出結果が所定の範囲の値を有している場合に腺管であると判別する。この場合にも、腺管の検出精度をさらに向上させることができる。
　生体組織判別部３４３は、蛍光画像に対して機械学習を行うことによって３次元領域内に存在する腺管を１つずつ判別してもよい。例えば、機械学習の１つであるパターン認識技術では、大量の教師データに基づいて機械学習を実施し、認識処理を行う識別器を構成する。識別器としては、ニューラルネットワーク（例えば、田中衛他著、「ニューラルネットと回路（現代非線形科学シリーズ）」、コロナ社、1999年4月を参照）やサポートベクターマシン（例えば、竹内一郎他著、「サポートベクトルマシン（機械学習プロフェッショナルシリーズ）」、講談社、2015年8月を参照）を適用することができる。
　また、生体組織判別部３４３は、多層構造のニューラルネットワークを用いたディープラーニング（例えば、日経エレクトロニクス編集、「人工知能テクノロジー総覧」、日経ＢＰ社、2015年9月を参照）の手法を用いて生体組織を判別してもよい。ディープラーニングの手法を適用することにより、生体組織の判別を一段と高精度で行うことができる。
　細胞判別部３４４は、蛍光強度分布作成部３４２が作成した３次元領域蛍光強度分布を用いて、腺管内にある検出対象の細胞としてＥＣ細胞を判別する。細胞判別部３４４は、記憶部３６が有する蛍光強度情報記憶部３６１が記憶するＥＣ細胞の蛍光強度情報と一致する細胞を判別する。蛍光強度情報としては、例えばＥＣ細胞とみなしうる蛍光強度の範囲が与えられる。本実施の形態における検出対象の細胞はＥＣ細胞であるが、検出対象の細胞はこれに限定されるわけではない。
　状態判定部３４５は、細胞判別部３４４が判別したＥＣ細胞に相当する画素領域を解析してＥＣ細胞の特徴量を算出し、この特徴量を用いて腺管の状態を判定する。具体的には、状態判定部３４５は、細胞判別部３４４が判別したＥＣ細胞の特徴量と、後述する記憶部３６の判定用情報記憶部３６２が記憶する判定用情報とに基づいて、各腺管の状態を判定する。判定用情報は、状態判定部３４５がＥＣ細胞の特徴量に基づいて腺管の状態の判定を行うための情報であり、その詳細については後述する。本実施の形態において、ＥＣ細胞の特徴量は、１つの腺管内のＥＣ細胞の数（細胞数）である。
　制御部３５は、ＣＰＵ等の汎用プロセッサまたはＡＳＩＣもしくはＦＰＧＡ等の特定の機能を実行する専用の集積回路等を用いて構成される。なお、制御部３５と演算部３４を同じ汎用プロセッサまたは集積回路によって構成することも可能である。
　記憶部３６は、腺管の蛍光強度および該生体組織内で検出対象となるＥＣ細胞の蛍光強度の情報を記憶する蛍光強度情報記憶部３６１と、各腺管の状態を判定するために用いられる判定用情報記憶部３６２とを有する。
　図６は、判定用情報記憶部３６２が記憶する判定用情報の構成例を示す図である。同図に示す判定用情報は、細胞の特徴量が１つの腺管内におけるＥＣ細胞の細胞数である場合の判定用情報の構成例を示す図である。図６に示す判定用情報では、ＥＣ細胞の細胞数が１０以上５０未満である場合が「正常」な状態に対応づけられている一方、ＥＣ細胞の細胞数が１０未満または５０以上である場合が「異常」な状態に対応づけられている。
　記憶部３６は、画像取得部３２が取り込んだ画像データや、演算部３４および制御部３５がそれぞれ実行する複数のプログラムおよび各種設定情報も記憶する。複数のプログラムには、本実施の形態に係る画像処理装置の作動方法を実行するためのプログラムも含まれる。なお、プログラムは、コンピュータ読み取り可能な記録媒体に書き込んで記憶させてもよい。プログラムの記憶部３６または記録媒体への書き込みは、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。
　記憶部３６は、ＲＡＭ（Random　Access　Memory）等の揮発性メモリおよびＲＯＭ（Read　Only　Memory）等の不揮発性メモリを用いて構成される。なお、外部から装着可能なメモリカード等のコンピュータ読み取り可能な記録媒体を用いて記憶部３６を構成してもよい。
　表示装置４は、例えば、液晶または有機ＥＬ（Electro　Luminescence）等からなる表示パネルを用いて構成され、画像処理装置３の出力部３３から出力された画像や各種情報を表示する。
　つぎに、画像処理装置３が実行する処理の概要について、図７に示すフローチャートを参照して説明する。まず画像取得部３２は、生体の未染色標本を撮像装置２が撮像して得られる蛍光画像を取得する（ステップＳ１）。この未染色標本は、例えば上述したヒトの大腸粘膜の未染色標本である。蛍光画像は２次元画像であり、他の撮像面における蛍光の影響が排除された画像である。画像取得部３２は、このような２次元の蛍光画像の画像データを複数取得する。複数の画像データは、全体として３次元的な生体の一部を再現可能であればよい。すなわち、複数の画像データは、１つの生体をスライスして複数の未染色標本を作成し、撮像装置２が各未染色標本を撮像したものでもよいし、１つの生体組織から作成した１つの未染色標本を撮像装置２が複数回撮像したものでもよい。
　続いて、蛍光強度算出部３４１は、蛍光画像に含まれる各画素の輝度値を用いて、蛍光画像内の所定の生体組織である腺管から発生した蛍光の強度を算出する（ステップＳ２）。
　この後、蛍光強度分布作成部３４２は、蛍光強度算出部３４１により算出された複数の画像の蛍光強度から、同一生体の３次元領域内における蛍光強度分布を作成する（ステップＳ３）。蛍光強度分布作成部３４２は、作成した蛍光強度分布を記憶部３６に書き込んで記憶させる。
　続いて、生体組織判別部３４３は、蛍光強度分布作成部３４２が作成した蛍光強度分布を用いて、蛍光強度情報記憶部３６１から読み出した腺管の蛍光強度情報と一致する生体組織を判別する（ステップＳ４）。この際、生体組織判別部３４３は、例えば上述したように、蛍光画像に対して蛍光強度の閾値処理を行って２値化した画像をもとに粒子解析を行うか、または蛍光画像に対して機械学習を行うことにより、３次元的な腺管を個別に認識する。
　続いて、細胞判別部３４４は、蛍光強度分布作成部３４２が作成した３次元領域蛍光強度分布を用いて、蛍光強度情報記憶部３６１から読み出した検出対象のＥＣ細胞の蛍光強度情報と一致する細胞を腺管ごとに判別する（ステップＳ５）。
　この後、状態判定部３４５は、細胞判別部３４４が判別したＥＣ細胞の細胞数を腺管ごとに算出し、判定用情報記憶部３６２が記憶する判定用情報を参照することにより、各腺管の状態を判定する（ステップＳ６）。例えば、図５に示す腺管Ｍ１の場合、ＥＣ細胞の細胞数が８なので、状態判定部３４５は図６に示す判定用情報を参照し、図５に示す腺管Ｍ１が異常であると判定する。
　最後に、制御部３５は、状態判定部３４５の判定結果を出力部３３から表示装置４へ出力させて表示装置４に判定結果を表示させるとともに、記憶部３６に判定結果を記憶させる（ステップＳ７）。制御部３５は、例えば表示装置４に判定結果を文字で表示させる。なお、この際に制御部３５は、判定を行った蛍光画像を判定結果とともに表示装置４に表示させてもよい。また、制御部３５は、細胞の特徴量を表示装置４にあわせて表示させてもよく、蛍光画像をあわせて表示させる場合には、各腺管に特徴量をマーキングさせてもよい。また、制御部３５は、異常な生体組織を他の生体組織と識別できるように、異常な生体組織を縁取りしたり塗りつぶしたりして表示装置４に表示させてもよい。また、制御部３５は、検出対象の細胞を他の細胞と異なる色で表示装置４に表示させたり点滅させたりしてもよい。この後、画像処理装置３は一連の処理を終了する。
　以上説明した本発明の一実施の形態によれば、同一生体の３次元的な蛍光強度分布を用いて、予め記憶された所定の生体組織の蛍光強度情報と一致する生体組織を判別し、この生体組織ごとに検出対象の細胞を判別し、判別した細胞の情報に基づいて生体組織の状態を判定するため、生体に励起光を照射して得られた蛍光画像を用いて生体組織内の特定の細胞に関する情報を正確に取得し、生体組織の状態を精度よく判定することができる。
　また、本実施の形態によれば、複数の蛍光画像の各々に対して蛍光強度の閾値処理を行って２値化した画像の粒子解析を行うか、または複数の蛍光画像の各々に対して機械学習を行うことにより、３次元領域内に存在する生体組織を１つずつ判別するため、２次元の蛍光画像間で生体組織が混同するのを防止し、生体組織の状態を精度よく判定することができる。
　また、本実施の形態によれば、検出対象の細胞の特徴量を用いて生体組織の状態を判定するため、その生体組織の医師等による診断をより的確に支援することが可能となる。
　ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した一実施の形態によってのみ限定されるべきものではない。例えば、判定用情報に用いる細胞の特徴量は、上述した細胞数以外でもよい。図８～図１１は、他の判定用情報の構成例を示す図である。
　図８は、細胞の特徴量が同じ腺管内のＥＣ細胞の体積（μｍ3）の平均である場合の判定用情報の構成例を示す図である。図８に示す判定用情報では、１つの腺管に含まれるＥＣ細胞の体積の平均が２０μｍ3以上２００μｍ3未満である場合が「正常」な状態に対応づけられている一方、その体積の平均が２０μｍ3未満または２００μｍ3以上である場合が「異常」な状態に対応づけられている。この場合、状態判定部３４５は、例えば１つのＥＣ細胞を表している画素数をもとに、ＥＣ細胞の体積を算出する。具体的には、例えばＥＣ細胞を楕円球と仮定した上で、状態判定部３４５は、各２次元蛍光画像から楕円の長径２ａおよび短径２ｂに相当する量を計測し、さらに高さ方向（図５のｚ軸方向に相当）の径が画像で求めた短径２ｂであると仮定して、Ｖ＝（４／３）πａｂ2によりＥＣ細胞の体積を算出する。なお、同じ腺管内のＥＣ細胞の体積の平均を適用する代わりに、その最頻値や最大値等の他の統計値を用いてもよい。
　図９は、細胞の特徴量が１つの腺管あたりのＥＣ細胞の体積の総計（μｍ3）である場合の判定用情報の構成例を示す図である。図９に示す判定用情報では、１つの腺管あたりのＥＣ細胞の体積の総計が２０００μｍ3以上１００００μｍ3未満の場合が「正常」な状態に対応づけられている一方、その総計が２０００μｍ3未満または１００００μｍ3以上である場合が「異常」な状態に対応づけられている。この場合、状態判定部３４５は、例えば上記同様にＥＣ細胞の体積を算出し、同じ腺管に含まれるＥＣ細胞の体積の総計を算出する。
　図１０は、細胞の特徴量が１つのＥＣ細胞の表面積（μｍ2）の平均である場合の判定用情報の構成例を示す図である。図１０に示す判定用情報では、１つのＥＣ細胞の表面積の平均が１０μｍ2以上１００μｍ2未満の場合が「正常」な状態に対応づけられている一方、その表面積の平均が１０μｍ2未満または１０００μｍ2以上である場合が「異常」な状態に対応づけられている。この場合、状態判定部３４５は、例えば１つのＥＣ細胞を表している画素数をもとに、ＥＣ細胞の表面積を算出する。具体的には、例えばＥＣ細胞を楕円球と仮定した上で、状態判定部３４５は、各２次元蛍光画像においてＥＣ細胞に相当する楕円の長径２ａおよび短径２ｂに相当する量を計測し、さらに高さ方向（図５のｚ軸方向に相当）の径２ｃが２次元蛍光画像で求めた短径２ｂに等しいとして、下記の式（１）にしたがって表面積Ｓを算出する。
Figure JPOXMLDOC01-appb-M000001
 式（１）の右辺のＥ（ｘ，０）は第１種不完全楕円積分Ｅ（ｘ，ｋ）でｋ＝０としたものであり、Ｆ（ｘ，０）は第２種不完全楕円積分Ｆ（ｘ，ｋ）でｋ＝０としたものである。ここで一般に、ｘ＝（１－ｃ2／ａ2）1/2、ｋ＝ｘ-1（１－ｃ2／ｂ2）1/2（ａ≧ｂ≧ｃ）である。なお、同じ腺管内のＥＣ細胞の表面積の平均を適用する代わりに、その最頻値や最大値等の他の統計値を用いてもよい。
　図１１は、細胞の特徴量が１つの腺管あたりのＥＣ細胞の表面積の総計（μｍ2）である場合の判定用情報の構成例を示す図である。図１１に示す判定用情報では、１つの腺管あたりの細胞の表面積の総計が１０００μｍ2以上５０００μｍ2未満の場合が「正常」な状態に対応づけられている一方、その表面積の総計が１０００μｍ2未満または５０００μｍ2以上である場合が「異常」な状態に対応づけられている。この場合、状態判定部３４５は、例えば上記同様にＥＣ細胞の表面積を算出し、同じ腺管に含まれるＥＣ細胞の表面積の総計を算出する。
　図６および図８～図１１にそれぞれ示す判定用情報は、単独で腺管の状態を判定する際に利用することができるが、状態判定部３４５がそれらの判定用情報の２つ以上を用いて腺管の状態を判定するようにしてもよい。２つ以上の判定用情報を用いる場合において、異なる判定結果が生じたとき、状態判定部３４５は多い方の判定結果を採用する。複数の判定用情報に基づく判定結果ごとの数が同じである場合、状態判定部３４５は、例えば常に異常とする、等の予め定めた規則にしたがって判定を行う。この規則をユーザが設定可能としてもよい。なお、２つ以上の判定用情報を用いる場合、予め各判定用情報に対して優先順位を設けておき、異なる判定結果が生じた場合、状態判定部３４５は優先順位にしたがって判定するようにしてもよい。この場合にも、優先順位をユーザが設定可能としてもよい。
　また、撮像装置として、撮像したい断面からの蛍光のみを通過させることが可能である共焦点光学系を備えた共焦点顕微鏡を適用して３次元的な蛍光画像を撮像してもよいし、２光子吸収過程を利用して焦点面のみを励起する２光子光学系を有する２光子励起顕微鏡を適用して３次元的な蛍光画像を撮像してもよい。これらの場合には、ライトフィールド光学系を有する撮像装置と比較して、厚さが厚い標本に対しても適用することが可能である。厚さが厚い標本の例として、ホルマリン未固定のラット大腸の切除標本や、厚さが２０μｍ程度でホルマリン固定したラット大腸のパラフィン標本などを挙げることができる。
　また、状態判定部３４５が状態を判定する際の指標として、異常度またはリスク度といった新たな指標を設けてもよい。例えば、標本全体の中で端側の腺管に異常が発生している場合、異常部分を取り残している可能性が高い。異常部分が癌である場合には、癌細胞が残っていると、癌が再発または転移して再手術等の措置を講じる必要が生じるおそれがある。そこで、標本全体の中で端側の腺管に異常が発生している場合、状態判定部３４５は、異常度またはリスク度を高く評価する。この場合には異常度が高く評価された腺管を表示装置４において強調表示するようにしてもよい。
　また、表示装置４に様々な表示態様で判定結果を表示させることができる。例えば、表示装置４が生体組織を３次元的に異なる角度から見えるように回転させることができるように表示してもよい。また、表示装置４が、所定の生体組織の標本全体における位置をユーザが判別できるようにするための画像を表示してもよい。
　このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
　１　撮像システム
　２　撮像装置
　３　画像処理装置
　４　表示装置
　３１　入力部
　３２　画像取得部
　３３　出力部
　３４　演算部
　３５　制御部
　３６　記憶部
　３４１　蛍光強度算出部
　３４２　蛍光強度分布作成部
　３４３　生体組織判別部
　３４４　細胞判別部
　３４５　状態判定部
　３６１　蛍光強度情報記憶部
　３６２　判定用情報記憶部

Claims (13)

  1. 　励起光を照射した生体から発生する蛍光のうち撮像面以外の蛍光の影響を除去した蛍光画像内の蛍光の強度を算出する蛍光強度算出部と、
    　前記蛍光強度算出部が算出した複数の蛍光画像であって同一生体の異なる断面に対応する複数の蛍光画像の蛍光強度から前記同一生体の３次元的な蛍光強度分布を作成する蛍光強度分布作成部と、
    　所定の生体組織の蛍光強度情報および検出対象の細胞の蛍光強度情報を記憶する蛍光強度情報記憶部と、
    　前記蛍光強度分布作成部が作成した前記蛍光強度分布を用いて、前記蛍光強度情報記憶部から読み出した前記所定の生体組織の蛍光強度情報と一致する生体組織を判別する生体組織判別部と、
    　前記蛍光強度分布作成部が作成した前記蛍光強度分布を用いて、前記蛍光強度情報記憶部から読み出した前記検出対象の細胞の蛍光強度情報と一致する細胞を前記生体組織判別部が判別した生体組織ごとに判別する細胞判別部と、
    　前記細胞判別部が判別した細胞の情報に基づいて前記生体組織の状態を判定する状態判定部と、
    　を備えたことを特徴とする画像処理装置。
  2. 　前記生体組織判別部は、
    　前記複数の蛍光画像の各々に対して蛍光強度の閾値処理を行って２値化した画像の粒子解析を行うことにより、前記同一生体に存在する前記所定の生体組織を１つずつ判別することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記生体組織判別部は、
    　前記複数の蛍光画像の各々に対して機械学習を行うことにより、前記同一生体に存在する前記所定の生体組織を１つずつ判別することを特徴とする請求項１に記載の画像処理装置。
  4. 　前記状態判定部は、
    　前記生体組織ごとに前記検出対象の細胞の特徴量を計測し、
    　前記生体組織内の前記細胞の特徴量に応じて前記生体組織の状態を判定することを特徴とする請求項１～３のいずれか一項に記載の画像処理装置。
  5. 　前記特徴量は、前記生体組織内の前記検出対象の細胞の数であることを特徴とする請求項４に記載の画像処理装置。
  6. 　前記特徴量は、前記生体組織内の前記検出対象の細胞の体積の統計値であることを特徴とする請求項４に記載の画像処理装置。
  7. 　前記特徴量は、前記生体組織内の前記検出対象の細胞の体積の総計であることを特徴とする請求項４に記載の画像処理装置。
  8. 　前記特徴量は、前記生体組織内の前記検出対象の細胞の表面積の統計値であることを特徴とする請求項４に記載の画像処理装置。
  9. 　前記特徴量は、前記生体組織内の前記検出対象の細胞の表面積の総計であることを特徴とする請求項４に記載の画像処理装置。
  10. 　前記所定の生体組織が消化管の腺管であることを特徴とする請求項１～９のいずれか一項に記載の画像処理装置。
  11. 　前記腺管は未染色であることを特徴とする請求項１０に記載の画像処理装置。
  12. 　前記細胞がエンテロクロマフィン細胞であり、前記励起光の波長帯域が３４０～３９０ｎｍであり、前記蛍光画像を撮像する波長帯域が４２０～７００ｎｍであることを特徴とする請求項１～１１のいずれか一項に記載の画像処理装置。
  13. 　蛍光強度算出部が、励起光を照射した生体から発生する蛍光のうち撮像面以外の蛍光の影響を除去した蛍光画像内の蛍光の強度を算出する蛍光強度算出ステップと、
    　蛍光強度分布作成部が、複数の蛍光画像であって同一生体の異なる断面に対応する複数の蛍光画像の蛍光強度から前記同一生体の３次元的な蛍光強度分布を作成する蛍光強度分布作成ステップと、
    　生体組織判別部が、前記蛍光強度分布を用いて、所定の生体組織の蛍光強度情報および検出対象の細胞の蛍光強度情報を記憶する蛍光強度情報記憶部から読み出した前記所定の生体組織の蛍光強度情報と一致する生体組織を判別する生体組織判別ステップと、
    　細胞判別部が、前記蛍光強度分布を用いて、前記蛍光強度情報記憶部から読み出した前記検出対象の細胞の蛍光強度情報と一致する細胞を前記生体組織判別ステップで判別した生体組織ごとに判別する細胞判別ステップと、
    　状態判定部が、前記細胞判別ステップで判別した細胞の情報に基づいて生体組織の状態を判定する状態判定ステップと、
    　を含むことを特徴とする画像処理装置の作動方法。
PCT/JP2016/070197 2016-07-07 2016-07-07 画像処理装置および画像処理装置の作動方法 WO2018008136A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018525902A JPWO2018008136A1 (ja) 2016-07-07 2016-07-07 画像処理装置および画像処理装置の作動方法
PCT/JP2016/070197 WO2018008136A1 (ja) 2016-07-07 2016-07-07 画像処理装置および画像処理装置の作動方法
US16/237,800 US10921252B2 (en) 2016-07-07 2019-01-02 Image processing apparatus and method of operating image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/070197 WO2018008136A1 (ja) 2016-07-07 2016-07-07 画像処理装置および画像処理装置の作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/237,800 Continuation US10921252B2 (en) 2016-07-07 2019-01-02 Image processing apparatus and method of operating image processing apparatus

Publications (1)

Publication Number Publication Date
WO2018008136A1 true WO2018008136A1 (ja) 2018-01-11

Family

ID=60912541

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/070197 WO2018008136A1 (ja) 2016-07-07 2016-07-07 画像処理装置および画像処理装置の作動方法

Country Status (3)

Country Link
US (1) US10921252B2 (ja)
JP (1) JPWO2018008136A1 (ja)
WO (1) WO2018008136A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109975259A (zh) * 2018-09-13 2019-07-05 深圳大学 一种生物细胞三维成像系统及方法
JP2021000258A (ja) * 2019-06-21 2021-01-07 ソニー株式会社 医療用観察システム、医療用観察方法、および情報処理装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6858672B2 (ja) * 2017-08-29 2021-04-14 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
US11422355B2 (en) 2020-07-22 2022-08-23 Sartorius Bioanalytical Instruments, Inc. Method and system for acquisition of fluorescence images of live-cell biological samples

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997021979A1 (en) * 1995-12-12 1997-06-19 Spectral Diagnostic Ltd. Spectral bio-imaging methods for biological research, medical diagnostics and therapy
JP2004514133A (ja) * 2000-11-20 2004-05-13 アンスティテュ・キュリ 多光子イメージ化装置
WO2011139362A1 (en) * 2010-05-03 2011-11-10 Sti Medical Systems, Llc Image analysis for cervical neoplasia detection and diagnosis
JP2012249757A (ja) * 2011-06-01 2012-12-20 Olympus Corp 画像処理装置
WO2014115206A1 (ja) * 2013-01-28 2014-07-31 独立行政法人科学技術振興機構 組織透明化方法、組織透明化試薬及び組織観察方法
JP2014532888A (ja) * 2011-11-08 2014-12-08 ロレアル 生体組織におけるメラニンなどの内因性蛍光体の特異的３ｄ検出、視覚化、および／または定量化のための非侵襲的方法
WO2015046440A1 (ja) * 2013-09-27 2015-04-02 株式会社ニコン 解析装置、顕微鏡装置、解析方法、及びプログラム

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6316215B1 (en) * 1999-12-27 2001-11-13 Edwin L. Adair Methods of cancer screening utilizing fluorescence detection techniques and selectable imager charge integration periods
DE69938493T2 (de) * 1998-01-26 2009-05-20 Massachusetts Institute Of Technology, Cambridge Endoskop zur erfassung von fluoreszenzbilder
KR100411631B1 (ko) * 2001-10-18 2003-12-18 주식회사 메디미르 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법
EP1524542B1 (en) * 2003-10-17 2008-07-02 Olympus Corporation Objective lens insertion tool & objective optical system attachment device
JP5461753B2 (ja) * 2004-07-30 2014-04-02 オリンパス株式会社 内視鏡装置
JP5028008B2 (ja) * 2004-12-08 2012-09-19 オリンパス株式会社 蛍光内視鏡装置
US7986824B2 (en) * 2005-03-30 2011-07-26 Olympus Corporation Predetermined site luminescence measuring method, predetermined site luminescence measuring apparatus, expression amount measuring method, and measuring apparatus
CN101278190B (zh) * 2005-09-29 2012-12-19 奥林巴斯株式会社 焦点位置决定方法、焦点位置决定装置、微弱光检测装置及微弱光检测方法
US8320650B2 (en) * 2005-11-30 2012-11-27 Lawrence Livermore National Security, Llc In vivo spectral micro-imaging of tissue
JP2007209219A (ja) * 2006-02-07 2007-08-23 Olympus Corp 生体試料観察計測システムおよび生体試料観察計測方法
JP5307539B2 (ja) * 2006-05-31 2013-10-02 オリンパス株式会社 生体試料撮像方法および生体試料撮像装置
DE102006027516B4 (de) * 2006-06-09 2021-10-07 Euroimmun Medizinische Labordiagnostika Ag Verfahren zur Optimierung der automatischen Fluoreszenzmustererkennung in der Immundiagnostik
JP4954699B2 (ja) * 2006-12-28 2012-06-20 オリンパス株式会社 蛍光内視鏡システム
JP5208430B2 (ja) * 2007-01-31 2013-06-12 オリンパス株式会社 生体組織用蛍光観察装置
WO2008109414A2 (en) * 2007-03-02 2008-09-12 Wisconsin Alumni Research Foundation Use of endogenous fluorescence to identify invading metastatic breast tumor cells
JP2009150829A (ja) * 2007-12-21 2009-07-09 Olympus Corp 生体試料の観察方法
EP3005941B1 (en) * 2008-07-30 2017-12-27 Vanderbilt University Intra-operative fluorescence spectroscopy and applications of same
JP4288323B1 (ja) * 2008-09-13 2009-07-01 独立行政法人科学技術振興機構 顕微鏡装置及びそれを用いた蛍光観察方法
JP2010102332A (ja) 2008-09-29 2010-05-06 Nikon Corp 光活性化限局顕微鏡及び光活性化限局観察方法
EP2419712A4 (en) * 2009-04-14 2012-12-19 Gen Hospital Corp METHOD AND DEVICE FOR THE MULTIMODAL ILLUSTRATION OF BIOLOGICAL TISSUE
US8625863B2 (en) * 2009-06-02 2014-01-07 Sofast Gmbh Superresolution optical fluctuation imaging (SOFI)
JP5698131B2 (ja) * 2009-06-26 2015-04-08 国立大学法人東北大学 輸入リンパ管流入部検出方法及び特定細胞同定方法
US9921406B2 (en) * 2009-10-30 2018-03-20 The Regents Of The University Of Michigan Targeted dual-axes confocal imaging apparatus with vertical scanning capabilities
JP5490568B2 (ja) * 2010-02-26 2014-05-14 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
JP2011185843A (ja) * 2010-03-10 2011-09-22 Fujifilm Corp 蛍光寿命を利用した細胞内のｐＨイメージング方法とその装置
JP5437864B2 (ja) * 2010-03-10 2014-03-12 富士フイルム株式会社 ｐＨ測定装置の作動方法、検出装置の作動方法、及び生体物質分析装置の作動方法、並びに各装置
JP5451552B2 (ja) * 2010-08-09 2014-03-26 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
WO2012035705A1 (ja) * 2010-09-17 2012-03-22 国立大学法人東北大学 抗体を成分として含む医薬品の有効性の判定方法
JP5320510B2 (ja) * 2010-11-01 2013-10-23 公益財団法人神奈川科学技術アカデミー 細胞分析装置
JP5405445B2 (ja) * 2010-12-17 2014-02-05 富士フイルム株式会社 内視鏡装置
JP5485191B2 (ja) * 2011-01-19 2014-05-07 富士フイルム株式会社 内視鏡装置
CN103608662B (zh) * 2011-06-29 2016-09-28 京都府公立大学法人 肿瘤部位的识别装置以及识别方法
JP5138801B2 (ja) * 2011-07-22 2013-02-06 シスメックス株式会社 癌化情報提供方法および装置
JP5940288B2 (ja) * 2011-11-30 2016-06-29 オリンパス株式会社 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
WO2013132998A1 (ja) * 2012-03-07 2013-09-12 オリンパス株式会社 画像処理装置、顕微鏡システム、及び画像処理方法
JP5876359B2 (ja) * 2012-03-30 2016-03-02 シスメックス株式会社 癌化情報提供方法および癌化情報提供装置
JP5970223B2 (ja) * 2012-03-30 2016-08-17 シスメックス株式会社 癌化情報提供方法および癌化情報提供装置
WO2013187148A1 (ja) * 2012-06-15 2013-12-19 オリンパス株式会社 画像処理装置、顕微鏡システム、内視鏡システム及び画像処理方法
US9952157B2 (en) * 2012-07-17 2018-04-24 The Arizona Board Of Regents On Behalf Of The University Of Arizona Tissue imaging and visualization of lesions using reflectance and autofluorescence measurements
US20140163389A1 (en) * 2012-12-10 2014-06-12 The Arizona Board Of Regents On Behalf Of The University Of Arizona In vivo detection of eosinophils
US10231626B2 (en) * 2013-03-15 2019-03-19 The Regents Of The University Of California Imaging system and method for fluorescence guided surgery
JP6124774B2 (ja) * 2013-03-22 2017-05-10 オリンパス株式会社 位相分布計測方法、及び、位相分布計測装置
JP6280770B2 (ja) * 2013-03-27 2018-02-14 オリンパス株式会社 測定装置
JP6253400B2 (ja) * 2013-12-26 2017-12-27 オリンパス株式会社 画像形成方法、及び、画像形成装置
WO2016209654A1 (en) * 2015-06-22 2016-12-29 The Board Of Trustees Of The Leland Stanford Junior University Methods and devices for imaging and/or optogenetic control of light-responsive neurons

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997021979A1 (en) * 1995-12-12 1997-06-19 Spectral Diagnostic Ltd. Spectral bio-imaging methods for biological research, medical diagnostics and therapy
JP2004514133A (ja) * 2000-11-20 2004-05-13 アンスティテュ・キュリ 多光子イメージ化装置
WO2011139362A1 (en) * 2010-05-03 2011-11-10 Sti Medical Systems, Llc Image analysis for cervical neoplasia detection and diagnosis
JP2012249757A (ja) * 2011-06-01 2012-12-20 Olympus Corp 画像処理装置
JP2014532888A (ja) * 2011-11-08 2014-12-08 ロレアル 生体組織におけるメラニンなどの内因性蛍光体の特異的３ｄ検出、視覚化、および／または定量化のための非侵襲的方法
WO2014115206A1 (ja) * 2013-01-28 2014-07-31 独立行政法人科学技術振興機構 組織透明化方法、組織透明化試薬及び組織観察方法
WO2015046440A1 (ja) * 2013-09-27 2015-04-02 株式会社ニコン 解析装置、顕微鏡装置、解析方法、及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109975259A (zh) * 2018-09-13 2019-07-05 深圳大学 一种生物细胞三维成像系统及方法
JP2021000258A (ja) * 2019-06-21 2021-01-07 ソニー株式会社 医療用観察システム、医療用観察方法、および情報処理装置
JP7354608B2 (ja) 2019-06-21 2023-10-03 ソニーグループ株式会社 医療用観察システム、医療用観察方法、および情報処理装置

Also Published As

Publication number Publication date
US10921252B2 (en) 2021-02-16
JPWO2018008136A1 (ja) 2019-04-18
US20190137394A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
US10921252B2 (en) Image processing apparatus and method of operating image processing apparatus
JP2018180635A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5185151B2 (ja) 顕微鏡観察システム
US9338408B2 (en) Image obtaining apparatus, image obtaining method, and image obtaining program
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP5928308B2 (ja) 画像取得装置および画像取得方法
JP4997255B2 (ja) 細胞画像解析装置
WO2020008834A1 (ja) 画像処理装置、方法及び内視鏡システム
JP6059271B2 (ja) 画像処理装置及び画像処理方法
JP2006208339A (ja) 領域抽出装置、顕微鏡システムおよび領域抽出プログラム
Harris et al. A pulse coupled neural network segmentation algorithm for reflectance confocal images of epithelial tissue
Ortega et al. Hyperspectral database of pathological in-vitro human brain samples to detect carcinogenic tissues
WO2021116962A1 (en) Artificial generation of color blood smear image
JP5953195B2 (ja) 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
JP4271054B2 (ja) 細胞画像解析装置
JP5789786B2 (ja) 画像計測装置および画像計測方法
US11842555B2 (en) Signal acquisition apparatus, signal acquisition system, and signal acquisition method
JP7432182B2 (ja) 細胞病理検査における細胞診画像を取得する方法およびシステム
JP6824868B2 (ja) 画像解析装置及び画像解析方法
JP2014063019A (ja) 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
Jiang et al. Blind deblurring for microscopic pathology images using deep learning networks
JP5530126B2 (ja) 三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置
JP5347272B2 (ja) スポット定量装置、スポット定量方法及びプログラム
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
CA3040851A1 (en) Multi-wavelength endoscopic system and image processing method using same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16908180

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018525902

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16908180

Country of ref document: EP

Kind code of ref document: A1