WO2021005733A1 - 画像解析装置及び画像解析方法 - Google Patents

画像解析装置及び画像解析方法 Download PDF

Info

Publication number
WO2021005733A1
WO2021005733A1 PCT/JP2019/027273 JP2019027273W WO2021005733A1 WO 2021005733 A1 WO2021005733 A1 WO 2021005733A1 JP 2019027273 W JP2019027273 W JP 2019027273W WO 2021005733 A1 WO2021005733 A1 WO 2021005733A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image analysis
target image
endoscope
target
Prior art date
Application number
PCT/JP2019/027273
Other languages
English (en)
French (fr)
Inventor
将史 三澤
悠一 森
進英 工藤
隆史 脇坂
革夫 華原
Original Assignee
サイバネットシステム株式会社
学校法人昭和大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サイバネットシステム株式会社, 学校法人昭和大学 filed Critical サイバネットシステム株式会社
Priority to CN201980097401.4A priority Critical patent/CN113950278A/zh
Priority to PCT/JP2019/027273 priority patent/WO2021005733A1/ja
Priority to KR1020217040581A priority patent/KR20220007667A/ko
Priority to US17/624,886 priority patent/US20220292671A1/en
Priority to EP19937090.9A priority patent/EP3998015A4/en
Publication of WO2021005733A1 publication Critical patent/WO2021005733A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the present disclosure relates to an image analysis device and an image analysis method.
  • Endoscope Endocytoscopy is a type of contact endoscope, in which the lens surface is brought into contact with the target epithelium, and a zoom mechanism mounted on the endoscope is used to focus and acquire a super-magnified image.
  • the super-enlarged image includes the esophagus (see, for example, Non-Patent Document 1), stomach (see, for example, Non-Patent Document 2), duodenum (see, for example, Non-Patent Document 3), and large intestine (see, for example, Non-Patent Document 4). It has been reported to be useful in predicting the histopathological diagnosis of organs such as.).
  • Non-Patent Document 4 A computer diagnosis support system has been developed so that the histopathological diagnosis can be predicted without such proficiency. This has been found to be useful in predicting histopathological diagnosis (see, eg, Non-Patent Documents 5 and 6).
  • Endocytoscape can also shoot non-enlarged images with a smaller magnification than super-enlarged images. Therefore, in order to apply the computer-aided diagnosis support system to Endosyscopy, it is necessary to distinguish between a super-magnified image and a non-magnified image among the images captured by the endoscope. However, there is no technique for automatically distinguishing between a super-enlarged image and a non-enlarged image. Therefore, the operator of the system needs to determine the super-enlarged image to be image-analyzed of the epithelial state from the images captured by Endocytoscopy and input it to the system.
  • an object of the present disclosure is to make it possible to automatically discriminate between a super-enlarged image and a non-enlarged image in a computer-aided diagnosis support system that analyzes the state of epithelium using image analysis.
  • the super-magnified image is an image of a contact endoscope
  • no halation of the light source occurs in the image.
  • the present disclosure focuses on the halation of the light source, and if no halation is detected in the image, it is determined to be a super-enlarged image.
  • the present disclosure enables automatic discrimination between a super-enlarged image and a non-enlarged image, and makes it possible to automatically select a target image for image analysis in computer-aided diagnosis support.
  • the image analysis apparatus is An image analyzer connected to an endoscope, A target image determination unit that acquires an image from the endoscope and uses the halation region included in the image to determine that it is a target image.
  • a target image determination unit that acquires an image from the endoscope and uses the halation region included in the image to determine that it is a target image.
  • an image analysis unit that analyzes the state of the epithelium imaged by the endoscope using the target image, and To be equipped.
  • the image analysis method is An image analysis method performed by an image analysis device connected to an endoscope.
  • the image analysis program according to the present disclosure is a program for realizing each functional unit provided in the image analysis device according to the present disclosure on a computer, and for causing the computer to execute each step provided in the image analysis method according to the present disclosure. It is a program and may be recorded on a computer-readable recording medium.
  • a computer-aided diagnosis support system that analyzes the state of epithelium using a super-enlarged image
  • the region of interest (Region of Interest: ROI) that needs to be set in the computer-aided diagnosis support system can be automatically selected. Therefore, the operation of the system can be simplified and the burden on the patient can be reduced.
  • the target image of the computer-aided diagnosis support is automatically selected, the time required to output the predicted result of the histopathological diagnosis can be shortened.
  • An example of the computer diagnosis support system according to the embodiment is shown.
  • An example of the configuration of the tip of the endoscope is shown.
  • a first example of an image captured by an imaging device is shown.
  • a second example of the image captured by the image pickup apparatus is shown.
  • a third example of the image captured by the image pickup apparatus is shown.
  • a schematic diagram of the cell nucleus is shown.
  • FIG. 1 shows an example of a computer diagnosis support system according to this embodiment.
  • the computer-aided diagnosis support system includes an image analysis device 10, an image pickup device 24, and a display device 30.
  • the image analysis device 10 includes a CPU (Central Processing Unit) 11 and a memory 12.
  • the CPU 11 functions as a target image determination unit 111 and an image analysis unit 112.
  • the display device 30 may be included in the image analysis device 10.
  • the image analysis device 10 may be realized by executing a computer program stored in the memory 12.
  • the computer program is a program for causing a computer to execute each step provided in the image analysis method according to the present disclosure.
  • the image analysis device 10 executes the target image determination step and the image analysis step.
  • the target image determination unit 111 acquires an image from the endoscope and determines that it is a target image by using the halation region included in the image.
  • the image analysis unit 112 executes the image analysis step.
  • the image analysis unit 112 analyzes the state of the epithelium imaged by the endoscope using the target image.
  • the image pickup device 24 is an arbitrary image pickup element mounted on the endoscope, and for example, a CCD (Charge Coupled Device) can be exemplified.
  • the image pickup device 24 has a function of capturing a moving image and also has a function of capturing a still image. Therefore, the image captured by the image pickup apparatus 24 includes not only a moving image but also a still image.
  • the CPU 11 acquires the image captured by the image pickup device 24, the CPU 11 displays it on the display device 30.
  • FIG. 2 shows an example of the configuration of the tip of the endoscope.
  • a light guide lens 22 and an objective lens 23 are arranged at the tip of the endoscope 20.
  • the objective lens 23 is arranged on the convex portion at the tip of the endoscope 20, and the light guide lens 22 is arranged at a position lower than the objective lens 23.
  • the irradiation light output from the light source device (not shown) is emitted from the light guide lens 22 via the light guide 21.
  • the image of the epithelium of the internal lumen illuminated by the irradiation light passes through the objective lens 23 and is guided to the imaging device 24. As a result, an image of the epithelium of the internal lumen is captured by the imaging device 24.
  • the image captured by the image pickup device 24 is transmitted to the image analysis device 10 using the signal line 25. This transmission may be transmitted to the image analysis device 10 using a wireless communication function unit (not shown) mounted on the image pickup device 24.
  • a wireless communication function unit (not shown) mounted on the image pickup device 24.
  • one or more lenses may be arranged between the objective lens 23 and the image pickup apparatus 24, but they are omitted in FIG.
  • FIG. 2 shows an example in which the tip portion of the endoscope 20 has a convex portion, the present disclosure is not limited to this, and for example, the tip portion of the endoscope 20 is flat, and the present disclosure is not limited to this.
  • the objective lens 23 and the light guide lens 22 may be arranged on a flat surface.
  • FIGS. 3, 4 and 5 show an example of an image captured by the imaging device 24.
  • the image shown in FIG. 4 shows an image in which a part of the image of FIG. 3 is enlarged and focused.
  • the image shown in FIG. 5 shows a super-enlarged image in which a part of the image of FIG. 4 is further enlarged and focused.
  • it is indispensable to observe the histopathological tissue super-enlarged to the cellular level.
  • it is necessary to distinguish between the super-magnified image and the non-magnified image among the images captured by the endoscope 20, but the endoscope 20 shows not only the super-magnified image but also FIGS. 3 and 4. It is usually possible to capture a non-enlarged image with a normal magnification.
  • the operator of the computer-aided diagnosis support system finds a site suspected to be a lesion in the image displayed on the display device 30, as shown in FIGS. 3, 4, and 5, a still image is imaged while enlarging in order. .. Since the images shown in FIGS. 3 and 4 include the ROI and other parts, it is necessary to set the ROI in order to perform image analysis. On the other hand, in the super-enlarged image shown in FIG. 5, the ROI itself is an image that does not include a region other than the ROI.
  • the non-enlarged image requires the system operator to set the ROI, but the super-enlarged image is an image captured by the ROI itself, so it is not necessary to set the ROI. Therefore, by automatically determining the super-enlarged image, the ROI image to be image-analyzed can be automatically selected.
  • the image pickup device 24 takes an image without the objective lens 23 shown in FIG. 2 in contact with the epithelium, the image of the light guide lens 22 is reflected on the surface of the epithelium and reflected on the image pickup device 24. Therefore, in the image in the state where the objective lens 23 is not in contact with the mucosal epithelium, there is a region where halation occurs, as shown by the region surrounded by the alternate long and short dash line in FIGS. 3 and 4.
  • the objective lens 23 shown in FIG. 2 is in contact with the epithelium, so that the image of the light guide lens 22 reflected on the surface of the epithelium is not reflected in the imaging device 24. Further, the light incident on the imaging device 24 is the light transmitted through the epithelial cells. Therefore, in the super-enlarged image shown in FIG. 5, the halation region as shown in FIGS. 3 and 4 does not occur, and the number of pixels in the halation region is a certain percentage or less.
  • the constant ratio is, for example, 0.0000077% or less.
  • the target image determination unit 111 acquires an image from the image pickup apparatus 24, and uses the halation region included in the image to determine whether or not the image is a super-enlarged image obtained by capturing the transmitted light transmitted through the epithelial cells. .. For example, since the images shown in FIGS. 3 and 4 have a halation region, the target image determination unit 111 determines that the image is not the target image. On the other hand, since the image shown in FIG. 5 does not have a halation region, the target image determination unit 111 determines that the image is a target image. Thereby, the present disclosure makes it possible to automatically predict the histopathological diagnosis of ROI by selecting a super-enlarged image and performing image analysis on the image.
  • a video and a still image are input from the endoscope 20 to the image analysis device 10.
  • the image to be image-analyzed in the present disclosure is a super-enlarged image. Therefore, it is preferable that the target image determination unit 111 determines whether or not the image acquired from the endoscope 20 is a still image, and if it is a still image, determines whether or not it is a target image.
  • the image acquired from the endoscope 20 is a super-magnified image
  • the image is an image obtained by capturing the ROI. Therefore, when the image is a target image, the image analysis unit 112 stores the image determined to be the target image in the memory 12 as an image captured by the ROI. As a result, the system according to the present disclosure can efficiently collect ROI information.
  • the image analysis unit 112 When the image is a target image, the image analysis unit 112 performs image analysis using the target image and analyzes the state of the epithelium imaged by the imaging device 24. The image analysis unit 112 predicts the histopathological diagnosis using the analysis result of the epithelial state. Prediction of histopathological diagnosis is, for example, identification of non-tumor, adenoma, cancer. Predictions for histopathological diagnosis may include sessile serrated adenoma / polyps (SSA / P) that can become tumors.
  • the CPU 11 outputs the analysis result of the image analysis unit 112 to the display device 30, and the display device 30 displays the prediction result of the histopathological diagnosis. The CPU 11 further stores the analysis result of the image analysis unit 112 in the memory 12.
  • neural network for example, SVM (Support Vector Machine), neural network, naive Bayes classifier, decision tree, cluster analysis, linear regression analysis, logistic regression analysis, and random forest can be used.
  • the neural network may be deep learning using a multi-layer neural network.
  • the image analysis unit 112 may use a non-enlarged image in the image analysis. For example, when analyzing the super-enlarged image shown in FIG. 5, at least one of the images of FIGS. 3 and 4 is used.
  • the non-enlarged image also includes areas other than the ROI. Therefore, the image analysis unit 112 acquires the ROI area setting in the non-enlarged image input to the image analysis device 10, and uses the image of the area defined by this area setting for the image analysis.
  • Whether or not the halation region exists is determined by extracting an image captured by the image pickup apparatus 24 and counting the number of halation-causing pixels included in the extracted pixels. Then, when the number of pixels causing halation in the extracted pixels is less than a predetermined ratio, it is determined that the image is a super-enlarged image, that is, an image to be analyzed, and halation is caused in the extracted pixels. When the number of pixels exceeds a predetermined fixed ratio, it is determined as a non-enlarged image.
  • the extraction of the image captured by the imaging device 24 means, for example, extracting the region surrounded by the broken line shown in FIGS. 3 to 5.
  • the fixed ratio is arbitrary, but for example, the above-mentioned 0.0000077% or less can be used.
  • whether or not the area is a halation area is determined based on, for example, whether or not the brightness exceeds a predetermined value. For example, when each color information (R value, G value, B value) of a pixel has 255 gradations, it is determined as a halation region when each color becomes 240 or more. This determination is not limited to this as long as the white region can be extracted. For example, each color information (R value, G value, B value) may be combined with the brightness of white light, or a color space represented by hue, saturation, and lightness may be used.
  • the wavelength of light emitted from the light guide lens 22 and the wavelength of light to be imaged by the imaging device 24 may differ.
  • NBI Narrow Band Imaging
  • BLI Blue Laser Imaging
  • the light source of the light emitted from the light guide lens 22 various light sources such as a xenon light source, a laser light source, a halogen light source, and an LED (Light Emitting Side) are used. Therefore, it is preferable that the threshold value for determining the halation region is set according to the wavelength of the irradiation light emitted from the light guide lens 22 and the wavelength imaged by the image pickup apparatus 24.
  • the target image determination unit 111 determines that the halation region is formed when each color information (R value, G value, B value) becomes 240 or more. ..
  • the target image determination unit 111 has 200 or more, 240 or more, and 180 for each color information (R value, G value, B value), respectively.
  • NBI Narrow Band Imaging
  • BLI Blue Laser Imaging
  • texture analysis can be exemplified.
  • an epithelial image as shown by the broken line in FIG. 5 is extracted, and the extracted image is analyzed.
  • the texture analysis method is arbitrary, but one capable of analyzing local image features that can be used for recognizing an object or face is preferable. Examples of such an analysis method include SIFT (Scale-Invariant Feature Transfer), SURF (Speed-Upped Surf Style), and Har-Like features.
  • the image analysis using the target image can be exemplified by the analysis of the feature amount obtained from the super-enlarged image, for example.
  • the features obtained from the image are, for example, the features of the cell nucleus, blood vessel and glandular cavity.
  • FIG. 6 shows a schematic diagram of the cell nucleus.
  • the characteristic amount of the cell nucleus include the major axis DL of the cell nucleus, the minor axis DS of the cell nucleus, the peripheral length of the cell nucleus, the area of the cell nucleus, the roundness of the cell nucleus, and the color of the cell nucleus.
  • Characteristics of the cell nucleus may include eccentricity, chord ratio, uneven shape, fractal dimension, line concentration, and density contrast.
  • the image analysis unit 112 extracts the cell nucleus contained in the image.
  • the method for extracting the cell nucleus is arbitrary, for example, by performing segmentation of the region of the cell nucleus and removing artifacts.
  • For the segmentation of the cell nucleus region for example, Otsu's binarization method with the R component is used.
  • artifact removal for example, a pixel in which white pixels of a binarized image are continuous is set as one region, and the area, major axis, and roundness are calculated for each region.
  • the range set by the area (for example, 30 ⁇ m 2 to 500 ⁇ m 2 ), the value set by the major axis (for example, 30 ⁇ m or less), and the value set by the roundness (for example, 0.3 or more) are left as analysis targets. Remove areas other than.
  • the major axis and roundness are calculated by, for example, approximating the region with an ellipse. When the number of extracted nuclei is less than or equal to a preset number (for example, 30), it may be excluded from the feature amount to be analyzed.
  • the feature amount of the cell nucleus may be the feature amount of some cell nuclei included in the target image, but it is preferable to measure the feature amount of all the cell nuclei.
  • the feature amount of the cell nucleus preferably includes an average value or a standard deviation calculated from the feature of the cell nucleus included in the target image.
  • the feature amounts of blood vessels are, for example, the maximum diameter of the maximum blood vessel, the minimum maximum diameter ratio of the maximum blood vessel, and the ratio of the blood vessel region to the entire image.
  • the image analysis unit 112 extracts the blood vessel region included in the image.
  • the method for extracting the blood vessel region is arbitrary, for example, by creating a linearity image, synthesizing a plurality of linearity images to create a blood vessel candidate region image, and removing a non-vascular region from the image. It can be carried out.
  • the characteristic amounts of cell nuclei and blood vessels can be determined by image analysis of any organ such as oral cavity, pharynx, oral cavity, esophagus, stomach, duodenum, jejunum, ileum, large intestine, trachea, bile duct, pancreatic duct, uterus, bladder, and ureter. Applicable.
  • the image analysis unit 112 analyzes the feature amount of the glandular cavity when predicting the histopathological diagnosis of the stomach and the large intestine.
  • the characteristic amount of the glandular cavity include the major axis of the glandular cavity, the minor axis of the glandular cavity, the peripheral length of the glandular cavity, the area of the glandular cavity, the roundness of the glandular cavity, and the color of the glandular cavity.
  • the image analysis unit 112 analyzes the feature amount of the villous structure when predicting the histopathological diagnosis of the duodenum, jejunum, and ileum.
  • the feature amount of the villus structure include the major axis of the villus tip, the minor axis of the villus tip, and the number of villi per field of view.
  • the image analysis unit 112 analyzes the feature amount of the glandular cavity or villous structure in addition to the cell nucleus and blood vessel in the columnar epithelial region, and the feature amount of the nucleus and blood vessel in the other stratified squamous epithelium and the hairline epithelium. It is preferable to analyze.
  • the image analysis unit 112 determines which of the cell nucleus, blood vessel, glandular cavity, and villus structure is the image taken before extracting the features of the cell nucleus, blood vessel, glandular cavity, and villus structure. ..
  • the image analysis unit 112 extracts cell nuclei, blood vessels, glandular cavities, and villus structures from the image, and extracts the feature amount from the extracted images. As a result, the amount of calculation in image analysis can be reduced, and the time required for prediction of histopathological diagnosis can be shortened.
  • the image analysis unit 112 analyzes the feature amount of the glandular cavity also for organs other than the stomach and the large intestine.
  • the villous structure is not normally observed in organs other than the duodenum, jejunum, and ileum. However, due to the formation of tumors, villous structures may appear in organs other than the duodenum, jejunum, and ileum. Therefore, it is preferable that the image analysis unit 112 analyzes the feature amount of the villous structure also for organs other than the duodenum, jejunum, and ileum.
  • a support system can be provided.
  • Image analysis device 11 CPU 111: Target image determination unit 112: Image analysis unit 12: Memory 20: Endoscope 21: Light guide 22: Light guide lens 23: Objective lens 24: Imaging device 25: Signal line 30: Display device

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本開示は、画像解析を用いて上皮の状態の解析を行うコンピューター診断支援システムにおいて、超拡大画像と非拡大画像を自動判別可能にすることを目的とする。 本開示に係る画像解析装置（１０）は、内視鏡（２０）に接続される画像解析装置（１０）であって、内視鏡（２０）から画像を取得し、画像に含まれるハレーション領域を用いて、対象画像であることを判定する対象画像判定部（１１１）と、画像が対象画像である場合、当該対象画像を用いて、内視鏡（２０）で撮像された上皮の状態の解析を行う画像解析部（１１２）と、を備える。

Description

画像解析装置及び画像解析方法
　本開示は、画像解析装置及び画像解析方法に関する。
　近年、３８０倍以上という顕微鏡レベルの倍率を有する超拡大機能を持った内視鏡が開発され、生体の体内管腔の上皮を細胞核、血管及び腺腔などの細胞レベルにまで拡大して観察可能な内視鏡Ｅｎｄｏｃｙｔｏｓｃｏｐｙが開発されている。Ｅｎｄｏｃｙｔｏｓｃｏｐｙは接触型内視鏡の一種であり、対象とする上皮にレンズ面を接触させ、内視鏡に搭載されたズーム機構を使用することによりピントを合わせて超拡大画像を取得する。超拡大画像は、食道（例えば、非特許文献１参照。）、胃（例えば、非特許文献２参照。）、十二指腸（例えば、非特許文献３参照。）、大腸（例えば、非特許文献４参照。）などの臓器の病理組織診断の予測で有用性が報告されている。
　しかし、Ｅｎｄｏｃｙｔｏｓｃｏｐｙを用いて超拡大画像を撮像したとしても、病理組織診断の予測を行うためには超拡大画像の画像解析に一定以上の習熟が必要であり（例えば、非特許文献４参照。）、かかる一定以上の習熟が無くても病理組織診断の予測ができるようコンピューター診断支援システムが開発されている。これが、病理組織診断の予測に有用であることが判明した（例えば、非特許文献５及び６参照。）。
Ｙ．Ｋｕｍａｇａｉ，Ｋ．Ｍｏｎｍａ，Ｋ．Ｋａｗａｄａ，"Ｍａｇｎｉｆｙｉｎｇ　ｃｈｒｏｍｏｅｎｄｏｓｃｏｐｙ　ｏｆ　ｔｈｅ　ｅｓｏｐｈａｇｕｓ：　ｉｎ－ｖｉｖｏ　ｐａｔｈｏｌｏｇｉｃａｌ　ｄｉａｇｎｏｓｉｓ　ｕｓｉｎｇ　ａｎ　ｅｎｄｏｃｙｔｏｓｃｏｐｙ　ｓｙｓｔｅｍ"，Ｅｎｄｏｓｃｏｐｙ　２００４；３６：５９０－４． Ｈ．Ｓａｔｏ，Ｈ．Ｉｎｏｕｅ，Ｂ．Ｈａｙｅｅ，　ｅｔ　ａｌ．，"Ｉｎ　ｖｉｖｏ　ｈｉｓｔｏｐａｔｈｏｌｏｇｙ　ｕｓｉｎｇ　ｅｎｄｏｃｙｔｏｓｃｏｐｙ　ｆｏｒ　ｎｏｎ－ｎｅｏｐｌａｓｔｉｃ　ｃｈａｎｇｅｓ　ｉｎ　ｔｈｅ　ｇａｓｔｒｉｃ　ｍｕｃｏｓａ：　ａ　ｐｒｏｓｐｅｃｔｉｖｅ　ｐｉｌｏｔ　ｓｔｕｄｙ　（ｗｉｔｈ　ｖｉｄｅｏ）"，Ｇａｓｔｒｏｉｎｔｅｓｔ　Ｅｎｄｏｓｃ　２０１５；８１：８７５－８１． Ｓ．Ｍｉｙａｍｏｔｏ，Ｔ．Ｋｕｄｏ，Ｓ．Ａｂｉｋｏ，ｅｔ　ａｌ．，"Ｅｎｄｏｃｙｔｏｓｃｏｐｙ　ｏｆ　Ｓｕｐｅｒｆｉｃｉａｌ　Ｎｏｎａｍｐｕｌｌａｒｙ　Ｄｕｏｄｅｎａｌ　Ｅｐｉｔｈｅｌｉａｌ　Ｔｕｍｏｒ：　Ｔｗｏ　Ｃａｓｅｓ　ｏｆ　Ｔｕｂｕｌａｒ　Ａｄｅｎｏｃａｒｃｉｎｏｍａ　ａｎｄ　Ａｄｅｎｏｍａ"，Ａｍ　Ｊ　Ｇａｓｔｒｏｅｎｔｅｒｏｌ　２０１７；１１２：１６３８． ＳＥ　Ｋｕｄｏ，Ｋ．Ｗａｋａｍｕｒａ，Ｎ．Ｉｋｅｈａｒａ，ｅｔ　ａｌ．，"Ｄｉａｇｎｏｓｉｓ　ｏｆ　ｃｏｌｏｒｅｃｔａｌ　ｌｅｓｉｏｎｓ　ｗｉｔｈ　ａ　ｎｏｖｅｌ　ｅｎｄｏｃｙｔｏｓｃｏｐｉｃ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　－　ａ　ｐｉｌｏｔ　ｓｔｕｄｙ"，Ｅｎｄｏｓｃｏｐｙ　２０１１；４３：８６９－７５． Ｙ．Ｍｏｒｉ，Ｓ．　Ｋｕｄｏ，Ｋ．Ｗａｋａｍｕｒａ，ｅｔ　ａｌ．，"Ｎｏｖｅｌ　ｃｏｍｐｕｔｅｒ－ａｉｄｅｄ　ｄｉａｇｎｏｓｔｉｃ　ｓｙｓｔｅｍ　ｆｏｒ　ｃｏｌｏｒｅｃｔａｌ　ｌｅｓｉｏｎｓ　ｂｙ　ｕｓｉｎｇ　ｅｎｄｏｃｙｔｏｓｃｏｐｙ　（ｗｉｔｈ　ｖｉｄｅｏｓ）"，Ｇａｓｔｒｏｉｎｔｅｓｔｉｎａｌ　Ｅｎｄｏｓｃｏｐｙ　２０１５；８１：６２１－６２９． Ｍ．Ｍｉｓａｗａ，Ｓ．Ｋｕｄｏ，Ｙ．Ｍｏｒｉ，ｅｔ　ａｌ．，"Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ　ｏｆ　ｃｏｌｏｒｅｃｔａｌ　ｌｅｓｉｏｎｓ　ｕｓｉｎｇ　ａ　ｃｏｍｐｕｔｅｒ－ａｉｄｅｄ　ｄｉａｇｎｏｓｔｉｃ　ｓｙｓｔｅｍ　ｆｏｒ　ｎａｒｒｏｗ－ｂａｎｄ　ｉｍａｇｉｎｇ　ｅｎｄｏｃｙｔｏｓｃｏｐｙ"，Ｇａｓｔｒｏｅｎｔｅｒｏｌｏｇｙ　２０１６；１５０：１５３１－１５３２．
　Ｅｎｄｏｃｙｔｏｓｃｏｐｅでは、超拡大画像よりも倍率の小さな非拡大画像も撮影できる。そのためコンピューター診断支援システムをＥｎｄｏｃｙｔｏｓｃｏｐｙに適用するためには、内視鏡で撮像された画像のうち、超拡大画像と非拡大画像を区別する必要がある。しかし、超拡大画像と非拡大画像とを自動判別する技術は存在しない。このため、システムの操作者は、Ｅｎｄｏｃｙｔｏｓｃｏｐｙで撮像された画像のなかから上皮の状態の画像解析を行う対象である超拡大画像を判断し、システムへ入力する必要があった。
　システムへの入力には専用のスイッチやボタンを設けることも考えられるが、そのようなスイッチやボタンが増えることは好ましくない。一方で、システムの操作者による超拡大画像であることの判断が自動化できれば、システムの操作がより簡便になり、患者の負担を軽減することにもつながる。そこで、本開示は、画像解析を用いて上皮の状態の解析を行うコンピューター診断支援システムにおいて、超拡大画像と非拡大画像を自動判別可能にすることを目的とする。
　超拡大画像は接触型内視鏡の画像であるため、画像中に光源のハレーションが発生しない。本開示は、光源のハレーションに着目し、画像中にハレーションが検出されなければ超拡大画像であると判定する。これにより、本開示は、超拡大画像と非拡大画像との自動判別を可能にし、コンピューター診断支援において画像解析を行う対象画像を自動で選定することを可能にする。
　本開示に係る画像解析装置は、
　内視鏡に接続される画像解析装置であって、
　前記内視鏡から画像を取得し、画像に含まれるハレーション領域を用いて、対象画像であることを判定する対象画像判定部と、
　画像が対象画像である場合、当該対象画像を用いて、前記内視鏡で撮像された上皮の状態の解析を行う画像解析部と、
　を備える。
　本開示に係る画像解析方法は、
　内視鏡に接続される画像解析装置が実行する画像解析方法であって、
　前記内視鏡から画像を取得し、画像に含まれるハレーション領域を用いて、対象画像であることを判定する対象画像判定ステップと、
　画像が対象画像である場合、当該対象画像を用いて、前記内視鏡で撮像された上皮の状態の解析を行う画像解析ステップと、
　を画像解析装置が実行する。
　本開示に係る画像解析プログラムは、本開示に係る画像解析装置に備わる各機能部をコンピューターに実現させるためのプログラムであり、本開示に係る画像解析方法に備わる各ステップをコンピューターに実行させるためのプログラムであり、コンピューター読み取り可能な記録媒体に記録されていてもよい。
　本開示によれば、超拡大画像を用いて上皮の状態の解析を行うコンピューター診断支援システムにおいて、超拡大画像と非拡大画像を自動判別できるため、画像解析の解析対象となる画像を自動で選定することができる。すなわちコンピューター診断支援システムにおいて設定が必要な解析対象となる関心領域（Ｒｅｇｉｏｎ　ｏｆ　Ｉｎｔｅｒｅｓｔ：ＲＯＩ）を自動で選定できる。このため、システムの操作をより簡便にし、患者の負担を軽減することができる。また、本開示は、コンピューター診断支援の対象画像を自動で選定するため、病理組織診断の予測結果の出力までに要する時間を短縮することができる。
実施形態に係るコンピューター診断支援システムの一例を示す。 内視鏡の先端部の構成の一例を示す。 撮像装置で撮像された画像の第１例を示す。 撮像装置で撮像された画像の第２例を示す。 撮像装置で撮像された画像の第３例を示す。 細胞核の模式図を示す。
　以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
　図１に、本実施形態に係るコンピューター診断支援システムの一例を示す。本実施形態に係るコンピューター診断支援システムは、画像解析装置１０、撮像装置２４及び表示装置３０を備える。画像解析装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１及びメモリ１２を備える。ＣＰＵ１１は、対象画像判定部１１１及び画像解析部１１２として機能する。表示装置３０は、画像解析装置１０に備わっていてもよい。
　画像解析装置１０は、メモリ１２に記憶されたコンピュータプログラムを実行することで実現されていてもよい。コンピュータプログラムは、本開示に係る画像解析方法に備わる各ステップをコンピューターに実行させるためのプログラムである。本開示に係る画像解析方法は、対象画像判定ステップと、画像解析ステップと、を画像解析装置１０が実行する。
　対象画像判定ステップでは、対象画像判定部１１１が、内視鏡から画像を取得し、画像に含まれるハレーション領域を用いて、対象画像であることを判定する。画像が対象画像である場合、画像解析部１１２が画像解析ステップを実行する。画像解析ステップでは、画像解析部１１２が、対象画像を用いて、内視鏡で撮像された上皮の状態の解析を行う。
　撮像装置２４は、内視鏡に搭載される任意の撮像素子であり、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）が例示できる。撮像装置２４は、動画を撮像する機能を有し、静止画を撮像する機能も有する。このため、撮像装置２４で撮像された画像は、動画だけでなく静止画も含む。ＣＰＵ１１は撮像装置２４の撮像した画像を取得すると、表示装置３０に表示する。
　図２に、内視鏡の先端部の構成の一例を示す。内視鏡２０の先端には、ライトガイドレンズ２２及び対物レンズ２３が配置されている。内視鏡２０の先端の凸部に対物レンズ２３が配置され、対物レンズ２３よりも低い位置にライトガイドレンズ２２が配置されている。
　光源装置（不図示）から出力された照射光は、ライトガイド２１を介してライトガイドレンズ２２から出射される。照射光で照らされた体内管腔の上皮の像は、対物レンズ２３を通過して撮像装置２４に導かれる。これにより、体内管腔の上皮の画像が撮像装置２４で撮像される。
　撮像装置２４で撮像された画像は、信号線２５を用いて画像解析装置１０に伝送される。この伝送は、撮像装置２４に搭載された無線通信機能部（不図示）を用いて画像解析装置１０に伝送されてもよい。また対物レンズ２３と撮像装置２４との間には１枚以上のレンズが配置されていてもよいが、図２では省略している。また、図２では内視鏡２０の先端部が凸部を備える例を示したが、本開示はこれに限定されるものではなく、例えば、内視鏡２０の先端部が平坦であり、当該平坦面に対物レンズ２３及びライトガイドレンズ２２が配置されていてもよい。
　図３、図４及び図５に、撮像装置２４で撮像された画像の一例を示す。図４に示す画像は、図３の画像の一部を拡大してピントを合わせた画像を示す。図５に示す画像は、図４の画像の一部をさらに拡大してピントを合わせた超拡大画像を示す。コンピューター診断支援システムを病理組織診断の予測に適用するためには、細胞レベルにまで超拡大された病理組織の観察が不可欠である。そのためには、内視鏡２０で撮像された画像のうちの超拡大画像と非拡大画像を区別する必要があるが、内視鏡２０は超拡大画像だけでなく図３及び図４に示すような通常の倍率の非拡大画像も撮像できるのが通常である。
　コンピューター診断支援システムの操作者は、表示装置３０に映し出された映像のなかに病変と疑わしき部位を発見すると、図３、図４及び図５に示すように、順に拡大しながら静止画を撮像する。図３及び図４に示す画像では、ＲＯＩとそれ以外の部分が含まれているため、画像解析を行うためにはＲＯＩを設定する必要がある。一方、図５に示す超拡大画像では、ＲＯＩ以外の領域が含まれていない、ＲＯＩそのものが撮像された画像となる。
　非拡大画像はシステムの操作者がＲＯＩを設定する必要があるが、超拡大画像はＲＯＩそのものの撮像された画像であるためＲＯＩの設定は必要ない。そのため、超拡大画像を自動で判定することで、画像解析を行うべきＲＯＩの画像を自動で選定することができる。
　図２に示す対物レンズ２３を上皮に接触させない状態で撮像装置２４が撮像すると、ライトガイドレンズ２２の像が上皮の表面で反射して撮像装置２４に映り込む。このため、対物レンズ２３を粘膜上皮に接触させない状態での画像には、図３及び図４の一点鎖線で囲まれた領域で示されるように、ハレーションを起こしている領域が存在する。
　一方、超拡大画像を撮像する際には、図２に示す対物レンズ２３が上皮に接触しているため、上皮の表面で反射したライトガイドレンズ２２の像が撮像装置２４に写り込まない。また、撮像装置２４に入射する光は、いずれも上皮の細胞を透過した光である。このため、図５に示す超拡大画像には、図３及び図４に示すようなハレーションを起こしている領域は発生せず、ハレーション領域の画素数が一定割合以下となる。ここで、一定割合は、例えば、０．０００００７７％以下である。
　そこで、対象画像判定部１１１は、撮像装置２４から画像を取得し、画像に含まれるハレーション領域を用いて、上皮の細胞を透過した透過光を撮像した超拡大画像であるか否かを判定する。例えば、図３及び図４に示す画像はハレーション領域が存在するため、対象画像判定部１１１は対象画像ではないと判定する。一方、図５に示す画像はハレーション領域が存在しないため、対象画像判定部１１１は対象画像であると判定する。これにより、本開示は、超拡大画像を選別し、その画像について画像解析することで、ＲＯＩの病理組織診断の予測を自動で行うことを可能にする。
　ここで、画像解析装置１０には、内視鏡２０から映像及び静止画が入力される。本開示において画像解析を行うべき画像は超拡大画像である。そこで、対象画像判定部１１１は、内視鏡２０から取得した画像が静止画であるか否かを判定し、静止画である場合に対象画像であるか否かを判定することが好ましい。
　内視鏡２０から取得した画像が超拡大画像である場合、その画像はＲＯＩを撮像した画像であることになる。そこで、画像解析部１１２は、画像が対象画像である場合、対象画像であると判定した画像を、ＲＯＩの撮像された画像としてメモリ１２に記憶する。これにより、本開示に係るシステムは、ＲＯＩの情報を効率よく収集することができる。
　画像解析部１１２は、画像が対象画像である場合、当該対象画像を用いて画像解析を行い、撮像装置２４で撮像された上皮の状態の解析を行う。画像解析部１１２は、上皮の状態の解析結果を用いて、病理組織診断の予測を行う。病理組織診断の予測は、例えば、非腫瘍、腺腫、癌の識別である。病理組織診断の予測は、腫瘍になる可能性のあるｓｅｓｓｉｌｅ　ｓｅｒｒａｔｅｄ　ａｄｅｎｏｍａ／ｐｏｌｙｐ（ＳＳＡ／Ｐ）を含んでいてもよい。ＣＰＵ１１は画像解析部１１２の解析結果を表示装置３０に出力し、表示装置３０は病理組織診断の予測結果を表示する。ＣＰＵ１１はさらに、画像解析部１１２の解析結果をメモリ１２に記憶させる。
　病理組織診断の予測には機械学習を用いることが好ましく、これによって専門的なトレーニングを行う必要のない病理組織診断の予測がコンピューター診断支援システムを用いて実現可能になる。この場合、病理組織診断の予測のために、非腫瘍、腺腫、癌、ＳＳＡ／Ｐのそれぞれについて、学習用サンプルとなるデータを画像解析装置１０に与える。
　機械学習としては、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）、ニューラルネットワーク、単純ベイズ分類器、決定木、クラスター解析、線形回帰分析、ロジスティック回帰分析、及びランダムフォレストを用いることができる。ニューラルネットワークは、多層のニューラルネットワークを用いた深層学習（ｄｅｅｐ　ｌｅａｒｎｉｎｇ）であってもよい。
　画像解析部１１２は、画像解析に際し、非拡大画像を用いてもよい。例えば、図５に示す超拡大画像の解析を行う際に、図３及び図４の少なくともいずれかの画像を用いる。非拡大画像には、ＲＯＩ以外の領域も含まれている。そのため、画像解析部１１２は、画像解析装置１０に入力された非拡大画像におけるＲＯＩの領域設定を取得し、この領域設定で定められる領域の画像を画像解析に用いる。
　以下に、対象画像判定部１１１におけるハレーション領域が存在するか否かの判定の具体例について説明する。
　ハレーション領域が存在するか否かは、撮像装置２４で撮像された画像を抽出し、抽出した画素のなかに含まれているハレーションを起こしている画素数を計数する。そして、抽出した画素のなかにハレーションを起こしている画素数が予め定めた一定割合以下の場合は超拡大画像すなわち解析対象の画像であると判定し、抽出した画素のなかにハレーションを起こしている画素数が予め定めた一定割合を超えた場合は非拡大画像と判定する。
　ここで、撮像装置２４で撮像された画像の抽出は、例えば、図３～図５に示す破線で囲まれた領域を抽出することをいう。また一定割合は任意であるが、例えば、前述の０．０００００７７％以下を用いることができる。
　また、ハレーション領域か否かは、例えば、輝度が所定値を超過するか否かに基づいて行う。例えば、画素の各色情報（Ｒ値、Ｇ値、Ｂ値）が２５５階調の場合、各色が２４０以上になったときにハレーション領域と判定する。この判定は、白色領域を抽出できればよく、これに限定されるものではない。例えば、各色情報（Ｒ値、Ｇ値、Ｂ値）を合成した白色光の輝度で行ってもよいし、色相、彩度及び明度で表される色空間を用いてもよい。
　内視鏡を用いた上皮観察では、ライトガイドレンズ２２から出射される光の波長や、撮像装置２４で撮像すべき光の波長が異なる場合がある。例えば、白色光による上皮観察を行う場合や、狭帯域光観察（ＮＢＩ：Ｎａｒｒｏｗ　Ｂａｎｄ　Ｉｍａｇｉｎｇ、ＢＬＩ：Ｂｌｕｅ　Ｌａｓｅｒ　Ｉｍａｇｉｎｇ）を行う場合がある。ライトガイドレンズ２２から出射される光の光源についても、キセノン光源、レーザ光源、ハロゲン光源、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）といった種々の光源が用いられる。そこで、ハレーション領域を判定する閾値は、ライトガイドレンズ２２から出射される照射光の波長や、撮像装置２４で撮像する波長に応じて設定されていることが好ましい。
　例えば、ライトガイドレンズ２２から出射される照射光が白色光の場合、対象画像判定部１１１は、各色情報（Ｒ値、Ｇ値、Ｂ値）が２４０以上になったときにハレーション領域と判定する。例えば、狭帯域光観察（ＮＢＩ：Ｎａｒｒｏｗ　Ｂａｎｄ　Ｉｍａｇｉｎｇ、ＢＬＩ：Ｂｌｕｅ　Ｌａｓｅｒ　Ｉｍａｇｉｎｇ）の場合、対象画像判定部１１１は、各色情報（Ｒ値、Ｇ値、Ｂ値）がそれぞれ２００以上、２４０以上、１８０以上になったときにハレーション領域と判定する。
　以下に、画像解析部１１２における対象画像を用いた画像解析の詳細について説明する。
　対象画像を用いた画像解析は、例えば、テクスチャ解析が例示できる。テクスチャ解析では、図５の破線で示すような上皮の画像を抽出し、抽出した画像について解析を行う。テクスチャ解析の手法は任意であるが、物体や顔の認識に使用しうる局所的な画像特徴量を解析可能なものが好ましい。そのような解析手法としては、例えば、ＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ－Ｕｐｐｅｄ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅ）、Ｈａａｒ－Ｌｉｋｅ特徴が例示できる。
　対象画像を用いた画像解析は、例えば、超拡大画像から得られる特徴量の解析が例示できる。画像から得られる特徴量は、例えば、細胞核、血管及び腺腔の特徴量である。
　図６に、細胞核の模式図を示す。細胞核の特徴量は、例えば、細胞核の長径ＤＬ、細胞核の短径ＤＳ、細胞核の周囲長、細胞核の面積、細胞核の真円度及び細胞核の色が例示できる。細胞核の特徴は、離心率、弦節比、凹凸形状、フラクタル次元、線の集中度、濃度コントラストが含まれていてもよい。
　細胞核の特徴量を用いる場合、画像解析部１１２は、画像に含まれる細胞核を抽出する。細胞核の抽出方法は、任意であり、例えば、細胞核の領域のセグメンテーションを行い、アーチファクト除去を行うことで行う。細胞核の領域のセグメンテーションは、例えば、Ｒ成分での大津の２値化手法を用いる。アーチファクト除去は、たとえば、２値化画像の白い画素が連続した画素を１つの領域とし、各領域に対し面積と長径、真円度を算出する。面積が設定した範囲（例えば３０μｍ２から５００μｍ２）、かつ長径が設定した値（例えば３０μｍ以下）、かつ真円度が設定した値（例えば０．３以上）のものを解析対象として残し、それ以外の領域を除去する。長径と真円度は、例えば、領域を楕円近似して算出する。抽出された核の個数が予め設定した個数（たとえば３０個）以下の場合は、解析対象の特徴量から除外してもよい。
　細胞核の特徴量は、対象画像に含まれる一部の細胞核の特徴量であってもよいが、全ての細胞核の特徴を計測することが好ましい。細胞核の特徴量は、対象画像に含まれる細胞核の特徴から算出される平均値や標準偏差を含むことが好ましい。
　血管の特徴量は、例えば、最大血管の最大径、最大血管の最小最大径比、全体画像中に占める血管領域の割合、である。血管の特徴量を用いる場合、画像解析部１１２は、画像に含まれる血管領域を抽出する。血管領域の抽出法は、任意であり、例えば、線状度画像を作成し、複数の線状度画像を合成して血管候補領域画像を作成し、そのなかから血管でない領域を除去することで行うことができる。
　細胞核と血管の特徴量は、口腔、咽頭、口頭、食道、胃、十二指腸、空腸、回腸、大腸、気管、胆管、膵管、子宮、膀胱、尿管などのいずれの臓器を対象とした画像解析でも適用可能である。
　胃及び大腸については、超拡大画像で腺腔が観察できる。そこで、画像解析部１１２は、胃及び大腸の病理組織診断の予測に際し、腺腔の特徴量を解析することが好ましい。腺腔の特徴量は、例えば、腺腔の長径、腺腔の短径、腺腔の周囲長、腺腔の面積、腺腔の真円度、及び腺腔の色が例示できる。
　十二指腸、空腸、回腸については、超拡大画像で絨毛構造が観察できる。そこで、画像解析部１１２は、十二指腸、空腸、回腸の病理組織診断の予測に際し、絨毛構造の特徴量を解析することが好ましい。絨毛構造の特徴量は、例えば、絨毛先端の長径、絨毛先端の短径、１視野当たりの絨毛個数、が例示できる。
　このように、画像解析部１１２は、円柱上皮領域では細胞核や血管に加えて腺腔もしくは絨毛構造の特徴量を解析し、それ以外の重層扁平上皮、線毛上皮などでは核や血管の特徴量を解析することが好ましい。
　ここで、細胞核、血管、腺腔及び絨毛構造のいずれにピントを合わせた画像なのかという情報は、内視鏡２０から取得した画像には付されていない。そこで、画像解析部１１２は、細胞核、血管、腺腔及び絨毛構造の特徴を抽出する前に、細胞核、血管、腺腔及び絨毛構造のいずれが撮像された画像であるのかを判定することが好ましい。例えば、画像解析部１１２は、画像から細胞核、血管、腺腔及び絨毛構造をそれぞれ抽出し、抽出できたものに対して特徴量の抽出を行う。これにより、画像解析における演算量が減少し、病理組織診断の予測に要する時間を短縮することができる。
　ここで、胃及び大腸以外の臓器については、正常では腺腔が観察されない。しかし、腫瘍ができることによって、胃及び大腸以外の臓器においても腺腔が現れることがある。そこで、画像解析部１１２は、胃及び大腸以外の臓器についても、腺腔の特徴量を解析することが好ましい。
　また、十二指腸、空腸、回腸以外の臓器については、正常では絨毛構造が観察されない。しかし、腫瘍ができることによって、十二指腸、空腸、回腸以外の臓器においても絨毛構造が現れることがある。そこで、画像解析部１１２は、十二指腸、空腸、回腸以外の臓器についても、絨毛構造の特徴量を解析することが好ましい。
　以上説明したように、本開示は、超拡大画像と非拡大画像を自動判別できるため、ＲＯＩを自動判別することができるとともに、超拡大画像を用いた病理組織診断の予測を自動で行うコンピューター診断支援システムを提供することができる。
１０：画像解析装置
１１：ＣＰＵ
１１１：対象画像判定部
１１２：画像解析部
１２：メモリ
２０：内視鏡
２１：ライトガイド
２２：ライトガイドレンズ
２３：対物レンズ
２４：撮像装置
２５：信号線
３０：表示装置

Claims (13)

  1. 　内視鏡に接続される画像解析装置であって、
    　前記内視鏡から画像を取得し、画像に含まれるハレーション領域を用いて、対象画像であることを判定する対象画像判定部と、
    　画像が対象画像である場合、当該対象画像を用いて、前記内視鏡で撮像された上皮の状態の解析を行う画像解析部と、
    　を備える画像解析装置。
  2. 　前記対象画像は、上皮の細胞を透過した透過光を用いて撮像した画像である、
    　請求項１に記載の画像解析装置。
  3. 　前記対象画像は、前記内視鏡に備わる対物レンズと上皮とが接触した状態で撮像した画像である、
    　請求項１又は２に記載の画像解析装置。
  4. 　前記対象画像判定部は、対象画像であると判定した画像を、関心領域の撮像された画像としてメモリに記憶する、
    　請求項１から３のいずれかに記載の画像解析装置。
  5. 　前記対象画像は、細胞核、血管、腺腔及び絨毛構造の少なくともいずれかを撮像した画像である、
    　請求項１から４のいずれかに記載の画像解析装置。
  6. 　前記画像解析部は、細胞核、血管、腺腔及び絨毛構造の少なくともいずれかの特徴量を前記対象画像から抽出する処理を含み、抽出結果を用いて前記上皮の状態の解析を行う、
    　請求項５に記載の画像解析装置。
  7. 　前記画像解析部は、細胞核、血管、腺腔及び絨毛構造のいずれが撮像された画像であるかを判定する、
    　請求項５又は６に記載の画像解析装置。
  8. 　前記画像解析部は、上皮の状態の解析結果を用いて、病理組織診断の予測を行う、
    　請求項１から７のいずれかに記載の画像解析装置。
  9. 　前記病理組織診断の予測は、非腫瘍、腺腫、癌の識別である、
    　請求項８に記載の画像解析装置。
  10. 　前記対象画像判定部は、前記画像に含まれるハレーション領域の画素数が一定割合以下である場合に、対象画像であると判定する、
    　請求項１から９のいずれかに記載の画像解析装置。
  11. 　前記対象画像判定部は、前記内視鏡から取得した画像が静止画であるか否かを判定し、静止画である場合に対象画像であるか否かを判定する、
    　請求項１から１０のいずれかに記載の画像解析装置。
  12. 　請求項１から１１のいずれかに記載の画像解析装置に備わる各機能部をコンピューターに実現させるためのプログラム。
  13. 　内視鏡に接続される画像解析装置が実行する画像解析方法であって、
    　前記内視鏡から画像を取得し、画像に含まれるハレーション領域を用いて、対象画像であることを判定する対象画像判定ステップと、
    　画像が対象画像である場合、当該対象画像を用いて、前記内視鏡で撮像された上皮の状態の解析を行う画像解析ステップと、
    　を画像解析装置が実行する画像解析方法。
PCT/JP2019/027273 2019-07-10 2019-07-10 画像解析装置及び画像解析方法 WO2021005733A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201980097401.4A CN113950278A (zh) 2019-07-10 2019-07-10 图像分析装置及图像分析方法
PCT/JP2019/027273 WO2021005733A1 (ja) 2019-07-10 2019-07-10 画像解析装置及び画像解析方法
KR1020217040581A KR20220007667A (ko) 2019-07-10 2019-07-10 화상 해석 장치 및 화상 해석 방법
US17/624,886 US20220292671A1 (en) 2019-07-10 2019-07-10 Image analyzing device and image analyzing method
EP19937090.9A EP3998015A4 (en) 2019-07-10 2019-07-10 IMAGE ANALYSIS DEVICE AND IMAGE ANALYSIS METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/027273 WO2021005733A1 (ja) 2019-07-10 2019-07-10 画像解析装置及び画像解析方法

Publications (1)

Publication Number Publication Date
WO2021005733A1 true WO2021005733A1 (ja) 2021-01-14

Family

ID=74114432

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/027273 WO2021005733A1 (ja) 2019-07-10 2019-07-10 画像解析装置及び画像解析方法

Country Status (5)

Country Link
US (1) US20220292671A1 (ja)
EP (1) EP3998015A4 (ja)
KR (1) KR20220007667A (ja)
CN (1) CN113950278A (ja)
WO (1) WO2021005733A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005040400A (ja) * 2003-07-23 2005-02-17 Olympus Corp 光学的観察プローブ
JP2016195772A (ja) * 2016-06-08 2016-11-24 オリンパス株式会社 内視鏡装置の合焦制御装置、内視鏡装置及び内視鏡装置の合焦制御方法
WO2017199635A1 (ja) * 2016-05-18 2017-11-23 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
JP2018088996A (ja) * 2016-11-30 2018-06-14 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法
JP2019111040A (ja) * 2017-12-22 2019-07-11 サイバネットシステム株式会社 画像解析装置及び画像解析方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3649328B2 (ja) * 2002-04-10 2005-05-18 日本電気株式会社 画像領域抽出方法および装置
JP5365011B2 (ja) * 2008-01-29 2013-12-11 日本電気株式会社 病理診断支援装置、病理診断支援方法、およびプログラム
JP6058240B1 (ja) * 2015-04-27 2017-01-11 オリンパス株式会社 画像解析装置、画像解析システム、画像解析装置の作動方法
EP3420885B1 (en) * 2016-02-23 2022-12-21 Mie University Laser endoscope device
WO2020131746A1 (en) * 2018-12-17 2020-06-25 Georgia State University Research Foundation, Inc. Predicting dcis recurrence risk using a machine learning-based high-content image analysis approach
EP3937753A4 (en) * 2019-03-13 2023-03-29 The Board Of Trustees Of The University Of Illinois SUPERVISED MACHINE LEARNING BASED ON RETINOPATHY CLASSIFICATION BY MULTI-TASKING ARTIFICIAL INTELLIGENCE
WO2021001831A1 (en) * 2019-07-02 2021-01-07 Nucleai Ltd Systems and methods for selecting a therapy for treating a medical condition of a person

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005040400A (ja) * 2003-07-23 2005-02-17 Olympus Corp 光学的観察プローブ
WO2017199635A1 (ja) * 2016-05-18 2017-11-23 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
JP2016195772A (ja) * 2016-06-08 2016-11-24 オリンパス株式会社 内視鏡装置の合焦制御装置、内視鏡装置及び内視鏡装置の合焦制御方法
JP2018088996A (ja) * 2016-11-30 2018-06-14 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法
JP2019111040A (ja) * 2017-12-22 2019-07-11 サイバネットシステム株式会社 画像解析装置及び画像解析方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Launched "EndoBRAIN®", an endoscopic diagnostic imaging support software equipped with AI", OLYMPUS NEWS RELEASE, JP, pages 1 - 2, XP009532817, Retrieved from the Internet <URL:https://www.olympus.co.jp/news/2019/nr01157.html> *
H. SATOH. INOUEB. HAYEE ET AL.: "In vivo histopathology using endocytoscopy for non-neoplastic changes in the gastric mucosa: a prospective pilot study (with video", GASTROINTEST ENDOSC, vol. 81, 2015, pages 875 - 81, XP029148272, DOI: 10.1016/j.gie.2014.08.019
KUDO, SHINEI,: "Can Endocytoscopy used as virtual biopsy", ENDOCYTOSCOPY VIRTUAL BIOPSY, vol. 27, no. 6, 25 June 2015 (2015-06-25), pages 996 - 998, XP009524802, ISSN: 0915-3217 *
M. MISAWAS. KUDOY MORI ET AL.: "Characterization of colorectal lesions using a computer-aided diagnostic system for narrow-band imaging endocytoscopy", GASTROENTEROLOGY, vol. 150, 2016, pages 1531 - 1532
S. MIYAMOTOT. KUDOS. ABIKO ET AL.: "Endocytoscopy of Superficial Nonampullary Duodenal Epithelial Tumor: Two Cases of Tubular Adenocarcinoma and Adenoma", AM J GASTROENTEROL, vol. 112, 2017, pages 1638
SE KUDOK. WAKAMURAN. IKEHARA ET AL.: "Diagnosis of colorectal lesions with a novel endocytoscopic classification - a pilot study", ENDOSCOPY, vol. 43, 2011, pages 869 - 75
See also references of EP3998015A4
Y KUMAGAIK. MONMAK. KAWADA: "Magnifying chromoendoscopy of the esophagus: in-vivo pathological diagnosis using an endocytoscopy system", ENDOSCOPY, vol. 36, 2004, pages 590 - 4
Y MORIS. KUDOK. WAKAMURA ET AL.: "Novel computer-aided diagnostic system for colorectal lesions by using endocytoscopy (with videos", GASTROINTESTINAL ENDOSCOPY, vol. 81, 2015, pages 621 - 629, XP029142721, DOI: 10.1016/j.gie.2014.09.008

Also Published As

Publication number Publication date
CN113950278A (zh) 2022-01-18
EP3998015A1 (en) 2022-05-18
US20220292671A1 (en) 2022-09-15
EP3998015A4 (en) 2023-01-11
KR20220007667A (ko) 2022-01-18

Similar Documents

Publication Publication Date Title
US11170498B2 (en) Image processing device, image processing method, and image processing program for detecting specific region from image captured by endoscope designated as detection target image in response to determining that operator&#39;s action in not predetermined action
US11145053B2 (en) Image processing apparatus and computer-readable storage medium storing instructions for specifying lesion portion and performing differentiation classification in response to judging that differentiation classification operation is engaged based on signal from endoscope
JP5800468B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP7170032B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP5276225B2 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
CN110913746B (zh) 诊断辅助装置、诊断辅助方法及存储介质
JP7084994B2 (ja) 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム
WO2007119297A1 (ja) 医療用画像処理装置及び医療用画像処理方法
JP6883662B2 (ja) 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
JP6824868B2 (ja) 画像解析装置及び画像解析方法
WO2012153568A1 (ja) 医用画像処理装置及び医用画像処理方法
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP2006166990A (ja) 医用画像処理方法
JP6371613B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Liedlgruber et al. A summary of research targeted at computer-aided decision support in endoscopy of the gastrointestinal tract
WO2021005733A1 (ja) 画像解析装置及び画像解析方法
JP6879520B2 (ja) 画像処理装置及び画像処理方法
JP2021037356A (ja) 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
WO2022230607A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
WO2023162216A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
JP7470776B2 (ja) 内視鏡システム、制御方法、及び制御プログラム
WO2022186111A1 (ja) 医用画像処理装置、医用画像処理方法、及びプログラム
JP4856275B2 (ja) 医用画像処理装置
Kho et al. Gastrointestinal endoscopy colour-based image processing technique for bleeding, lesion and reflux

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19937090

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217040581

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019937090

Country of ref document: EP

Effective date: 20220210

NENP Non-entry into the national phase

Ref country code: JP