WO2018180631A1 - 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 - Google Patents

医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 Download PDF

Info

Publication number
WO2018180631A1
WO2018180631A1 PCT/JP2018/010568 JP2018010568W WO2018180631A1 WO 2018180631 A1 WO2018180631 A1 WO 2018180631A1 JP 2018010568 W JP2018010568 W JP 2018010568W WO 2018180631 A1 WO2018180631 A1 WO 2018180631A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
light
image
unit
observation target
Prior art date
Application number
PCT/JP2018/010568
Other languages
English (en)
French (fr)
Inventor
正明 大酒
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201880022503.5A priority Critical patent/CN110475503A/zh
Priority to JP2019509303A priority patent/JP6785948B2/ja
Priority to EP18777155.5A priority patent/EP3603481B1/en
Publication of WO2018180631A1 publication Critical patent/WO2018180631A1/ja
Priority to US16/586,489 priority patent/US11412917B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a medical image processing device, an endoscope system, and a method for operating the medical image processing device for supporting the discrimination of an observation target such as the discrimination of the degree of progression of a lesion.
  • image diagnosis such as diagnosis and follow-up of a patient's medical condition is performed using an endoscopic image, an X-ray image, a CT (Computed Tomography) image, and an MR (Magnetic Resonanse) image.
  • a doctor or the like decides a treatment policy.
  • a doctor or other person performing image diagnosis is inexperienced, or if there is experience, the image to be diagnosed is a rare case and it is outside the field of expertise, the doctor will perform image diagnosis. It may be difficult to ensure.
  • Patent Literature 1 and Patent Literature 2 a past case image having a high degree of similarity in image feature amount is searched from past case images accumulated in a database, and the searched past case images are displayed on a display device. is doing.
  • the observation target is automatically diagnosed by a recognition process for mechanically recognizing the observation target such as AI (Artificial Intelligence).
  • AI Artificial Intelligence
  • recognition processing it is possible to make up for a doctor's lack of experience and to obtain an objective diagnosis result without subjective judgment.
  • the recognition process used for diagnosis is not common in the medical field and sufficient reliability is not acquired, it is considered that the recognition result obtained by the recognition process may not be regarded as important. Therefore, in the case where a lesion or the like is diagnosed by the recognition process, it has been required to increase the reliability of the recognition process.
  • Patent Documents 1 and 2 it is described that a diagnosis result is presented together with past case images.
  • the diagnosis result is a result obtained based on subjective judgment by a doctor and varies depending on the doctor. It is thought that there is.
  • the present invention relates to a medical image processing apparatus and an endoscope that can improve the reliability of a recognition result obtained by a recognition process in the case where a lesion is diagnosed by a recognition process such as AI (Artificial Intelligence). It is an object of the present invention to provide a system and a method for operating a medical image processing apparatus.
  • AI Artificial Intelligence
  • the medical image processing apparatus of the present invention includes a medical image acquisition unit, a medical image selection unit, and a display control unit.
  • the medical image acquisition unit acquires a first medical image obtained by imaging the observation target with the imaging unit.
  • the medical image selection unit compares the first medical image with the second medical image to be compared with the first medical image, and is selected from the second medical images according to the comparison result. Get a specific medical image.
  • the display control unit displays a plurality of recognition results obtained from the recognition process for recognizing the observation target, which is a process performed on a specific medical image.
  • the medical image selection unit compares the feature amount of the first medical image with the feature amount of the second medical image, and selects a specific medical image according to the similarity of the feature amount.
  • the feature amount is the blood vessel density, the blood vessel shape, the number of branches of the blood vessel, the thickness of the blood vessel, the length of the blood vessel, the degree of meandering of the blood vessel, the depth of the blood vessel, the shape of the duct, the shape of the opening of the duct, the length of the duct Of the meandering degree of the duct and the color information, it is preferably a value obtained by combining at least one of them or two or more.
  • the display control unit preferably displays the ratio of the recognition results for each type on the display unit.
  • the display control unit preferably displays the number of recognition results for each type on the display unit. It is preferable that the display control unit also displays on the display unit a user recognition result that is recorded in association with the second medical image and that the user has determined the observation target.
  • the recognition result is a result recorded in association with the second medical image, and preferably includes a recognition result obtained by performing a recognition process with another medical image processing apparatus.
  • the recognition result preferably includes at least that the observation target is a lesioned part and that the observation target is a normal part.
  • the recognition result preferably includes at least the type of lesion.
  • the second medical image is registered in advance in the medical image storage unit. It is preferable that the second medical image is obtained by imaging by the imaging unit at a timing before the first medical image. It is preferable that the second medical image is obtained by imaging at a later timing than the first medical image by the imaging unit.
  • the second medical image is preferably obtained by imaging an observation target illuminated with special light.
  • the special light preferably has a wavelength region of 450 nm or less.
  • the second medical image preferably includes a plurality of images that are the same observation target and have different magnifications of the observation target.
  • the endoscope system of the present invention includes a light source device, an endoscope, a medical image acquisition unit, a medical image selection unit, and a display unit.
  • the light source device generates illumination light for illuminating the observation target.
  • the endoscope includes an imaging unit that images an observation target illuminated with illumination light.
  • the medical image acquisition unit acquires a first medical image obtained by imaging an observation target by the imaging unit.
  • the medical image selection unit compares the first medical image with the second medical image to be compared with the first medical image, and is selected from the second medical images according to the comparison result. Get a specific medical image.
  • the display unit displays a plurality of recognition results obtained from a recognition process for recognizing an observation target, which is a process performed on a specific medical image.
  • the operating method of the medical image processing apparatus of the present invention includes a medical image acquisition step, a medical image selection step, and a display step.
  • the medical image acquisition step the medical image acquisition unit acquires the first medical image by imaging the observation target with the imaging unit.
  • the medical image selection step the medical image selection unit compares the first medical image with the second medical image to be compared with the first medical image, and among the second medical images, A specific medical image selected according to the comparison result is obtained.
  • the display control unit displays a plurality of recognition results obtained from a recognition process for recognizing an observation target, which is a process performed on a specific medical image.
  • the reliability of the recognition result obtained by the recognition processing can be improved.
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18 (display unit), and a console 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 has an insertion portion 12a to be inserted into the subject, an operation portion 12b provided at the proximal end portion of the insertion portion 12a, a bending portion 12c and a distal end portion 12d provided at the distal end side of the insertion portion 12a. is doing.
  • the angle knob 13a of the operation portion 12b By operating the angle knob 13a of the operation portion 12b, the bending portion 12c is bent. By this bending operation, the distal end portion 12d is directed in a desired direction.
  • the operation unit 12b includes a still image acquisition unit 13b used for a still image acquisition operation, a mode switching unit 13c used for an observation mode switching operation, and a zoom operation unit 13d used for a zoom magnification change operation.
  • the still image acquisition unit 13b can perform a freeze operation for displaying the still image to be observed on the monitor 18 and a release operation for storing the still image in the storage.
  • the endoscope system 10 has a normal mode, a special mode, and a discrimination support mode as observation modes.
  • the observation mode is the normal mode
  • the normal light obtained by combining the light of a plurality of colors with the light amount ratio Lc for the normal mode is emitted, and the image signal obtained by imaging the observation target under illumination with the normal light
  • a normal image is displayed on the monitor 18.
  • the observation mode is the special mode, it is obtained by emitting special light obtained by combining light of a plurality of colors with the light amount ratio Ls for the special mode, and imaging the observation target under illumination with the special light.
  • a special image is displayed on the monitor 18 based on the image signal.
  • illumination light for the discrimination support mode is emitted.
  • normal light is emitted as the illumination light for discrimination support mode, but special light may be emitted.
  • a discrimination support image for supporting discrimination of the observation target is generated from an image obtained by imaging the observation target being illuminated with the illumination light for discrimination support mode, and displayed on the monitor 18.
  • the processor device 16 is electrically connected to the monitor 18 and the console 19.
  • the monitor 18 outputs and displays an image to be observed, information attached to the image, and the like.
  • the console 19 functions as a user interface that receives input operations such as designation of a region of interest (ROI: Region Of Interest) and function setting.
  • ROI Region Of Interest
  • the light source device 14 includes a light source unit 20 that emits illumination light used for illuminating the observation target, and a light source control unit 22 that controls the light source unit 20.
  • the light source unit 20 is a semiconductor light source such as a multi-color LED (Light-Emitting-Diode).
  • the light source control unit 22 controls the light emission amount of the illumination light by turning on / off the LED or the like and adjusting the drive current or drive voltage of the LED or the like.
  • the light source control unit 22 controls the wavelength band of the illumination light by changing the optical filter or the like.
  • the light source unit 20 includes a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and an R-LED (Red Light Emitting Diode) 20d LEDs and a wavelength cut filter 23 are provided.
  • V-LED Volt Light Emitting Diode
  • B-LED Blue Light Emitting Diode
  • G-LED Green Light Emitting Diode
  • R-LED Red Light Emitting Diode
  • the B-LED 20b emits blue light B having a wavelength band of 420 nm to 500 nm.
  • the blue light B emitted from the B-LED 23 b at least a wavelength longer than the peak wavelength of 450 nm is cut by the wavelength cut filter 23.
  • the blue light Bx after passing through the wavelength cut filter 23 has a wavelength range of 420 to 460 nm.
  • the wavelength cut filter 23 may attenuate light in a wavelength region longer than 460 nm, instead of cutting light in a wavelength region longer than 460 nm.
  • the G-LED 20c emits green light G having a wavelength band ranging from 480 nm to 600 nm.
  • the R-LED 20d emits red light R with a wavelength band of 600 nm to 650 nm.
  • the light emitted from each of the LEDs 20a to 20d may have the same or different center wavelength and peak wavelength.
  • the light source control unit 22 adjusts the light emission timing, the light emission period, the light amount, and the spectral spectrum of the illumination light by independently controlling the lighting and extinction of the LEDs 20a to 20d and the light emission amount at the time of lighting. Control of turning on and off in the light source control unit 22 is different for each observation mode.
  • the reference brightness can be set by the brightness setting unit of the light source device 14, the console 19, or the like.
  • the light source control unit 22 turns on all the V-LED 20a, B-LED 20b, G-LED 20c, and R-LED 20d.
  • the light intensity ratio Lc between the purple light V, the blue light B, the green light G, and the red light R is such that the peak of the light intensity of the blue light Bx is purple light V, green light G.
  • the red light R are set so as to be larger than the peak of any light intensity.
  • the multi-color light for the normal mode or the discrimination support mode including the violet light V, the blue light Bx, the green light G, and the red light R is emitted from the light source device 14 as the normal light. , Is emitted. Since normal light has a certain intensity or more from the blue band to the red band, it is almost white.
  • the light source control unit 22 turns on all the V-LEDs 20a, B-LEDs 20b, G-LEDs 20c, and R-LEDs 20d.
  • the light intensity ratio Ls between the violet light V, the blue light B, the green light G, and the red light R is such that the light intensity peaks of the violet light V are blue light Bx, green light G.
  • the red light R are set so as to be larger than the peak of any light intensity.
  • the light intensity peaks of the green light G and the red light R are set so as to be smaller than the light intensity peaks of the violet light V and the blue light Bx.
  • multicolor light for special mode including violet light V, blue light Bx, green light G, and red light R is emitted from the light source device 14 as special light.
  • the special light is a bluish light because the ratio of the purple light V is large.
  • the special light may not include all four colors of light, and may include light from at least one of the four-color LEDs 20a to 20d.
  • the special light preferably has a main wavelength range of 450 nm or less, for example, a peak wavelength or a center wavelength.
  • the illumination light emitted from the light source unit 20 enters a light guide 24 inserted into the insertion unit 12a through an optical path coupling unit (not shown) formed by a mirror, a lens, or the like.
  • the light guide 24 is incorporated in the endoscope 12 and the universal cord, and propagates illumination light to the distal end portion 12d of the endoscope 12.
  • the universal cord is a cord that connects the endoscope 12 to the light source device 14 and the processor device 16.
  • a multimode fiber can be used as the light guide 24.
  • a thin fiber cable having a core diameter of 105 ⁇ m, a cladding diameter of 125 ⁇ m, and a diameter including a protective layer serving as an outer cover of ⁇ 0.3 mm to ⁇ 0.5 mm can be used.
  • the distal end portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b.
  • the illumination optical system 30 a has an illumination lens 32. Through this illumination lens 32, the observation target is illuminated with illumination light propagated through the light guide 24.
  • the imaging optical system 30b includes an objective lens 34, a magnifying optical system 36, and an imaging sensor 38 (corresponding to the “imaging unit” of the present invention). Through the objective lens 34 and the magnifying optical system 36, various kinds of light such as reflected light, scattered light, and fluorescence from the observation object enter the image sensor 38. As a result, an image to be observed is formed on the image sensor 38.
  • the magnifying optical system 36 includes a zoom lens 36a for magnifying an observation target, and a lens driving unit 36b for moving the zoom lens 36a in the optical axis direction CL.
  • the zoom lens 36a freely moves between the tele end and the wide end according to zoom control by the lens driving unit 36b, thereby enlarging or reducing the observation target imaged on the image sensor 38.
  • the image sensor 38 is a color image sensor that images an observation target irradiated with illumination light.
  • Each pixel of the image sensor 38 is provided with one of an R (red) color filter, a G (green) color filter, and a B (blue) color filter.
  • the image sensor 38 receives purple to blue light at the B pixel provided with the B color filter, receives green light at the G pixel provided with the G color filter, and is provided with the R color filter. Red light is received by the R pixel. Then, RGB color image signals are output from each color pixel.
  • the imaging sensor 38 transmits the output image signal to the CDS circuit 40.
  • the imaging sensor 38 captures an observation target illuminated with normal light, thereby outputting a Bc image signal from the B pixel, outputting a Gc image signal from the G pixel, and R pixel. To output an Rc image signal.
  • the imaging sensor 38 images the observation target illuminated with the special light, thereby outputting a Bs image signal from the B pixel, outputting a Gs image signal from the G pixel, and outputting from the R pixel to Rs. Output image signal.
  • CMOS Complementary Metal-Oxide Semiconductor
  • RGB primary color filters instead of the image sensor 38 provided with RGB primary color filters, a complementary color image sensor having complementary filters of C (cyan), M (magenta), Y (yellow), and G (green) may be used. good.
  • CMYG four-color image signals are output. Therefore, by converting the CMYG four-color image signals into the RGB three-color image signals by complementary color-primary color conversion, RGB image signals similar to those of the image sensor 38 can be obtained.
  • a monochrome sensor without a color filter may be used.
  • the CDS circuit 40 performs correlated double sampling (CDS: Correlated Double Sampling) on the analog image signal received from the image sensor 38.
  • CDS Correlated Double Sampling
  • the image signal that has passed through the CDS circuit 40 is input to the AGC circuit 42.
  • the AGC circuit 40 performs automatic gain control (AGC) on the input image signal.
  • An A / D (Analog-to-Digital) conversion circuit 44 converts the analog image signal that has passed through the AGC circuit 42 into a digital image signal.
  • the A / D conversion circuit 44 inputs the digital image signal after A / D conversion to the processor device 16.
  • the processor device 16 includes an image signal acquisition unit 50 (corresponding to the “medical image acquisition unit” of the present invention), a DSP (Digital Signal Processor) 52, a noise reduction unit 54, and image processing.
  • a unit 56 and a display control unit 58 are provided.
  • the image signal acquisition unit 50 acquires a digital image signal corresponding to the observation mode from the endoscope 12.
  • a Bc image signal, a Gc image signal, and an Rc image signal are acquired.
  • a Bs image signal, a Gs image signal, and an Rs image signal are acquired.
  • a Bc image signal, a Gc image signal, and an Rc image signal for one frame are acquired during illumination with normal light
  • a Bs image signal, a Gs image signal, and Rs for one frame are acquired during illumination with special light. Get the image signal.
  • the DSP 52 performs various signal processing such as defect correction processing, offset processing, DSP gain correction processing, linear matrix processing, gamma conversion processing, and demosaicing processing on the image signal acquired by the image signal acquisition unit 50.
  • defect correction process the signal of the defective pixel of the image sensor 38 is corrected.
  • offset process the dark current component is removed from the image signal subjected to the defect correction process, and an accurate zero level is set.
  • DSP gain correction process the signal level is adjusted by multiplying the offset-processed image signal by a specific DSP gain.
  • Linear matrix processing improves the color reproducibility of image signals that have undergone DSP gain correction processing.
  • the gamma conversion process adjusts the brightness and saturation of the image signal subjected to the linear matrix process.
  • demosaic processing also referred to as isotropic processing or synchronization processing
  • the noise reduction unit 54 performs noise reduction processing by, for example, a moving average method or a median filter method on the image signal subjected to demosaic processing or the like by the DSP 52 to reduce noise.
  • the image signal after the noise reduction is input to the image processing unit 56.
  • the image processing unit 56 includes a normal mode processing unit 60, a special mode processing unit 62, and a discrimination support mode processing unit 64.
  • the normal mode processing unit 60 operates when the normal mode is set, and performs color conversion processing, color enhancement processing, and structure enhancement processing on the received Bc image signal, Gc image signal, and Rc image signal. Do. In the color conversion processing, color conversion processing is performed on the RGB image signal by 3 ⁇ 3 matrix processing, gradation conversion processing, three-dimensional LUT (Look Up Table) processing, and the like.
  • the color enhancement process is performed on the RGB image signal that has been subjected to the color conversion process.
  • the structure enhancement process is a process for enhancing the structure of the observation target, and is performed on the RGB image signal after the color enhancement process.
  • a normal image can be obtained by performing various image processing as described above. Since the normal image is an image obtained based on normal light in which purple light V, blue light Bx, green light G, and red light R are emitted in a well-balanced manner, the normal image is an image having a natural color.
  • the normal image is input to the display control unit 58.
  • the special mode processing unit 62 operates when the special mode is set.
  • the special mode processing unit 62 performs color conversion processing, color enhancement processing, and structure enhancement processing on the received Bs image signal, Gs image signal, and Rs image signal.
  • the contents of the color conversion process, the color enhancement process, and the structure enhancement process are the same as those of the normal mode processing unit 60.
  • a special image is obtained by performing various image processes as described above.
  • a special image is an image obtained based on special light in which the violet light V, which has a high absorption coefficient of hemoglobin in the blood vessel, is larger than the blue light Bx, green light G, and red light R of other colors Therefore, the resolution of blood vessel structure and gland duct structure is higher than other structures.
  • the special image is input to the display control unit 58.
  • the discrimination support mode processing unit 64 operates when the discrimination support mode is set.
  • the discrimination support mode processing unit 64 performs the same image processing as the normal mode processing unit 60 such as color conversion processing on the received Bc image signal, Gc image signal, and Rc image signal.
  • the still image of the observation object obtained when the still image acquisition part 13b is operated is acquired as a 1st medical image used for discrimination of an observation object.
  • the first medical image is compared with a second medical image to be compared, and based on the comparison result, a discrimination support image for supporting the discrimination of the observation target is generated. Details of the discrimination support mode processing unit 64 will be described later.
  • the display control unit 58 performs display control for displaying the image and data from the image processing unit 56 on the monitor 18.
  • the display control unit 58 performs control to display a normal image on the monitor 18.
  • the display control unit 58 performs control to display the special image on the monitor 18.
  • the display control unit 58 performs control to display the discrimination support image on the monitor 18.
  • the discrimination support mode processing unit 64 includes a feature amount calculation unit 70, a medical image selection unit 72, a medical image storage unit 74, and a discrimination support image generation unit 76.
  • the feature amount calculation unit 70 calculates an image feature amount from the first medical image. As a method for calculating the feature amount, it is preferable to obtain the feature amount using Convolutional Neural Network or the like. Further, the feature amount is preferably an index value obtained from the shape and color of a predetermined part in the observation target or the shape and color.
  • the length is at least one of the length, the meandering degree of the duct, the color information, or a value obtained by combining two or more of them.
  • the medical image selection unit 72 performs a comparison process for comparing the first medical image with the second medical image stored in the medical image storage unit 74, and according to the comparison result from the second medical image. An image selection process for selecting a specific medical image is performed.
  • the medical image storage unit 74 the second medical image and the image-like feature amount of the second medical image are stored in association with each other. However, the feature amount of the second medical image is calculated each time it is compared with the first medical image, instead of being stored in association with the second medical image in order to suppress the capacity in the medical image storage unit 74. You may make it do.
  • the second medical image is a recognition result obtained from a recognition process for mechanically recognizing an observation target, which is a process performed on the second medical image. It is stored in association with.
  • the second medical image and the user recognition result obtained by the user subjectively determining the observation target may be stored in association with each other.
  • the recognition result may also be calculated every time it is compared with the first medical image, instead of storing it in association with the second medical image, as with the feature amount.
  • the recognition process is preferably a machine learning process such as AI (Artificial Intelligence).
  • the medical image selection unit 72 compares the feature amount of the first medical image with the feature amount of the second medical image to determine the similarity between the first medical image and the second medical image. calculate.
  • the second medical image whose feature quantity similarity satisfies a specific condition is selected as a specific medical image. Specifically, among the second medical images, a second medical image having a certain feature amount similarity with the first medical image is selected as a specific medical image.
  • the discrimination support image generation unit 76 displays a plurality of specific medical images 82 and recognition results 84 of recognition processing associated with the specific medical images 82 together with the first medical image 80.
  • a discrimination support image 86 is generated.
  • a plurality of specific medical images 82 and their recognition results 84 are displayed on the right side of the first medical image.
  • the specific medical image 82 is also displayed with a similarity to the feature amount of the first medical image, and the specific medical image with a high similarity is displayed above the discrimination support image 86. It has become so.
  • the discrimination support image 86 in addition to the recognition result of the recognition process, the user recognition result may be displayed together.
  • the observation target is a lesioned part or a normal part as a recognition result, or includes the type, type, progress, and score of the lesioned part.
  • the type of the lesioned part is the type of the lesioned part (type).
  • the recognition result is obtained by performing the same or different recognition process as the recognition process in the endoscope system 10 in another medical image processing apparatus provided in another facility different from the endoscope system 10. It may be a recognition result.
  • the ratio of the types of recognition results is also displayed as the ratio of the types of recognition results.
  • the mode switching unit 13c is operated to switch to the discrimination support mode.
  • the illumination light for discrimination support mode is illuminated with respect to the observation object.
  • the observation target illuminated with the illumination light for discrimination support mode is imaged by the imaging sensor 38, and a moving image of the observation target is displayed on the monitor 18.
  • the still image acquisition unit 13b is operated to acquire a first medical image as a still image to be observed.
  • an image feature amount is calculated from the first medical image.
  • the feature amount of the second medical image stored in the medical image storage unit 74 is compared with the feature amount of the first medical image, and the similarity between the first medical image and the second medical image is compared. Calculate the degree.
  • a second medical image having a certain similarity or higher than a certain level is selected as a specific medical image.
  • a discrimination support image in which a plurality of specific medical images and their recognition results are displayed is generated.
  • the generated discrimination support image is displayed on the monitor 18.
  • the recognition result is displayed for each of a plurality of specific medical images, and the ratio and number of types of recognition results are also displayed, so that the observation target can be discriminated reliably.
  • the past second medical image stored in the medical image storage unit is used as an image to be compared with the first medical image.
  • the first medical image is acquired.
  • An endoscopic diagnosis that is the same as that performed in this case, and an image acquired at a timing different from the first medical image is used as the second medical image.
  • an image acquired before the timing at which the first medical image is acquired is used as the second medical image.
  • the second medical image is a still image to be observed obtained by operating the still image acquisition unit 13b in a mode other than the discrimination support mode, or a still image in the second medical image acquisition mode.
  • a still image to be observed is preferably obtained by operating the acquisition unit 13b.
  • the second medical image acquisition mode is the same as the normal mode or the special mode except that the second medical image is acquired without generating the discrimination support image.
  • the second medical image storage unit 81 stores it. Then, when the mode is switched to the discrimination support mode and the still image acquisition unit 13b is operated to acquire the first medical image, the second medical image stored in the second medical image storage unit 81 and the first medical image are stored. The feature amounts of the medical images are compared, and the similarity is calculated. Then, the recognition processing unit 83 performs recognition processing on a specific medical image in which the similarity of the feature amount satisfies a specific condition in the second medical image, and obtains a recognition result. When the recognition result is obtained, a discrimination support image for displaying a plurality of specific medical images and the recognition results is displayed on the monitor 18 together with the first medical image.
  • the same endoscopic diagnosis as in the case of acquiring the first medical image the image acquired after the timing of acquiring the first medical image is used as the second medical image. It may be used as In this case, since the second medical image does not exist at the timing when the first medical image is acquired by operating the still image acquisition unit 13b in the discrimination support mode, the discrimination support image is generated and displayed. To wait for a while. After obtaining the first medical image, when the second medical image is obtained by operating the still image obtaining unit 13b, the obtained second medical image is compared with the first medical image. Based on this comparison, a discrimination support image is generated and displayed on the monitor 18. Note that the console 19 may be used to determine which of the images acquired in the discrimination support mode is the first medical image or the second medical image.
  • normal light is used as the illumination light for the discrimination support mode, but in addition to this, special light may be used.
  • the still image acquisition unit 13b when the still image acquisition unit 13b is operated in the discrimination support mode, first, an observation target illuminated with normal light is imaged, and the first medical image ( Normal light). After acquiring the first medical image (normal light), the feature amount of the first medical image (normal light) is calculated as described in the first and second embodiments. Then, the degree of similarity is calculated by comparing the feature quantity with the second medical image, and the degree of similarity between the second medical image and the first medical image (normal light) satisfies a specific condition. Select a specific medical image. In addition, a recognition result of a specific medical image is also acquired.
  • the light source control unit 22 illuminates the observation target with the special light instead of the normal light. Then, the light source unit 20 is controlled. And the 1st medical image (special light) is acquired by operating the still image acquisition part 13b and imaging the observation object illuminated with the special light. After acquiring the first medical image (special light), the feature amount of the first medical image (special light) is calculated as shown in the first and second embodiments. Then, the degree of similarity is calculated by comparing the feature quantity with the second medical image, and the degree of similarity with the first medical image (special light) from the second medical image satisfies a specific condition. Select a specific medical image. In addition, a recognition result of a specific medical image is also acquired.
  • the discrimination support image 90 displays a plurality of first medical images (normal light) and a plurality of specific medical images having high similarity to the first medical image (normal light).
  • the recognition result is displayed on each specific medical image.
  • the recognition result is displayed with the ratio of the types.
  • a plurality of specific medical images having high similarity to the first medical image (special light) and the first medical image (special light) are displayed in parallel with the first medical image (special light). Each shows the recognition result.
  • the first medical image (special light) obtained by the special light can confirm an observation target that cannot be confirmed by the first medical image (normal light) obtained by the normal light. Therefore, even a recognition result that cannot be obtained from the first medical image (normal light) can be obtained from the first medical image (special light). Therefore, by providing recognition results using not only ordinary light but also special light, it is possible to more reliably distinguish observation objects than when performing observation object differentiation using only normal light. Become. Regarding special light, not only one type but also plural types of light are emitted, and the recognition result of the recognition process is obtained from a plurality of first medical images (special light) obtained by emitting each type of special light. May be.
  • the second medical image to be compared with the first medical image a plurality of second medical images having different magnification rates with respect to the same observation target and the recognition results thereof. May be used. This is because the recognition result may differ depending on the magnification of the observation target. For example, in the case of non-magnification observation in which the observation object is observed at the first magnification, even if the type 1 recognition result is obtained, the observation object is selected at the second magnification larger than the first magnification. In the case of magnifying observation, a recognition result of type 2 different from type 1 may be obtained. Therefore, in this case, as shown in the discrimination support image 92 in FIG.
  • the magnification of the observation target can be changed by the zoom lens 36a provided in the magnification optical system 36, but can also be changed by adjusting the distance between the distal end portion 12d of the endoscope and the observation target. It is.
  • illumination of the observation target is performed using the four-color LEDs 20a to 20d.
  • illumination of the observation target is performed using a laser light source and a phosphor. Also good.
  • only the parts different from the first and second embodiments will be described, and the description of the parts substantially similar to the first embodiment will be omitted.
  • a blue laser light source (“445LD”) that emits blue laser light having a central wavelength of 445 ⁇ 10 nm instead of the four color LEDs 20a to 20d.
  • LD represents “Laser Diode”) 104
  • a blue-violet laser light source (denoted “405LD”) 106 that emits a blue-violet laser beam having a center wavelength of 405 ⁇ 10 nm is provided.
  • Light emission from the semiconductor light emitting elements of these light sources 104 and 106 is individually controlled by the light source control unit 108, and the light quantity ratio between the emitted light of the blue laser light source 104 and the emitted light of the blue-violet laser light source 106 is freely changeable. It has become.
  • the light source control unit 108 turns on the blue laser light source 104 in the normal mode or the discrimination support mode. In contrast, in the special mode, both the blue laser light source 104 and the blue-violet laser light source 106 are turned on, and the emission ratio of the blue laser light is controlled to be larger than the emission ratio of the blue-violet laser light. is doing.
  • the half-value width of the blue laser beam or the blue-violet laser beam is preferably about ⁇ 10 nm.
  • a broad area type InGaN laser diode can be used, and an InGaNAs laser diode or a GaNAs laser diode can also be used.
  • a light-emitting body such as a light-emitting diode may be used as the light source.
  • the illumination optical system 30a is provided with a phosphor 110 on which blue laser light or blue-violet laser light from the light guide 24 is incident.
  • the phosphor 110 is excited by blue laser light and emits fluorescence.
  • part of the blue laser light is transmitted without exciting the phosphor 110.
  • the blue-violet laser light is transmitted without exciting the phosphor 110.
  • the light emitted from the phosphor 110 illuminates the inside of the observation target through the illumination lens 32.
  • the blue laser light is mainly incident on the phosphor 110, the blue laser light and the fluorescence excited and emitted from the phosphor 110 by the blue laser light as shown in FIG.
  • the combined broadband light for the normal mode is illuminated as the normal light on the observation target.
  • a normal image composed of a Bc image signal, a Gc image signal, and an Rc image signal is obtained by imaging the observation object illuminated with the normal light by the imaging sensor 38.
  • a normal image is displayed on the monitor 18, and when the still image acquisition unit 13b is operated, a still image of the normal image is acquired as the first medical image as a still image. . Based on the first medical image, a discrimination support image is generated and displayed.
  • the phosphor 110 is generated by the blue-violet laser beam, the blue laser beam, and the blue laser beam as shown in FIG.
  • the broadband light for the special mode which combines the fluorescence emitted by the excitation light, is illuminated as the special light on the observation target.
  • a special image including a Bs image signal, a Gs image signal, and an Rs image signal is obtained.
  • the phosphor 110 absorbs a part of the blue laser light and emits a plurality of kinds of phosphors that emit green to yellow light (for example, YKG phosphor or phosphor such as BAM (BaMgAl 10 O 17 )). It is preferable to use what is comprised including. If a semiconductor light emitting element is used as an excitation light source for the phosphor 110 as in this configuration example, high intensity white light can be obtained with high luminous efficiency, and the intensity of white light can be easily adjusted, and the color of white light can be easily adjusted. Changes in temperature and chromaticity can be kept small.
  • the illumination target is illuminated using the four-color LEDs 20a to 20d.
  • the observation target is illuminated using a white light source such as a xenon lamp and a rotating filter. You may perform illumination of.
  • the observation target may be imaged by a monochrome imaging sensor. In the following, only portions different from the first and second embodiments will be described, and description of portions that are substantially the same as those of the first and second embodiments will be omitted.
  • a white light source unit 202 In the endoscope system 200 shown in FIG. 18, in the light source device 14, a white light source unit 202, a rotary filter 204, and a filter switching unit 206 are provided in place of the LEDs 20a to 20d of the endoscope system 10. ing.
  • the imaging optical system 30b is provided with a monochrome imaging sensor 208 without a color filter, instead of the color imaging sensor 38.
  • a diaphragm 203 is provided between the white light source unit 202 and the rotary filter 204, and the area of the opening of the diaphragm 203 is adjusted by the diaphragm control unit 205.
  • the white light source unit 202 is a xenon lamp, a white LED, or the like, and emits white light having a wavelength range from blue to red.
  • the rotary filter 204 includes an inner filter 210 provided inside closest to the rotation axis, an outer filter 212 provided outside the inner filter 210, and a discrimination support mode filter 214 (see FIG. 19). .
  • the filter switching unit 206 moves the rotary filter 204 in the radial direction. Specifically, the filter switching unit 206 inserts the inner filter 210 into the white light optical path when the mode switching unit 13c sets the normal mode or the discrimination support mode. The filter switching unit 206 inserts the outer filter 212 into the white light path when the special mode is set.
  • the inner filter 210 is provided with a Bb filter 210a, a G filter 210b, and an R filter 210c along the circumferential direction.
  • the Bb filter 210a transmits broadband blue light Bb having a wavelength range of 400 to 500 nm of white light.
  • the G filter 210b transmits green light G out of white light.
  • the R filter 210c transmits red light R out of white light. Accordingly, in the normal mode or the discrimination support mode, the rotation filter 204 is rotated, so that the blue light Bb, the green light G, and the red light R that are broadband are sequentially emitted as normal light toward the observation target.
  • the outer filter 212 is provided with a Bn filter 212a and a Gn filter 212b along the circumferential direction.
  • the Bn filter 212a transmits blue narrow band light Bn of 400 to 450 nm out of white light.
  • the Gn filter 212b transmits green narrowband light Gn of 530 to 570 nm out of white light. Therefore, in the special mode, when the rotary filter 204 rotates, blue narrow band light and green narrow band light are sequentially emitted toward the observation target as the special light.
  • the observation target is imaged by the monochrome imaging sensor 208 every time the observation target is illuminated with broadband blue light Bb, green light G, and red light R.
  • a Bc image signal is obtained when the broadband blue light Bb is illuminated
  • a Gc image signal is obtained when the green light G is illuminated
  • an Rc image signal is obtained when the red light R is illuminated.
  • These Bn image signal, Gc image signal and Rc image signal constitute a normal image.
  • a normal image is displayed, and when the still image acquisition unit 13b is operated, a still image of the normal image is acquired as the first medical image. Based on the first medical image, a discrimination support image is generated and displayed.
  • the observation target is imaged by the monochrome imaging sensor 208 every time the observation target is illuminated with the blue narrow band light Bn and the green narrow band light Gn.
  • a Bn image signal is obtained when the blue narrow-band light Bn is illuminated
  • a Gn image signal is obtained when the green narrow-band light Gn is irradiated.
  • the medical image processing apparatus of the present invention is applied to an endoscope system that acquires an endoscopic image as a medical image, but various endoscopes such as a capsule endoscope are used. Needless to say, it can be applied to endoscope systems.
  • Other medical images include X-ray images, CT images, MR images, ultrasound images, pathological images, and PET (Positron Emission Tomography) images.
  • the medical image processing apparatus of the present invention can be applied to various medical image apparatuses to be acquired.
  • the hardware structure of a processing unit (processing unit) that executes various types of processing such as the image processing unit 56 is various types of processors as described below.
  • the circuit configuration is changed after the manufacture of CPU (Central Processing Unit) and FPGA (Field Programmable Gate Array), which are general-purpose processors that function as various processing units by executing software (programs).
  • a programmable logic device Programmable Logic Device: PLD
  • PLD Programmable Logic Device
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or CPUs and FPGAs). May be. Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or server, one processor is configured with a combination of one or more CPUs and software, There is a form in which this processor functions as a plurality of processing units.
  • SoC system-on-chip
  • a form of using a processor that realizes the functions of the entire system including a plurality of processing units with a single IC (integrated circuit) chip. is there.
  • various processing units are configured using one or more of the various processors as a hardware structure.
  • the hardware structure of these various processors is more specifically an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

AI（Artificial Intelligence）などの認識処理によって、病変部などの診断を行う場合において、認識処理で得られた認識結果に対する信頼性を高めることができる医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法を提供する。　第１の医用画像（８０）と、第１の医用画像（８０）に対して比較対象となる第２の医用画像とを比較を行う。第２の医用画像のうち、比較の結果に従って選択される特定の医用画像（８２）を取得する。モニタは、特定の医用画像（８２）に対して施される処理であって観察対象を認識するための認識処理から得られる認識結果（８４）を複数表示する。

Description

医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
　本発明は、病変部の進行度の鑑別など観察対象の鑑別を支援するための医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法に関する。
　医療分野においては、内視鏡画像、X線画像、CT（Computed Tomography）画像、MR（Magnetic Resonanse）画像を用いて、患者の病状の診断や経過観察などの画像診断が行われている。このような画像診断に基づいて、医師などは治療方針の決定などを行っている。しかしながら、医師などの画像診断を行う者の経験が浅い場合や、経験があっても、診断の対象となる画像が珍しい症例であり、得意分野以外のものである場合には、医師が画像診断を確実に行うことが難しい場合がある。
　このような状況において、医師などの経験不足等を補うため、診断時に取得した診断時取得画像に合わせて、過去の症例の画像を用いることが行われている。例えば、特許文献１及び特許文献２では、データベースに蓄積した過去症例画像の中から、画像的特徴量の類似度の高い過去症例画像を検索して、それら検索した過去症例画像を表示装置に表示している。
特開２００１－３２５２９４号公報 特開２００４－５３６４号公報
　近年においては、AI（Artificial Intelligence）などの観察対象を機械的に認識するための認識処理によって、観察対象を自動的に診断することが行われつつある。このような認識処理を用いることで、医師の経験不足を補うことができるとともに、主観的な判断を排して、客観的な診断結果を得ることができる。しかしながら、診断に使用する認識処理が、医療現場において一般的でなく、十分な信頼性を獲得していない場合には、認識処理で得られる認識結果が重要視されないことがあると考えられる。したがって、認識処理によって病変部などの診断を行う場合において、認識処理に対する信頼性を高めることが求められていた。
　なお、特許文献１及び２においては、過去症例画像とともに診断結果を提示することが記載されているが、診断結果は、医師による主観的な判断に基づいて得られた結果であり、医師によってバラツキがあるものと考えられる。このような医師による診断結果のバラツキを無くすためにも、認識処理で得られる認識結果を用いて、より客観的な診断を行うことが求められていた。
　本発明は、AI（Artificial Intelligence）などの認識処理によって、病変部などの診断を行う場合において、認識処理で得られた認識結果に対する信頼性を高めることができる医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法を提供することを目的とする。
　本発明の医療用画像処理装置は、医用画像取得部と、医用画像選択部と、表示制御部とを備える。医用画像取得部は、観察対象を撮像部で撮像して得られる第１の医用画像を取得する。医用画像選択部は、第１の医用画像と、第１の医用画像に対して比較対象となる第２の医用画像との比較を行い、第２の医用画像のうち、比較の結果に従って選択される特定の医用画像を取得する。表示制御部は、特定の医用画像に対して施される処理であって観察対象を認識するための認識処理から得られる認識結果を表示部に複数表示する。
　医用画像選択部は、第１の医用画像の特徴量と第２の医用画像の特徴量を比較し、特徴量の類似度に従って、特定の医用画像の選択を行うことが好ましい。特徴量は、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報のうち、少なくともいずれか、もしくは、２以上組み合わせた値であることが好ましい。
　認識結果は複数種類あり、表示制御部は、種類毎の認識結果の比率を表示部に表示することが好ましい。認識結果は複数種類あり、表示制御部は、認識結果の数を種類毎に表示部に表示することが好ましい。表示制御部は、第２の医用画像に関連付けて記録された結果であってユーザーが観察対象を判断したユーザー認識結果も合わせて表示部に表示することが好ましい。認識結果は、第２の医用画像に関連付けて記録された結果であって、他の医療用画像処理装置で認識処理を行って得られた認識結果を含むことが好ましい。認識結果は、少なくとも観察対象が病変部であることと、観察対象が正常部であることを含むことが好ましい。認識結果は、少なくとも病変の種類を含むことが好ましい。
　第２の医用画像は医用画像蓄積部に予め登録されていることが好ましい。第２の医用画像は、撮像部によって、第１の医用画像よりも前のタイミングで撮像して得られることが好ましい。第２の医用画像は、撮像部によって、第１の医用画像よりも後のタイミングで撮像して得られることが好ましい。
　第２の医用画像は、特殊光で照明された観察対象を撮像して得られることが好ましい。特殊光は４５０ｎｍ以下の波長域を有することが好ましい。第２の医用画像は、同一の観察対象であって観察対象の拡大率がそれぞれ異なる複数の画像を含むことが好ましい。
　本発明の内視鏡システムは、光源装置と、内視鏡と、医用画像取得部と、医用画像選択部と、表示部とを備える。光源装置は、観察対象を照明するための照明光を発生する。内視鏡は、照明光で照明された観察対象を撮像する撮像部を有する。医用画像取得部は、撮像部で観察対象を撮像して得られる第１の医用画像を取得する。医用画像選択部は、第１の医用画像と、第１の医用画像に対して比較対象となる第２の医用画像との比較を行い、第２の医用画像のうち、比較の結果に従って選択される特定の医用画像を取得する。表示部は、特定の医用画像に対して施される処理であって観察対象を認識するための認識処理から得られる認識結果を複数表示する。
　本発明の医療用画像処理装置の作動方法は、医用画像取得ステップと、医用画像選択ステップと、表示ステップとを有する。医用画像取得ステップでは、医用画像取得部が、観察対象を撮像部で撮像して第１の医用画像を取得する。医用画像選択ステップでは、医用画像選択部が、第１の医用画像と、第１の医用画像に対して比較対象となる第２の医用画像との比較を行い、第２の医用画像のうち、比較の結果に従って選択される特定の医用画像を取得する。表示ステップでは、表示制御部が、特定の医用画像に対して施される処理であって観察対象を認識するための認識処理から得られる認識結果を表示部に複数表示する。
　本発明によれば、AI（Artificial Intelligence）などの認識処理を使用して、病変部などの診断を行う場合において、認識処理で得られた認識結果に対する信頼性を高めることができる。
内視鏡システムの外観図である。 複数のLED光源を備える第１実施形態の内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、青色光Ｂｘ、緑色光Ｇ、赤色光Ｒの分光スペクトルを示すグラフである。 第１実施形態の通常光の分光スペクトルを示すグラフである。 第１実施形態の特殊光の分光スペクトルを示すグラフである。 医用画像蓄積部を備える鑑別支援モード用処理部の機能を示すブロック図である。 鑑別支援モード用照明光として通常光のみを用いる場合における鑑別支援画像を示す画像図である。 鑑別支援モード用照明光が通常光のみである場合における鑑別支援モードの一連の流れを示すフローチャートである。 第２の医用画像の取得タイミングが第１の医用画像の取得タイミングより前であることを示す説明図である。 第２の医用画像記憶部を備える鑑別支援モード用処理部の機能を示すブロック図である。 第２の医用画像の取得タイミングが第１の医用画像の取得タイミングより後であることを示す説明図である。 鑑別支援モード用照明光が通常光と特殊光である場合における鑑別支援モードの一連の流れを示すフローチャートである。 鑑別支援モード用照明光として通常光と特殊光を用いる場合における鑑別支援画像を示す画像図である。 非拡大観察時の特定の医用画像及びその認識結果と拡大観察時の特定の医用画像及びその認識結果を含む鑑別支援画像を示す画像図である。 レーザ光源と蛍光体を用いて観察対象の照明を行う内視鏡システムの機能を示すブロック図である。 レーザ光源と蛍光体を用いて観察対象の照明を行う内視鏡システムにおける通常光の分光スペクトルを示すグラフである。 レーザ光源と蛍光体を用いて観察対象の照明を行う内視鏡システムにおける特殊光の分光スペクトルを示すグラフである。 白色光光源部と回転フィルタを用いて観察対象の照明を行う内視鏡システムの機能を示すブロック図である。 回転フィルタの平面図である。
　［第１実施形態］
　図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８（表示部）と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１３ａを操作することにより、湾曲部１２ｃが湾曲動作する。この湾曲動作によって、先端部１２ｄが所望の方向に向けられる。
　また、操作部１２ｂには、アングルノブ１３ａの他、静止画像の取得操作に用いる静止画像取得部１３ｂ、観察モードの切り替え操作に用いるモード切替部１３ｃ、ズーム倍率の変更操作に用いるズーム操作部１３ｄを設けている。静止画像取得部１３ｂは、モニタ１８に観察対象の静止画像を表示するフリーズ操作と、ストレージに静止画像を保存するレリーズ操作が可能である。
　内視鏡システム１０は、観察モードとして、通常モードと、特殊モードと、鑑別支援モードとを有している。観察モードが通常モードである場合、複数色の光を通常モード用の光量比Ｌｃで合波した通常光を発光するとともに、この通常光で照明中の観察対象を撮像して得られた画像信号に基づき、通常画像をモニタ１８に表示する。また、観察モードが特殊モードである場合、複数色の光を特殊モード用の光量比Ｌｓで合波した特殊光を発光するとともに、この特殊光で照明中の観察対象を撮像して得られた画像信号に基づき、特殊画像をモニタ１８に表示する。
　また、観察モードが鑑別支援モードである場合、鑑別支援モード用照明光を発光する。本実施形態では、鑑別支援モード用照明光として、通常光を発光するが、特殊光を発光するようにしてもよい。この鑑別支援モード用照明光で照明中の観察対象を撮像して得られる画像から、観察対象の鑑別を支援するための鑑別支援画像を生成して、モニタ１８に表示する。
　プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続する。モニタ１８は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール１９は、関心領域（ROI : Region Of Interest）の指定等や機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。
　図２に示すように、光源装置１４は、観察対象の照明に用いる照明光を発する光源部２０と、光源部２０を制御する光源制御部２２とを備えている。光源部２０は、複数色のＬＥＤ（Light Emitting Diode）等の半導体光源である。光源制御部２２は、ＬＥＤ等のオン／オフや、ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。また、光源制御部２２は、光学フィルタの変更等によって、照明光の波長帯域を制御する。
　第１実施形態では、光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤと、波長カットフィルタ２３とを有している。図３に示すように、Ｖ－ＬＥＤ２０ａは、波長帯域３８０ｎｍ～４２０ｎｍの紫色光Ｖを発する。
　Ｂ－ＬＥＤ２０ｂは、波長帯域４２０ｎｍ～５００ｎｍの青色光Ｂを発する。Ｂ－ＬＥＤ２３ｂから出射した青色光Ｂのうち少なくともピーク波長の４５０ｎｍよりも長波長側は、波長カットフィルタ２３によりカットされる。これにより、波長カットフィルタ２３を透過した後の青色光Bxは、４２０～４６０nmの波長範囲になる。このように、４６０ｎｍよりも長波長側の波長域の光をカットしているのは、この４６０ｎｍよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ２３は、４６０ｎｍよりも長波長側の波長域の光をカットする代わりに、４６０ｎｍよりも長波長側の波長域の光を減光させてもよい。
　Ｇ－ＬＥＤ２０ｃは、波長帯域が４８０ｎｍ～６００ｎｍに及ぶ緑色光Ｇを発する。Ｒ－ＬＥＤ２０ｄは、波長帯域が６００ｎｍ～６５０ｎｍに及び赤色光Ｒを発する。なお、各ＬＥＤ２０ａ～２０ｄから発せられる光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。
　光源制御部２２は、各ＬＥＤ２０ａ～２０ｄの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。光源制御部２２における点灯及び消灯の制御は、観察モードごとに異なっている。なお、基準の明るさは光源装置１４の明るさ設定部又はコンソール１９等によって設定可能である。
　通常モード又は鑑別支援モードの場合、光源制御部２２は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを全て点灯させる。その際、図４に示すように、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比Lｃは、青色光Bxの光強度のピークが、紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒのいずれの光強度のピークよりも大きくなるように、設定されている。これにより、通常モード又は鑑別支援モードでは、光源装置１４から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む通常モード用又は鑑別支援モード用の多色光が、通常光として、が発せられる。通常光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。
　特殊モードの場合、光源制御部２２は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを全て点灯させる。その際、図５に示すように、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比Lｓは、紫色光Vの光強度のピークが、青色光Bx、緑色光Ｇ、及び赤色光Ｒのいずれの光強度のピークよりも大きくなるように、設定されている。また、緑色光G及び赤色光Rの光強度のピークは、紫色光V及び青色光Bｘの光強度のピークよりも小さくなるように、設定されている。これにより、特殊モードでは、光源装置１４から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む特殊モード用の多色光が、特殊光として発せられる。特殊光は、紫色光Ｖが占める割合が大きいことから、青みを帯びた光となっている。なお、特殊光は、４色全ての光が含まれていなくてもよく、４色のＬＥＤ２０ａ～２０ｄのうち少なくとも１色のＬＥＤからの光が含まれていればよい。また、特殊光は、４５０ｎｍ以下に主な波長域、例えばピーク波長又は中心波長を有することが好ましい。
　図２に示すように、光源部２０が発した照明光は、ミラーやレンズ等で形成される光路結合部（図示しない）を介して、挿入部１２ａ内に挿通したライトガイド２４に入射する。ライトガイド２４は、内視鏡１２及びユニバーサルコードに内蔵され、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド２４としては、マルチモードファイバを使用することができる。一例として、ライトガイド２４には、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３ｍｍ～φ０．５ｍｍの細径なファイバケーブルを使用することができる。
　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂとを設けている。照明光学系３０ａは、照明レンズ３２を有している。この照明レンズ３２を介して、ライトガイド２４を伝搬した照明光によって観察対象を照明する。撮像光学系３０ｂは、対物レンズ３４と、拡大光学系３６と、撮像センサ３８（本発明の「撮像部」に対応する）とを有している。これら対物レンズ３４及び拡大光学系３６を介して、観察対象からの反射光、散乱光、及び蛍光等の各種の光が撮像センサ３８に入射する。これにより、撮像センサ３８に観察対象の像が結像する。
　拡大光学系３６は、観察対象を拡大するズームレンズ３６ａと、ズームレンズ３６ａを光軸方向ＣＬに移動させるレンズ駆動部３６ｂとを備えている。ズームレンズ３６ａは、レンズ駆動部３６ｂによるズーム制御に従って、テレ端とワイド端の間で自在に移動させることで、撮像センサ３８に結像する観察対象を拡大又は縮小させる。
　撮像センサ３８は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ３８の各画素には、Ｒ（赤色）カラーフィルタ、Ｇ（緑色）カラーフィルタ、Ｂ（青色）カラーフィルタのいずれかが設けられている。撮像センサ３８は、Ｂカラーフィルタが設けられているＢ画素で紫色から青色の光を受光し、Ｇカラーフィルタが設けられているＧ画素で緑色の光を受光し、Ｒカラーフィルタが設けられているＲ画素で赤色の光を受光する。そして、各色の画素から、ＲＧＢ各色の画像信号を出力する。撮像センサ３８は、出力した画像信号を、ＣＤＳ回路４０に送信する。
　通常モード又は鑑別支援モードにおいては、撮像センサ３８は、通常光が照明された観察対象を撮像することにより、B画素からBｃ画像信号を出力し、G画素からGc画像信号を出力し、R画素からRｃ画像信号を出力する。また、特殊モードにおいては、撮像センサ３８は、特殊光が照明された観察対象を撮像することにより、B画素からBｓ画像信号を出力し、G画素からGｓ画像信号を出力し、R画素からRｓ画像信号を出力する。
　撮像センサ３８としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサ等を利用可能である。また、ＲＧＢの原色のカラーフィルタを設けた撮像センサ３８の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号を出力する。このため、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ３８と同様のＲＧＢ各色の画像信号を得ることができる。また、撮像センサ３８の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
　ＣＤＳ回路４０は、撮像センサ３８から受信したアナログの画像信号に、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）を行う。ＣＤＳ回路４０を経た画像信号はＡＧＣ回路４２に入力される。ＡＧＣ回路４０は、入力された画像信号に対して、自動利得制御（ＡＧＣ：Automatic Gain Control）を行う。Ａ／Ｄ（Analog to Digital）変換回路４４は、ＡＧＣ回路４２を経たアナログ画像信号を、デジタルの画像信号に変換する。Ａ／Ｄ変換回路４４は、Ａ／Ｄ変換後のデジタル画像信号を、プロセッサ装置１６に入力する。
　図２に示すように、プロセッサ装置１６は、画像信号取得部５０（本発明の「医用画像取得部」に対応する）と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５４と、画像処理部５６と、表示制御部５８とを備えている。
　画像信号取得部５０は、内視鏡１２から、観察モードに対応したデジタル画像信号を取得する。通常モード又は鑑別支援モードの場合には、Ｂｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号を取得する。特殊モードの場合には、Ｂｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号を取得する。鑑別支援モードの場合には、通常光の照明時に１フレーム分のＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号を取得し、特殊光の照明時に１フレーム分のＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号を取得する。
　ＤＳＰ５２は、画像信号取得部５０が取得した画像信号に対して、欠陥補正処理、オフセット処理、ＤＳＰ用ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、撮像センサ３８の欠陥画素の信号を補正する。オフセット処理は、欠陥補正処理した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ＤＳＰ用ゲイン補正処理は、オフセット処理した画像信号に特定のＤＳＰ用ゲインを乗じることにより信号レベルを整える。
　リニアマトリクス処理は、ＤＳＰ用ゲイン補正処理した画像信号の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像信号の明るさや彩度を整える。ガンマ変換処理した画像信号には、デモザイク処理（等方化処理、又は同時化処理とも言う）を施すことによって、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ノイズ低減部５４は、ＤＳＰ５２でデモザイク処理等を施した画像信号に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズ低減後の画像信号は画像処理部５６に入力される。
　画像処理部５６は、通常モード用処理部６０と、特殊モード用処理部６２と、鑑別支援モード用処理部６４を備えている。通常モード用処理部６０は、通常モードに設定されている場合に作動し、受信したＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理では、ＲＧＢ画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（Look Up Table）処理などにより色変換処理を行う。
　色彩強調処理は、色変換処理済みのＲＧＢ画像信号に対して行われる。構造強調処理は、観察対象の構造を強調する処理であり、色彩強調処理後のＲＧＢ画像信号に対して行われる。上記のような各種画像処理等を行うことによって、通常画像が得られる。通常画像は、紫色光V、青色光Bｘ、緑色光G、赤色光Rがバランス良く発せられた通常光に基づいて得られた画像であるため、自然な色合いの画像となっている。通常画像は、表示制御部５８に入力される。
　特殊モード用処理部６２は、特殊モードに設定されている場合に作動する。特殊モード用処理部６２では、受信したＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理、色彩強調処理、及び構造強調処理の処理内容は、通常モード用処理部６０と同様である。上記のような各種画像処理を行うことによって、特殊画像が得られる。特殊画像は、血管のヘモグロビンの吸収係数が高い紫色光Vが、他の色の青色光Bx、緑色光G、赤色光Rよりも大きい発光量となっている特殊光に基づいて得られた画像であるため、血管構造や腺管構造の解像度が他の構造よりも高くなっている。特殊画像は表示制御部５８に入力される。
　鑑別支援モード用処理部６４は、鑑別支援モードに設定されている場合に作動する。鑑別支援モード用処理部６４では、受信したＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、色変換処理など通常モード用処理部６０と同様の画像処理を行う。そして、静止画像取得部１３ｂが操作されたときに得られる観察対象の静止画像を、観察対象の鑑別に用いる第１の医用画像として取得する。この第１の医用画像は、比較対象となる第２の医用画像とを比較し、その比較の結果に基づいて、観察対象の鑑別を支援するための鑑別支援画像を生成する。なお、鑑別支援モード用処理部６４の詳細については、後述する。
　表示制御部５８は、画像処理部５６からの画像やデータをモニタ１８に表示するための表示制御を行う。通常モードに設定されている場合には、表示制御部５８は、通常画像をモニタ１８に表示する制御を行う。特殊モードに設定されている場合には、表示制御部５８は、特殊画像をモニタ１８に表示する制御を行う。鑑別支援モードに設定されている場合には、表示制御部５８は、鑑別支援画像をモニタ１８に表示する制御を行う。
　図６に示すように、鑑別支援モード用処理部６４は、特徴量算出部７０と、医用画像選択部７２と、医用画像蓄積部７４と、鑑別支援画像生成部７６とを備えている。特徴量算出部７０は、第１の医用画像から画像的な特徴量を算出する。特徴量の算出方法としては、Convolutional Neural Networkなどによって取得することが好ましい。また、特徴量としては、観察対象における所定部位の形状、色又はそれら形状や色などから得られる指標値であることが好ましい。例えば、特徴量として、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報の少なくともいずれか、もしくは、それらを２以上組み合わせた値であることが好ましい。
　医用画像選択部７２は、第１の医用画像と、医用画像蓄積部７４に蓄積された第２の医用画像とを比較する比較処理を行うとともに、第２の医用画像の中から、比較結果に従って、特定の医用画像を選択する画像選択処理を行う。なお、医用画像蓄積部７４においては、第２の医用画像と、この第２の医用画像の画像的な特徴量とが関連付けて記憶されている。ただし、第２の医用画像の特徴量については、医用画像蓄積部７４での容量を抑えるため、第２の医用画像と関連付けて記憶する代わりに、第１の医用画像と比較する毎に、算出するようにしてもよい。また、医用画像蓄積部７４においては、第２の医用画像は、この第２の医用画像に対して施される処理であって観察対象を機械的に認識するための認識処理から得られる認識結果と関連付けて記憶されている。この医用画像蓄積部７４では、第２の医用画像と、ユーザーが観察対象を主観的に判断したユーザー認識結果も関連付けて記憶させてもよい。この認識結果についても、特徴量と同様、第２の医用画像と関連付けて記憶する代わりに、第１の医用画像と比較する毎に、算出するようにしてもよい。認識処理としては、ＡＩ（Artificial Intelligence）などの機械学習処理であることが好ましい。
　医用画像選択部７２において、比較処理では、第１の医用画像の特徴量と第２の医用画像の特徴量とを比較して、第１の医用画像と第２の医用画像との類似度を算出する。画像選択処理では、特徴量の類似度が特定の条件を満たす第２の医用画像を、特定の医用画像として、選択する。具体的には、第２の医用画像のうち、第１の医用画像との特徴量の類似度が一定以上の第２の医用画像を、特定の医用画像として選択する。
　鑑別支援画像生成部７６は、図７に示すように、第１の医用画像８０とともに、特定の医用画像８２と、この特定の医用画像８２に関連付けられた認識処理の認識結果８４を複数表示した鑑別支援画像８６を生成する。この鑑別支援画像８６では、第１の医用画像の右隣に、複数の特定の医用画像８２及びその認識結果８４とが表示されている。また、特定の医用画像８２には、それぞれ第１の医用画像の特徴量との類似度も合わせて表示されており、類似度の高い特定の医用画像が、鑑別支援画像８６の上側に表示されるようになっている。なお、鑑別支援画像８６においては、認識処理の認識結果の他に、ユーザー認識結果も合わせて表示するようにしてもよい。
　認識処理の認識結果は複数種類あることが好ましい。例えば、認識結果として、観察対象が病変部又は正常部であること、又は、病変部の種類、タイプ（type）、進行度、スコアを含むことが好ましい。図７に示す鑑別支援画像８６においては、病変部の種類を、病変部のタイプ（type）としている。また、認識結果は、内視鏡システム１０と異なる別の施設に設けられた他の医療用画像処理装置において、内視鏡システム１０での認識処理と同じ又は異なる認識処理を行って得られた認識結果であってもよい。
　第１の医用画像と類似度が高い第２の医用画像の認識結果を複数提示することで、第１の医用画像で表示される観察対象の鑑別を確実に行うことができる。これは、第１の医用画像に対して認識処理を行って得られる認識結果を単独で提示するよりも、過去の類似症例で得られた第２の医用画像の認識結果を複数提示したほうが、より確実に鑑別を行うことができるためである。
　また、鑑別支援画像８６においては、認識結果の種類の比率として、病変部のタイプの比率８８（Type2:Type3＝１：２）も合わせて表示されている。このように第２の医用画像に対する認識結果の種類の比率を提示することで、第１の医用画像で表示される観察対象の鑑別を行い易くなる。なお、鑑別支援画像８６では、認識結果の種類の比率の他、認識結果の数を種類毎に表示することが好ましい。
　次に、鑑別支援モードの一連の流れについて、図８に示すフローチャートに沿って説明を行う。モード切替部１３ｃを操作して、鑑別支援モードに切り替える。これにより、観察対象に対して、鑑別支援モード用照明光が照明される。この鑑別支援モード用照明光で照明された観察対象を撮像センサ３８で撮像し、観察対象の動画像をモニタ１８上に表示する。そして、鑑別対象となる観察対象を検出した場合に、静止画像取得部１３ｂを操作して、観察対象の静止画像として、第１の医用画像を取得する。そして、第１の医用画像から画像的な特徴量を算出する。
　次に、医用画像蓄積部７４に蓄積されている第２の医用画像の特徴量と、第１の医用画像の特徴量とを比較して、第１の医用画像と第２の医用画像の類似度を算出する。類似度が高い一定以上の第２の医用画像を特定の医用画像として選択する。そして、第１の医用画像とともに、特定の医用画像とその認識結果を複数表示した鑑別支援画像を生成する。生成された鑑別支援画像はモニタ１８に表示される。この鑑別支援画像では、複数の特定の医用画像についてそれぞれ認識結果が表示されるとともに、認識結果の種類の比率や数も合わせて表示されるため、観察対象の鑑別を確実に行うことができる。
　［第２実施形態］
　第１実施形態では、第１の医用画像と比較する画像として、医用画像蓄積部に蓄積した過去の第２の医用画像を用いているが、第２実施形態では、第１の医用画像を取得する場合と同じ内視鏡診断であって、第１の医用画像とは別のタイミングで取得した画像を、第２の医用画像として用いる。具体的には、図９に示すように、第１の医用画像を取得したタイミングよりも前に取得した画像を、第２の医用画像として用いる。第２の医用画像としては、鑑別支援モード以外のモードにおいて、静止画像取得部１３ｂを操作して得られた観察対象の静止画像であること、もしくは、第２の医用画像取得モードにおいて、静止画像取得部１３ｂを操作して得られた観察対象の静止画像であることが好ましい。なお、第２の医用画像取得モードは、鑑別支援画像の生成を行わず、第２の医用画像を取得すること以外は、通常モード又は特殊モードと同様である。
　この場合には、図１０に示すように、第２の医用画像を取得する毎に、第２の医用画像記憶部８１に記憶しておく。そして、鑑別支援モードに切り替えられ、静止画像取得部１３ｂが操作されて、第１の医用画像を取得した時に、第２の医用画像記憶部８１に記憶された第２の医用画像と第１の医用画像について特徴量の比較を行い、類似度を算出する。そして、第２の医用画像のうち、特徴量の類似度が特定の条件を満たす特定の医用画像に対して、認識処理部８３で認識処理を行って、認識結果を得る。認識結果が得られたら、第１の医用画像とともに、特定の医用画像とその認識結果を複数表示する鑑別支援画像をモニタ１８に表示する。
　また、図１０に示すように、第１の医用画像を取得する場合と同じ内視鏡診断であって、第１の医用画像を取得したタイミングよりも後に取得した画像を、第２の医用画像として用いてもよい。この場合には、鑑別支援モードにおいて、静止画像取得部１３ｂを操作して、第１の医用画像を取得したタイミングでは、第２の医用画像が存在しないため、鑑別支援画像生成、表示を行うことを一時待機させる。第１の医用画像の取得後、静止画像取得部１３ｂを操作して、第２の医用画像を取得した時に、この取得した第２の医用画像と第１の医用画像との比較を行う。この比較に基づいて、鑑別支援画像を生成し、モニタ１８に表示を行う。なお、鑑別支援モードにおいて取得した画像のいずれを第１の医用画像又は第２の医用画像とするかは、コンソール１９で設定するようにしてもよい。
　なお、上記第１及び第２実施形態では、鑑別支援モード用照明光として、通常光を用いているが、これに加えて、特殊光も用いるようにしてもよい。この場合には、図１２に示すように、鑑別支援モードにおいて、静止画像取得部１３ｂが操作されたときに、まず、通常光で照明された観察対象を撮像して、第１の医用画像（通常光）を取得する。第１の医用画像（通常光）を取得した後は、第１及び第２実施形態で示したように、第１の医用画像（通常光）の特徴量の算出を行う。そして、第２の医用画像と特徴量の比較を行って類似度を算出するとともに、第２の医用画像の中から、第１の医用画像（通常光）との類似度が特定の条件を満たす特定の医用画像の選択を行う。また、特定の医用画像の認識結果も合わせて取得する。
　次に、第１の医用画像（通常光）に基づく特定の医用画像の選択及び認識結果の取得が完了したら、光源制御部２２は、通常光に代えて、特殊光を観察対象に照明するように、光源部２０を制御する。そして、静止画像取得部１３ｂを操作して、特殊光が照明された観察対象を撮像することにより、第１の医用画像（特殊光）を取得する。第１の医用画像（特殊光）を取得した後は、第１及び第２実施形態で示したように、第１の医用画像（特殊光）の特徴量の算出を行う。そして、第２の医用画像と特徴量の比較を行って類似度を算出するとともに、第２の医用画像の中から、第１の医用画像（特殊光）との類似度が特定の条件を満たす特定の医用画像の選択を行う。また、特定の医用画像の認識結果も合わせて取得する。
　そして、次に、第１の医用画像（特殊光）に基づく特定の医用画像の選択及び認識結果の取得が完了したら、第１の医用画像（通常光）に表れる観察対象及び第２の医用画像（特殊光）に表れる観察対象の鑑別を支援するための鑑別支援画像を生成する。この鑑別支援画像９０は、図１３に示すように、第１の医用画像（通常光）と、その第１の医用画像（通常光）と類似度の高い特定の医用画像が複数表示されるとともに、特定の医用画像にはそれぞれ認識結果が表示されている。また、認識結果については、種類の比率が合わせて表示されている。また、それらに並列して、第１の医用画像（特殊光）と、その第１の医用画像（特殊光）と類似度の高い特定の医用画像が複数表示されるとともに、特定の医用画像にはそれぞれ認識結果が表示されている。
　ここで、特殊光により得られた第１の医用画像（特殊光）は、通常光により得られた第１の医用画像（通常光）では確認することができない観察対象を確認することができる。そのため、第１の医用画像（通常光）からは得ることができなかった認識結果であっても、第１の医用画像（特殊光）から得ることができるようになる。したがって、通常光だけでなく特殊光も用いて認識結果の提供を行うことで、通常光のみで観察対象の鑑別を行う場合に比べて、観察対象の鑑別をより確実に行うことができるようになる。なお、特殊光については、１種類だけでなく、複数種類発光し、各種類の特殊光を発光して得られる複数の第１の医用画像（特殊光）から認識処理の認識結果を得るようにしてもよい。
　なお、上記第１及び第２実施形態においては、第１の医用画像と比較する第２の医用画像として、同一の観察対象に対して、拡大率が異なる複数の第２医用画像とその認識結果を用いるようにしてもよい。これは、観察対象の拡大率によって、認識結果が異なることがあるためである。例えば、第１の拡大率で観察対象を観察する非拡大観察の場合に、type1の認識結果が得られる場合であっても、第１の拡大率よりも大きい第２の拡大率で観察対象を観察する拡大観察の場合に、type1と異なるtype2の認識結果が得られる場合がある。したがって、この場合には、図１４の鑑別支援画像９２に示すように、第１の医用画像と類似度の高い特定の医用画像として、非拡大観察の場合に得られる特定の医用画像及びその認識結果だけでなく、拡大観察の場合に得られる特定の医用画像及びその認識結果を表示する。これにより、観察対象の鑑別を確実に行うことができるようになる。なお、観察対象の拡大率は、拡大光学系３６に設けられたズームレンズ３６ａによって変更が可能であるが、内視鏡の先端部１２ｄと観察対象との距離を調整することによっても変更が可能である。
　上記第１及び第２実施形態では、４色のＬＥＤ２０ａ～２０ｄを用いて観察対象の照明を行っているが、下記に示すように、レーザ光源と蛍光体を用いて観察対象の照明を行ってもよい。以下においては、第１及び第２実施形態と異なる部分のみ説明を行い、第１実施形態と略同様の部分については、説明を省略する。
　図１５に示すように、内視鏡システム１００では、光源装置１４の光源部２０において、４色のＬＥＤ２０ａ～２０ｄの代わりに、中心波長４４５±１０ｎｍの青色レーザ光を発する青色レーザ光源（「４４５ＬＤ」と表記。ＬＤは「Laser Diode」を表す）１０４と、中心波長４０５±１０ｎｍの青紫色レーザ光を発する青紫色レーザ光源（「４０５ＬＤ」と表記）１０６とが設けられている。これら各光源１０４、１０６の半導体発光素子からの発光は、光源制御部１０８により個別に制御されており、青色レーザ光源１０４の出射光と、青紫色レーザ光源１０６の出射光の光量比は変更自在になっている。
　光源制御部１０８は、通常モード又は鑑別支援モードの場合には、青色レーザ光源１０４を点灯させる。これに対して、特殊モードの場合には、青色レーザ光源１０４と青紫色レーザ光源１０６の両方を点灯させるとともに、青色レーザ光の発光比率を青紫色レーザ光の発光比率よりも大きくなるように制御している。
　なお、青色レーザ光又は青紫色レーザ光の半値幅は±１０nm程度にすることが好ましい。また、青色レーザ光源１０４及び青紫色レーザ光源１０６は、ブロードエリア型のＩｎＧａＮ系レーザダイオードが利用でき、また、ＩｎＧａＮＡｓ系レーザダイオードやＧａＮＡｓ系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
　照明光学系３０aには、照明レンズ３２の他に、ライトガイド２４からの青色レーザ光又は青紫色レーザ光が入射する蛍光体１１０が設けられている。蛍光体１１０は、青色レーザ光によって励起され、蛍光を発する。また、青色レーザ光の一部は、蛍光体１１０を励起させることなく透過する。青紫色レーザ光は、蛍光体１１０を励起させることなく透過する。蛍光体１１０を出射した光は、照明レンズ３２を介して、観察対象の体内を照明する。
　ここで、通常モード又は鑑別支援モードにおいては、主として青色レーザ光が蛍光体１１０に入射するため、図１６に示すような、青色レーザ光、及び青色レーザ光により蛍光体１１０から励起発光する蛍光を合波した通常モード用の広帯域光が、通常光として、観察対象に照明される。この通常光で照明された観察対象を撮像センサ３８で撮像することによって、Ｂｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号からなる通常画像が得られる。また、鑑別支援モードの場合には、通常画像をモニタ１８に表示するとともに、静止画像取得部１３ｂが操作されたときに、通常画像の静止画を、第１の医用画像を静止画像として取得する。この第１の医用画像に基づいて、鑑別支援画像の生成及び表示が行われる。
　一方、特殊モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体１１０に入射するため、図１７に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体１１０から励起発光する蛍光を合波した特殊モード用の広帯域光が、特殊光として、観察対象に照明される。この特殊光で照明された観察対象を撮像センサ３８で撮像することによって、Ｂｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号からなる特殊画像が得られる。
　なお、蛍光体１１０は、青色レーザ光の一部を吸収して、緑色～黄色に励起発光する複数種の蛍光体（例えばＹＫＧ系蛍光体、或いはＢＡＭ（ＢａＭｇＡｌ10Ｏ17）などの蛍光体）を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体１１０の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
　上記第１及び第２実施形態では、４色のＬＥＤ２０ａ～２０ｄを用いて観察対象の照明を行っているが、下記に示すように、キセノンランプ等の白色光光源と回転フィルタを用いて観察対象の照明を行ってもよい。また、カラーの撮像センサ３８に代えて、モノクロの撮像センサで観察対象の撮像を行っても良い。以下においては、第１及び第２実施形態と異なる部分のみ説明を行い、第１及び第２実施形態と略同様の部分については、説明を省略する。
　図１８に示す内視鏡システム２００では、光源装置１４において、内視鏡システム１０の各ＬＥＤ２０ａ～２０ｄに代えて、白色光光源部２０２と、回転フィルタ２０４と、フィルタ切替部２０６とが設けられている。また、撮像光学系３０ｂには、カラーの撮像センサ３８の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ２０８が設けられている。また、白色光光源部２０２と回転フィルタ２０４との間には絞り２０３が設けられており、この絞り２０３は絞り制御部２０５によって開口部の面積が調整される。
　白色光光源部２０２はキセノンランプや白色ＬＥＤ等であり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ２０４は、回転軸に近い一番近い内側に設けた内側フィルタ２１０と、この内側フィルタ２１０の外側に設けた外側フィルタ２１２、鑑別支援モード用フィルタ２１４とを備えている（図１９参照）。
　フィルタ切替部２０６は、回転フィルタ２０４を径方向に移動する。具体的には、フィルタ切替部２０６は、モード切替部１３ｃにより通常モード又は鑑別支援モードにセットした場合に、内側フィルタ２１０を白色光の光路に挿入する。フィルタ切替部２０６は、特殊モードにセットした場合に、外側フィルタ２１２を白色光の光路に挿入する。
　図１９に示すように、内側フィルタ２１０には、周方向に沿って、Ｂｂフィルタ２１０ａと、Ｇフィルタ２１０ｂと、Ｒフィルタ２１０ｃとが設けられている。Ｂｂフィルタ２１０ａは、白色光のうち４００～５００nmの波長範囲を持つ広帯域の青色光Ｂｂを透過する。Ｇフィルタ２１０ｂは、白色光のうち緑色光Ｇを透過する。Ｒフィルタ２１０ｃは、白色光のうち赤色光Ｒを透過する。したがって、通常モード又は鑑別支援モード時には、回転フィルタ２０４が回転することで、通常光として、広帯域の青色光Ｂｂ、緑色光Ｇ、赤色光Ｒが、観察対象に向けて、順次照射される。
　外側フィルタ２１２には、周方向に沿って、Ｂｎフィルタ２１２ａと、Ｇｎフィルタ２１２ｂとが設けられている。Ｂｎフィルタ２１２ａは、白色光のうち４００～４５０nmの青色狭帯域光Ｂｎを透過する。Ｇｎフィルタ２１２ｂは、白色光のうち５３０～５７０nmの緑色狭帯域光Ｇｎを透過する。したがって、特殊モード時には、回転フィルタ２０４が回転することで、特殊光として、青色狭帯域光、緑色狭帯域光が、観察対象に向けて、順次照射される。
　内視鏡システム２００では、通常モード時には、広帯域の青色光Ｂｂ、緑色光Ｇ、赤色光Ｒで観察対象を照明する毎にモノクロの撮像センサ２０８で観察対象を撮像する。これにより、広帯域の青色光Ｂｂの照明時にＢｃ画像信号が得られ、緑色光Ｇの照明時にＧｃ画像信号が得られ、赤色光Ｒの照明時にＲｃ画像信号が得られる。これらＢｎ画像信号、Ｇｃ画像信号とＲｃ画像信号によって、通常画像が構成される。また、鑑別支援モード時には、通常画像を表示するとともに、静止画像取得部１３ｂが操作されたときに、通常画像の静止画を、第１の医用画像として取得する。この第１の医用画像に基づいて、鑑別支援画像の生成及び表示が行われる。
　特殊モード時には、青色狭帯域光Ｂｎ、緑色狭帯域光Ｇｎで観察対象を照明する毎にモノクロの撮像センサ２０８で観察対象を撮像する。これにより、青色狭帯域光Ｂｎの照明時にＢｎ画像信号が得られ、緑色狭帯域光Ｇｎの照射時にＧｎ画像信号が得られる。これらＢｎ画像信号とＧｎ画像信号によって、特殊画像が構成される。
　なお、上記実施形態では、医用画像として、内視鏡画像を取得する内視鏡システムに対して、本発明の医療用画像処理装置を適用しているが、カプセル内視鏡など、さまざまな内視鏡システムに対して、適用可能であることはいうまでもなく、その他の医用画像として、X線画像、CT画像、MR画像、超音波画像、病理画像、ＰＥＴ（Positron Emission Tomography）画像などを取得する各種医用画像装置に対しても、本発明の医療用画像処理装置の適用は可能である。
　上記実施形態において、画像処理部５６のような各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
１０　内視鏡システム
１２　内視鏡
１２ａ　挿入部
１２ｂ　操作部
１２ｃ　湾曲部
１２ｄ　先端部
１３ａ　アングルノブ
１３ｂ　静止画像取得部
１３ｃ　モード切替部
１３ｄ　ズーム操作部
１４　光源装置
１６　プロセッサ装置
１８　モニタ
１９　コンソール
２０　光源部
２０ａ　V-LED
２０ｂ　B-LED
２０ｃ　G-LED
２０ｄ　R-LED
２２　光源制御部
２３　波長カットフィルタ
２４　ライトガイド
３０ａ　照明光学系
３０ｂ　撮像光学系
３２　照明レンズ
３４　対物レンズ
３６　拡大光学系
３６ａ　ズームレンズ
３６ｂ　レンズ駆動部
３８　撮像センサ
４０　ＣＤＳ回路
４２　ＡＧＣ回路
４４　Ａ／Ｄ変換回路
５０　画像信号取得部
５２　DSP
５４　ノイズ低減部
５６　画像処理部
５８　表示制御部
６０　通常モード用処理部
６２　特殊モード用処理部
６４　鑑別支援モード用処理部
７０　特徴量算出部
７２　医用画像選択部
７４　医用画像蓄積部
７６　鑑別支援画像生成部
８０　第１の医用画像
８１　第２の医用画像記憶部
８２　医用画像
８３　認識処理部
８４　認識結果
８６　鑑別支援画像
８８　比率
９０　鑑別支援画像
９２　鑑別支援画像
１００　内視鏡システム
１０４　青色レーザ光源
１０６　青紫色レーザ光源
１０８　光源制御部
１１０　蛍光体
２００　内視鏡システム
２０２　白色光光源部
２０４　回転フィルタ
２０５　制御部
２０６　フィルタ切替部
２０８　撮像センサ
２１０　内側フィルタ
２１０ａ　Bbフィルタ
２１０ｂ　Gフィルタ
２１０ｃ　Rフィルタ
２１２　外側フィルタ
２１２ａ　Bnフィルタ
２１２ｂ　Gnフィルタ

Claims (17)

  1. 　観察対象を撮像部で撮像して得られる第１の医用画像を取得する医用画像取得部と、
    　前記第１の医用画像と、前記第１の医用画像に対して比較対象となる第２の医用画像との比較を行い、前記第２の医用画像のうち、前記比較の結果に従って選択される特定の医用画像を取得する医用画像選択部と、
    　前記特定の医用画像に対して施される処理であって前記観察対象を認識するための認識処理から得られる認識結果を表示部に複数表示する表示制御部とを備える医療用画像処理装置。
  2. 　前記医用画像選択部は、前記第１の医用画像の特徴量と前記第２の医用画像の特徴量を比較し、前記特徴量の類似度に従って、前記特定の医用画像の選択を行う請求項１記載の医療用画像処理装置。
  3. 　前記特徴量は、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報のうち、少なくともいずれか、もしくは、２以上組み合わせた値である請求項２記載の医療用画像処理装置。
  4. 　前記認識結果は複数種類あり、前記表示制御部は、種類毎の前記認識結果の比率を表示部に表示する請求項１ないし３いずれか１項記載の医療用画像処理装置。
  5. 　前記認識結果は複数種類あり、前記表示制御部は、前記認識結果の数を種類毎に表示部に表示する請求項１ないし４いずれか１項記載の医療用画像処理装置。
  6. 　前記表示制御部は、前記第２の医用画像に関連付けて記録された結果であって、ユーザーが前記観察対象を判断したユーザー認識結果も合わせて前記表示部に表示する請求項１ないし５いずれか１項記載の医療用画像処理装置。
  7. 　前記認識結果は、前記第２の医用画像に関連付けて記録された結果であって、他の医療用画像処理装置で認識処理を行って得られた認識結果を含む請求項１ないし６いずれか１項記載の医療用画像処理装置。
  8. 　前記認識結果は、少なくとも前記観察対象が病変部であることと、前記観察対象が正常部であることを含む請求項１ないし７いずれか１項記載の医療用画像処理装置。
  9. 　前記認識結果は、少なくとも病変の種類を含む請求項１ないし８いずれか１項記載の医療用画像処理装置。
  10. 　前記第２の医用画像は医用画像蓄積部に予め登録されている請求項１ないし９いずれか１項記載の医療用画像処理装置。
  11. 　前記第２の医用画像は、前記撮像部によって、前記第１の医用画像よりも前のタイミングで撮像して得られる請求項１ないし９いずれか１項記載の医療用画像処理装置。
  12. 　前記第２の医用画像は、前記撮像部によって、前記第１の医用画像よりも後のタイミングで撮像して得られる請求項１ないし９いずれか１項記載の医療用画像処理装置。
  13. 　前記第２の医用画像は、特殊光で照明された観察対象を撮像して得られる請求項１ないし１２いずれか１項記載の医療用画像処理装置。
  14. 　前記特殊光は４５０ｎｍ以下の波長域を有する請求項１３記載の医療用画像処理装置。
  15. 　第２の医用画像は、同一の観察対象であって観察対象の拡大率がそれぞれ異なる複数の画像を含む請求項１ないし１４いずれか１項記載の医療用画像処理装置。
  16. 　観察対象を照明するための照明光を発生する光源装置と、
    　前記照明光で照明された観察対象を撮像する撮像部を有する内視鏡と、
    　前記撮像部で前記観察対象を撮像して得られる第１の医用画像を取得する医用画像取得部と、
    　前記第１の医用画像と、前記第１の医用画像に対して比較対象となる第２の医用画像との比較を行い、前記第２の医用画像のうち、前記比較の結果に従って選択される特定の医用画像を取得する医用画像選択部と、
    　前記特定の医用画像に対して施される処理であって前記観察対象を認識するための認識処理から得られる認識結果を複数表示する表示部とを備える内視鏡システム。
  17. 　医用画像取得部が、観察対象を撮像部で撮像して第１の医用画像を取得する医用画像取得ステップと、
    　医用画像選択部が、前記第１の医用画像と、前記第１の医用画像に対して比較対象となる第２の医用画像との比較を行い、前記第２の医用画像のうち、前記比較の結果に従って選択される特定の医用画像を取得する医用画像選択ステップと、
    　表示制御部が、前記特定の医用画像に対して施される処理であって前記観察対象を認識するための認識処理から得られる認識結果を表示部に複数表示する表示ステップとを有する医療用画像処理装置の作動方法。
PCT/JP2018/010568 2017-03-30 2018-03-16 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 WO2018180631A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880022503.5A CN110475503A (zh) 2017-03-30 2018-03-16 医疗用图像处理装置及内窥镜系统以及医疗用图像处理装置的工作方法
JP2019509303A JP6785948B2 (ja) 2017-03-30 2018-03-16 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
EP18777155.5A EP3603481B1 (en) 2017-03-30 2018-03-16 Medical image processing device, endoscope system, and method for operating medical image processing device
US16/586,489 US11412917B2 (en) 2017-03-30 2019-09-27 Medical image processor, endoscope system, and method of operating medical image processor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017066671 2017-03-30
JP2017-066671 2017-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/586,489 Continuation US11412917B2 (en) 2017-03-30 2019-09-27 Medical image processor, endoscope system, and method of operating medical image processor

Publications (1)

Publication Number Publication Date
WO2018180631A1 true WO2018180631A1 (ja) 2018-10-04

Family

ID=63675689

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010568 WO2018180631A1 (ja) 2017-03-30 2018-03-16 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法

Country Status (5)

Country Link
US (1) US11412917B2 (ja)
EP (1) EP3603481B1 (ja)
JP (1) JP6785948B2 (ja)
CN (1) CN110475503A (ja)
WO (1) WO2018180631A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020065685A (ja) * 2018-10-24 2020-04-30 富士フイルム株式会社 内視鏡システム
WO2020121906A1 (ja) * 2018-12-13 2020-06-18 ソニー株式会社 医療支援システム、医療支援装置及び医療支援方法
US10957043B2 (en) 2019-02-28 2021-03-23 Endosoftllc AI systems for detecting and sizing lesions
JPWO2021111756A1 (ja) * 2019-12-02 2021-06-10
WO2022018894A1 (ja) * 2020-07-21 2022-01-27 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2023095208A1 (ja) * 2021-11-24 2023-06-01 オリンパス株式会社 内視鏡挿入ガイド装置、内視鏡挿入ガイド方法、内視鏡情報取得方法、ガイドサーバ装置、および画像推論モデル学習方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
WO2019173283A1 (en) 2018-03-05 2019-09-12 Marquette University Method and apparatus for non-invasive hemoglobin level prediction
WO2020040059A1 (ja) * 2018-08-23 2020-02-27 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
CN111275041B (zh) * 2020-01-20 2022-12-13 腾讯科技（深圳）有限公司 内窥镜图像展示方法、装置、计算机设备及存储介质
JP7508559B2 (ja) * 2020-07-14 2024-07-01 富士フイルム株式会社 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
JP1687274S (ja) * 2020-08-12 2021-06-07
KR102283673B1 (ko) * 2020-11-30 2021-08-03 주식회사 코어라인소프트 병변 추적 검사에 기반하여 진단 보조 정보의 임계치를 조정하는 의료 영상 판독 지원 장치 및 방법
CN114765073A (zh) * 2021-01-11 2022-07-19 佳能医疗系统株式会社 病例检索装置、病例检索方法以及存储介质
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325294A (ja) 2000-05-17 2001-11-22 Olympus Optical Co Ltd 類似画像検索方法および類似画像検索装置
JP2004005364A (ja) 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
JP2007280229A (ja) * 2006-04-11 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
JP2007275216A (ja) * 2006-04-05 2007-10-25 Fujifilm Corp 類似画像検索装置および方法並びにプログラム
JP2011217798A (ja) * 2010-04-05 2011-11-04 Fujifilm Corp 電子内視鏡システム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4418400B2 (ja) * 2005-05-20 2010-02-17 オリンパスメディカルシステムズ株式会社 画像表示装置
JP4807277B2 (ja) * 2007-02-13 2011-11-02 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5128161B2 (ja) * 2007-03-30 2013-01-23 富士フイルム株式会社 画像診断支援装置及びシステム
JP5216429B2 (ja) * 2008-06-13 2013-06-19 富士フイルム株式会社 光源装置および内視鏡装置
CN101373479A (zh) * 2008-09-27 2009-02-25 华中科技大学 一种乳腺x线摄片计算机图像检索方法及系统
JP5599572B2 (ja) * 2009-03-12 2014-10-01 富士フイルム株式会社 症例画像検索装置、方法およびプログラム
JP5541914B2 (ja) * 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
JP5603676B2 (ja) * 2010-06-29 2014-10-08 オリンパス株式会社 画像処理装置及びプログラム
JP5865606B2 (ja) 2011-05-27 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
CN103200861B (zh) * 2011-11-04 2015-10-14 松下电器产业株式会社 类似病例检索装置以及类似病例检索方法
CN104203065B (zh) * 2012-03-08 2017-04-12 奥林巴斯株式会社 图像处理装置和图像处理方法
US9256965B2 (en) * 2013-01-30 2016-02-09 Impac Medical Systems, Inc. Method and apparatus for generating a derived image using images of different types
JP2014171511A (ja) * 2013-03-06 2014-09-22 Olympus Corp 被検体観察システム及びその方法
JP6188477B2 (ja) * 2013-08-02 2017-08-30 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
JP6140056B2 (ja) * 2013-09-26 2017-05-31 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
CN103745217B (zh) * 2013-12-31 2017-02-15 北京工业大学 基于图像检索的中医舌色苔色自动分析方法
JP5887367B2 (ja) * 2014-01-30 2016-03-16 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP2015195845A (ja) * 2014-03-31 2015-11-09 富士フイルム株式会社 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法
CN105023027B (zh) * 2014-04-18 2019-03-05 大连恒锐科技股份有限公司 基于多次反馈机制的现场鞋底痕迹花纹图像检索方法
EP3138018A4 (en) 2014-04-30 2017-10-11 Google, Inc. Identifying entities to be investigated using storefront recognition
US10599810B2 (en) * 2014-06-04 2020-03-24 Panasonic Corporation Control method and recording system
US10216762B2 (en) * 2014-06-04 2019-02-26 Panasonic Corporation Control method and non-transitory computer-readable recording medium for comparing medical images
JP6392570B2 (ja) * 2014-07-11 2018-09-19 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、画像処理プログラム、及び内視鏡システム
CN105320705B (zh) * 2014-08-05 2018-09-14 北京大学 相似车辆的检索方法及装置
JP6027065B2 (ja) * 2014-08-21 2016-11-16 富士フイルム株式会社 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム
CN104462481A (zh) * 2014-12-18 2015-03-25 浪潮(北京)电子信息产业有限公司 一种基于颜色和形状的综合图像检索方法
CN104899891B (zh) * 2015-06-24 2019-02-12 重庆金山科技（集团）有限公司 一种识别孕囊组织的方法、装置及宫腔吸引装置
CN105045818B (zh) * 2015-06-26 2017-07-18 腾讯科技（深圳）有限公司 一种图片的推荐方法、装置和系统
CN105488478B (zh) * 2015-12-02 2020-04-07 深圳市商汤科技有限公司 一种人脸识别系统和方法
CN105930515A (zh) * 2016-05-18 2016-09-07 成都九十度工业产品设计有限公司 一种图像检索系统和方法
CN106021542A (zh) * 2016-05-26 2016-10-12 珠海市魅族科技有限公司 一种图片显示方法及图片服务器、终端
CN106295687A (zh) * 2016-08-02 2017-01-04 安徽翰智文化科技有限公司 一种智能书法临摹方法及系统
JP6743662B2 (ja) * 2016-11-15 2020-08-19 コニカミノルタ株式会社 動態画像処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325294A (ja) 2000-05-17 2001-11-22 Olympus Optical Co Ltd 類似画像検索方法および類似画像検索装置
JP2004005364A (ja) 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
JP2007275216A (ja) * 2006-04-05 2007-10-25 Fujifilm Corp 類似画像検索装置および方法並びにプログラム
JP2007280229A (ja) * 2006-04-11 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
JP2011217798A (ja) * 2010-04-05 2011-11-04 Fujifilm Corp 電子内視鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3603481A4

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020065685A (ja) * 2018-10-24 2020-04-30 富士フイルム株式会社 内視鏡システム
JP7476800B2 (ja) 2018-12-13 2024-05-01 ソニーグループ株式会社 医療支援システム、医療支援装置及び医療支援方法
WO2020121906A1 (ja) * 2018-12-13 2020-06-18 ソニー株式会社 医療支援システム、医療支援装置及び医療支援方法
US12048414B2 (en) 2018-12-13 2024-07-30 Sony Group Corporation Medical support system, medical support device, and medical support method
CN113164025A (zh) * 2018-12-13 2021-07-23 索尼集团公司 医疗支持系统、医疗支持设备和医疗支持方法
JPWO2020121906A1 (ja) * 2018-12-13 2021-10-28 ソニーグループ株式会社 医療支援システム、医療支援装置及び医療支援方法
US10957043B2 (en) 2019-02-28 2021-03-23 Endosoftllc AI systems for detecting and sizing lesions
JPWO2021111756A1 (ja) * 2019-12-02 2021-06-10
JP7335976B2 (ja) 2019-12-02 2023-08-30 富士フイルム株式会社 内視鏡システム、制御プログラム、及び表示方法
WO2021111756A1 (ja) * 2019-12-02 2021-06-10 富士フイルム株式会社 内視鏡システム、制御プログラム、及び表示方法
JPWO2022018894A1 (ja) * 2020-07-21 2022-01-27
JP7386347B2 (ja) 2020-07-21 2023-11-24 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2022018894A1 (ja) * 2020-07-21 2022-01-27 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2023095208A1 (ja) * 2021-11-24 2023-06-01 オリンパス株式会社 内視鏡挿入ガイド装置、内視鏡挿入ガイド方法、内視鏡情報取得方法、ガイドサーバ装置、および画像推論モデル学習方法

Also Published As

Publication number Publication date
JP6785948B2 (ja) 2020-11-18
CN110475503A (zh) 2019-11-19
EP3603481A4 (en) 2020-04-08
US20200022560A1 (en) 2020-01-23
JPWO2018180631A1 (ja) 2020-01-09
EP3603481B1 (en) 2023-05-03
EP3603481A1 (en) 2020-02-05
US11412917B2 (en) 2022-08-16

Similar Documents

Publication Publication Date Title
WO2018180631A1 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
WO2018159363A1 (ja) 内視鏡システム及びその作動方法
JP6243364B2 (ja) 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
JP5789280B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2018061434A1 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
US11064864B2 (en) Processor device, endoscope system, and method of operating processor device
CN111107778B (zh) 医疗图像处理系统、内窥镜系统、诊断支持装置及医疗服务支持装置
JP6690003B2 (ja) 内視鏡システム及びその作動方法
WO2018079205A1 (ja) プロセッサ装置及び内視鏡システム
US20190183319A1 (en) Endoscope system and method of operating same
US20230029239A1 (en) Medical image processing system and method for operating medical image processing system
US20230027950A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
JP7130043B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
US11627864B2 (en) Medical image processing apparatus, endoscope system, and method for emphasizing region of interest
US20230101620A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
US20220117474A1 (en) Image processing apparatus, endoscope system, and operation method of image processing apparatus
WO2018079217A1 (ja) 内視鏡システム及びその作動方法
EP3960065A1 (en) Image processing device and method for operating same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18777155

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019509303

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018777155

Country of ref document: EP

Effective date: 20191030