WO2020039929A1 - 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 - Google Patents

医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 Download PDF

Info

Publication number
WO2020039929A1
WO2020039929A1 PCT/JP2019/031103 JP2019031103W WO2020039929A1 WO 2020039929 A1 WO2020039929 A1 WO 2020039929A1 JP 2019031103 W JP2019031103 W JP 2019031103W WO 2020039929 A1 WO2020039929 A1 WO 2020039929A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
detection
time
unit
image
Prior art date
Application number
PCT/JP2019/031103
Other languages
English (en)
French (fr)
Inventor
喬俊 狩野
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020538290A priority Critical patent/JP7130043B2/ja
Publication of WO2020039929A1 publication Critical patent/WO2020039929A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes

Definitions

  • the present invention relates to a medical image processing apparatus, an endoscope system, and an operating method of a medical image processing apparatus for detecting a region of interest such as a lesion.
  • image diagnosis such as diagnosis of a patient's medical condition and follow-up is performed using medical images such as endoscopic images, X-ray images, CT (Computed Tomography) images, and MR (Magnetic Resonanse) images. ing. Based on such image diagnosis, doctors and the like make decisions on treatment policies and the like.
  • Patent Literature 1 discloses a medical image processing apparatus that performs image processing based on detection information when a region of interest such as a lesion is detected from a medical image.
  • a region of interest such as a lesion
  • Patent Document 1 discloses a medical image processing apparatus that performs image processing based on detection information when a region of interest such as a lesion is detected from a medical image.
  • an elapsed time for changing the display mode is set, and until the set elapsed time, alert information for the attention area is displayed.
  • a display image added or superimposed is generated and displayed on the display unit.
  • the present invention provides a medical image processing apparatus, an endoscope system, and a medical image processing apparatus that can prevent a target area from being overlooked without a display based on detection of a target area not obstructing observation of a medical image. It is intended to provide a method of operation.
  • the medical image processing device of the present invention has a medical image acquisition unit, a region of interest detection unit, and a display control unit.
  • the medical image acquisition unit acquires a medical image by imaging an observation target with an imaging unit.
  • the attention area detection unit detects an attention area in the observation target with respect to the medical image acquired by the medical image acquisition unit.
  • the display control unit sequentially obtains the medical images by the medical image obtaining unit, displays the medical images on the medical image display unit in real time, and displays the detection time at which the attention area is detected as the detection time marker on the detection time display unit.
  • the display control unit displays a time bar corresponding to the elapsed time on the detection time display unit, and displays a detection time marker on the time bar.
  • the display control unit preferably changes the time bar in the detection time display unit as the elapsed time increases.
  • the display control unit increases the length of the time bar from one end to the other end in the detection time display unit as the elapsed time increases.
  • the display control unit preferably scrolls the time bar in the detection time display unit when the length of the time bar increases to reach a predetermined length as the elapsed time increases.
  • the time bar is preferably in the shape of a long strip or arc.
  • the display control unit When an input is made at any position on the time bar, the display control unit preferably displays a past medical image corresponding to a past elapsed time on the time bar.
  • the display control unit When an input is made at the position of the detection time marker, the display control unit preferably displays a past image related to the input detection time marker.
  • the display control unit When an input is performed at the position of the detection time marker, the display control unit preferably displays a moving image including a plurality of past images related to the input detection time marker.
  • the display control unit displays, on the detection time display unit, a detection graph in which the elapsed time from the start of acquisition of the medical image is a value on one axis and an index related to the detection of the attention area is a value on the other axis. .
  • the index is a reliability calculated from the medical image and indicating the likelihood of being the attention area.
  • the attention area detection unit detects the attention area from the medical image using a neural network, deep learning, Adaboost, or random forest.
  • the region of interest is preferably a lesion.
  • An endoscope system includes a light source device, an endoscope, a medical image acquisition unit, a region of interest detection unit, a display control unit, and a display unit.
  • the light source device emits illumination light for illuminating an observation target.
  • the endoscope includes an imaging unit that captures an image of an observation target illuminated with illumination light.
  • the medical image acquisition unit acquires a medical image obtained by imaging the observation target with the imaging unit.
  • the attention area detection unit detects an attention area in the observation target with respect to the medical image acquired by the medical image acquisition unit.
  • the display control unit sequentially obtains the medical images by the medical image obtaining unit, displays the medical images on the medical image display unit in real time, and displays the detection time at which the attention area is detected as the detection time marker on the detection time display unit.
  • the display unit displays the medical image and the detection time marker.
  • An operation method of the medical image processing apparatus includes a step of acquiring a medical image by capturing an observation target with an imaging unit by the medical image acquisition unit, and a method of acquiring the medical image acquired by the attention area detection unit by the medical image acquisition unit.
  • a step of detecting a region of interest in the observation target with respect to the image, and a display control unit sequentially acquiring the medical image by the medical image acquisition unit, displaying the medical image on the medical image display unit in real time, and detecting that the region of interest is detected. Displaying the time as a detection time marker on the detection time display unit.
  • the display based on the detection of the attention area does not hinder the observation of the medical image, and it is possible to prevent the attention area from being overlooked.
  • FIG. 4 is a block diagram illustrating functions of an attention area detection mode image processing unit and a display control unit. It is explanatory drawing which shows an example of the display screen before a display control part displays a detection time marker (A), and after displaying a detection time marker (B).
  • FIG. 13 is an explanatory diagram illustrating an example of a display screen before a target area is detected (A) and after a target area is detected (B) when the display control unit displays a detection graph in the third embodiment.
  • FIG. 14 is an explanatory diagram showing an example of a display screen when the time bar reaches the right end of the detection time display unit (A) and when the time bar scrolls within the range of the detection time display unit (B) in the fourth embodiment. is there. It is explanatory drawing which shows an example of the display screen when the time bar in the modification of 5th Embodiment reaches the right end of the detection time display part (A), and when the whole time bar is reduced (B). It is an explanatory view showing an example of a display screen when a time bar is displayed in an arc shape in the fifth embodiment. It is a block diagram showing the function of the attention area detection mode image processing unit and the display control unit in the sixth embodiment.
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18 (display unit), and a console 19.
  • the endoscope 12 is optically connected to the light source device 14 and is electrically connected to the processor device 16.
  • the endoscope 12 has an insertion portion 12a to be inserted into a subject, an operation portion 12b provided at a base end portion of the insertion portion 12a, and a bending portion 12c and a tip portion 12d provided at a distal end side of the insertion portion 12a. are doing.
  • the angle knob 13a of the operation section 12b By operating the angle knob 13a of the operation section 12b, the bending section 12c performs a bending operation. By this bending operation, the tip 12d is directed in a desired direction.
  • the distal end portion 12d has an illumination window, an observation window, an air / water nozzle, and a forceps outlet on the distal end surface (all are not shown).
  • the illumination window is for irradiating illumination light to an observation site.
  • the observation window is for taking in light from the observation site.
  • the air supply / water supply nozzle is for cleaning the illumination window and the observation window.
  • the forceps outlet is for performing various treatments using forceps and a treatment tool such as an electric scalpel.
  • the operation unit 12b includes, in addition to the angle knob 13a, a still image acquisition unit 13b used for a still image acquisition operation, a mode switching unit 13c used for an observation mode switching operation, and a zoom operation unit 13d used for a zoom magnification change operation. Is provided.
  • the still image acquisition unit 13b can perform a freeze operation of displaying a still image to be observed on the monitor 18 and a release operation of saving a still image in a storage.
  • the endoscope system 10 has a normal mode, a special mode, and an attention area detection mode as observation modes.
  • the observation mode is the normal mode
  • the light of a plurality of colors is combined with the light amount ratio Lc for the normal mode to emit normal light.
  • the observation mode is the special mode
  • special light is generated by combining light of a plurality of colors at the light amount ratio Ls for the special mode.
  • the illumination light for the attention area detection mode is emitted.
  • the normal light is emitted as the illumination light for the attention area detection mode, but a special light may be emitted.
  • the processor device 16 is electrically connected to the monitor 18 and the console 19.
  • the monitor 18 outputs and displays an image of the observation target, information accompanying the image, and the like.
  • the console 19 functions as a user interface that accepts input operations such as designation of a region of interest (ROI: Region Of Interest) and function setting.
  • ROI Region Of Interest
  • the light source device 14 includes a light source unit 20 that emits illumination light used for illumination of an observation target, and a light source control unit 22 that controls the light source unit 20.
  • the light source unit 20 is a semiconductor light source such as a multi-color LED (Light Emitting Diode).
  • the light source control unit 22 controls the amount of emitted illumination light by turning on / off an LED or the like and adjusting a drive current or a drive voltage of the LED or the like.
  • the light source control unit 22 controls the wavelength band of the illumination light by changing an optical filter or the like.
  • the light source unit 20 includes a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and an R-LED (Red). It has four colors of LEDs (Light Emitting Diode) 20d and a wavelength cut filter 23. As shown in FIG. 3, the V-LED 20a emits violet light V in a wavelength band of 380 nm to 420 nm.
  • the B-LED 20b emits blue light B having a wavelength band of 420 nm to 500 nm.
  • the blue light B emitted from the B-LED 23b at least a wavelength longer than 450 nm of the peak wavelength is cut by the wavelength cut filter 23.
  • the blue light Bx transmitted through the wavelength cut filter 23 has a wavelength range of 420 to 460 nm.
  • the light in the wavelength range longer than 460 nm is cut off because the light in the wavelength range longer than 460 nm lowers the blood vessel contrast of the blood vessel to be observed. Because there is.
  • the wavelength cut filter 23 may reduce light in a wavelength range longer than 460 nm instead of cutting light in a wavelength range longer than 460 nm.
  • the G-LED 20c emits green light G whose wavelength band extends from 480 nm to 600 nm.
  • the R-LED 20d emits red light R having a wavelength band ranging from 600 nm to 650 nm.
  • the light emitted from each of the LEDs 20a to 20d may have the same center wavelength and the same peak wavelength, or may have different center wavelengths and peak wavelengths.
  • the light source control unit 22 adjusts the light emission timing, the light emission period, the light amount, and the spectrum of the illumination light by independently controlling the lighting and extinguishing of each of the LEDs 20a to 20d and the light emission amount at the time of lighting.
  • the control of turning on and off the light in the light source control unit 22 differs for each observation mode.
  • the reference brightness can be set by the brightness setting unit of the light source device 14, the console 19, or the like.
  • the light source control unit 22 turns on all of the V-LED 20a, the B-LED 20b, the G-LED 20c, and the R-LED 20d.
  • the light intensity ratio Lc among the violet light V, the blue light B, the green light G, and the red light R is such that the peak of the light intensity of the blue light Bx is the violet light V, the green light G , And the red light R are set to be larger than the peak of the light intensity.
  • the multi-color light for the normal mode or the attention area detection mode including the violet light V, the blue light Bx, the green light G, and the red light R is normally emitted from the light source device 14.
  • Light is emitted as light.
  • the normal light has a certain intensity or more from the blue band to the red band, and is almost white.
  • the light source control unit 22 turns on all of the V-LED 20a, the B-LED 20b, the G-LED 20c, and the R-LED 20d.
  • the light intensity ratio Ls among the violet light V, the blue light B, the green light G, and the red light R is such that the peak of the light intensity of the violet light V is blue light Bx, green light G , And the red light R are set to be larger than the peak of the light intensity. Further, the peaks of the light intensity of the green light G and the red light R are set to be smaller than the peaks of the light intensity of the violet light V and the blue light Bx.
  • the light source device 14 emits the special mode polychromatic light including the violet light V, the blue light Bx, the green light G, and the red light R as the special light.
  • the special light is bluish light because the ratio of the purple light V is large.
  • the special light does not need to include all four colors of light, as long as it includes light from at least one of the four colors of LEDs 20a to 20d.
  • the special light preferably has a main wavelength range of 450 nm or less, for example, a peak wavelength or a center wavelength.
  • the illumination light emitted from the light source unit 20 is incident on a light guide 24 inserted into the insertion unit 12a via an optical path coupling unit (not shown) formed by a mirror, a lens, and the like.
  • the light guide 24 is built in the endoscope 12 and the universal cord, and transmits the illumination light to the distal end 12 d of the endoscope 12.
  • the universal cord is a cord that connects the endoscope 12, the light source device 14, and the processor device 16. Note that a multi-mode fiber can be used as the light guide 24.
  • a thin fiber cable having a core diameter of 105 ⁇ m, a cladding diameter of 125 ⁇ m, and a diameter of 0.3 mm to 0.5 mm including a protective layer serving as an outer cover can be used for the light guide 24.
  • the illumination optical system 30a and an imaging optical system 30b are provided at the distal end 12d of the endoscope 12.
  • the illumination optical system 30a has an illumination lens 32. Through this illumination lens 32, the observation target is illuminated by the illumination light that has propagated through the light guide 24.
  • the imaging optical system 30b includes an objective lens 34, an enlargement optical system 36, and an imaging sensor 38 (corresponding to the “imaging unit” of the present invention).
  • Various lights such as reflected light, scattered light, and fluorescent light from the observation target enter the image sensor 38 via the objective lens 34 and the magnifying optical system 36. As a result, an image of the observation target is formed on the image sensor 38.
  • the magnifying optical system 36 includes a zoom lens 36a that magnifies the observation target, and a lens driving unit 36b that moves the zoom lens 36a in the optical axis direction CL.
  • the zoom lens 36a enlarges or reduces the observation object formed on the image sensor 38 by freely moving between the telephoto end and the wide end in accordance with zoom control by the lens driving unit 36b.
  • the imaging sensor 38 is a color imaging sensor that captures an image of the observation target irradiated with the illumination light.
  • Each pixel of the image sensor 38 is provided with one of an R (red) color filter, a G (green) color filter, and a B (blue) color filter.
  • the image sensor 38 receives violet to blue light at a B pixel provided with a B color filter, receives green light at a G pixel provided with a G color filter, and has an R color filter.
  • the red light is received by the existing R pixel.
  • the image signal of each color of RGB is output from the pixel of each color.
  • the image sensor 38 transmits the output image signal to the CDS circuit 40.
  • the image sensor 38 In the normal mode or the attention area detection mode, the image sensor 38 outputs a Bc image signal from a B pixel, outputs a Gc image signal from a G pixel, and outputs a Rc image by capturing an image of an observation target illuminated with normal light. An Rc image signal is output from the pixel.
  • the image sensor 38 In the special mode, the image sensor 38 outputs a Bs image signal from the B pixel, outputs a Gs image signal from the G pixel, and outputs Rs from the R pixel by imaging the observation target illuminated with the special light. Outputs an image signal.
  • a charge coupled device (CCD) image sensor, a complementary metal-oxide semiconductor (CMOS) image sensor, or the like can be used.
  • CMOS complementary metal-oxide semiconductor
  • a complementary color image sensor having complementary color filters of C (cyan), M (magenta), Y (yellow) and G (green) may be used. good.
  • image signals of four colors of CMYG are output. For this reason, by converting the image signals of four colors of CMYG into the image signals of three colors of RGB by the complementary color-primary color conversion, it is possible to obtain the image signals of each color of RGB similar to the image sensor 38.
  • a monochrome sensor having no color filter may be used.
  • the CDS circuit 40 performs correlated double sampling (CDS) on the analog image signal received from the image sensor 38.
  • the image signal that has passed through the CDS circuit 40 is input to the AGC circuit 42.
  • the AGC circuit 40 performs automatic gain control (AGC) on the input image signal.
  • An A / D (Analog to Digital) conversion circuit 44 converts the analog image signal passed through the AGC circuit 42 into a digital image signal.
  • the A / D conversion circuit 44 inputs the digital image signal after the A / D conversion to the processor device 16.
  • the processor device 16 includes an image signal acquisition unit 50 (corresponding to the “medical image acquisition unit” of the present invention), a DSP (Digital Signal Processor) 52, a noise reduction unit 54, And a display control unit 58.
  • image signal acquisition unit 50 corresponding to the “medical image acquisition unit” of the present invention
  • DSP Digital Signal Processor
  • the image signal acquisition unit 50 acquires a digital image signal corresponding to the observation mode from the endoscope 12.
  • a Bc image signal, a Gc image signal, and an Rc image signal are obtained.
  • a Bs image signal, a Gs image signal, and an Rs image signal are obtained.
  • a Bc image signal, a Gc image signal, and an Rc image signal for one frame are acquired at the time of normal light illumination, and the Bs image signal, the Gs image signal for one frame are acquired at the time of special light illumination. Obtain an Rs image signal.
  • the DSP 52 performs various signal processing such as a defect correction processing, an offset processing, a DSP gain correction processing, a linear matrix processing, a gamma conversion processing, and a demosaic processing on the image signal acquired by the image signal acquiring unit 50.
  • the defect correction processing corrects a signal of a defective pixel of the image sensor 38.
  • the offset processing removes dark current components from the image signal subjected to the defect correction processing, and sets an accurate zero level.
  • the DSP gain correction process adjusts the signal level by multiplying the offset-processed image signal by a specific DSP gain.
  • the linear matrix processing enhances the color reproducibility of the image signal subjected to the DSP gain correction processing.
  • the gamma conversion process adjusts the brightness and saturation of the image signal subjected to the linear matrix process.
  • a demosaic process also called an isotropic process or a synchronizing process
  • the noise reduction unit 54 performs a noise reduction process such as a moving average method or a median filter method on the image signal subjected to the demosaic processing or the like by the DSP 52 to reduce noise.
  • the image signal after the noise reduction is input to the image processing unit 56.
  • the image processing unit 56 includes a normal mode image processing unit 60, a special mode image processing unit 62, and an attention area detection mode image processing unit 64.
  • the normal mode image processing unit 60 operates when the normal mode is set, and performs a color conversion process, a color enhancement process, and a structure enhancement process on the received Bc image signal, Gc image signal, and Rc image signal. Do.
  • a color conversion process is performed on the RGB image signal by 3 ⁇ 3 matrix processing, gradation conversion processing, three-dimensional LUT (Look Up Table) processing, or the like.
  • the color enhancement processing is performed on the RGB image signal that has been subjected to the color conversion processing.
  • the structure enhancement process is a process for enhancing the structure of the observation target, and is performed on the RGB image signal after the color enhancement process.
  • a normal image can be obtained by performing various image processing as described above.
  • the normal image is an image obtained based on the normal light in which the violet light V, the blue light Bx, the green light G, and the red light R are emitted in a well-balanced manner, and thus has a natural color image.
  • the normal image is input to the display control unit 58.
  • the special mode image processing section 62 operates when the special mode is set.
  • the special mode image processing unit 62 performs color conversion processing, color enhancement processing, and structure enhancement processing on the received Bs image signal, Gs image signal, and Rs image signal.
  • the processing contents of the color conversion processing, the color enhancement processing, and the structure enhancement processing are the same as those of the normal mode image processing unit 60.
  • a special image can be obtained by performing various image processing as described above.
  • the special image is an image obtained based on the special light in which the violet light V having a high absorption coefficient of hemoglobin of a blood vessel has a larger light emission amount than the blue light Bx, green light G, and red light R of other colors. Therefore, the resolution of the blood vessel structure and the duct structure is higher than other structures.
  • the special image is input to the display control unit 58.
  • the attention area detection mode image processing section 64 operates when it is set in the attention area detection mode. As shown in FIG. 6, the attention area detection mode image processing section 64 has a detection image processing section 70, an attention area detection section 71, and a time measurement section 72.
  • the detection image processing unit 70 sequentially obtains an endoscope image of the received Bc image signal, Gc image signal, and Rc image signal by performing image processing such as color conversion processing similar to that of the normal mode image processing unit 60.
  • the attention area detection unit 71 performs image analysis of the endoscope image and performs attention area detection processing for detecting an attention area in the observation target.
  • the attention area detection unit 71 detects a lesion (for example, tumor or inflammation) in the observation target as the attention area.
  • the attention area detection unit 71 first divides the endoscope image into a plurality of small areas, for example, a square area of several pixels. Next, an image-like feature amount is calculated from the divided endoscope images. Subsequently, based on the calculated feature amount, a recognition process is performed to determine whether each small region is a lesion.
  • a recognition process is preferably a machine learning algorithm such as a convolutional neural network, a deep learning, an Adaboost, and a random forest.
  • the feature amount calculated from the endoscope image by the attention area detection unit 71 is an index value obtained from the shape, color, or the shape or color of a predetermined portion in the observation target.
  • the characteristic amount the blood vessel density, the blood vessel shape, the number of blood vessel branches, the blood vessel thickness, the blood vessel length, the blood vessel meandering degree, the blood vessel depth, the gland duct shape, the gland duct opening shape, the gland duct
  • the value is at least one of the length, the degree of meandering of the gland duct, and the color information, or a value obtained by combining two or more of them.
  • the attention area detection unit 71 associates information such as the position, size, and type of the extracted lesion with the endoscope image as detection information.
  • the time measuring unit 72 measures an elapsed time after the image signal acquiring unit 50 starts acquiring an endoscope image.
  • the time measuring unit 72 measures, for example, the elapsed time from the start of the acquisition of the endoscope image using a counter.
  • the initial value of the counter is 0, and the counter value is incremented by one every time a clock signal of a predetermined cycle is input from the start of acquisition of an endoscope image (counter value + 1). Advancing this counter value by one means that the elapsed time for each cycle of the counter is being measured.
  • the attention area detection mode image processing unit 64 outputs the endoscope image 75 associated with the detection information and the elapsed time T (counter value) from the start of the acquisition of the endoscope image 75 to the display control unit 58. I do.
  • the time measuring unit 72 outputs an initial value T0 (the counter value is 0) as the elapsed time T. Then, while the endoscope image 75 is being output, the time measuring unit 72 continues to output the elapsed time T to the display control unit 58.
  • the display control unit 58 performs display control for displaying images and data from the image processing unit 56 on the monitor 18.
  • the display control unit 58 performs control to display a normal image on the monitor 18.
  • the display control unit 58 controls to display a special image on the monitor 18.
  • the display control unit 58 displays the endoscope images sequentially acquired from the attention area detection mode image processing unit 64 in real time, and detects the attention area from the endoscope image.
  • the detected detection time is controlled to be displayed on the monitor 18 as a detection time marker.
  • the display control unit 58 When displaying the detection time marker on the monitor 18, the display control unit 58 first displays a time bar having a length corresponding to the elapsed time T output from the time measurement unit 72 described above. Then, when acquiring the endoscope image 75 to which the detection information is added, the display control unit 58 sets the detection time at which the attention area is detected at a position corresponding to the elapsed time T output from the time measurement unit 72. To display a detection time marker at a position on the time bar.
  • the display control unit 58 captures an image of the endoscope image captured by the imaging sensor 38 and image-processed by the attention area detection mode image processing unit 64.
  • 75 an image similar to a normal image
  • a time bar 77 having a length corresponding to the elapsed time T output from the time measuring unit 72 is displayed.
  • the endoscope image 75 is displayed on the medical image display section 76A in the display screen 76, and the time bar 77 is displayed on the detection time display section 76B (range indicated by a two-dot chain line) located outside the medical image display section 76A. Is displayed.
  • the medical image display unit 76A is formed in a shape in which a part of a circle is cut out in accordance with the imaging range of the image captured by the imaging sensor 38, and the detection time display unit 76B is located below the medical image display unit 76A. To position. Note that the two-dot chain line indicating the detection time display section 76B is a virtual line, and may not actually be displayed.
  • the time bar 77 is a long band extending in the X-axis direction (left-right direction) of the display screen 76.
  • the time bar 77 is arranged such that the initial value T0 of the elapsed time T is arranged near the left end of the detection time display section 76B, and as the elapsed time T increases, the left end side to the right end side of the detection time display section 76B.
  • the length gradually increases toward.
  • the state shown in FIG. 7A is a state after the real-time display of the endoscope image 75 has been started and the attention area in the observation target has not been detected yet. Therefore, the detection time marker indicating the detection time of the attention area is not yet displayed on the time bar 77.
  • detection time markers 79A and 79B are displayed on the time bar 77 as shown in FIG. 7B. Add.
  • the detection time markers 79A and 79B have a downward triangle shape, and correspond to the elapsed time T output from the time measurement unit 72 when the display control unit 58 acquires the endoscope image 75 associated with the detection information. Has been added to the position.
  • the length of the time bar 77 according to the elapsed time T is longer than in the state shown in FIG. 7A.
  • detection time markers 79A, 79B are displayed at positions corresponding to the elapsed times T1, T2, T3, T4, T5 on the time bar 77.
  • the difference in color between the detection time markers 79A and 79B is represented by the presence or absence of hatching applied to the detection time markers 81 for convenience of drawing.
  • the shape of the detection time markers 79A and 79B is not limited to a downward triangle, but may be any shape such as a polygon other than a triangle or an arrow, which can indicate the time at which the lesion 78 is detected on the time bar 77. I just need.
  • the detection time marker 79A (with hatching) indicates the position corresponding to the elapsed time T1, T3, T5 when the detection of the lesion 78 is started, and the detection time marker 79B (without hatching) indicates that the detection of the lesion 78 is completed. Position corresponding to the elapsed times T2 and T4.
  • the present invention is not limited to this, and a detection time marker may be added for all times when the lesion 78 is detected.
  • the doctor operates the mode switching unit 13c to switch to the attention area detection mode (S11).
  • the observation target in the body cavity is illuminated with the attention region detection mode illumination light.
  • the observation object illuminated with the illumination light for the attention area detection mode is imaged by the imaging sensor 38 to obtain an endoscope image 75.
  • the display control unit 58 displays the endoscope image 75 in real time on the display screen 76 of the monitor 18 and displays the time bar 77 (S12).
  • the length of the time bar 77 increases according to the elapsed time T.
  • the attention area detection unit 71 performs attention area detection processing for detecting the attention area in the observation target on the acquired endoscope image 75 (S13).
  • the detection information is output in association with the endoscope image 75.
  • the display control unit 58 displays a detection time marker 79A indicating the start of detection of the lesion 78 on the time bar 77 based on the detection information and the elapsed time T associated with the endoscope image 75 (S15).
  • the display control unit 58 monitors the detection information and the elapsed time T, and when the detection information associated with the endoscope image 75 disappears, that is, when the detection of the attention area disappears (Y in S16), the lesion part 78.
  • a detection time marker 79B indicating the end of the detection is displayed (S17). Thereafter, until the attention area detection mode ends (N in S18), attention area detection processing is performed (S13).
  • detection time markers 79A and 79B are displayed ( S15 to S17).
  • the detection time markers 79A and 79B are displayed on the time bar 77 located outside the endoscope image 75. Since the eyes can be kept concentrated in the endoscope image 75 without being distracted by 79A and 79B, it is possible to prevent the attention area from being overlooked. Further, when the detection of the attention area is completed, there is no display of the detection result of the attention area in the endoscope image 75, so that the observation by the doctor is not hindered.
  • the detection time marker is added to the time bar to display the detection time at which the attention area is detected.
  • the bars may be displayed in different colors.
  • the time bar 80 is displayed on the detection time display section 76B as in the first embodiment.
  • the time bar 80 is arranged such that the initial value T0 of the elapsed time T is arranged near the left end of the detection time display section 76B, and as the elapsed time T increases, the left end of the detection time display section 76B The length gradually increases from the side toward the right end.
  • the state shown in FIG. 9A is a state after the real-time display of the endoscope image 75 has been started and the attention area in the observation target has not been detected yet. Therefore, a detection time marker indicating the detection time of the attention area is not yet displayed on the time bar 80.
  • a detection time marker 81 is displayed on a time bar 80 as shown in FIG. 9B.
  • the detection time marker 81 is displayed at a position corresponding to the elapsed time T output from the time measurement unit 72 when the endoscope image 75 associated with the detection information is obtained.
  • the length of the time bar 80 according to the elapsed time T is longer than in the state shown in FIG. 9A.
  • the detection time markers 81 are displayed on the time bar 80 at positions corresponding to the elapsed time T1 to the elapsed time T2 and the elapsed time T3 to the elapsed time T4.
  • the difference in color between the detection time marker 81 and the time bar 80 excluding the detection time marker 81 is represented by the presence or absence of hatching.
  • the attention area detection mode image processing unit 64 outputs the detection information in association with the endoscope image 75 when detecting the lesion 78 as the attention area, as in the first embodiment.
  • the left end of the detection time marker 81 indicates a position corresponding to the elapsed times T1 and T3 when the detection of the lesion 78 is started, and the right end of the detection time marker 81 is the elapsed times T2 and T4 when the detection of the lesion 78 is completed.
  • the position corresponding to is shown. Since the detection time marker 81 is displayed on the time bar 80 as in the first embodiment, it is possible to prevent the attention area in the endoscopic image from being overlooked and prevent the observation from being disturbed.
  • the detection time marker only indicating the time at which the attention area is detected is displayed.
  • the present invention is not limited to this.
  • a detection graph 83 may be displayed as a detection time marker.
  • the detection graph 83 is a line graph of a curve in which the elapsed time T is a value on the X axis (one axis) and an index relating to the detection of the attention area is a value on the Y axis (the other axis).
  • the index related to the detection of the attention area is the reliability calculated from the detection information of the attention area.
  • the attention area detection mode image processing unit 64 based on the image information of the attention area detected from the endoscope image as in the first and second embodiments, for example, the area, position, pixel value, and the like of the attention area, The reliability which is an index indicating the probability of being a lesion (the probability of being a region of interest) is calculated. If the calculated image information of the attention area exceeds a predetermined threshold value, the attention area is evaluated as having high reliability, and it is determined that the attention area has been detected.
  • the attention area when the calculated image information of the attention area is equal to or smaller than the predetermined threshold, the attention area is evaluated as having low reliability, and it is determined that the attention area has not been detected.
  • AI artificial intelligence
  • deep learning deep learning
  • convolutional neural network template matching
  • texture analysis texture analysis
  • frequency analysis frequency analysis
  • the state shown in FIG. 10A is after the real-time display of the endoscope image 75 has started, and the time bar 82 indicating the elapsed time T and the detection graph 83 located on the time bar 82 are displayed. I have.
  • the detection graph 83 has a small value on the Y-axis indicating the reliability and is equal to or smaller than the threshold value (the broken line 83A indicates the threshold value). Therefore, it is determined that the attention area in the observation target has not been detected yet. can do.
  • the time bar 82 and the detection graph 83 are displayed on the detection time display section 76B.
  • the state shown in FIG. 10B shows a case where a lesion 78 as a region of interest is detected in the observation target.
  • the detection graph 83 displayed on the time bar 82 has a larger value on the Y axis indicating reliability than the state shown in FIG. It can be determined that the part 78 has been detected.
  • the detection time display section 76B may not display the time bar 82, but may display only the detection graph 83. In this case, even if the time bar 82 is not displayed, it is possible to visually recognize that the detection graph 83 extends in the X-axis direction over time, so that the doctor can know the elapsed time T.
  • a plurality of bar graphs 84 may be displayed as a detection graph instead of a line graph as shown in FIG.
  • a bar graph 84 as a detection graph is sequentially displayed on the time bar 82 as the elapsed time T increases.
  • the time bar 82 and the detection graph 83 are displayed on the detection time display section 76B.
  • the value of the Y-axis of the bar graph 84 is the reliability of determining the detection of the attention area, as in the third embodiment.
  • a broken line 84A indicates a threshold value of the reliability, similarly to the broken line 83A of the third embodiment.
  • the position where each bar graph 84 is arranged is a position corresponding to the elapsed time T when the endoscope image from which the reliability was calculated was obtained.
  • the endoscope image 75 at the elapsed time T and the bar graph 84 indicating the reliability corresponding to the endoscope image 75 are sequentially displayed.
  • only a plurality of bar graphs 84 may be displayed on the detection time display section 76 ⁇ / b> B without displaying the time bar 82. In this case, even if the time bar 82 is not displayed, it is possible to visually recognize that the number of the bar graphs 84 increases with the passage of time, so that the doctor can know the elapsed time T.
  • the detection time marker as in the first and second embodiments may be displayed on the time bar, and the detection graph 83 may be displayed as in the third embodiment.
  • the threshold value of the reliability is indicated by a broken line, but the present invention is not limited to this, and it is sufficient that the threshold value indicates whether or not the threshold value is exceeded.
  • the color of the detection graph may be changed between when the threshold value is exceeded.
  • the elapsed time is indicated by the length of the time bar gradually increasing from the left end to the right end within the range of the detection time display section. No mention is made of the length of the bar after it has been extended to a predetermined length.
  • the time bar scrolls within the range of the detection time display unit to indicate the elapsed time.
  • the predetermined length at which the length of the time bar reaches is the length from one end to the other end of the detection time display section 76B.
  • the length of the time bar 85 extends from the left end (initial value T0) toward the right end and reaches the right end of the detection time display section 76B.
  • the length of the time bar 85 indicates the elapsed time T.
  • detection time markers 79A and 79B that indicate the detection time when the attention area is detected are added to the time bar 85, as in the first embodiment.
  • the detection time marker on the time bar 85 is not limited to this, and may be displayed in a different color of the time bar 85 as the detection time marker, as in the second embodiment.
  • the time bar 85 scrolls horizontally within the range of the detection time display section 76B. That is, when the length of the time bar 85 continues to increase by a length corresponding to the elapsed time T, it exceeds the range of the detection time display section 76B. Therefore, the entire time bar 85 is moved in the opposite direction, that is, from the right side to the left side, by the amount that the length of the time bar 85 exceeds the range of the detection time display section 76B according to the elapsed time T.
  • the portion that protrudes from the left end of the detection time display section 76B is sequentially deleted by the amount by which the entire time bar 85 is moved.
  • the right end of the detection time display section 76B always indicates the time TP at which the currently displayed endoscope image 75 is acquired.
  • the detection time markers 79A and 79B are also moved in accordance with the movement of the entire time bar 85.
  • the doctor can know that the time has elapsed (the acquisition of the endoscope image is continuing).
  • the display method of the time bar is not limited to this.
  • the entire length of the time bar 85 may be reduced and displayed.
  • the doctor can know that time has passed (the acquisition of the endoscopic image is continuing).
  • the positions and widths of the detection time markers 79A and 79B are also changed according to the reduction of the entire time bar 85.
  • the entire length of the time bar 85 may be reduced again.
  • the time bar indicating the elapsed time from the start of the acquisition of the endoscope image is displayed in a long band shape.
  • the bar 87 may be displayed in an arc shape.
  • the time bar 87 is displayed on the detection time display section 76B located on the side of the medical image display section 76A.
  • the length L of the arc increases according to the elapsed time T.
  • Detection arc markers 88A and 88B similar to those in the first embodiment are added to the arc of the time bar 87.
  • the detection time markers 88A and 88B indicate the start and end of detection of a lesion as a region of interest, similarly to the detection time markers 79A and 79B of the first embodiment, and the detection time markers 88A (with hatching) indicate
  • the detection time marker 88B (without hatching) indicates the elapsed time at which the detection of the lesion 78 has been completed.
  • the detection time marker on the time bar 87 is not limited to this, and may be displayed by changing the color of the time bar 87 as the detection time marker as in the second embodiment. Similarly, a detection graph may be displayed around the time bar 87.
  • the endoscope images to be displayed on the display screen are sequentially acquired and displayed in real time on the display screen.
  • the present invention is not limited to this. Is also good.
  • a thumbnail image past endoscope image
  • the display control unit 58 includes an image storage unit 89.
  • the image storage unit 89 is for temporarily storing a past endoscopic image acquired from the attention area detection mode image processing unit 64 and displayed by the display control unit 58.
  • detection time markers 79A and 79B are added on the time bar 77 to indicate the start and end of detection of a lesion as a region of interest.
  • the detection time marker is not limited to this, and the detection time marker may be displayed by changing the color of the time bar 77 as in the second embodiment.
  • the time bar 77 may be displayed as in the third embodiment. May be displayed around the detection graph.
  • the cursor 90 indicates a position when an object in the display screen 76 is selected by an input operation of the console 19, and nothing is selected in the state shown in FIG.
  • the example shown in FIG. 18B shows a state where the detection time marker 79A indicating the position of the elapsed time T1 is selected.
  • the input operation for selecting one of the detection time markers 79A and 79B is a so-called mouse-over operation, and the input operation is performed by overlapping the cursor 90 on the detection time markers 79A and 79B. Is performed.
  • a window 91 appears at the position of the selected (inputted) detection time marker 79A. Inside this window 91, a thumbnail image 92 is displayed.
  • the thumbnail image 92 is obtained based on the endoscopic image related to the detection time marker 79A, that is, the number of pixels and the image quality based on the past endoscopic image read out from the image storage unit 89 at the time of the elapsed time T1. Is displayed.
  • the doctor since the past image in which the attention area is detected is displayed by inputting the position of the detection time marker, the doctor does not disturb the observation without obstructing the observation by observing the current endoscopic image. None overlook the area. Further, when it is desired to view the attention area again, the past image may be displayed by inputting at the position of the detection time marker, so that oversight can be further prevented.
  • the display control unit 58 outputs a plurality of endoscope images acquired from the start of detection of the attention area to the end of detection, that is, a plurality of endoscope images (still images) associated with the detection information.
  • One moving image file is created and stored in the image storage unit 89.
  • the detection time marker 79A indicating the position of the elapsed time T1 is selected, it is selected (input is performed).
  • a window 91 appears at the position of the detection time marker 79A.
  • a moving image file created from a plurality of endoscope images acquired from the elapsed time T1 of the detection start to the elapsed time T2 of the detection end, that is, a moving image related to the detection time marker 79A. are read from the image storage unit 89 and displayed.
  • Another modification of the sixth embodiment is not the case where any one of the detection time markers is selected, but the case where an input is made at any position of the time bar 77 as shown in FIG. May be displayed in the past.
  • the input operation for inputting at any position on the time bar 77 is a mouse-over operation, and the cursor 90 is overlaid on any position on the time bar 77.
  • Input is performed.
  • the display control unit 58 stores all the endoscope images displayed on the medical image display unit 76A from the initial value T0 of the elapsed time T to the end of the observation, that is, from the start to the end of the acquisition of the endoscope image. Let it be.
  • a window 91 appears at the position on the time bar 77 where the input was made.
  • a past thumbnail image 92 read from the image storage unit 89 corresponding to the past elapsed time on the time bar 77 is displayed.
  • the thumbnail image 92 is displayed with a reduced number of pixels and image quality based on the past endoscopic image read from the image storage unit 89, as in the sixth embodiment.
  • the input operation is not limited to the mouse-over operation, and the input may be performed at any position on the detection time marker or the time bar. Any operation that can be performed may be used, that is, a so-called click operation, or a touch operation when the input device is a touch panel.
  • the elapsed time T is used to measure the elapsed time from the start of acquiring an endoscopic image using a counter.
  • the configuration for measuring the elapsed time is not limited to this.
  • the value may be a value indicating a time series from the start of acquisition of the endoscope image.
  • the order when acquiring the endoscope image (the value indicating the frame number of the endoscope image) may be determined.
  • the elapsed time T may be measured. That is, in the case of the endoscopic image of the first frame, the elapsed time T is the initial value (0), and thereafter, a value according to the order in which the endoscopic images were obtained is output. Then, the display control unit 58 displays a detection time marker, a detection graph, and the like using the values according to the order.
  • the start time of the elapsed time T is not limited to the start of the acquisition of the endoscope image, but may be the time point at which the attention area detection unit 71 starts detecting the attention area.
  • the detection of the attention area is preferably started at the start of the automatic detection by the attention area detection unit 71, or the on / off state of the attention area detection can be switched by the user's selection.
  • the time when the attention area is first detected by the attention area detection unit 71 or the on / off state of the display of the time bar can be switched, and the time when the display of the time bar is turned on is determined at the start of the elapsed time T. May be.
  • the illumination of the observation target is performed using the four-color LEDs 20a to 20d, but the illumination of the observation target may be performed using a laser light source and a phosphor.
  • the observation target is illuminated using the four-color LEDs 20a to 20d.
  • the observation target may be illuminated using a white light source such as a xenon lamp and a rotating filter.
  • a monochrome image sensor may be used to image the observation target.
  • the medical image processing apparatus of the present invention is applied to an endoscope system that acquires an endoscope image as a medical image.
  • various endoscopes such as a capsule endoscope are used.
  • the medical image processing apparatus of the present invention can be applied to various medical image apparatuses.
  • the hardware structure of a processing unit (processing unit) that executes various types of processing is the following various types of processors.
  • the various processors include a general-purpose processor that executes software (program) and functions as various processing units, such as a CPU (Central Processing Unit), a GPU (Graphical Processing Unit), and an FPGA (Field Programmable Gate Array).
  • Programmable Logic Device PLD
  • PLD Programmable Logic Device
  • One processing unit may be configured by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a CPU And a combination of a GPU and the like. Further, a plurality of processing units may be configured by one processor. As an example in which a plurality of processing units are configured by one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software, There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip: SoC
  • SoC System On Chip
  • a form in which a processor that realizes the functions of the entire system including a plurality of processing units by one IC (Integrated Circuit) chip is used. is there.
  • the various processing units are configured by using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is more specifically an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

注目領域の検出に基づく表示が医用画像の観察の妨げとなることがなく、注目領域の見落としを防止することが可能な医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法を提供する。プロセッサ装置１６は、画像信号取得部５０と、画像処理部５６と、表示制御部５８とを備えている。画像信号取得部５０は、内視鏡１２から、観察モードに対応したデジタル画像信号を取得する。画像処理部５６は、注目領域検出モード画像処理部６４を備えている。注目領域検出モード画像処理部６４は、内視鏡１２の撮像で取得した内視鏡画像に対して注目領域の検出を行い、注目領域の検出開始からの経過時間を出力する。表示制御部５８は、内視鏡画像を順次取得してリアルタイム表示させるとともに、内視鏡画像表示の外側に、注目領域の検出時間を示す検出時間マーカを表示させる。

Description

医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法

　本発明は、病変部などの注目領域を検出するための医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法に関する。

　医療分野においては、内視鏡画像、X線画像、CT（Computed Tomography）画像、MR（Magnetic Resonanse）画像などの医用画像を用いて、患者の病状の診断や経過観察などの画像診断が行われている。このような画像診断に基づいて、医師などは治療方針の決定などを行っている。

　近年、医用画像を用いた画像診断においては、医用画像を医用画像処理装置によって解析して臓器内の病変や良性腫瘍など注意して観察すべき注目領域を自動的に検出することが行われつつある。特に、ディープラーニングなどの機械学習を行うことによって、注目領域を検出する精度が飛躍的に向上している。

　特許文献１には、医用画像から病変部などの注目領域を検出した場合、検出情報に基づいて画像処理を行う医用画像処理装置が記載されている。この特許文献１記載の医用画像処理装置では、注目領域が検出された場合、表示態様を変更する経過時間を設定し、この設定された経過時間が経過するまでの間、注目領域に対するアラート情報が付加または重畳などされた表示画像が生成されて、表示部に表示される。

特開２０１１－１６０８４８号公報

　しかしながら、上記特許文献１記載の医用画像処理装置では、アラート情報を表示する時間を短く設定した場合、アラート情報に気付かずに注目領域を見落としてしまうことがある。一方、アラート情報を表示する時間を長く設定した場合、医用画像内に注目領域が存在しなくなっても、一定の時間が経過するまでは、アラート情報を表示し続けることになるため、医師が観察を行う際、医用画像内に既に存在しない注目領域を探してしまうという事態が起こり、アラート情報が医師による観察の妨げになる可能性がある。

　本発明は、注目領域の検出に基づく表示が医用画像の観察の妨げとなることがなく、注目領域の見落としを防止することが可能な医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法を提供することを目的とする。

　本発明の医用画像処理装置は、医用画像取得部と、注目領域検出部と、表示制御部とを有する。医用画像取得部は、観察対象を撮像部で撮像して医用画像を取得する。注目領域検出部は、医用画像取得部により取得した医用画像に対して観察対象内の注目領域を検出する。表示制御部は、医用画像取得部により医用画像を順次取得して医用画像表示部にリアルタイム表示するとともに、注目領域が検出された検出時間を検出時間マーカとして検出時間表示部に表示する。

　表示制御部は、検出時間表示部に、経過時間に応じたタイムバーを表示し、タイムバー上に検出時間マーカを表示することが好ましい。

　表示制御部は、経過時間の増加とともに、検出時間表示部内においてタイムバーを変動させることが好ましい。

　表示制御部は、経過時間の増加とともに、検出時間表示部内の一端側から他端側へ向かってタイムバーの長さを伸ばすことが好ましい。

　表示制御部は、経過時間の増加とともに、タイムバーの長さが、所定の長さに到達するまで伸びた場合、検出時間表示部内においてタイムバーをスクロールさせることが好ましい。

　タイムバーは長尺の帯状、または円弧状であることが好ましい。

　表示制御部は、タイムバーのいずれかの位置に入力を行った場合、タイムバー上の過去の経過時間に対応する過去の医用画像を表示することが好ましい。

　表示制御部は、検出時間マーカの位置に入力を行った場合、入力を行った検出時間マーカに関連した過去の画像を表示することが好ましい。

　表示制御部は、検出時間マーカの位置に入力を行った場合、入力を行った検出時間マーカに関連した複数の過去の画像からなる動画を表示することが好ましい。

　表示制御部は、検出時間表示部に、医用画像の取得開始からの経過時間を一方の軸の値とし、注目領域の検出に関する指標を他方の軸の値とする検出グラフを表示することが好ましい。

　指標は、医用画像から算出され、注目領域であることの確からしさを示す信頼度であることが好ましい。

　注目領域検出部は、医用画像からニューラルネットワーク、深層学習、アダブースト、またはランダムフォレストにより注目領域を検出することが好ましい。

　注目領域は病変部であることが好ましい。

　本発明の内視鏡システムは、光源装置と、内視鏡と、医用画像取得部と、注目領域検出部と、表示制御部と、表示部とを備える。光源装置は、観察対象を照明するための照明光を発する。内視鏡は、照明光で照明された観察対象を撮像する撮像部を有する。医用画像取得部は、撮像部で観察対象を撮像して得られる医用画像を取得する。注目領域検出部は、医用画像取得部により取得した医用画像に対して観察対象内の注目領域を検出する。表示制御部は、医用画像取得部により医用画像を順次取得して医用画像表示部にリアルタイム表示するとともに、注目領域が検出された検出時間を検出時間マーカとして検出時間表示部に表示する。表示部は、医用画像及び検出時間マーカを表示する。

　本発明の医療用画像処理装置の作動方法は、医用画像取得部が、観察対象を撮像部で撮像して医用画像を取得するステップと、注目領域検出部が、医用画像取得部により取得した医用画像に対して観察対象内の注目領域を検出するステップと、表示制御部が、医用画像取得部により医用画像を順次取得して医用画像表示部にリアルタイム表示するとともに、注目領域が検出された検出時間を検出時間マーカとして検出時間表示部に表示するステップとを含んでいる。

　本発明によれば、注目領域の検出に基づく表示が医用画像の観察を妨げとなることがなく、注目領域の見落としを防止することができる。

内視鏡システムの外観図である。 複数のLED光源を備える第１実施形態の内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、青色光Ｂｘ、緑色光Ｇ、赤色光Ｒの分光スペクトルを示すグラフである。 第１実施形態の通常光の分光スペクトルを示すグラフである。 第１実施形態の特殊光の分光スペクトルを示すグラフである。 注目領域検出モード画像処理部及び表示制御部の機能を示すブロック図である。 表示制御部が検出時間マーカを表示させる前（Ａ）、及び検出時間マーカを表示させた後（Ｂ）の表示画面の一例を示す説明図である。 注目領域検出モードの一連の流れを示すフローチャートである。 第２実施形態における表示制御部が検出時間マーカを表示させる前（Ａ）、及び検出時間マーカを表示させた後（Ｂ）の表示画面の一例を示す説明図である。 第３実施形態における表示制御部が検出グラフを表示させた場合、注目領域が検出される前（Ａ）、及び注目領域が検出された後（Ｂ）の表示画面の一例を示す説明図である。 第３実施形態の第１変形例を示す表示画面の説明図である。 第３実施形態の第２変形例を示す表示画面の説明図である。 第３実施形態の第３変形例を示す表示画面の説明図である。 第４実施形態におけるタイムバーが検出時間表示部の右端に到達した場合（Ａ）、及びタイムバーが検出時間表示部の範囲内でスクロールした場合（Ｂ）の表示画面の一例を示す説明図である。 第５実施形態の変形例におけるタイムバーが検出時間表示部の右端に到達した場合（Ａ）、及びタイムバー全体が縮小した場合（Ｂ）の表示画面の一例を示す説明図である。 第５実施形態におけるタイムバーを円弧状に表示させた場合の表示画面の一例を示す説明図である。 第６実施形態における注目領域検出モード画像処理部及び表示制御部の機能を示すブロック図である。 第６実施形態におけるサムネイル画像を表示させる前（Ａ）及びサムネイル画像を表示させた後（Ｂ）の表示画面の一例を示す説明図である。 第６実施形態の変形例を示す表示画面の説明図である。

　［第１実施形態］

　図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８（表示部）と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１３ａを操作することにより、湾曲部１２ｃが湾曲動作する。この湾曲動作によって、先端部１２ｄが所望の方向に向けられる。

　先端部１２ｄは、先端面に、照明窓と、観察窓と、送気・送水ノズルと、鉗子出口とを有する（いずれも図示無し）。照明窓は、照明光を観察部位に照射するためのものである。観察窓は、観察部位からの光を取り込むためのものである。送気・送水ノズルは、照明窓及び観察窓を洗浄するためのものである。鉗子出口は、鉗子と電気メス等の処置具を用いて各種処置を行うためのものである。

　また、操作部１２ｂには、アングルノブ１３ａの他、静止画像の取得操作に用いる静止画像取得部１３ｂ、観察モードの切り替え操作に用いるモード切替部１３ｃ、ズーム倍率の変更操作に用いるズーム操作部１３ｄを設けている。静止画像取得部１３ｂは、モニタ１８に観察対象の静止画像を表示するフリーズ操作と、ストレージに静止画像を保存するレリーズ操作が可能である。

　内視鏡システム１０は、観察モードとして、通常モードと、特殊モードと、注目領域検出モードとを有している。観察モードが通常モードである場合、複数色の光を通常モード用の光量比Ｌｃで合波した通常光を発光する。また、観察モードが特殊モードである場合、複数色の光を特殊モード用の光量比Ｌｓで合波した特殊光を発光する。

　また、観察モードが注目領域検出モードである場合、注目領域検出モード用照明光を発光する。本実施形態では、注目領域検出モード用照明光として、通常光を発光するが、特殊光を発光するようにしてもよい。

　プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続する。モニタ１８は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール１９は、注目領域（ROI : Region Of Interest）の指定等や機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。

　図２に示すように、光源装置１４は、観察対象の照明に用いる照明光を発する光源部２０と、光源部２０を制御する光源制御部２２とを備えている。光源部２０は、複数色のＬＥＤ（Light Emitting Diode）等の半導体光源である。光源制御部２２は、ＬＥＤ等のオン／オフや、ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。また、光源制御部２２は、光学フィルタの変更等によって、照明光の波長帯域を制御する。

　第１実施形態では、光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤと、波長カットフィルタ２３とを有している。図３に示すように、Ｖ－ＬＥＤ２０ａは、波長帯域３８０ｎｍ～４２０ｎｍの紫色光Ｖを発する。

　Ｂ－ＬＥＤ２０ｂは、波長帯域４２０ｎｍ～５００ｎｍの青色光Ｂを発する。Ｂ－ＬＥＤ２３ｂから出射した青色光Ｂのうち少なくともピーク波長の４５０ｎｍよりも長波長側は、波長カットフィルタ２３によりカットされる。これにより、波長カットフィルタ２３を透過した後の青色光Bxは、４２０～４６０nmの波長範囲になる。このように、４６０ｎｍよりも長波長側の波長域の光をカットしているのは、この４６０ｎｍよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ２３は、４６０ｎｍよりも長波長側の波長域の光をカットする代わりに、４６０ｎｍよりも長波長側の波長域の光を減光させてもよい。

　Ｇ－ＬＥＤ２０ｃは、波長帯域が４８０ｎｍ～６００ｎｍに及ぶ緑色光Ｇを発する。Ｒ－ＬＥＤ２０ｄは、波長帯域が６００ｎｍ～６５０ｎｍに及び赤色光Ｒを発する。なお、各ＬＥＤ２０ａ～２０ｄから発せられる光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。

　光源制御部２２は、各ＬＥＤ２０ａ～２０ｄの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。光源制御部２２における点灯及び消灯の制御は、観察モードごとに異なっている。なお、基準の明るさは光源装置１４の明るさ設定部又はコンソール１９等によって設定可能である。

　通常モード又は注目領域検出モードの場合、光源制御部２２は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを全て点灯させる。その際、図４に示すように、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比Lｃは、青色光Bxの光強度のピークが、紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒのいずれの光強度のピークよりも大きくなるように、設定されている。これにより、通常モード又は注目領域検出モードでは、光源装置１４から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む通常モード用又は注目領域検出モード用の多色光が、通常光として、が発せられる。通常光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。

　特殊モードの場合、光源制御部２２は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを全て点灯させる。その際、図５に示すように、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比Lｓは、紫色光Vの光強度のピークが、青色光Bx、緑色光Ｇ、及び赤色光Ｒのいずれの光強度のピークよりも大きくなるように、設定されている。また、緑色光G及び赤色光Rの光強度のピークは、紫色光V及び青色光Bｘの光強度のピークよりも小さくなるように、設定されている。これにより、特殊モードでは、光源装置１４から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む特殊モード用の多色光が、特殊光として発せられる。特殊光は、紫色光Ｖが占める割合が大きいことから、青みを帯びた光となっている。なお、特殊光は、４色全ての光が含まれていなくてもよく、４色のＬＥＤ２０ａ～２０ｄのうち少なくとも１色のＬＥＤからの光が含まれていればよい。また、特殊光は、４５０ｎｍ以下に主な波長域、例えばピーク波長又は中心波長を有することが好ましい。

　図２に示すように、光源部２０が発した照明光は、ミラーやレンズ等で形成される光路結合部（図示しない）を介して、挿入部１２ａ内に挿通したライトガイド２４に入射する。ライトガイド２４は、内視鏡１２及びユニバーサルコードに内蔵され、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド２４としては、マルチモードファイバを使用することができる。一例として、ライトガイド２４には、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３ｍｍ～φ０．５ｍｍの細径なファイバケーブルを使用することができる。

　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂとを設けている。照明光学系３０ａは、照明レンズ３２を有している。この照明レンズ３２を介して、ライトガイド２４を伝搬した照明光によって観察対象を照明する。撮像光学系３０ｂは、対物レンズ３４と、拡大光学系３６と、撮像センサ３８（本発明の「撮像部」に対応する）とを有している。これら対物レンズ３４及び拡大光学系３６を介して、観察対象からの反射光、散乱光、及び蛍光等の各種の光が撮像センサ３８に入射する。これにより、撮像センサ３８に観察対象の像が結像する。

　拡大光学系３６は、観察対象を拡大するズームレンズ３６ａと、ズームレンズ３６ａを光軸方向ＣＬに移動させるレンズ駆動部３６ｂとを備えている。ズームレンズ３６ａは、レンズ駆動部３６ｂによるズーム制御に従って、テレ端とワイド端の間で自在に移動させることで、撮像センサ３８に結像する観察対象を拡大又は縮小させる。

　撮像センサ３８は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ３８の各画素には、Ｒ（赤色）カラーフィルタ、Ｇ（緑色）カラーフィルタ、Ｂ（青色）カラーフィルタのいずれかが設けられている。撮像センサ３８は、Ｂカラーフィルタが設けられているＢ画素で紫色から青色の光を受光し、Ｇカラーフィルタが設けられているＧ画素で緑色の光を受光し、Ｒカラーフィルタが設けられているＲ画素で赤色の光を受光する。そして、各色の画素から、ＲＧＢ各色の画像信号を出力する。撮像センサ３８は、出力した画像信号を、ＣＤＳ回路４０に送信する。

　通常モード又は注目領域検出モードにおいては、撮像センサ３８は、通常光が照明された観察対象を撮像することにより、B画素からBｃ画像信号を出力し、G画素からGc画像信号を出力し、R画素からRｃ画像信号を出力する。また、特殊モードにおいては、撮像センサ３８は、特殊光が照明された観察対象を撮像することにより、B画素からBｓ画像信号を出力し、G画素からGｓ画像信号を出力し、R画素からRｓ画像信号を出力する。

　撮像センサ３８としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサ等を利用可能である。また、ＲＧＢの原色のカラーフィルタを設けた撮像センサ３８の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号を出力する。このため、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ３８と同様のＲＧＢ各色の画像信号を得ることができる。また、撮像センサ３８の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。

　ＣＤＳ回路４０は、撮像センサ３８から受信したアナログの画像信号に、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）を行う。ＣＤＳ回路４０を経た画像信号はＡＧＣ回路４２に入力される。ＡＧＣ回路４０は、入力された画像信号に対して、自動利得制御（ＡＧＣ：Automatic Gain Control）を行う。Ａ／Ｄ（Analog to Digital）変換回路４４は、ＡＧＣ回路４２を経たアナログ画像信号を、デジタルの画像信号に変換する。Ａ／Ｄ変換回路４４は、Ａ／Ｄ変換後のデジタル画像信号を、プロセッサ装置１６に入力する。

　図２に示すように、プロセッサ装置１６は、画像信号取得部５０（本発明の「医用画像取得部」に対応する）と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５４と、画像処理部５６と、表示制御部５８とを備えている。

　画像信号取得部５０は、内視鏡１２から、観察モードに対応したデジタル画像信号を取得する。通常モード又は注目領域検出モードの場合には、Ｂｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号を取得する。特殊モードの場合には、Ｂｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号を取得する。注目領域検出モードの場合には、通常光の照明時に１フレーム分のＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号を取得し、特殊光の照明時に１フレーム分のＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号を取得する。

　ＤＳＰ５２は、画像信号取得部５０が取得した画像信号に対して、欠陥補正処理、オフセット処理、ＤＳＰ用ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、撮像センサ３８の欠陥画素の信号を補正する。オフセット処理は、欠陥補正処理した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ＤＳＰ用ゲイン補正処理は、オフセット処理した画像信号に特定のＤＳＰ用ゲインを乗じることにより信号レベルを整える。

　リニアマトリクス処理は、ＤＳＰ用ゲイン補正処理した画像信号の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像信号の明るさや彩度を整える。ガンマ変換処理した画像信号には、デモザイク処理（等方化処理、又は同時化処理とも言う）を施すことによって、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ノイズ低減部５４は、ＤＳＰ５２でデモザイク処理等を施した画像信号に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズ低減後の画像信号は画像処理部５６に入力される。

　画像処理部５６は、通常モード画像処理部６０と、特殊モード画像処理部６２と、注目領域検出モード画像処理部６４を備えている。通常モード画像処理部６０は、通常モードに設定されている場合に作動し、受信したＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理では、ＲＧＢ画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（Look Up Table）処理などにより色変換処理を行う。

　色彩強調処理は、色変換処理済みのＲＧＢ画像信号に対して行われる。構造強調処理は、観察対象の構造を強調する処理であり、色彩強調処理後のＲＧＢ画像信号に対して行われる。上記のような各種画像処理等を行うことによって、通常画像が得られる。通常画像は、紫色光V、青色光Bｘ、緑色光G、赤色光Rがバランス良く発せられた通常光に基づいて得られた画像であるため、自然な色合いの画像となっている。通常画像は、表示制御部５８に入力される。

　特殊モード画像処理部６２は、特殊モードに設定されている場合に作動する。特殊モード画像処理部６２では、受信したＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理、色彩強調処理、及び構造強調処理の処理内容は、通常モード画像処理部６０と同様である。上記のような各種画像処理を行うことによって、特殊画像が得られる。特殊画像は、血管のヘモグロビンの吸収係数が高い紫色光Vが、他の色の青色光Bx、緑色光G、赤色光Rよりも大きい発光量となっている特殊光に基づいて得られた画像であるため、血管構造や腺管構造の解像度が他の構造よりも高くなっている。特殊画像は表示制御部５８に入力される。

　注目領域検出モード画像処理部６４は、注目領域検出モード時に設定されている場合に作動する。図６に示すように、注目領域検出モード画像処理部６４は、検出用画像処理部７０と、注目領域検出部７１と、時間計測部７２とを有している。検出用画像処理部７０は、受信したＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、色変換処理など通常モード画像処理部６０と同様の画像処理により内視鏡画像を順次取得する。

　注目領域検出部７１は、内視鏡画像を画像解析し、観察対象内の注目領域を検出するための注目領域検出処理を行う。本実施形態では、注目領域検出部７１は、注目領域として観察対象内の病変部（例えば、腫瘍や炎症など）を検出する。この場合、注目領域検出部７１は、先ず内視鏡画像を複数の小領域、例えば画素数個分の正方領域に分割する。次いで、分割した内視鏡画像から画像的な特徴量を算出する。続いて、算出した特徴量に基づき、各小領域が病変部であるか否かを認識処理する。このような認識処理としては、畳み込みニューラルネットワーク（Convolutional Neural Network）や、深層学習（Deep Learning）、アダブースト（Adaboost）、ランダムフォレスト（random forest）などの機械学習アルゴリズムであることが好ましい。

　また、注目領域検出部７１により内視鏡画像から算出される特徴量としては、観察対象における所定部位の形状、色又はそれら形状や色などから得られる指標値であることが好ましい。例えば、特徴量として、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報の少なくともいずれか、もしくは、それらを２以上組み合わせた値であることが好ましい。

　最後に、同じ種類と特定された、ひとかたまりの小領域を１つの病変部として抽出する。注目領域検出部７１は、抽出した病変部の位置、大きさ、病変の種類などの情報を検出情報として内視鏡画像に関連付ける。

　一方、時間計測部７２は、画像信号取得部５０により内視鏡画像の取得を開始してからの経過時間を計測する。時間計測部７２は、例えば、カウンタを用いて内視鏡画像の取得を開始してからの経過時間を計測する。カウンタの初期値は０であり、内視鏡画像の取得開始を基点に所定周期のクロック信号が入力される毎にカウンタ値を１つ進める（カウンタ値＋１）。このカウンタ値を１つ進めることは、すなわちカウンタの１周期毎の経過時間を計測していることになる。

　この場合、注目領域検出モード画像処理部６４は、検出情報を関連付けた内視鏡画像７５と、内視鏡画像７５の取得開始からの経過時間Ｔ（カウンタ値）とを表示制御部５８に出力する。内視鏡画像７５の取得開始の際は、時間計測部７２は、経過時間Ｔとして初期値Ｔ０（カウンタ値が０）を出力する。そして、内視鏡画像７５が出力されている間、時間計測部７２は、経過時間Ｔを表示制御部５８に出力し続ける。

　表示制御部５８は、画像処理部５６からの画像やデータをモニタ１８に表示するための表示制御を行う。通常モードに設定されている場合には、表示制御部５８は、通常画像をモニタ１８に表示する制御を行う。特殊モードに設定されている場合には、表示制御部５８は、特殊画像をモニタ１８に表示する制御を行う。

　注目領域検出モードに設定されている場合には、表示制御部５８は、注目領域検出モード画像処理部６４から順次取得した内視鏡画像をリアルタイム表示するとともに、内視鏡画像から注目領域が検出された検出時間を、検出時間マーカとしてモニタ１８に表示する制御を行う。

　検出時間マーカをモニタ１８に表示する場合、表示制御部５８は、先ず、上述した時間計測部７２から出力された経過時間Ｔに応じた長さのタイムバーを表示する。そして、表示制御部５８は、検出情報が付加された内視鏡画像７５を取得した際に、時間計測部７２から出力された経過時間Ｔに対応する位置に、注目領域が検出された検出時間としてタイムバー上の位置に検出時間マーカを表示する。

　図７（Ａ）に示すように、注目領域検出モードに設定されている場合、表示制御部５８は、撮像センサ３８が撮像し、注目領域検出モード画像処理部６４により画像処理した内視鏡画像７５（通常画像と同様の画像）を順次取得してモニタ１８の表示画面７６にリアルタイム表示するとともに、時間計測部７２から出力された経過時間Ｔに応じた長さのタイムバー７７を表示する。

　内視鏡画像７５は、表示画面７６内の医用画像表示部７６Ａに表示され、タイムバー７７は、医用画像表示部７６Ａの外側に位置する検出時間表示部７６Ｂ（２点鎖線で示す範囲）に表示される。医用画像表示部７６Ａは、撮像センサ３８で撮像される撮像範囲に合わせて円形の一部が切り欠かれた形状に形成されており、検出時間表示部７６Ｂは、医用画像表示部７６Ａの下方に位置する。なお、検出時間表示部７６Ｂを示す２点鎖線は仮想的な線であり、実際には表示しなくてもよい。

　タイムバー７７は、表示画面７６のＸ軸方向（左右方向）に伸びる長尺の帯状である。なお、本実施形態では、タイムバー７７は、経過時間Ｔの初期値Ｔ０が検出時間表示部７６Ｂの左端付近に配され、経過時間Ｔの増加とともに、検出時間表示部７６Ｂの左端側から右端側に向かって徐々に長さが伸びる。なお、この図７（Ａ）に示す状態は、内視鏡画像７５のリアルタイム表示を開始した後であり、且つ観察対象内の注目領域がまだ検出されていない状態である。このため、タイムバー７７上には、注目領域の検出時間を示す検出時間マーカはまだ表示されていない。

　図７（Ａ）に示す状態の後、観察対象内に注目領域としての病変部７８が検出された場合、図７（Ｂ）に示すように、タイムバー７７上に検出時間マーカ７９Ａ，７９Ｂを付加する。検出時間マーカ７９Ａ，７９Ｂは、下向きの三角形状であり、表示制御部５８が検出情報を関連付けた内視鏡画像７５を取得した際に、時間計測部７２から出力された経過時間Ｔに対応する位置に付加されている。

　図７（Ｂ）に示す状態では、図７（Ａ）に示す状態よりも経過時間Ｔに応じたタイムバー７７の長さが増加している。そして、タイムバー７７上の経過時間Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５に応じた位置に検出時間マーカ７９Ａ，７９Ｂが表示されている。なお、図７（Ｂ）においては、作図の都合上、検出時間マーカ７９Ａ、７９Ｂの色の違いを、検出時間マーカ８１に施したハッチングの有無で表現している。また、検出時間マーカ７９Ａ，７９Ｂの形状は、下向きの三角形に限らず、三角形以外の多角形や矢印など、タイムバー７７上において病変部７８が検出された時間を示すことが可能な形状であればよい。

　検出時間マーカ７９Ａ（ハッチングあり）は、病変部７８の検出が開始された経過時間Ｔ１、Ｔ３、Ｔ５に応じた位置を示し、検出時間マーカ７９Ｂ（ハッチングなし）は、病変部７８の検出が終了した経過時間Ｔ２、Ｔ４に応じた位置を示している。なお、これに限らず、病変部７８が検出された全ての時間について検出時間マーカを付加してもよい。

　次に、注目領域検出モードの一連の流れについて、図８に示すフローチャートに沿って説明を行う。ユーザーである医師がモード切替部１３ｃを操作して、注目領域検出モードに切り替える（Ｓ１１）。これにより、体腔内の観察対象に対して、注目領域検出モード用照明光が照明される。この注目領域検出モード用照明光で照明された観察対象を撮像センサ３８で撮像して内視鏡画像７５を取得する。注目領域検出モードに切り替えた場合、表示制御部５８は、内視鏡画像７５をモニタ１８の表示画面７６にリアルタイム表示するとともに、タイムバー７７を表示する（Ｓ１２）。タイムバー７７は、経過時間Ｔに応じて長さが増加する。

　注目領域検出モードにおけるリアルタイム表示中に、注目領域検出部７１は、取得した内視鏡画像７５に対して観察対象内の注目領域を検出するための注目領域検出処理を行う（Ｓ１３）。注目領域としての病変部７８を検出した場合（Ｓ１４でＹ）、検出情報を内視鏡画像７５に関連付けて出力する。

　そして、表示制御部５８は、内視鏡画像７５に関連付けた検出情報および経過時間Ｔに基づき、タイムバー７７上に、病変部７８の検出開始を示す検出時間マーカ７９Ａを表示させる（Ｓ１５）。表示制御部５８は、検出情報および経過時間Ｔを監視し、内視鏡画像７５に関連付けた検出情報がなくなった場合、すなわち、注目領域の検出がなくなった場合（Ｓ１６でＹ）、病変部７８の検出終了を示す検出時間マーカ７９Ｂを表示させる（Ｓ１７）。以降は、注目領域検出モードが終了するまで（Ｓ１８でＮ）、注目領域検出処理を行い（Ｓ１３）、注目領域を検出した場合（Ｓ１４でＹ）、検出時間マーカ７９Ａ，７９Ｂの表示を行う（Ｓ１５～Ｓ１７）。

　以上のように、注目領域が検出された場合、内視鏡画像７５の外側に位置するタイムバー７７上に検出時間マーカ７９Ａ、７９Ｂを表示させているので、ユーザーである医師は、検出時間マーカ７９Ａ、７９Ｂに気を取られず、内視鏡画像７５内に視線を集中し続けることができるため、注目領域の見落としを防ぐことができる．また、注目領域の検出が終了した場合、内視鏡画像７５内には、注目領域の検出結果を表示するものが存在しないので、医師による観察の妨げとなることがない。

　［第２実施形態］

　上記第１実施形態では、タイムバー上に検出時間マーカを付加して、注目領域を検出した検出時間を表示しているが、これに限らず、注目領域を検出した場合、検出時間マーカとしてタイムバーの色を変えて表示してもよい。この場合、図９（Ａ）及び図９（Ｂ）に示すように、タイムバー８０は、上記第１実施形態と同様に、検出時間表示部７６Ｂに表示されている。また、上記第１実施形態と同様に、タイムバー８０は、経過時間Ｔの初期値Ｔ０が検出時間表示部７６Ｂの左端付近に配され、経過時間Ｔの増加とともに、検出時間表示部７６Ｂの左端側から右端側に向かって徐々に長さが伸びる。図９（Ａ）に示す状態は、内視鏡画像７５のリアルタイム表示を開始した後であり、且つ観察対象内の注目領域がまだ検出されていない状態である。このため、タイムバー８０上には、注目領域の検出時間を示す検出時間マーカはまだ表示されていない。

　図９（Ａ）に示す状態の後、観察対象内に注目領域としての病変部７８が検出された場合、図９（Ｂ）に示すように、タイムバー８０上に検出時間マーカ８１を表示する。検出時間マーカ８１は、検出情報を関連付けた内視鏡画像７５を取得した際に、時間計測部７２から出力された経過時間Ｔに対応する位置に表示されている。なお、この図９（Ｂ）に示す状態では、図９（Ａ）に示す状態よりも経過時間Ｔに応じたタイムバー８０の長さが増加している。そして、タイムバー８０上の経過時間Ｔ１から経過時間Ｔ２までと、経過時間Ｔ３から経過時間Ｔ４までに応じた位置に検出時間マーカ８１が表示されている。なお、作図の都合上、検出時間マーカ８１と、検出時間マーカ８１を除くタイムバー８０との色の違いを、ハッチングの有無で表現している。

　注目領域検出モード画像処理部６４は、上記第１実施形態と同様に、注目領域としての病変部７８を検出した場合、検出情報を内視鏡画像７５に関連付けて出力する。検出時間マーカ８１の左端は、病変部７８の検出が開始された経過時間Ｔ１、Ｔ３に応じた位置を示し、検出時間マーカ８１の右端は、病変部７８の検出が終了した経過時間Ｔ２、Ｔ４に応じた位置を示している。上記第１実施形態と同様にタイムバー８０上に検出時間マーカ８１を表示しているので、内視鏡画像内の注目領域の見落としを防ぎ、観察の妨げを防ぐことができる。

　［第３実施形態］

　上記第１及び第２実施形態では、注目領域が検出された時間を示すだけの検出時間マーカを表示させているが、これに限らず、図１０（Ａ）及び図１０（Ｂ）に示すように、検出時間マーカとして検出グラフ８３を表示してもよい。本実施形態では、検出グラフ８３は、経過時間ＴをＸ軸（一方の軸）の値とし、注目領域の検出に関する指標をＹ軸（他方の軸）の値とする曲線の折れ線グラフである。

　本実施形態では、注目領域の検出に関する指標は、注目領域の検出情報から算出される信頼度である。注目領域検出モード画像処理部６４は、上記第１及び第２実施形態と同様に内視鏡画像から検出した注目領域の画像的な情報、例えば、注目領域の面積、位置、画素値などから、病変であることの確からしさ（注目領域であることの確からしさ）を示す指標である信頼度を算出する。そして算出された注目領域の画像的な情報が所定の閾値を超えた場合には、その注目領域は信頼度が高いと評価し、注目領域が検出されたものと判断する。一方、算出された注目領域の画像的な情報が所定の閾値以下の場合は、その注目領域は信頼度が低いと評価し、注目領域は検出されなかったと判断する。なお、信頼度の算出方法としては、人工知能（ＡＩ（Artificial Intelligence））、深層学習、畳み込みニューラルネットワーク、テンプレートマッチング、テクスチャ解析、周波数解析等を用いることが好ましい。

　図１０（Ａ）に示す状態は、内視鏡画像７５のリアルタイム表示を開始した後であり、且つ経過時間Ｔを示すタイムバー８２と、タイムバー８２上に位置する検出グラフ８３が表示されている。この状態では、検出グラフ８３は、信頼度を示すＹ軸の値が小さく、閾値以下（破線８３Ａは閾値を示す。）であることから、観察対象内の注目領域がまだ検出されていないと判断することができる。なお、タイムバー８２及び検出グラフ８３は、検出時間表示部７６Ｂに表示されている。

　図１０（Ａ）に示す状態の後、図１０（Ｂ）に示す状態では、観察対象内に注目領域としての病変部７８が検出された場合を示している。この場合、タイムバー８２上に表示される検出グラフ８３は、図１０（Ａ）に示す状態よりも信頼度を示すＹ軸の値が大きく、閾値を超えていることから、観察対象内の病変部７８が検出されていると判断することができる。

　なお、第３実施形態の変形例としては、図１１に示すように、検出時間表示部７６Ｂには、タイムバー８２を表示せず、検出グラフ８３のみを表示してもよい。この場合、タイムバー８２を表示していなくても、時間の経過とともに検出グラフ８３がＸ軸方向に伸びていくことを視認することができるため、医師は経過時間Ｔを知ることができる。

　また、第３実施形態の別の変形例としては、検出グラフとして折れ線グラフではなく、図１２に示すように、複数の棒グラフ８４を表示させてもよい。図１２に示す例では、タイムバー８２上に、検出グラフとしての棒グラフ８４が経過時間Ｔの増加とともに順次表示されている。なお、タイムバー８２及び検出グラフ８３は、検出時間表示部７６Ｂに表示されている。

　棒グラフ８４のＹ軸の値は、上記第３実施形態と同様に、注目領域の検出を判断する信頼度である。また、破線８４Ａは、上記第３実施形態の破線８３Ａと同様に信頼度の閾値を示すものである。そして、各棒グラフ８４が配される位置は、信頼度が算出されたもとの内視鏡画像を取得した際の経過時間Ｔに対応する位置である。これにより、経過時間Ｔにおける内視鏡画像７５と、この内視鏡画像７５に対応する信頼度を示す棒グラフ８４が順次表示されることになる。

　さらにまた、別の実施例としては、図１３に示すように、検出時間表示部７６Ｂには、タイムバー８２を表示せず、複数の棒グラフ８４のみを表示してもよい。この場合、タイムバー８２を表示していなくても、時間の経過とともに棒グラフ８４の数が増加していくことを視認することができるため、医師は経過時間Ｔを知ることができる。

　なお、第１及び第２実施形態のような検出時間マーカをタイムバー上に表示させるとともに、第３実施形態のように検出グラフ８３を表示してもよい。また、第３実施形態および変形例においては、信頼度の閾値を破線で示しているが、これに限らず、閾値を超えているか否かを示すものであればよく、例えば閾値以下の場合と、閾値を超えている場合とで検出グラフの色を変えてもよい。

　［第４実施形態］

　上記第１～第３実施形態では、検出時間表示部の範囲内で、タイムバーの長さが左端側から右端側に向かって徐々に長さが伸びることにより経過時間を示しているが、タイムバーの長さが、所定の長さに到達するまで伸びた後については述べていない。この第４実施形態では、タイムバーの長さが、所定の長さまで到達した場合、タイムバーが検出時間表示部の範囲内でスクロールして経過時間を示す。また、本実施形態では、タイムバーの長さが到達する所定の長さとしては、検出時間表示部７６Ｂの一端から他端に到達するまでの長さである。

　この場合、図１４（Ａ）に示すように、タイムバー８５の長さが左端側（初期値Ｔ０）から右端側に向かって伸びて検出時間表示部７６Ｂの右端に到達するまでは、上記第１～第３実施形態と同様に、タイムバー８５の長さが経過時間Ｔを示している。なお、タイムバー８５上には、上記第１実施形態と同様に、注目領域が検出された検出時間を表示する検出時間マーカ７９Ａ，７９Ｂが付加されている。なお、タイムバー８５上の検出時間マーカとしてはこれに限らず、上記第２実施形態と同様に、検出時間マーカとしてタイムバー８５の色を変えて表示してもよい。

　そして、タイムバー８５が検出時間表示部７６Ｂの右端に到達した後は、図１４（Ｂ）に示すように、タイムバー８５が検出時間表示部７６Ｂの範囲内で横スクロールする。すなわち、タイムバー８５の長さが経過時間Ｔに応じた長さで増加し続けた場合、検出時間表示部７６Ｂの範囲を超えてしまう。そこで、経過時間Ｔに応じて、タイムバー８５の長さが検出時間表示部７６Ｂの範囲を超えてしまう分だけ、タイムバー８５全体を逆方向に、すなわち右側から左側に向かって移動させる。さらに、タイムバー８５全体を移動させた分だけ、検出時間表示部７６Ｂの左端からはみ出てしまう分を順次削除していく。これにより、検出時間表示部７６Ｂの右端は、現在表示される内視鏡画像７５を取得した時間ＴＰを常に示すことになる。また、タイムバー８５全体が移動するのに合わせて検出時間マーカ７９Ａ，７９Ｂも移動させている。

　以上のように、タイムバー８５の長さが、検出時間表示部７６Ｂの右端まで到達した後についても、上記第１～第３実施形態と同様に内視鏡画像及び注目領域の検出情報に基づいて表示を行うことができる。また、タイムバー８５全体が移動していることから、医師は、時間が経過している（内視鏡画像の取得が続行している）ことを知ることができる。

　なお、タイムバーの表示方法としては、これに限るものではなく、図１５（Ａ）に示すように、タイムバー８５の長さが検出時間表示部の右端まで到達した場合、図１５（Ｂ）に示すように、タイムバー８５全体の長さを縮小して表示させてもよい。タイムバー８５全体の長さを縮小することで、医師は時間が経過している（内視鏡画像の取得が続行している）ことを知ることができる。なお、この場合、タイムバー８５全体の縮小に応じて検出時間マーカ７９Ａ，７９Ｂの位置および横幅も変更している。なお、タイムバー８５全体の長さを縮小した後、タイムバー８５の長さが検出時間表示部の右端まで到達した場合、再度タイムバー８５全体の長さを縮小してもよい。

　［第５実施形態］

　上記第１～第４実施形態では、内視鏡画像の取得開始からの経過時間を示すタイムバーを長尺の帯状に表示させているが、これに限らず、図１６に示すように、タイムバー８７を円弧状に表示させてもよい。図１６に示す例では、タイムバー８７は、医用画像表示部７６Ａの側方に位置する検出時間表示部７６Ｂに表示される。タイムバー８７は、経過時間Ｔに応じて円弧の長さＬが増加する。

　タイムバー８７の円弧には、上記第１実施形態と同様の検出時間マーカ８８Ａ，８８Ｂが付加されている。検出時間マーカ８８Ａ，８８Ｂは、上記第１実施形態の検出時間マーカ７９Ａ，７９Ｂと同様に、注目領域としての病変部の検出開始及び検出終了を示しており、検出時間マーカ８８Ａ（ハッチングあり）は、病変部７８の検出が開始された経過時間を示し、検出時間マーカ８８Ｂ（ハッチングなし）は、病変部７８の検出が終了した経過時間を示している。なお、タイムバー８７上の検出時間マーカとしてはこれに限らず、上記第２実施形態と同様に、検出時間マーカとしてタイムバー８７の色を変えて表示してもよく、上記第３実施形態と同様にタイムバー８７の回りに検出グラフを表示させてもよい。

　［第６実施形態］

　上記第１～第５実施形態では、表示画面に表示させる内視鏡画像としては、を順次取得して表示画面にリアルタイム表示しているが、これに限らず、過去の画像についても表示させてもよい。以下で説明する第６実施形態では、検出時間マーカのいずれか１つを選択した場合、検出時間マーカに関連したサムネイル画像（過去の内視鏡画像）を表示する。図１７に示すように、表示制御部５８は、画像記憶部８９を備えている。画像記憶部８９は、注目領域検出モード画像処理部６４から取得し、表示制御部５８が表示した過去の内視鏡画像を一旦記憶させておくためのものである。

　図１８（Ａ）に示すように、検出時間マーカ７９Ａ，７９Ｂのいずれも選択されていない状態では、過去の内視鏡画像は表示しない。なお、上記第１実施形態と同様に、タイムバー７７上に検出時間マーカ７９Ａ，７９Ｂが付加されており、注目領域としての病変部の検出開始及び検出終了を示している。また、検出時間マーカとしてはこれに限らず、上記第２実施形態と同様に、検出時間マーカとしてタイムバー７７の色を変えて表示してもよく、上記第３実施形態と同様にタイムバー７７の回りに検出グラフを表示させてもよい。また、カーソル９０は、コンソール１９の入力操作により表示画面７６内のオブジェクトを選択する際に、位置を指し示すものであり、図１８（Ａ）に示す状態では、何も選択されていない。

　そして、検出時間マーカ７９Ａ，７９Ｂのいずれか１つを選択した場合、図１８（Ｂ）に示す例では、経過時間Ｔ１の位置を示す検出時間マーカ７９Ａが選択されている状態を示している。なお、本実施形態では、検出時間マーカ７９Ａ，７９Ｂのいずれか１つを選択する入力操作としては、いわゆるマウスオーバー操作であり、カーソル９０を検出時間マーカ７９Ａ，７９Ｂの上に重ね合わせることで入力が行われる。この場合、選択された（入力を行った）検出時間マーカ７９Ａの位置にウインドウ９１が表れる。このウインドウ９１の内部に、サムネイル画像９２が表示される。サムネイル画像９２は、検出時間マーカ７９Ａに関連する内視鏡画像、すなわち経過時間Ｔ１の際に取得され、画像記憶部８９から読み出された過去の内視鏡画像に基づいて、画素数や画質を落として表示させたものである。

　以上のように、検出時間マーカの位置に入力を行うことで注目領域が検出された過去の画像が表示されるので、観察を妨げることがなく、現在の内視鏡画像の観察で医師が注目領域を見落とすことがない。また、再度注目領域を見たいときは、検出時間マーカの位置に入力を行うことで過去の画像を表示させればよいので、さらに見落としを防ぐことができる。

　第６実施形態の変形例としては、検出時間マーカの位置に入力を行うことで一枚の画像（静止画）を表示するだけではなく、連続した複数の画像からなる動画を表示させてもよい。この場合、表示制御部５８は、注目領域の検出開始から検出終了までの間に取得された複数の内視鏡画像、すなわち検出情報が関連付された複数の内視鏡画像（静止画）から１つの動画ファイルを作成して画像記憶部８９に記憶させておく。

　そして、検出時間マーカ７９Ａ，７９Ｂのいずれか１つ、例えば、図１８（Ｂ）に示すように、経過時間Ｔ１の位置を示す検出時間マーカ７９Ａが選択された場合、選択された（入力を行った）検出時間マーカ７９Ａの位置にウインドウ９１が表れる。このウインドウ９１の内部に、検出時間マーカ７９Ａに関連する動画、すなわち、検出開始の経過時間Ｔ１から検出終了の経過時間Ｔ２までの間に取得された複数の内視鏡画像から作成された動画ファイルが画像記憶部８９から読み出されて表示される。

　また、第６実施形態の別の変形例としては、検出時間マーカのいずれか１つを選択した場合ではなく、図１９に示すように、タイムバー７７のいずれかの位置に入力を行った場合に過去の画像を表示してもよい。なお、図１９に示す変形例においても、タイムバー７７のいずれかの位置に入力を行う入力操作としては、マウスオーバー操作であり、カーソル９０をタイムバー７７のいずれかの位置に重ね合わせることで入力が行われる。この場合、表示制御部５８は、経過時間Ｔの初期値Ｔ０から観察終了まで、すなわち内視鏡画像の取得開始から取得終了まで、医用画像表示部７６Ａに表示した全ての内視鏡画像を記憶させておく。そして、タイムバー７７のいずれかの位置にカーソル９０を合わせて入力を行った場合、タイムバー７７上の入力を行った位置にウインドウ９１が表れる。このウインドウ９１の内部に、タイムバー７７上の過去の経過時間に対応し、画像記憶部８９から読み出された過去のサムネイル画像９２が表示される。サムネイル画像９２は、上記第６実施形態と同様に、画像記憶部８９から読み出された過去の内視鏡画像に基づいて、画素数や画質を落として表示させたものである。

　なお、上記第６実施形態及び変形例における入力操作としては、マウスオーバー操作を例に上げているが、これに限らず、検出時間マーカまたはタイムバー上のいずれかの位置に入力を行うことが可能な操作であればよく、いわゆるクリック操作でもよく、あるいは入力機器がタッチパネルの場合、タッチ操作でもよい。

　上記各実施形態では、経過時間Ｔとして、カウンタを用いて内視鏡画像の取得を開始してからの経過時間を計測する例を上げているが、経過時間を計測する構成としてはこれに限るものではなく、内視鏡画像の取得開始からの時系列を示す値であればよく、例えば、内視鏡画像を取得した際の順番（何フレーム目の内視鏡画像かを示す値）を用いて経過時間Ｔを計測してもよい。すなわち、最初の１フレーム目の内視鏡画像であれば、経過時間Ｔは初期値（０）であり、以降は内視鏡画像を取得した際の順番に応じた値が出力される。そして、表示制御部５８は、この順番に応じた値を用いて、検出時間マーカや検出グラフなどを表示させる。

　また、経過時間Ｔの開始時としては、内視鏡画像の取得開始に限るものではなく、注目領域検出部７１が注目領域の検出を開始した時点でもよい。また、この場合、注目領域の検出開始は、注目領域検出部７１による自動検出の開始時点であることが好ましく、あるいはユーザーの選択により注目領域の検出のオン／オフ状態を切り替え可能とし、注目領域の検出がオン状態となった時点を経過時間Ｔの開始時にしてもよい。注目領域検出部７１によって注目領域が最初に検出された時点、または、タイムバーの表示のオン／オフ状態を切り替え可能とし、タイムバーの表示がオン状態となった時点を経過時間Ｔの開始時にしてもよい。

　上記各実施形態では、４色のＬＥＤ２０ａ～２０ｄを用いて観察対象の照明を行っているが、レーザ光源と蛍光体を用いて観察対象の照明を行ってもよい。また、上記各実施形態では、４色のＬＥＤ２０ａ～２０ｄを用いて観察対象の照明を行っているが、キセノンランプ等の白色光光源と回転フィルタを用いて観察対象の照明を行ってもよい。また、カラーの撮像センサ３８に代えて、モノクロの撮像センサで観察対象の撮像を行っても良い。

　なお、上記実施形態では、医用画像として、内視鏡画像を取得する内視鏡システムに対して、本発明の医用画像処理装置を適用しているが、カプセル内視鏡など、さまざまな内視鏡システムに対して、適用可能であることはいうまでもなく、その他の医用画像として、X線画像、CT画像、MR画像、超音波画像、病理画像、ＰＥＴ（Positron Emission Tomography）画像などを取得する各種医用画像装置に対しても、本発明の医用画像処理装置の適用は可能である。

　上記実施形態において、画像処理部５６のような各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

１０　内視鏡システム

１２　内視鏡

１２ａ　挿入部

１２ｂ　操作部

１２ｃ　湾曲部

１２ｄ　先端部

１３ａ　アングルノブ

１３ｂ　静止画像取得部

１３ｃ　モード切替部

１３ｄ　ズーム操作部

１４　光源装置

１６　プロセッサ装置

１８　モニタ

１９　コンソール

２０　光源部

２０ａ　V-LED

２０ｂ　B-LED

２０ｃ　G-LED

２０ｄ　R-LED

２２　光源制御部

２３　波長カットフィルタ

２４　ライトガイド

３０ａ　照明光学系

３０ｂ　撮像光学系

３２　照明レンズ

３４　対物レンズ

３６　拡大光学系

３６ａ　ズームレンズ

３６ｂ　レンズ駆動部

３８　撮像センサ

４０　ＣＤＳ回路

４２　ＡＧＣ回路

４４　Ａ／Ｄ変換回路

５０　画像信号取得部

５２　DSP

５４　ノイズ低減部

５６　画像処理部

５８　表示制御部

６０　通常モード画像処理部

６２　特殊モード画像処理部

６４　注目領域検出モード画像処理部

７０　検出用画像処理部

７１　注目領域検出部

７２　時間計測部

７５　内視鏡画像

７６　表示画面

７６Ａ　医用画像表示部

７６Ｂ　検出時間表示部

７７　タイムバー

７８　病変部

７９Ａ　検出時間マーカ

７９Ｂ　検出時間マーカ

８０　タイムバー

８１　検出時間マーカ

８２　タイムバー

８３　検出グラフ

８４　棒グラフ

８５　タイムバー

８７　タイムバー

８８Ａ　検出時間マーカ

８８Ｂ　検出時間マーカ

８９　画像記憶部

９０　カーソル

９１　ウインドウ

９２　サムネイル画像

Ｌ　長さＴ　経過時間

Claims (15)


  1. 　観察対象を撮像部で撮像して医用画像を取得する医用画像取得部と、

    　前記医用画像取得部により取得した前記医用画像に対して前記観察対象内の注目領域を検出する注目領域検出部と、

    　医用画像取得部により前記医用画像を順次取得して医用画像表示部にリアルタイム表示するとともに、前記注目領域が検出された検出時間を検出時間マーカとして検出時間表示部に表示する表示制御部とを有する医用画像処理装置。

  2. 　前記表示制御部は、前記検出時間表示部に、経過時間に応じたタイムバーを表示し、前記タイムバー上に前記検出時間マーカを表示する請求項１記載の医用画像処理装置。

  3. 　前記表示制御部は、前記経過時間の増加とともに、前記検出時間表示部内においてタイムバーを変動させる請求項２記載の医用画像処理装置。

  4. 　前記表示制御部は、前記経過時間の増加とともに、前記検出時間表示部内の一端側から他端側へ向かって前記タイムバーの長さを伸ばす請求項３記載の医用画像処理装置。

  5. 　前記表示制御部は、前記経過時間の増加とともに、前記タイムバーの長さが、所定の長さに到達するまで伸びた場合、前記検出時間表示部内において前記タイムバー全体をスクロールさせる請求項４記載の医用画像処理装置。

  6. 　前記タイムバーは長尺の帯状、または円弧状である請求項２ないし５のいずれか１項記載の医用画像処理装置。

  7. 　前記表示制御部は、前記タイムバーのいずれかの位置に入力を行った場合、タイムバー上の過去の経過時間に対応する過去の前記医用画像を表示する請求項２ないし６のいずれか１項記載の医用画像処理装置。

  8. 　前記表示制御部は、前記検出時間マーカの位置に入力を行った場合、入力を行った前記検出時間マーカに関連した過去の画像を表示する請求項１ないし６のいずれか１項記載の医用画像処理装置。

  9. 　前記表示制御部は、前記検出時間マーカの位置に入力を行った場合、入力を行った前記検出時間マーカに関連した複数の過去の画像からなる動画を表示する請求項１ないし６のいずれか１項記載の医用画像処理装置。

  10. 　前記表示制御部は、前記検出時間表示部に、前記医用画像の取得開始からの経過時間を一方の軸の値とし、前記注目領域の検出に関する指標を他方の軸の値とする検出グラフを表示する請求項１ないし９のいずれか１項記載の医用画像処理装置。

  11. 　前記指標は、前記医用画像から算出され、注目領域であることの確からしさを示す信頼度である請求項１０記載の医用画像処理装置。

  12. 　前記注目領域検出部は、前記医用画像からニューラルネットワーク、深層学習、アダブースト、またはランダムフォレストにより前記注目領域を検出する請求項１ないし１１のいずれか１項記載の医用画像処理装置。

  13. 　前記注目領域は病変部である請求項１ないし１２のいずれか１項記載の医用画像処理装置。

  14. 　観察対象を照明するための照明光を発する光源装置と、

    　前記照明光で照明された観察対象を撮像する撮像部を有する内視鏡と、

    　前記撮像部で前記観察対象を撮像して得られる医用画像を取得する医用画像取得部と、

    　前記医用画像取得部により取得した前記医用画像に対して前記観察対象内の注目領域を検出する注目領域検出部と、

    　医用画像取得部により前記医用画像を順次取得して医用画像表示部にリアルタイム表示するとともに、前記注目領域が検出された検出時間を検出時間マーカとして検出時間表示部に表示する表示制御部と、

    　前記医用画像及び前記検出時間マーカを表示する表示部とを備える内視鏡システム。

  15. 　医用画像取得部が、観察対象を撮像部で撮像して医用画像を取得するステップと、

    　注目領域検出部が、前記医用画像取得部により取得した前記医用画像に対して前記観察対象内の注目領域を検出するステップと、

    　表示制御部が、前記医用画像取得部により前記医用画像を順次取得して医用画像表示部にリアルタイム表示するとともに、前記注目領域が検出された検出時間を検出時間マーカとして検出時間表示部に表示するステップとを含む医用画像処理装置の作動方法。
PCT/JP2019/031103 2018-08-23 2019-08-07 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 WO2020039929A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020538290A JP7130043B2 (ja) 2018-08-23 2019-08-07 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-156406 2018-08-23
JP2018156406 2018-08-23

Publications (1)

Publication Number Publication Date
WO2020039929A1 true WO2020039929A1 (ja) 2020-02-27

Family

ID=69593068

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031103 WO2020039929A1 (ja) 2018-08-23 2019-08-07 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法

Country Status (2)

Country Link
JP (1) JP7130043B2 (ja)
WO (1) WO2020039929A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021199294A1 (ja) * 2020-03-31 2021-10-07
WO2023162216A1 (ja) * 2022-02-28 2023-08-31 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2024013848A1 (ja) * 2022-07-12 2024-01-18 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6220485A (ja) * 1985-07-19 1987-01-29 Sony Corp 音声信号記録装置
JPH03127280A (ja) * 1989-10-13 1991-05-30 Matsushita Electric Ind Co Ltd データ編集装置とデータ編集方法
WO2006112116A1 (ja) * 2005-04-14 2006-10-26 Olympus Medical Systems Corp. 画像表示装置
JP2008061704A (ja) * 2006-09-05 2008-03-21 Olympus Medical Systems Corp 画像表示装置
JP2009050321A (ja) * 2007-08-23 2009-03-12 Olympus Corp 画像処理装置
JP2011019116A (ja) * 2009-07-09 2011-01-27 Sony Corp 撮像装置、画像処理方法及びプログラム
JP2011160848A (ja) * 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2012058864A (ja) * 2010-09-07 2012-03-22 Yahoo Japan Corp 広告配信システム、広告配信装置、端末装置、広告配信方法及びプログラム
JP2014002546A (ja) * 2012-06-18 2014-01-09 Funai Electric Co Ltd 電子情報端末および電子情報端末の表示方法
WO2014061553A1 (ja) * 2012-10-18 2014-04-24 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
WO2018078724A1 (ja) * 2016-10-25 2018-05-03 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6220485A (ja) * 1985-07-19 1987-01-29 Sony Corp 音声信号記録装置
JPH03127280A (ja) * 1989-10-13 1991-05-30 Matsushita Electric Ind Co Ltd データ編集装置とデータ編集方法
WO2006112116A1 (ja) * 2005-04-14 2006-10-26 Olympus Medical Systems Corp. 画像表示装置
JP2008061704A (ja) * 2006-09-05 2008-03-21 Olympus Medical Systems Corp 画像表示装置
JP2009050321A (ja) * 2007-08-23 2009-03-12 Olympus Corp 画像処理装置
JP2011019116A (ja) * 2009-07-09 2011-01-27 Sony Corp 撮像装置、画像処理方法及びプログラム
JP2011160848A (ja) * 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2012058864A (ja) * 2010-09-07 2012-03-22 Yahoo Japan Corp 広告配信システム、広告配信装置、端末装置、広告配信方法及びプログラム
JP2014002546A (ja) * 2012-06-18 2014-01-09 Funai Electric Co Ltd 電子情報端末および電子情報端末の表示方法
WO2014061553A1 (ja) * 2012-10-18 2014-04-24 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
WO2018078724A1 (ja) * 2016-10-25 2018-05-03 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021199294A1 (ja) * 2020-03-31 2021-10-07
WO2021199294A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 情報処理装置、表示方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
EP4129151A4 (en) * 2020-03-31 2023-12-13 NEC Corporation INFORMATION PROCESSING DEVICE, DISPLAY METHOD AND NON-TRANSITORY COMPUTER READABLE MEDIUM WITH PROGRAM STORED THEREIN
JP7448923B2 (ja) 2020-03-31 2024-03-13 日本電気株式会社 情報処理装置、情報処理装置の作動方法、及びプログラム
WO2023162216A1 (ja) * 2022-02-28 2023-08-31 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2024013848A1 (ja) * 2022-07-12 2024-01-18 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Also Published As

Publication number Publication date
JP7130043B2 (ja) 2022-09-02
JPWO2020039929A1 (ja) 2021-08-26

Similar Documents

Publication Publication Date Title
JP6785941B2 (ja) 内視鏡システム及びその作動方法
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
JP7337073B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7130043B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP6924837B2 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置
US20230027950A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
JP2020065685A (ja) 内視鏡システム
US20230029239A1 (en) Medical image processing system and method for operating medical image processing system
US11627864B2 (en) Medical image processing apparatus, endoscope system, and method for emphasizing region of interest
US20230101620A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
US20230222666A1 (en) Medical image processing apparatus, method for operating medical image processing apparatus, and non-transitory computer readable medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19851047

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020538290

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19851047

Country of ref document: EP

Kind code of ref document: A1