WO2019093256A1 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
WO2019093256A1
WO2019093256A1 PCT/JP2018/040929 JP2018040929W WO2019093256A1 WO 2019093256 A1 WO2019093256 A1 WO 2019093256A1 JP 2018040929 W JP2018040929 W JP 2018040929W WO 2019093256 A1 WO2019093256 A1 WO 2019093256A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
still image
images
light
unit
Prior art date
Application number
PCT/JP2018/040929
Other languages
English (en)
French (fr)
Inventor
久保　雅裕
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP18877088.7A priority Critical patent/EP3708063B1/en
Priority to JP2019552770A priority patent/JP6956197B2/ja
Priority to CN201880072739.XA priority patent/CN111343897B/zh
Publication of WO2019093256A1 publication Critical patent/WO2019093256A1/ja
Priority to US16/868,419 priority patent/US11510559B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an endoscope system capable of efficiently displaying an image with less blurring due to multiple types of illumination light.
  • an endoscope system provided with a light source device, an endoscope, and a processor device is widely used.
  • the observation target is irradiated with illumination light from the endoscope, and the observation target under illumination by the illumination light is imaged based on an RGB image signal obtained by imaging with the imaging device of the endoscope. Display the image of on the monitor.
  • a plurality of observation modes are provided so that the illumination light to be irradiated to the observation object can be switched and the image processing on the image of the observation object can be switched according to the diagnostic purpose. There is.
  • the images according to these observation modes particularly in a region to be focused on, a still image is obtained and used as data for diagnosis.
  • Patent Document 1 an endoscope that obtains each still image in an observation mode such as a normal observation image, an oxygen saturation image, and a blood vessel enhanced image after adjusting the exposure amount is obtained.
  • An observation mode such as a normal observation image, an oxygen saturation image, and a blood vessel enhanced image after adjusting the exposure amount.
  • Patent Document 2 describes an image freeze apparatus capable of outputting an image signal at the time when an operator executes a freeze instruction as a still image with the minimum color shift.
  • Patent Document 3 discloses an endoscopic image recording apparatus capable of complementing a still image which is lacking after endoscopic examination is completed, from moving image data.
  • Patent Document 2 when storing a still image, it is required to store a still image with less color shift and blurring.
  • the color misregistration or blur amount is calculated for the image of each observation mode, and the calculated color misregistration amount is It is required to save the smallest image as a still image.
  • images obtained in each observation mode often have different image-wise feature amounts, similar color shift calculation processing and blurring calculation processing are performed on the images in each observation mode. In some cases, it may not be possible to accurately calculate the amount of color shift or blur.
  • an image with a small amount of blur is stored as a still image by accurately calculating the blur amount for each image. It is an object of the present invention to provide an endoscope system that can be used and its operating method.
  • the endoscope system of the present invention includes a plurality of semiconductor light sources, a light source control unit, an image acquisition unit, a still image acquisition instruction input unit, a blur amount calculation unit, and a still image storage control unit.
  • the plurality of semiconductor light sources emit light in different wavelength bands.
  • the light source control unit includes a plurality of illuminations, each of the plurality of semiconductor light sources including a first illumination light having a first emission ratio and a second illumination light having a second emission ratio different from the first emission ratio. Control is performed to switch light according to a specific light emission sequence and a light emission period and emit light.
  • the image acquisition unit captures an observation target illuminated by each illumination light to acquire a plurality of images.
  • the plurality of images include a first image of the first illumination light and a second image of the second illumination light.
  • the still image acquisition instruction input unit issues a still image acquisition instruction for acquiring a storage still image of each image.
  • the blur amount calculation unit calculates the blur amount for a plurality of images acquired in a specific still image acquisition instruction period including the timing at which the still image acquisition instruction is performed.
  • the blur amount calculation process for calculating the blur amount is different for each image.
  • the still image storage control unit performs control of storing a plurality of images as a storage still image in the still image storage unit when a specific condition regarding the blur amount is satisfied.
  • Each image includes spectral images of a plurality of colors
  • the blur amount calculation process includes a first blur amount calculation process of calculating a first blur amount from the spectral image of the first color in the first image, and It is preferable that a second blurring amount calculation process of calculating the second blurring amount from the spectral image of the second color different from the first color is included.
  • the first illumination light contains more short wave light than the second illumination light, the first color is blue, and the second color is green.
  • the plurality of images are acquired as an image set
  • the still image storage control unit stores the image set satisfying the specific conditions as a storage still image.
  • the image set that satisfies the specific condition is preferably an image set having the smallest representative blur amount obtained by adding the blur amounts of the respective images of the image set among the plurality of image sets.
  • the still image storage control unit includes a first image having the smallest blur amount for the first image and a second image having the smallest blur amount for the second image. Are preferably stored as still images for storage.
  • the still image storage control unit is configured to display a plurality of images according to display conditions including a specific display order and / or display time on the display unit, and the still image storage control unit displays the still images for storage. It is preferable to associate and save the conditions.
  • a plurality of semiconductor light sources emitting light of different wavelength bands and a first illumination light having a first emission ratio, each of the plurality of semiconductor light sources, and a first illumination light
  • a light source control unit for performing control to switch a plurality of illumination lights including a second illumination light having a second light emission ratio different from the light emission ratio according to a specific light emission sequence and a light emission period
  • An image acquisition unit for capturing a plurality of images by imaging the observation target, the image acquisition unit including a first image of the first illumination light and a second image of the second illumination light in the plurality of images
  • a moving image storage unit for storing moving images of a plurality of images acquired during a period as a temporarily stored moving image, a still image acquisition instruction input unit for instructing a still image acquisition instruction for acquiring a storage still image for each image, and a still image Timing of acquisition instruction
  • a blur amount calculation unit that calculates a blur amount for a temporarily stored moving image including an acquired image, and the blur amount
  • a plurality of semiconductor light sources emitting light of different wavelength bands and a first illumination light having a first emission ratio, each of the plurality of semiconductor light sources, and a first illumination light
  • a light source control unit for performing control to switch a plurality of illumination lights including a second illumination light having a second light emission ratio different from the light emission ratio according to a specific light emission sequence and a light emission period
  • An image acquisition unit for capturing a plurality of images by imaging the observation target, the plurality of images including a first image by the first illumination light and a second image by the second illumination light;
  • These are a still image acquisition instruction input unit that issues a still image acquisition instruction for acquiring a storage still image of an image, and a blur amount calculation unit that calculates a blur amount for a plurality of images acquired in a specific period.
  • the blur amount calculation process for calculating Control for storing a plurality of images as a temporary storage still image in the temporary still image storage unit, and a still image acquisition instruction when the blur amount calculation unit differs for each image and the specific condition regarding the blur amount is satisfied
  • a still image storage control unit configured to control storage of the temporary storage still image in the still image storage unit as the storage still image.
  • the specific period be a period from the present time to a point when going back to the specific period.
  • the operation method of the endoscope system of the present invention includes a light source control step, an image acquisition step, a still image acquisition instruction step, a blur amount calculation step, and a still image storage step.
  • each of the plurality of semiconductor light sources for emitting light in different wavelength bands from each other is a first illumination light having a first light emission ratio, and a second light emission controller different from the first light emission ratio. Control is performed to switch a plurality of illumination lights including a second illumination light having a light emission ratio according to a specific light emission sequence and a light emission period and emit light.
  • the image acquisition step is a step in which the image acquisition unit captures an observation target illuminated by each illumination light to acquire a plurality of images, and for the plurality of images, the first image and the second illumination by the first illumination light A second image of light is included.
  • the still image acquisition instruction step the still image acquisition instruction input unit issues a still image acquisition instruction for acquiring a storage still image of each image.
  • the blur amount calculation step is a step in which the blur amount calculation unit calculates the blur amount for a plurality of images acquired in a specific still image acquisition instruction period including the timing at which the still image acquisition instruction is performed. The blur amount calculation process for calculating the image is different for each image.
  • the still image storage control unit stores a plurality of images as a storage still image in the still image storage unit when a specific condition regarding the blur amount is satisfied.
  • an image with a small amount of blur is calculated by accurately calculating the amount of blur for each image.
  • FIG. 6 is an explanatory view showing a relationship between a still image acquisition instruction, calculation of blur amount, storage of a still image, and the like. It is a block diagram showing an image processing part.
  • FIG. 6 is an explanatory view showing a relationship between a still image acquisition instruction, calculation of blur amount, storage of a still image, and the like. It is a block diagram which shows a blurring amount calculation part.
  • FIG. 6 is an explanatory view showing a relationship between a still image acquisition instruction, calculation of blur amount, storage of a still image, and the like.
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18, and a keyboard 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 includes an insertion portion 12a to be inserted into a subject, an operation portion 12b provided at a proximal end portion of the insertion portion 12a, a bending portion 12c provided at the distal end side of the insertion portion 12a, and a distal end portion 12d. have.
  • the angle knob 12e of the operation portion 12b By operating the angle knob 12e of the operation portion 12b, the bending portion 12c performs a bending operation.
  • the tip 12d is directed in a desired direction along with this bending operation.
  • the keyboard 19 is an example of an input unit, and the input unit includes a mouse and the like (not shown) other than the illustrated keyboard, and accepts, changes, and inputs operations similarly to the keyboard 19 .
  • the operation unit 12b is provided with a still image acquisition instruction SW 13a and a mode switch SW 13b.
  • the still image acquisition instruction SW 13 a is a scope switch for storing an image as a still image when there is a region of interest or the like in the observation target, and is an example of a still image acquisition instruction input unit.
  • a foot switch may be used as the still image acquisition instruction input unit for storing an image as a still image, in addition to the still image acquisition instruction SW 13a. Further, in the present embodiment, a plurality of illumination lights are automatically switched, but the operation unit 12 b is provided with a mode switching SW 13 b for manually switching the plurality of illumination lights. When the user detects a portion that seems to be effective for diagnosis, the still image acquisition instruction SW 13 a and the mode switching SW 13 b can be operated alternately.
  • a multi observation mode is used as an observation mode using a plurality of illumination lights.
  • the multi-observation mode is a mode in which a first image and a second image obtained based on the emission of two types of illumination light in different wavelength bands are automatically switched and displayed on the monitor 18.
  • the first image is an image in which a superficial blood vessel (first blood vessel) is emphasized.
  • the second image is an image in which a deep blood vessel (second blood vessel) is emphasized.
  • normal viewing modes or other viewing modes can also be used.
  • the normal observation mode is a mode in which a normal image is displayed on the monitor 18.
  • the switching of the observation mode is performed by the mode switching SW 13 b provided in the operation unit 12 b of the endoscope.
  • the processor unit 16 is electrically connected to the monitor 18 and the keyboard 19.
  • the monitor 18 outputs and displays image information and the like.
  • the keyboard 19 functions as a UI (User Interface: user interface) that receives an input operation such as function setting.
  • the processor unit 16 may be connected with an external recording unit (not shown) for recording image information and the like.
  • the light source device 14 includes a light source unit 20, a light source control unit 21, a light emission period setting unit 22, and an optical path coupling unit 23.
  • the light source unit 20 is capable of emitting light of a plurality of different wavelength bands.
  • "light of a plurality of different wavelength bands” does not mean that the plurality of wavelength bands do not overlap at all, and a plurality of wavelength bands may partially overlap.
  • the light source unit 20 emits V-LED (Violet Light Emitting Diode) 20a, B-LED (Blue Light Emitting Diode) 20b, G-LED (Green Light Emitting Diode) 20c, and R- to emit light in a plurality of wavelength bands. It has LED (Red Light Emitting Diode) 20d. Note that LD (Laser Diode) may be used instead of the LED.
  • the light source control unit 21 controls the drive of the LEDs 20a to 20d.
  • the optical path coupling unit 23 couples the optical paths of the four color lights emitted from the four color LEDs 20a to 20d.
  • the light coupled by the optical path coupling unit 23 is irradiated into the subject via the light guide 41 and the illumination lens 45 inserted into the insertion unit 12 a.
  • the V-LED 20a generates violet light V having a center wavelength of 405 ⁇ 10 nm and a wavelength range of 380 to 420 nm.
  • the B-LED 20b generates blue light B having a central wavelength of 460 ⁇ 10 nm and a wavelength range of 420 to 500 nm.
  • the G-LED 20c generates green light G having a wavelength range of 480 to 600 nm.
  • the R-LED 20d generates red light R having a central wavelength of 620 to 630 nm and a wavelength range of 600 to 650 nm.
  • the light source control unit 21 performs control to light the V-LED 20a, the B-LED 20b, the G-LED 20c, and the R-LED 20d in any observation mode.
  • the light source control unit 21 emits normal light in which the light intensity ratio among the violet light V, the blue light B, the green light G, and the red light R becomes Vc: Bc: Gc: Rc in the normal observation mode. Control each of the LEDs 20a to 20d.
  • the light emission ratio refers to the light intensity ratio of each semiconductor light source, and includes the case where the light intensity ratio is 0 (zero). Therefore, the case where any one or two or more of each semiconductor light source does not light is included.
  • the light intensity ratio between purple light V, blue light B, green light G, and red light R is 1: 0: 0, only one of the semiconductor light sources is turned on, and the other three Even when one is not lit, it has a light emission ratio.
  • the light source control unit 21 when the light source control unit 21 is set in the multi observation mode, in order to obtain the first blood vessel in which the superficial blood vessel is emphasized, the light source control unit 21 is between purple light V, blue light B, green light G, and red light R. Control is performed to emit the first illumination light whose light intensity ratio is Vs1: Bs1: Gs1: Rs1.
  • the first illumination light preferably has a peak at 400 nm or more and 440 nm or less in order to emphasize superficial blood vessels. Therefore, as shown in FIG. 4, the first illumination light has a light intensity ratio such that the light intensity of the violet light V is larger than the light intensities of the other blue light B, green light G, and red light R.
  • Vs1: Bs1: Gs1: Rs1 is set (Vs1> Bs1, Gs1, Rs1).
  • the first illumination light has a first red band such as red light R, the color of the mucous membrane can be accurately reproduced.
  • the first illumination light includes the first blue band and the first green band such as purple light V, blue light B, and green light G, in addition to the superficial blood vessels as described above, Various structures such as glandular structures and irregularities can also be emphasized.
  • the light source control unit 21 emphasizes the deep blood vessels and acquires the second image, and the light emission ratio in the second observation mode is violet light V, blue light B, green light Control is performed to emit the second illumination light whose light intensity ratio between G and red light R is Vs2: Bs2: Gs2: Rs2.
  • the second illumination light has an intensity ratio of at least one of 460 nm, 540 nm, and 630 nm increased relative to the first illumination light in order to emphasize deep blood vessels.
  • the second illumination light has a green light G or red light R compared to the blue light B, green light G and red light R in the first illumination light.
  • the light intensity ratio Vs2: Bs2: Gs2: Rs2 is set to increase.
  • the second illumination light has a second red band such as red light R, the color of the mucous membrane can be accurately reproduced.
  • the second illumination light has the second blue band and the second green band such as purple light V, blue light B, and green light G, in addition to the above deep blood vessels, Various structures such as irregularities can also be emphasized.
  • the light source control unit 21 When the light source control unit 21 is set in the multi observation mode, the light source control unit 21 emits the first illumination light and the second illumination light in emission periods of two or more frames, and the first illumination light and the second illumination light Control to automatically switch light emission. For example, when the light emission period of the first illumination light is 2 frames and the light emission period of the second illumination light is also 2 frames, as shown in FIG. The second illumination light is also emitted continuously for two frames.
  • the light emission period of the first illumination light and the light emission period of the second illumination light are set to a period of at least two frames or more.
  • frame is a unit for controlling the imaging sensor 48 for imaging an observation target, for example, "one frame” is an exposure period and an image for exposing the imaging sensor 48 with light from the observation target. It refers to a period including at least a reading period for reading out a signal.
  • the light emission period is determined corresponding to the “frame” which is a unit of imaging.
  • the light emission period of the first illumination light and the light emission period of the second illumination light can be changed as appropriate by the light emission period setting unit 24 (see FIG. 2) connected to the light source control unit 21.
  • the light emission period setting unit 24 displays a light emission period setting menu shown in FIG. 7 on the monitor 18.
  • the emission period of the first illumination light can be changed, for example, between 2 and 10 frames. Each light emission period is assigned on the slide bar 26a.
  • the light emission period of the first illumination light is adjusted by operating the keyboard 19 and aligning the slider 27a with the position indicating the light emission period to be changed on the slide bar 26a. Be changed. Also for the light emission period of the second illumination light, operate the keyboard 19 to position the slider 27b at a position indicating the light emission period to be changed on the slide bar 26b (for example, the light emission period of 2 frames to 10 frames is allocated). By combining, the light emission period of the second illumination light is changed.
  • the order of light emission of the plurality of illumination lights when the illumination light is of two types, the first illumination light and the second illumination light are alternately emitted. When the plurality of illumination lights are three or more types, the order of light emission of the illumination lights can be arbitrarily set.
  • the light guide 41 is built in the endoscope 12 and the universal cord (a cord for connecting the endoscope 12 with the light source device 14 and the processor device 16), and The combined light propagates to the tip 12 d of the endoscope 12.
  • a multimode fiber can be used.
  • An illumination optical system 30 a and an imaging optical system 30 b are provided at the distal end 12 d of the endoscope 12.
  • the illumination optical system 30 a has an illumination lens 45, and the light from the light guide 41 is irradiated to the observation target via the illumination lens 45.
  • the imaging optical system 30 b has an objective lens 46 and an imaging sensor 48. Reflected light from the observation target is incident on the imaging sensor 48 through the objective lens 46. Thereby, a reflection image of the observation target is formed on the imaging sensor 48.
  • the imaging sensor 48 is a color imaging sensor, captures a reflection image of the subject, and outputs an image signal.
  • the imaging sensor 48 is preferably a CCD (Charge Coupled Device) imaging sensor, a CMOS (Complementary Metal-Oxide Semiconductor) imaging sensor, or the like.
  • the imaging sensor 48 used in the present invention is a color imaging sensor for obtaining RGB image signals of three colors of R (red), G (green) and B (blue), that is, R pixels provided with an R filter. It is a so-called RGB imaging sensor provided with G pixels provided with G filters and B pixels provided with B filters.
  • the imaging sensor 48 is a so-called complementary color imaging sensor provided with complementary color filters of C (cyan), M (magenta), Y (yellow) and G (green) instead of RGB color imaging sensors. It is good.
  • CMYG four-color image signals are output, it is necessary to convert the CMYG four-color image signals to RGB three-color image signals by complementary-primary color conversion.
  • the imaging sensor 48 may be a monochrome imaging sensor provided with no color filter. In this case, it is necessary for the light source control unit 21 to turn on the blue light B, the green light G, and the red light R in a time division manner, and to add the synchronization processing in the processing of the imaging signal.
  • the image signal output from the imaging sensor 48 is transmitted to the CDS / AGC circuit 50.
  • the CDS-AGC circuit 50 performs correlated double sampling (CDS (Correlated Double Sampling)) and automatic gain control (AGC (Auto Gain Control)) on an image signal which is an analog signal.
  • CDS Correlated Double Sampling
  • AGC Automatic gain control
  • the image signal passed through the CDS-AGC circuit 50 is converted into a digital image signal by an A / D converter (A / D (Analog / Digital) converter) 52.
  • a / D converted digital image signal is input to the processor unit 16.
  • the processor unit 16 corresponds to a medical image processing apparatus that processes a medical image such as an image obtained by the endoscope 12.
  • the processor device 16 includes an image acquisition unit 53, a DSP (Digital Signal Processor) 56, a noise removal unit 58, a central control unit 60, an image processing unit 62, and a display control unit 64.
  • the digital color image signal from the endoscope 12 is input to the image acquisition unit 53.
  • the color image signal is composed of an R image signal output from an R pixel of the imaging sensor 48, a G image signal output from a G pixel of the imaging sensor 48, and a B image signal output from a B pixel of the imaging sensor 48. It is an RGB image signal comprised.
  • the DSP 56 performs various signal processing such as defect correction processing, offset processing, gain correction processing, linear matrix processing, gamma conversion processing, or demosaicing processing on the received image signal.
  • defect correction process the signal of the defective pixel of the imaging sensor 48 is corrected.
  • offset process the dark current component is removed from the RGB image signal subjected to the defect correction process, and an accurate zero level is set.
  • gain correction process the signal level is adjusted by multiplying the RGB image signal after the offset process by a specific gain.
  • the RGB image signal after the gain correction processing is subjected to linear matrix processing to improve color reproducibility. After that, brightness and saturation are adjusted by gamma conversion processing.
  • the RGB image signal after linear matrix processing is subjected to demosaicing processing (also referred to as isotropic processing and synchronization processing), and a signal of a color lacking in each pixel is generated by interpolation.
  • demosaicing processing also referred to as isotropic processing and synchronization processing
  • all pixels have signals of RGB colors.
  • the noise removing unit 58 removes noise from the RGB image signal by performing a noise removing process (for example, a moving average method, a median filter method, or the like) on the RGB image signal subjected to gamma correction or the like by the DSP 56.
  • a noise removing process for example, a moving average method, a median filter method, or the like
  • the RGB image signal from which the noise has been removed is transmitted to the image processing unit 60.
  • the image processing unit 60 performs various types of image processing on the RGB image signal.
  • the RGB image signal after image processing is sent to the display control unit 62.
  • the image processing performed by the image processing unit 60 is different for each observation mode.
  • image processing for the normal observation mode corresponding to the normal observation mode is performed on the RGB image signal
  • the image processing for the multi observation mode corresponding to the multi observation mode is performed.
  • Image processing is performed on the RGB image signal.
  • the multi observation mode when the still image acquisition instruction is issued, the first image and the second image are stored as a set, and the first image is satisfied when a specific condition regarding the blur amount is satisfied. And processing for storing the second image as a storage still image. Details of the image processing unit 60 and processing at the time of a still image acquisition instruction in the multi observation mode will be described later.
  • the display control unit 62 performs control to display an image corresponding to each observation mode on the monitor 18 based on the RGB image signal subjected to the image processing.
  • the display control unit 62 controls the monitor 18 to display a normal image obtained based on the light emission of the normal light.
  • the display control unit 62 performs a specific display order or a second image obtained based on the light emission of the first illumination light and the second image obtained based on the light emission of the second illumination light. Control is performed to switch and display on the monitor 18 in accordance with display conditions including a display time.
  • the specific display order is “first image ⁇ second image”, and the display time of the first image is “2 frames” and the display time of the second image is “2 frames” for a specific display time.
  • the first image and the second image are switched at two frame intervals and displayed on the monitor 18 in accordance with the first illumination light and the second illumination light emitted at two frame intervals. Be done.
  • the first image is displayed with emphasis on relatively thin superficial blood vessels, and the second image is displayed with emphasis on relatively thick deep blood vessels.
  • the central control unit 68 controls each unit of the processor unit 16. Further, the central control unit 68 receives information from the endoscope 12 and the light source device 14, and controls each part of the processor device 16 and controls the endoscope 12 or the light source device 14 based on the received information. Do. In addition, information such as an instruction from the keyboard 19 is also received.
  • the still image acquisition instruction SW 13a when the still image acquisition instruction SW 13a is operated in the endoscope 12, information on the still image acquisition instruction is transmitted to the central control unit 66.
  • the central control unit 66 sends information regarding the still image acquisition instruction to the image processing unit 60.
  • the image processing unit 60 performs storage control of the still image using the information related to the still image acquisition instruction.
  • the information related to the still image acquisition instruction is the time at which the still image acquisition instruction has been issued.
  • information on the light emission periods of the first illumination light and the second illumination light set by the operation of the keyboard 19 is input into the processor device 16 and sent to the light source device 14 through the processor device 16.
  • the light source control unit in the light source device 14 performs light source control based on the information on the light emission period from the processor device 16.
  • the image processing unit 60 has a blur amount calculation unit 72 and a still image storage control unit 74 in addition to the normal observation mode image processing unit 68 and the multi observation mode image processing unit 70.
  • the normal observation mode image processing unit 68 performs image processing for the normal observation mode on the RGB image signal.
  • a normal image is obtained by performing the image processing for the normal observation mode.
  • the multi observation mode image processing unit 70 performs image processing for the multi observation mode on the RGB image signal.
  • the image processing for the multi-observation mode is the image processing for the first illumination light performed on the RGB image signal obtained when the first illumination light is emitted, and the RGB image signal obtained for the light emission of the second illumination light. And image processing for the second illumination light to be performed.
  • a first image is obtained by performing image processing for the first illumination light
  • a second image is obtained by performing image processing for the second illumination light.
  • the image processing for the normal observation mode, the image processing for the first illumination light, and the image processing for the second illumination light are color emphasis processing and structure emphasis It is preferable to perform the same type of processing such as processing, and it is preferable to make only the parameters (parameters for color enhancement processing and parameters for structure enhancement processing) used in those processes differ.
  • the blur amount calculation unit 72 performs blur amount calculation processing in accordance with the signal of the still image acquisition instruction sent from the central control unit 66 to calculate the blur amount.
  • the still image storage control unit 74 also performs control of storing, in the still image storage unit 76, an image whose blur amount satisfies a specific condition as a storage still image. In various image processings, in addition to image processing performed under different conditions for each observation mode, image processing performed under the same conditions can be performed regardless of the observation mode.
  • the blur amount calculation unit 72 includes a blur amount calculation processing unit 78 and an algorithm switching unit 80.
  • the blur amount calculation processing unit 78 calculates the blur amount for a plurality of images acquired in a specific still image acquisition instruction period Tp including the timing of the still image acquisition instruction when the still image acquisition instruction is issued. Perform blur amount calculation processing. In the present embodiment, blur amount calculation processing is performed on all of the images obtained in a specific still image acquisition instructing period Tp.
  • the still image acquisition instruction period Tp (see FIG. 13) can be set arbitrarily, as an example, in the present embodiment, the first image for two frames and the second image for two frames from the timing of the still image acquisition instruction
  • an image set for 4 frames of an image be a period in which an image for at least 4 sets, that is, 16 frames can be acquired.
  • the blur amount calculation processing is performed by the algorithm A1 which is the first blur amount calculation processing, and with respect to the second image by the second illumination light
  • the blurring amount calculating process is performed by the algorithm A2 which is the second blurring amount calculating process.
  • the algorithm A1 calculates the amount of blurring by calculating the amount of blurring using a B image signal (a spectral image of blue) containing much information of violet light V or blue light B which is light of short wavelength in the first image. It is supposed to be an algorithm. Further, in the image in the second observation mode by the second illumination light, a deep blood vessel which is a target to be enhanced by the light of medium wavelength is an important structure.
  • the algorithm A2 is a blurring amount calculation algorithm that calculates the blurring amount using a G image signal (a spectral image of green color) including a large amount of information of green light G which is light of middle wavelength in the second image. There is. Therefore, the blur amount can be accurately calculated by performing the blur amount calculation for the spectral image of the color in which the important structure in each image is emphasized.
  • the first and second blur amount calculation processes are assumed to have the same algorithm except that the spectral image to be used is different.
  • the blur amount is preferably a vector amount having the direction and size of the blur of the image.
  • the calculated shake amount is associated with the image, and a still image to be stored as a storage still image is selected based on the shake amount.
  • a method of calculating the amount of blur there are mainly a method based on image analysis and a method based on the imaging sensor 48, but in the present embodiment, a method based on image analysis is adopted.
  • a method based on image analysis there is a method of estimating a point spread function (PSF) for each of a plurality of regions in an image, and estimating the direction and size of blur with high accuracy from the point spread function.
  • PSF point spread function
  • the image signal is converted to an image in the frequency domain, and the amount of camera shake is detected based on the degree of influence of the sync function appearing in the camera shake direction in the image in the frequency domain. It is preferable (refer to JP2009-230598A). Further, there is a method of detecting a movement vector from an image signal and detecting an image blur amount based on the movement vector (see Japanese Patent Application Laid-Open No. 3-16470). Further, a method of calculating the contrast and detecting a large contrast as a small blur amount is also preferably used.
  • the algorithm switching unit 80 switches the algorithm of the blur amount calculation process for each observation mode when an image is acquired. That is, different blur amount calculation processing is performed depending on the observation mode when an image which is a target for calculating the blur amount is acquired.
  • the algorithm switching unit 80 acquires, according to which observation mode, a plurality of images acquired in a specific still image acquisition instruction period Tp including the time (timing) of the still image acquisition instruction. It can be determined based on the time of the still image acquisition instruction and the information of the light emission period.
  • the algorithm switching unit 80 recognizes the time when the image is acquired from each image. You can also.
  • the algorithm switching part 80 can switch the algorithm of a blurring amount calculation process correctly for every observation mode in which each image was acquired. That is, in the still image acquisition instructing period Tp, the algorithm switching unit 80 switches the blurring amount calculation processing to the algorithm A1 when acquiring the first image, and switches the blurring amount calculation processing to the algorithm A2 when acquiring the second image. .
  • the processor unit 16 including the blur amount calculation unit 72 does not excessively control the endoscope 12 and the light source unit 14, and the light source unit 14 uses the parameters of the light source unit 14 itself or
  • the shake amount calculation unit 72 can also perform processing with the parameters of the shake amount calculation unit 72 itself. Therefore, it is possible to calculate the amount of shake while suppressing the load on the system.
  • the still image storage control unit 74 calculates the blur amount for each image in the image set obtained in the specific still image acquisition instructing period Tp, adds up the calculated blur amounts for each image, and calculates the representative blur. Calculated as a quantity. Then, the still image storage control unit 74 selects the image set with the smallest representative blur amount among the image sets obtained in the specific still image acquisition instructing period as the image set satisfying the specific condition, and this selected image The set is stored in the still image storage unit 76 as a storage still image. When the still image for storage is stored in the still image storage unit 76, the still image storage control unit 74 associates the still image for storage with the display condition including the display order and the display time, and the still image storage unit 76. Save to
  • the storage still image stored in the still image storage unit 76 can be displayed according to the same display condition as that during diagnosis. For example, when the display condition is to switch and display the first image and the second image at an interval of two frames, the first image and the second image are switched to be displayed at an interval of two frames also for the storage still image. It becomes possible. Note that switching to the playback mode can be performed by the keyboard 19.
  • the still image for storage and the display condition stored in the still image storage unit 76 are transmitted to a medical computer different from the endoscope system 10, and the medical computer reproduces the still image for storage according to the display condition. You may do it.
  • an endoscope image reproduction program for reproducing a still image for storage is installed in the medical computer.
  • the above-mentioned specific condition can be set arbitrarily, for example, a threshold may be set in advance, and all cases where the amount of blur is smaller than the threshold may be stored.
  • a period Tp from timing T1 to timing Tn (n is a natural number of 2 or more) is set as a specific still image acquisition instruction period Tp.
  • the specific still image acquisition instructing period Tp is, as described above, a period during which four sets of image sets (one image set is composed of four frames of images), that is, an image of 16 frames can be acquired is there. Therefore, the specific still image acquisition instructing period Tp is from the timing T1 to the timing T16.
  • the first illumination light L1 and the second illumination light L2 are switched and emitted at two frame intervals.
  • a first image P1 for two frames is obtained, and the emission of the second illumination light for two frames emitted after the first illumination light
  • a second image P2 for two frames is obtained.
  • the acquisition of the first image for two frames and the acquisition of the second image for two frames are alternately performed. Therefore, at timings T1 to T4, an image set S1 is obtained which includes the first image P1 obtained at the timings T1 and T2 and the second image P2 obtained at the timings T3 and T4.
  • an image set S2 including the first image P1 obtained at the timings T5 and T6 and the second image P2 obtained at the timings T7 and T8 is obtained.
  • an image set S3 including the first image P1 obtained at timings T9 and T10 and the second image P2 obtained at timings T11 and T12 is obtained.
  • an image set S4 including the first image P1 obtained at timings T13 and T14 and the second image P2 obtained at timings T15 and T16 is obtained.
  • blurring amount calculation processing is performed on each of the images of each image set.
  • the algorithm A1 is applied to the first image
  • the algorithm A2 is applied to the second image.
  • the algorithm A1 is applied to the first image P1 at the timings T1 and T2
  • the blur amounts Bx1 and Bx2 at the timings T1 and T2 are calculated.
  • the algorithm A2 is applied to the second image P2 at the timings T3 and T4 to calculate the blur amounts By3 and By4 at the timings T3 and T4.
  • the blur amounts Bx5, Bx6, By7, By8 are calculated by performing blur amount calculation processing for each image of the image set S2.
  • blur amounts Bx9, Bx10, By11, By12 are calculated. Further, by performing blur amount calculation processing on the image of the image set S4, blur amounts Bx13, Bx14, By15, and By16 are calculated.
  • the blurring amount calculated for each image set is summed to calculate a representative blurring amount.
  • the shake amounts Bx1, Bx2, By3, By4 are summed to obtain a representative shake amount BT1.
  • the shake amounts Bx5, Bx6, By7, By8 are summed to obtain a representative shake amount BT2.
  • the blurring amounts Bx9, Bx10, By11, and By12 are summed to obtain the representative blurring amount BT3.
  • the blurring amount Bx13, Bx14, By15, By16 is summed to obtain the representative blurring amount BT4.
  • an image set with the smallest representative blur amount is selected as a still image for storage.
  • the representative blur amount BT2 is the smallest (BT2 ⁇ BT1, BT3, BT4)
  • an image set S2 including the first image at timings T5 and T6 and the second image at timings T7 and T8 is a still image for storage Selected as
  • the still image storage control unit 74 calculates the blur amount (representative blur amount) for each image set, and selects the image set with the smallest representative blur amount as the storage still image. It is not limited to this method. For example, among a plurality of images obtained in a specific still image acquisition instructing period Tp, the first image having the smallest blur amount for the first image and the second image having the smallest blur amount for the second image are stored respectively It may be selected as a still image.
  • the blurring amount calculation and the storage still image for storage are performed on an image obtained after the still image acquisition instruction has been issued, but in the second embodiment, it is acquired in advance during a specific period.
  • the blur amount calculation and storage of the storage still image are performed on the temporarily stored moving image which is a moving image of the plurality of images. That is, in the first embodiment, an image obtained after a still image acquisition instruction is given as a target of blur amount calculation and storage of a still image for storage, but in the second embodiment, before there is a still image acquisition instruction
  • the image obtained in the above is taken as the object of blur amount calculation and storage of a storage still image.
  • the second embodiment is the same as the first embodiment except for the above, and apparatuses and the like given the same reference numerals in FIGS. 14 and 15 as in FIGS. 1 to 13 are as described in the first embodiment. So I will omit the explanation.
  • the image processing unit 60 in the present embodiment includes the normal observation mode image processing unit 68, the multi observation mode image processing unit 70, the blur amount calculation unit 72, and the still image storage control unit 74.
  • the video temporary storage unit 82 is provided.
  • the moving picture temporary storage unit 82 always stores the moving picture of the image obtained during the specific period retroactive from the current time according to the setting, and automatically updates the stored moving picture.
  • a predetermined number of moving images for a specific period are stored at specific time intervals, and new moving images are stored. Once saved, it is a method to delete the video acquired from the oldest time.
  • the moving image temporary storage period Tq including the time of the still image acquisition instruction the one including the latest time is the still image acquisition instruction period.
  • the temporarily stored moving image acquired in the moving image temporary storage period Tq including the timing T40 is set as a target for calculating the blur amount.
  • a moving image temporary storage period Tq which is a specific period, is to obtain four sets of image sets (one image set consists of four frames of images), that is, 16 frames of images retroactively from timing T39. It is a period that can be done. Therefore, the timing of image acquisition included in the moving image temporary storage period Tq, which is a specific period, is from timing T39 to T24.
  • the first illumination light L1 and the second illumination light L2 are switched and emitted at an interval of two frames also in the moving image temporary storage period Tq of the specific period.
  • a first image P1 for two frames is obtained, and the emission of the second illumination light for two frames emitted after the first illumination light
  • a second image P2 for two frames is obtained.
  • the acquisition of the first image for two frames and the acquisition of the second image for two frames are alternately performed. Therefore, at timings T39 to T36, an image set S8 including the second image P2 obtained at timings T38 and T39 and the first image P1 obtained at timings T36 and T37 is obtained.
  • an image set S7 including the second image P2 obtained at timings T34 and T35 and the first image P1 obtained at timings T32 and T33 is obtained.
  • an image set S6 including the second image P2 obtained at timings T30 and T31 and the first image P1 obtained at timings T28 and T29 is obtained.
  • an image set S5 including the second image P2 obtained at the timings T26 and T27 and the first image P1 obtained at the timings T24 and T25 is obtained.
  • blurring amount calculation processing is performed on each of the images of each image set.
  • the algorithm A1 is applied to the first image
  • the algorithm A2 is applied to the second image.
  • the algorithm A2 is applied to the second image P2 at the timings T38 and T39 to calculate the blur amounts By2 and By1 at the timings T38 and T39.
  • the algorithm A1 is applied to the first image P1 at the timings T36 and T37 to calculate blur amounts Bx4 and Bx3 at the timings T36 and T37.
  • the blur amounts By5, By6, Bx7, and Bx8 are calculated by performing blur amount calculation processing for each of the images of the image set S7.
  • blur amounts By9, By10, Bx11, and Bx12 are calculated. Further, the blur amounts By13, By14, Bx15, and Bx16 are calculated by performing the blur amount calculation processing on the image of the image set S5.
  • the blurring amount calculated for each image set is summed to calculate a representative blurring amount.
  • the blur amounts By1, By2, Bx3, and Bx4 are summed to obtain a representative blur amount BT4.
  • the shake amounts By5, By6, Bx7, and Bx8 are summed to obtain a representative shake amount BT3.
  • the blurring amounts By9, By10, Bx11, and Bx12 are summed to obtain the representative blurring amount BT2.
  • the blur amounts By13, By14, Bx15, and Bx16 are summed to obtain the representative blur amount BT1.
  • an image set with the smallest representative blur amount is selected as a still image for storage.
  • the image set S6 including the second image of timing T30, T31 and the first image of timing T28, T29 is a still image for storage Selected as
  • the still image storage control unit 74 calculates the blur amount (representative blur amount) for each image set, and selects the image set with the smallest representative blur amount as the storage still image. It is not limited to this method. For example, among a plurality of images obtained in a specific still image acquisition instructing period, a first image having the smallest blur amount for the first image and a second image having the smallest blur amount for the second image are each stored. It may be selected as a still image.
  • the present embodiment is configured to select a still image for storage from images acquired in the past from the time when a still image acquisition instruction is issued, immediately after the user actually confirms the image, It is possible to acquire a still image at the time of going back. Therefore, the user is efficient because it is not necessary to return the observation position to acquire a still image.
  • the shake amount calculation is started after the still image acquisition instruction is issued.
  • the shake amount is set to a plurality of images acquired in a specific period in advance. calculate. Then, an image with a small amount of blur is temporarily stored as a still image for temporary storage in the temporary still image storage unit 84, and when a still image acquisition instruction is issued, the time of the still image acquisition instruction and the temporary storage still image
  • the still image for temporary storage acquired in the still image acquisition instructing period Tr including the latest time is sent to the still image storage unit 76 as a storage still image.
  • the shake amount is calculated after the still image acquisition instruction is issued, but in the third embodiment, the shake amount is calculated before the still image acquisition instruction, and the shake amount is calculated. Select a few images and save.
  • the third embodiment is the same as the first embodiment except for the above, and in FIGS. 16 and 17, apparatuses and the like to which the same reference numerals as in FIGS. 1 to 15 are attached are as described in the first embodiment. So I will omit the explanation.
  • the image processing unit 60 in the present embodiment includes a normal observation mode image processing unit 68, a multi observation mode image processing unit 70, a blur amount calculation unit 72, and a still image storage control unit 74. And a temporary still image storage unit 84.
  • the blur amount calculation process is performed on an image obtained in a specific period which always goes back from the current time.
  • the method of calculating the shake amount is the same as that of the first embodiment or the second embodiment. Therefore, with the images acquired in the specific period as one group, the amount of blur is calculated with different parameters for each observation mode, and the calculated amount of blur is compared, and the set of images with less blur is used.
  • Temporary still image storage unit 84 Temporary still image storage unit 84.
  • the temporary still image storage unit 84 stores a predetermined number of temporary storage still images, which is an image set with a small amount of blur, and automatically updates the stored images. Any method of storage and update can be adopted, but in the present embodiment, a predetermined number of still images for temporary storage acquired during the specific period are stored at a specific time interval, and a new temporary When the storage still image is stored, it is a method of deleting the temporary storage still image acquired at the oldest time. Then, when the still image acquisition instruction is performed, the temporary storage still image acquired during the still image acquisition instruction period Tr including the time of the still image acquisition instruction and the latest time is selected from the temporary storage still images, and This is sent to the still image storage unit 76 as a still image for storage.
  • a still image acquisition instruction is issued at timing T60, among the still images for temporary storage stored in temporary still image storage unit 84, still image acquisition including timing T60, which is the time for still image acquisition instruction, and the latest time The still image for temporary storage acquired in the instruction period Tr is selected.
  • a period from timing T59 to timing Tn (n is a natural number of 2 or more) is a still image acquisition instructing period Tr.
  • the still image acquisition instructing period Tr is a period in which four sets of image sets (one image set includes four frames of images), that is, an interval of 16 frames of images can be acquired. Therefore, the still image acquisition instructing period Tr is from timing T59 to T44.
  • the first illumination light L1 and the second illumination light L2 are switched and emitted at an interval of two frames.
  • a first image P1 for two frames is obtained, and the emission of the second illumination light for two frames emitted after the first illumination light
  • a second image P2 for two frames is obtained.
  • the acquisition of the first image for two frames and the acquisition of the second image for two frames are alternately performed. Therefore, at timings T59 to T56, an image set S12 is obtained which includes the second image P2 obtained at the timings T58 and T59 and the first image P1 obtained at the timings T56 and T57.
  • an image set S11 including the second image P2 obtained at timings T54 and T55 and the first image P1 obtained at timings T52 and T53 is obtained.
  • an image set S10 including the second image P2 obtained at timings T50 and T51 and the first image P1 obtained at timings T48 and T49 is obtained.
  • an image set S9 including the second image P2 obtained at the timings T46 and T47 and the first image P1 obtained at the timings T44 and T45 is obtained.
  • blurring amount calculation processing is performed on each of the images of each image set.
  • the algorithm A1 is applied to the first image
  • the algorithm A2 is applied to the second image.
  • the algorithm A2 is applied to the second image P2 at the timings T58 and T59 to calculate the blur amounts By1 and By2 at the timings T58 and T59.
  • the algorithm A1 is applied to the first image P1 at the timings T56 and T57, and the blur amounts Bx3 and Bx4 at the timings T56 and T57 are calculated.
  • the blur amounts By5, By6, Bx7, and Bx8 are calculated by performing blur amount calculation processing for each of the images of the image set S11.
  • blur amounts By9, By10, Bx11, and Bx12 are calculated. Further, the blur amounts By13, By14, Bx15, and Bx16 are calculated by performing the blur amount calculation processing on the image of the image set S9.
  • the blurring amount calculated for each image set is summed to calculate a representative blurring amount.
  • the blur amounts By1, By2, Bx3, and Bx4 are summed to obtain a representative blur amount BT4.
  • the blur amounts By5, By6, Bx7, and Bx8 are summed to obtain a representative blur amount BT3.
  • the blurring amounts By9, By10, Bx11, and Bx12 are summed to obtain the representative blurring amount BT2.
  • the blur amounts By13, By14, Bx15, and Bx16 are summed to obtain the representative blur amount BT1.
  • an image set with the smallest representative blur amount is selected as a still image for storage.
  • the image set S10 including the second image of timing T50 and T51 and the first image of timing T48 and T49 is a still image for temporary storage. It is saved as a picture, and this is selected as a still picture for storage.
  • the still image storage control unit 74 calculates the blur amount (representative blur amount) for each image set, and selects the image set with the smallest representative blur amount as the storage still image. It is not limited to this method. For example, among a plurality of images obtained in a specific still image acquisition instructing period, a first image having the smallest blur amount for the first image and a second image having the smallest blur amount for the second image are each stored. It may be selected as a still image.
  • a still image with a small amount of blur is always stored temporarily, so a plurality of still images can be stored depending on settings, and can be used in various ways. For example, it is possible to display an image in which a specific structure is emphasized as a moving image by continuously displaying a still image for temporary storage which is a plurality of still images with a small amount of blur.
  • the first illumination light and the second illumination light are emitted while switching at intervals of two frames, and the first observation image and the first observation light corresponding to the first illumination light
  • the second observation image corresponding to the two illumination lights is switched at two frame intervals to be displayed on the monitor 18, but three or more types of illumination lights having different wavelength bands from one another are emitted in a specific light emission order and light emission According to a period, light may be emitted while switching, and three or more types of observation images corresponding to each illumination light may be switched and displayed on the monitor 18 according to a specific display order and display time.
  • the hardware structure of the processing unit (processing unit) included in the processor device 16 such as the image processing unit 60 and the display control unit 62 is various processors as described below.
  • the circuit configuration has been changed after manufacturing CPU (Central Processing Unit), which is a general-purpose processor that executes software (program) and functions as various processing units, and FPGA (Field Programmable Gate Array)
  • CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • a programmable logic device Programmable Logic Device: PLD
  • a dedicated electric circuit which is a processor having a circuit configuration specially designed to execute various processes, are included.
  • One processing unit may be configured of one of these various processors, or configured of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA) It may be done.
  • a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software as represented by computers such as clients and servers; There is a form in which this processor functions as a plurality of processing units.
  • SoC system on chip
  • IC integrated circuit
  • circuitry in the form in which circuit elements such as semiconductor elements are combined.
  • the present invention can be applied to various medical image processing apparatuses in addition to the endoscope system as in the first to third embodiments.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)

Abstract

複数種類の照明光により得られるブレ量の少ない画像を静止画として保存、表示することができる内視鏡システム及びその作動方法を提供する。　画像処理部（６０）は、ブレ量算出部（７２）と、静止画保存制御部（７４）を有し、ブレ量算出部（７２）は、ブレ量算出処理部（７８）と、アルゴリズム切替部（８０）とを有する。アルゴリズム切替部（８０）は、画像毎に異なるアルゴリズムを適用し、ブレ量算出処理部（７８）において、ブレ量が少ない画像を選択する。ブレ量が少ない画像として選択された第１画像と第２画像とは、静止画保存部（７６）に保存される。表示制御部（６２）が、保存用静止画を表示する。

Description

内視鏡システム及びその作動方法
　本発明は、複数種類の照明光によるブレの少ない画像を効率的に表示することができる内視鏡システムに関する。
　近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるＲＧＢ画像信号に基づいて、観察対象の画像をモニタ上に表示する。
　また、内視鏡システムにおいては、診断目的に合わせて、観察対象に照射する照明光を切り替え、また、観察対象の画像に対する画像処理を切り替えることができるように、複数の観察モードが設けられている。これらの観察モードによる画像において、特に着目すべき部位などにおいては、静止画を取得することにより、診断のための資料などに用いられる。
　これらの静止画を取得するにあたり、例えば、特許文献１では、通常観察画像、酸素飽和度画像及び血管強調画像などの観察モードの各静止画を、露光量をそれぞれ調節した上で取得する内視鏡システムが記載されている。また、特許文献２では、操作者がフリーズ指示を実行した時点の画像信号を、色ずれ最小の静止画像として出力させることができる画像フリーズ装置が記載されている。また、特許文献３では、内視鏡検査が終了した後、不足した静止画像を動画像データから補完できる内視鏡画像記録装置が開示されている。
特開２０１３－１８８３６４号公報 特開２００１－２１８２１７号公報 特開２０１２－７０９３８号公報
　特許文献２に示すように、静止画を保存する場合には、色ずれやブレが少ない静止画を保存しておくことが求められる。また、複数の観察モードに対応した複数の観察モードの画像をそれぞれ静止画として保存しておく場合にも、各観察モードの画像について色ずれやブレ量を算出して、算出した色ずれ量が最も小さい画像を静止画として保存することが求められる。しかしながら、各観察モードで得られる画像は、それぞれ画像的特徴量が異なっている場合が多いことがあるため、各観察モードの画像に対して、同じような色ずれ算出処理やブレ算出処理を行う場合には、色ずれやブレ量を正確に算出することができない場合がある。
　本発明は、複数の照明光を切り替えて照明し、各照明光に対応する画像を取得する場合において、各画像についてブレ量を正確に算出することによって、ブレ量が少ない画像を静止画として保存することができる内視鏡システム及びその作動方法を提供することを目的とする。
　本発明の内視鏡システムは、複数の半導体光源と、光源制御部と、画像取得部と、静止画取得指示入力部と、ブレ量算出部と、静止画保存制御部とを備える。複数の半導体光源は、互いに異なる波長帯域の光を発光する。光源制御部は、複数の半導体光源のそれぞれが、第１の発光比率を有する第１照明光と、第１の発光比率と異なる第２の発光比率を有する第２照明光とを含む複数の照明光を、特定の発光順序及び発光期間により切替えて発光する制御を行う。画像取得部は、各照明光により照明された観察対象を撮像して複数の画像を取得する。複数の画像には第１照明光による第１画像及び第２照明光による第２画像が含まれる。静止画取得指示入力部は、各画像の保存用静止画を取得するための静止画取得指示を行う。ブレ量算出部は、静止画取得指示が行われたタイミングを含む特定の静止画取得指示期間に取得した複数の画像を対象としてブレ量を算出する。ブレ量を算出するためのブレ量算出処理は、画像毎に異なっている。静止画保存制御部は、ブレ量に関して特定の条件を満たす場合に、複数の画像を、保存用静止画として静止画保存部に保存する制御を行う。
　各画像には複数色の分光画像が含まれ、ブレ量算出処理は、第１画像のうち第１色の分光画像から第１ブレ量を算出する第１ブレ量算出処理と、第２画像のうち第１色と異なる第２色の分光画像から第２ブレ量を算出する第２ブレ量算出処理とが含まれることが好ましい。
　第１照明光は第２照明光よりも短波の光を多く含み、第１色は青色であり、第２色は緑色であることが好ましい。
　特定の静止画取得指示期間においては、複数の画像は、画像セットとして取得され、静止画保存制御部は、特定の条件を満たす画像セットを、保存用静止画として保存することが好ましい。
　特定の条件を満たす画像セットは、複数の画像セットのうち画像セットの各画像のブレ量を合計した代表ブレ量が最も小さい画像セットであることが好ましい。
　静止画保存制御部は、特定の静止画取得指示期間に得られる複数の画像のうち、第１画像について最もブレ量が小さい第１画像と、第２画像について最もブレ量が小さい第２画像とを、それぞれ保存用静止画として保存することが好ましい。
　複数の画像を、特定の表示順序及び／または表示時間を含む表示条件に従って、切り替えて表示部に表示する表示制御部を有し、静止画保存制御部は、保存用静止画に対して、表示条件を関連付けて保存することが好ましい。
　また、本発明の内視鏡システムは、互いに異なる波長帯域の光を発光する複数の半導体光源と、複数の半導体光源のそれぞれが、第１の発光比率を有する第１照明光と、第１の発光比率と異なる第２の発光比率を有する第２照明光とを含む複数の照明光を、特定の発光順序及び発光期間により切替えて発光する制御を行う光源制御部と、各照明光により照明された観察対象を撮像して複数の画像を取得する画像取得部であり、複数の画像には第１照明光による第１画像及び第２照明光による第２画像が含まれる画像取得部と、特定期間に取得した複数の画像の動画を、一時保存動画として保存する動画保存部と、各画像の保存用静止画を取得するための静止画取得指示を行う静止画取得指示入力部と、静止画取得指示が行われたタイミングに取得された画像を含む一時保存動画を対象としてブレ量を算出するブレ量算出部であり、ブレ量を算出するためのブレ量算出処理は、画像毎に異なっているブレ量算出部と、ブレ量に関して特定の条件を満たす場合に、複数の画像を、保存用静止画として静止画保存部に保存する制御を行う静止画保存制御部と、を備える。
　また、本発明の内視鏡システムは、互いに異なる波長帯域の光を発光する複数の半導体光源と、複数の半導体光源のそれぞれが、第１の発光比率を有する第１照明光と、第１の発光比率と異なる第２の発光比率を有する第２照明光とを含む複数の照明光を、特定の発光順序及び発光期間により切替えて発光する制御を行う光源制御部と、各照明光により照明された観察対象を撮像して複数の画像を取得する画像取得部であり、複数の画像には第１照明光による第１画像及び第２照明光による第２画像が含まれる画像取得部と、各画像の保存用静止画を取得するための静止画取得指示を行う静止画取得指示入力部と特定期間に取得した複数の画像を対象としてブレ量を算出するブレ量算出部であり、ブレ量を算出するためのブレ量算出処理は、画像毎に異なっているブレ量算出部と、ブレ量に関して特定の条件を満たす場合に、複数の画像を、一時保存用静止画として一時静止画保存部に保存する制御、及び、静止画取得指示に従い、一時保存用静止画を保存用静止画として静止画像保存部に保存する制御を行う静止画保存制御部と、を備える。
　特定期間は、現時点から特定期間遡った時点までの期間であることが好ましい。
　また、本発明の内視鏡システムの作動方法は、光源制御ステップと、画像取得ステップと、静止画取得指示ステップと、ブレ量算出ステップと、静止画保存ステップとを有する。光源制御ステップでは、光源制御部が、互いに異なる波長帯域の光を発光する複数の半導体光源のそれぞれが、第１の発光比率を有する第１照明光と、第１の発光比率と異なる第２の発光比率を有する第２照明光とを含む複数の照明光を、特定の発光順序及び発光期間により切替えて発光する制御を行。画像取得ステップは、画像取得部が、各照明光により照明された観察対象を撮像して複数の画像を取得するステップであり、複数の画像には第１照明光による第１画像及び第２照明光による第２画像が含まれる。静止画取得指示ステプでは、静止画取得指示入力部が、各画像の保存用静止画を取得するための静止画取得指示を行う。ブレ量算出ステップは、ブレ量算出部が、静止画取得指示が行われたタイミングを含む特定の静止画取得指示期間に取得した複数の画像を対象としてブレ量を算出するステップであり、ブレ量を算出するためのブレ量算出処理は、画像毎に異なっている。静止画保存ステップでは、静止画保存制御部が、ブレ量に関して特定の条件を満たす場合に、複数の画像を、保存用静止画として静止画保存部に保存する。
　本発明によれば、複数の照明光を切り替えて照明し、各照明光に対応する画像を取得する場合において、各画像についてブレ量を正確に算出することによって、ブレ量が少ない画像を静止画として保存することができる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの発光スペクトルを示すグラフである。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む第１照明光の発光スペクトルを示すグラフである。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む第２照明光の発光スペクトルを示すグラフである。 第１照明光の発光期間と第２照明光の発光期間を示す説明図である。 発光期間設定メニューを示す説明図である。 第１画像と第２画像との切替表示を示す説明図である。 静止画取得指示が行われた場合の情報の流れを示すブロック図である。 画像処理部と静止画保存部を示すブロック図である。 ブレ量算出部を示すブロック図である。 画像とブレ量算出のアルゴリズムとの関連を示す説明図である。 静止画取得指示とブレ量算出と静止画保存等との関連を示す説明図である。 画像処理部を示すブロック図である。 静止画取得指示とブレ量算出と静止画保存等との関連を示す説明図である。 ブレ量算出部を示すブロック図である。 静止画取得指示とブレ量算出と静止画保存等との関連を示す説明図である。
　［第１実施形態］
　図１に示すように、第１実施形態の内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、キーボード１９とを有する。内視鏡１２は光源装置１４と光学的に接続され、かつ、プロセッサ装置１６と電気的に接続される。内視鏡１２は、被検体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられる湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作に伴って、先端部１２ｄが所望の方向に向けられる。なお、キーボード１９は入力手段の一例であり、入力手段としては、図示したキーボードの他、マウスなど（図示せず）が含まれ、キーボード１９と同様、操作などの受け付け、変更、入力などを行う。
　また、操作部１２ｂには、アングルノブ１２ｅの他、静止画取得指示ＳＷ１３ａ及びモード切替ＳＷ１３ｂが設けられている。静止画取得指示ＳＷ１３ａは、観察対象において注目領域などが存在した場合に、画像を静止画として保存するためのスコープスイッチであり、静止画取得指示入力部の一例である。
　なお、画像を静止画として保存するための静止画取得指示入力部としては、静止画取得指示ＳＷ１３ａの他に、フットスイッチ（図示せず）を用いてもよい。また、本実施形態では、複数の照明光が自動的に切替えられるが、操作部１２ｂには、複数の照明光を手動で切替えるためのモード切替ＳＷ１３ｂが設けられている。ユーザーが診断に有効と思われる部位を検出した場合には、静止画取得指示ＳＷ１３ａとモード切替ＳＷ１３ｂを交互に操作することもできる。
　本実施形態では、複数の照明光を用いた観察モードとして、マルチ観察モードが用いられる。マルチ観察モードは、互いに異なる波長帯域の2種類の照明光の発光に基づいて得られる第１画像と第２画像とを、自動的に切替えてモニタ１８に表示するモードである。第１画像は、表層血管（第１血管）を強調した画像である。第２画像は、深層血管（第２血管）を強調した画像である。これらの観察モードの他に、通常観察モードまたは他の観察モードも使用可能である。通常観察モードは、通常画像をモニタ１８上に表示するモードである。なお、観察モードの切替は、内視鏡の操作部１２ｂに設けられたモード切替ＳＷ１３ｂにより行われる。
　プロセッサ装置１６は、モニタ１８及びキーボード１９と電気的に接続される。モニタ１８は、画像情報等を出力表示する。キーボード１９は、機能設定等の入力操作を受け付けるUI（User Interface：ユーザーインターフェース）として機能する。なお、プロセッサ装置１６には、画像情報等を記録する外付けの記録部（図示せず）を接続してもよい。
　図２に示すように、光源装置１４は、光源部２０と、光源制御部２１と、発光期間設定部２２と、光路結合部２３とを有している。光源部２０は、互いに異なる複数の波長帯域の光の発光が可能となっている。なお、本明細書において、「互いに異なる複数の波長帯域の光」とは、複数の波長帯域が全く重ならないことを意味するものではなく、複数の波長帯域が一部重なっていてもよいことを意味する。光源部２０は、複数波長帯域の光を発するために、V-LED（Violet Light Emitting Diode）２０ａ、B-LED（Blue Light Emitting Diode）２０ｂ、G-LED（Green Light Emitting Diode）２０ｃ、R-LED（Red Light Emitting Diode）２０ｄを有している。なお、LEDの代わりに、LD（Laser Diode）を用いてもよい。
　光源制御部２１は、ＬＥＤ２０ａ～２０ｄの駆動を制御する。光路結合部２３は、４色のＬＥＤ２０ａ～２０ｄから発せられる４色の光の光路を結合する。光路結合部２３で結合された光は、挿入部１２ａ内に挿通されたライトガイド４１及び照明レンズ４５を介して、被検体内に照射される。
　図３に示すように、V-LED２０ａは、中心波長４０５±１０nm、波長範囲３８０～４２０nmの紫色光Ｖを発生する。B-LED２０ｂは、中心波長４６０±１０nm、波長範囲４２０～５００nmの青色光Ｂを発生する。G-LED２０ｃは、波長範囲が４８０～６００nmに及ぶ緑色光Ｇを発生する。R-LED２０ｄは、中心波長６２０～６３０nmで、波長範囲が６００～６５０nmに及ぶ赤色光Ｒを発生する。
　光源制御部２１は、いずれの観察モードにおいても、V-LED２０ａ、B-LED２０ｂ、G-LED２０ｃ、及びR-LED２０ｄを点灯する制御を行う。また、光源制御部２１は、通常観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。なお、本明細書において、発光比率とは、各半導体光源の光強度比をいい、光強度比は０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、発光比率を有するものとする。
　また、光源制御部２１は、マルチ観察モードにセットされている場合、表層血管を強調した第１血管を取得するために、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１となる第１照明光を発光する制御を行う。第１照明光は、表層血管を強調するために、４００ｎｍ以上４４０ｎｍ以下にピークを有することが好ましい。そのため、第１照明光は、図４に示すように、紫色光Ｖの光強度が、その他の青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光強度よりも大きくなるように、光強度比Ｖｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１が設定されている（Ｖｓ１＞Ｂｓ１、Ｇｓ１、Ｒｓ１）。また、第１照明光には、赤色光Ｒのような第１の赤色帯域を有しているため、粘膜の色を正確に再現することができる。さらに、第１照明光には、紫色光Ｖ、青色光Ｂ、緑色光Ｇのように第１の青色帯域及び第１の緑色帯域を有しているため、上記のような表層血管の他、腺管構造や凹凸など各種構造も強調することができる。
　また、光源制御部２１は、マルチ観察モードの場合、深層血管を強調して第２画像を取得するために、第２観察モード時の発光比率としては、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２となる第２照明光を発光する制御を行う。第２照明光は、深層血管を強調するために、第１照明光に対して、４６０ｎｍ、５４０ｎｍ、または６３０ｎｍのうち少なくともいずれかの強度比を大きくすることが好ましい。
　そのため、第２照明光は、図５に示すように、第１照明光における青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの光量と比較して、緑色光Ｇ、または赤色光Ｒの光量が大きくなるように、光強度比Ｖｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２が設定されている。また、第２照明光には、赤色光Ｒのような第２の赤色帯域を有しているため、粘膜の色を正確に再現することができる。さらに、第２照明光には、紫色光Ｖ、青色光Ｂ、緑色光Ｇのように第２の青色帯域及び第２の緑色帯域を有しているため、上記のような深層血管の他、凹凸など各種構造も強調することができる。
　光源制御部２１は、マルチ観察モードにセットされている場合、第１照明光と第２照明光とをそれぞれ２フレーム以上の発光期間にて発光し、かつ、第１照明光と第２照明光とを自動的に切り替えて発光する制御を行う。例えば、第１照明光の発光期間を２フレームとし、第２照明光の発光期間も２フレームとした場合には、図６に示すように、第１照明光が２フレーム続けて発光した後に、第２照明光も２フレーム続けて発光される。ここで、第１照明光の発光期間と第２照明光の発光期間は、少なくとも２フレーム以上の期間に設定されている。このように２フレーム以上の期間にするのは、光源装置１４における照明光の切替は直ぐに行われるものの、プロセッサ装置１６における画像処理の切替には少なくとも２フレーム以上を有するためである。加えて、照明光が切り替わることよって点滅が生ずる場合があるため、２フレーム以上の期間にすることによって、点滅による術者への負担を軽減する。なお、「フレーム」とは、観察対象を撮像する撮像センサ４８を制御するための単位をいい、例えば、「１フレーム」とは、観察対象からの光で撮像センサ４８を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間のことをいう。本実施形態においては、撮像の単位である「フレーム」に対応して発光期間が定められている。
　第１照明光の発光期間と第２照明光の発光期間は、光源制御部２１に接続された発光期間設定部２４（図２参照）によって、適宜変更が可能である。キーボード１９の操作により、発光期間の変更操作を受け付けると、発光期間設定部２４は、図７に示す発光期間設定メニューをモニタ１８上に表示する。第１照明光の発光期間は、例えば、２フレームから１０フレームの間で変更可能である。各発光期間については、スライドバー２６ａ上に割り当てられている。
　第１照明光の発光期間を変更する場合には、キーボード１９を操作して、スライドバー２６ａ上の変更したい発光期間を示す位置にスライダ２７ａを合わせることで、第１の照明光の発光期間が変更される。第２照明光の発光期間についても、キーボード１９を操作して、スライドバー２６ｂ（例えば、２フレームから１０フレームの発光期間が割り当てられている）上の変更したい発光期間を示す位置にスライダ２７ｂを合わせることで、第２の照明光の発光期間が変更される。複数の照明光の発光の順序は、照明光が２種類の場合は、第１照明光と第２照明光とが、交互に発光される。複数の照明光が３種類以上の場合は、各照明光の発光の順序は、任意に設定可能である。
　図２に示すように、ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコード）内に内蔵されており、光路結合部２３で結合された光を内視鏡１２の先端部１２ｄまで伝搬する。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３～０．５ｍｍの細径なファイバケーブルを使用することができる。
　内視鏡１２の先端部１２ｄには、照明光学系３０aと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有しており、この照明レンズ４５を介して、ライトガイド４１からの光が観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６及び撮像センサ４８を有している。観察対象からの反射光は、対物レンズ４６を介して、撮像センサ４８に入射する。これにより、撮像センサ４８に観察対象の反射像が結像される。
　撮像センサ４８はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ４８は、ＣＣＤ(Charge Coupled Device）撮像センサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）撮像センサ等であることが好ましい。本発明で用いられる撮像センサ４８は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３色のＲＧＢ画像信号を得るためのカラーの撮像センサ、即ち、Ｒフィルタが設けられたＲ画素、Ｇフィルタが設けられたＧ画素、Ｂフィルタが設けられたＢ画素を備えた、いわゆるＲＧＢ撮像センサである。
　なお、撮像センサ４８としては、RGBのカラーの撮像センサの代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるため、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換する必要がある。また、撮像センサ４８はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部２１は青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
　撮像センサ４８から出力される画像信号は、ＣＤＳ・ＡＧＣ回路５０に送信される。ＣＤＳ・ＡＧＣ回路５０は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ・ＡＧＣ回路５０を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）５２により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、プロセッサ装置１６に入力される。
　プロセッサ装置１６は、内視鏡１２で得られた画像などの医用画像を処理する医用画像処理装置に対応している。このプロセッサ装置１６は、画像取得部５３と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ除去部５８と、中央制御部６０と、画像処理部６２と、表示制御部６４とを備えている。画像取得部５３には、内視鏡１２からのデジタルのカラー画像信号が入力される。カラー画像信号は、撮像センサ４８のＲ画素から出力されるＲ画像信号と、撮像センサ４８のＧ画素から出力されるＧ画像信号と、撮像センサ４８のＢ画素から出力されるＢ画像信号とから構成されるＲＧＢ画像信号である。
　ＤＳＰ５６は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、またはデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ４８の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたＲＧＢ画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のＲＧＢ画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のＲＧＢ画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のＲＧＢ画像信号には、デモザイク処理（等方化処理、同時化処理とも言う）が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。
　ノイズ除去部５８は、ＤＳＰ５６でガンマ補正等が施されたＲＧＢ画像信号に対してノイズ除去処理（例えば移動平均法やメディアンフィルタ法等）を施すことによって、ＲＧＢ画像信号からノイズを除去する。ノイズが除去されたＲＧＢ画像信号は、画像処理部６０に送信される。
　画像処理部６０は、ＲＧＢ画像信号に対して、各種の画像処理を行う。画像処理後のＲＧＢ画像信号は、表示制御部６２に送られる。画像処理部６０で行われる画像処理は、観察モード毎に異なっている。通常観察モードの場合には、通常観察モードに対応する通常観察モード用の画像処理がＲＧＢ画像信号に対して行われ、マルチ観察モードの場合には、マルチ観察モードに対応するマルチ観察モード用の画像処理がＲＧＢ画像信号に対して行われる。また、マルチ観察モードの場合には、静止画取得指示が行われた場合に、第１画像及び第２画像をセットで保存し、かつ、ブレ量に関して特定の条件を満たす場合に、第１画像及び第２画像を保存用静止画として保存するための処理が行われる。画像処理部６０の詳細、及び、マルチ観察モードにおける静止画取得指示時の処理については、後述する。
　表示制御部６２は、画像処理が施されたＲＧＢ画像信号に基づいて、各観察モードに対応する画像をモニタ１８に表示する制御を行う。表示制御部６２は、通常観察モードの場合には、通常光の発光に基づいて得られる通常画像をモニタ１８に表示する制御を行う。表示制御部６２は、マルチ観察モードの場合には、第１照明光の発光に基づいて得られる第１画像と第２照明光の発光に基づいて得られる第２画像を、特定の表示順序または表示時間を含む表示条件に従って、切り替えてモニタ１８に表示する制御を行う。
　例えば、特定の表示順序が「第１画像→第２画像」であり、特定の表示時間について、第１画像の表示時間が「２フレーム」、第２画像の表示時間が「２フレーム」である場合には、図８に示すように、２フレーム間隔で発光される第１照明光と第２照明光に合わせて、第１画像と第２画像とが２フレーム間隔で切り替えてモニタ１８に表示される。第１画像は、比較的細い表層血管が強調されて表示されており、第２画像は、比較的太い深層血管が強調されて表示されている。
　中央制御部６８は、プロセッサ装置１６の各部の制御を行う。また、中央制御部６８は、内視鏡１２および光源装置１４からの情報を受信し、受信した情報に基いて、プロセッサ装置１６の各部の制御や、内視鏡１２または光源装置１４の制御を行う。また、キーボード１９からの指示などの情報も受信する。
　例えば、図９に示すように、内視鏡１２において静止画取得指示ＳＷ１３ａが操作された場合には、静止画取得指示に関する情報が中央制御部６６に送信される。中央制御部６６は、画像処理部６０に静止画取得指示に関する情報を送る。画像処理部６０では、静止画取得指示に関する情報を用いて、静止画の保存制御を行う。本実施形態では、静止画取得指示に関する情報は、静止画取得指示が行われた時刻である。また、キーボード１９の操作によって設定される第１照明光と第２照明光の発光期間に関する情報は、プロセッサ装置１６内に入力され、かつ、プロセッサ装置１６を介して、光源装置１４に送られる。光源装置１４内の光源制御部は、プロセッサ装置１６からの発光期間に関する情報に基づいて光源制御を行う。
　以下、画像処理部６０の詳細及びマルチ観察モードにおける静止画取得指示時の処理について説明する。図１０に示すように、画像処理部６０は、通常観察モード用画像処理部６８と、マルチ観察モード用画像処理部７０に加えて、ブレ量算出部７２と、静止画保存制御部７４を有する。通常観察モード用画像処理部６８は、ＲＧＢ画像信号に対して、通常観察モード用の画像処理を行う。この通常観察モード用の画像処理を行うことにより、通常画像が得られる。マルチ観察モード用画像処理部７０は、ＲＧＢ画像信号に対して、マルチ観察モード用の画像処理を行う。マルチ観察モード用の画像処理は、第１照明光の発光時に得られるＲＧＢ画像信号に対して行う第１照明光用の画像処理と、第２照明光の発光時に得られるＲＧＢ画像信号に対して行う第２照明光用の画像処理とを含む。第１照明光用の画像処理を行うことにより第１画像が得られ、第２照明光用の画像処理を行うことにより第２画像が得られる。なお、画像処理部６０で行う処理の負担を抑えるためには、通常観察モード用の画像処理、第１照明光用の画像処理、第２照明光用の画像処理は、色強調処理や構造強調処理などそれぞれ同じ種類の処理を行うことが好ましく、それらの処理で用いるパラメータ（色強調処理用のパラメータや構造強調処理用のパラメータ）のみを異なるようにすることが好ましい。
　ブレ量算出部７２は、中央制御部６６から送られる静止画取得指示の信号に従い、ブレ量算出処理を行ってブレ量を算出する。静止画保存制御部７４は、また、ブレ量が特定の条件を満たす画像を保存用静止画として、静止画保存部７６に保存する制御を行う。なお、各種の画像処理では、観察モード毎に異なる条件で行われる画像処理の他、観察モードに関わらず同じ条件で行われる画像処理を行うこともできる。
　図１１に示すように、ブレ量算出部７２は、ブレ量算出処理部７８とアルゴリズム切替部８０とを有する。ブレ量算出処理部７８は、静止画取得指示が行われた場合に、静止画取得指示のタイミングを含む特定の静止画取得指示期間Ｔｐに取得した複数の画像に対して、ブレ量を算出するブレ量算出処理を行う。本実施形態では、特定の静止画取得指示期間Ｔｐに得られる画像の全てに対して、ブレ量算出処理を行う。
　なお、静止画取得指示期間Ｔｐ（図１３参照）は任意に設定できるが、一例として、本実施形態では、静止画取得指示のタイミングから、２フレーム分の第１画像と２フレーム分の第２画像の４フレーム分の画像セットを少なくとも４セット分、即ち１６フレーム分の画像を取得することができる期間とする。図１２に示すように、第１照明光による第１画像に対しては、第１ブレ量算出処理であるアルゴリズムＡ１によりブレ量算出処理が行われ、第２照明光による第２画像に対しては、第２ブレ量算出処理であるアルゴリズムＡ２によりブレ量算出処理が行われる。第１照明光による第１観察モードでの画像では、短波長の光で強調される対象である表層血管などが重要な構造物である。そこで、アルゴリズムＡ１は、第１画像のうち、短波長の光である紫色光Ｖや青色光Ｂの情報を多く含むＢ画像信号（青色の分光画像）を用いてブレ量算出を行うブレ量算出アルゴリズムとされている。また、第２照明光による第２観察モードでの画像では、中波長の光で強調される対象である深層血管などが重要な構造物である。そこで、アルゴリズムＡ２は、第２画像のうち、中波長の光である緑色光Ｇの情報を多く含むＧ画像信号（緑色の分光画像）を用いてブレ量算出を行うブレ量算出アルゴリズムとされている。したがって、それぞれの画像において重要な構造物が強調された色の分光画像についてブレ量算出を行うことにより、ブレ量を正確に算出することができる。
　第１及び第２ブレ量算出処理は、用いる分光画像が異なる以外のアルゴリズムは、同じものとされている。ブレ量は、画像のブレの方向及び大きさを持つベクトル量であることが好ましい。算出したブレ量は画像と関連付けられ、ブレ量をもとに保存用静止画として保存される静止画が選択される。
　なお、ブレ量の算出方法としては、主として、画像解析に基づく方法と撮像センサ４８に基づく方法があるが、本実施形態では、画像解析に基づく方法を採用している。画像解析に基づく方法としては、画像における複数の領域のそれぞれについて点拡がり関数（ＰＳＦ（Point Spread Function））を推定し、その点拡がり関数からブレの方向及び大きさを高精度に推定する方法がある（特許５４９９０５０号公報参照）。また、ブレの中でも、内視鏡１２を直線的に操作したときに生ずる手ぶれ画像については、周波数空間上でシンク関数を畳み込んだパワースペクトルとして表れることが知られている。このような手ぶれ画像が多く発生するような状況下では、画像信号を周波数領域の画像に変換し、その周波数領域の画像において手ぶれ方向に表れるシンク関数の影響の度合いに基づいてブレ量を検出することが好ましい（特開２００９－２３０５９８号公報参照）。また、画像信号から移動ベクトルを検出し、移動ベクトルを元に画像ブレ量を検出する方法がある（特開平３－１６４７０号公報参照）。また、コントラストを算出し、コントラストが大きいものをブレ量が少ないものとして検出する方法も好ましく用いられる。
　アルゴリズム切替部８０は、画像が取得された際の観察モード毎に、ブレ量算出処理のアルゴリズムを切替える。つまり、ブレ量を算出する対象である画像が取得された際の観察モードにより、異なったブレ量算出処理を行う。
　アルゴリズム切替部８０には、中央制御部６６から、発光期間設定部２２の発光期間に関する情報及び静止画取得指示が送られるため、静止画取得指示の時刻の情報も送られる。したがって、アルゴリズム切替部８０は、静止画取得指示が行われた場合、静止画取得指示の時刻（タイミング）を含む特定の静止画取得指示期間Ｔｐに取得した複数の画像が、どの観察モードによる取得された画像か、静止画取得指示の時刻と発光期間の情報とにより判別することができる。なお、取得した画像自体に、その画像が取得された時刻の情報を付加情報としてとして持たせた場合には、アルゴリズム切替部８０は、各画像から、その画像が取得された時刻を認識することもできる。
　上記のように構成されているため、アルゴリズム切替部８０は、各画像が取得された観察モード毎にブレ量算出処理のアルゴリズムを正しく切替えることが可能である。即ち、アルゴリズム切替部８０は、静止画取得指示期間Ｔｐにおいて、第１画像の取得時にはブレ量算出処理をアルゴリズムＡ１に切り替え、第２画像の取得時にはブレ量算出処理をアルゴリズムＡ２に切り替える処理を行う。そして、ブレ量算出を行う場合、ブレ量算出部７２を含むプロセッサ装置１６が内視鏡１２及び光源装置１４を過度に制御することがなく、光源装置１４は光源装置１４自体のパラメータにより、また、ブレ量算出部７２もブレ量算出部７２自体のパラメータにより、それぞれ処理が可能である。したがって、システムへの負荷を抑えたブレ量算出が可能である。
　静止画保存制御部７４は、本実施形態では、特定の静止画取得指示期間Ｔｐに得られる画像セットのうち画像毎にブレ量を算出し、算出した画像毎のブレ量を合計して代表ブレ量として算出する。そして、静止画保存制御部７４は、特定の静止画取得指示期間に得られる画像セットのうち、代表ブレ量が最も小さい画像セットを、特定の条件を満たす画像セットとして選択し、この選択した画像セットを保存用静止画として静止画保存部７６に保存する。また、保存用静止画を静止画保存部７６に保存する際には、静止画保存制御部７４は、保存用静止画を、表示順序や表示時間を含む表示条件と関連付けて静止画保存部７６に保存する。
　これにより、内視鏡診断後に行う再生モードにおいて、静止画保存部７６に保存した保存用静止画を、診断中と同様の表示条件に従って、表示することが可能となる。例えば、表示条件が、第１画像と第２画像を２フレーム間隔で切り替えて表示する場合であれば、保存用静止画についても、第１画像と第２画像を２フレーム間隔で切り替えて表示することが可能となる。なお、再生モードへの切替はキーボード１９により行うことができる。また、静止画保存部７６に保存した保存用静止画と表示条件を、内視鏡システム１０とは別の医療用コンピューターに送信し、この医療用コンピューターにおいて、保存用静止画を表示条件に従って再生するようにしてもよい。この場合には、医療用コンピューターには、保存用静止画を再生するための内視鏡画像再生プログラムがインストールされている。なお、上記特定の条件は、任意に設定可能であり、例えば、あらかじめ閾値を設定しておき、ブレ量が閾値より小さいものをすべて保存してもよい。
　静止画保存制御部７６による静止画の保存制御について、図１３を用いて説明する。静止画取得指示がタイミングＴ１で行われると、タイミングＴ１からタイミングＴｎ（ｎは２以上の自然数）までの期間Ｔｐが特定の静止画取得指示期間Ｔｐとして設定される。特定の静止画取得指示期間Ｔｐは、上記したように、４セット分の画像セット（１の画像セットは４フレーム分の画像からなる）、即ち１６フレーム分の画像を取得することができる期間である。したがって、特定の静止画取得指示期間Ｔｐは、タイミングＴ１からＴ１６までとなる。
　特定の静止画取得指示期間Ｔｐにおいても、第１照明光Ｌ１と第２照明光Ｌ２とが、２フレーム間隔で、切り替えて発光される。また、２フレーム分の第１照明光の発光に合わせて、２フレーム分の第１画像Ｐ１が得られ、その第１照明光の後に発光される２フレーム分の第２照明光の発光に合わせて、２フレーム分の第２画像Ｐ２が得られる。これら２フレーム分の第１画像の取得と２フレーム分の第２画像の取得とは、交互に行われる。したがって、タイミングＴ１からＴ４においては、タイミングＴ１、Ｔ２に得られた第１画像Ｐ１とタイミングＴ３、Ｔ４に得られた第２画像Ｐ２とからなる画像セットＳ１が得られる。同様にして、タイミングＴ５からＴ８においては、タイミングＴ５、Ｔ６に得られた第１画像Ｐ１とタイミングＴ７、Ｔ８に得られた第２画像Ｐ２とからなる画像セットＳ２が得られる。また、タイミングＴ９、Ｔ１０に得られた第１画像Ｐ１とタイミングＴ１１、Ｔ１２に得られた第２画像Ｐ２とからなる画像セットＳ３が得られる。また、タイミングＴ１３、Ｔ１４に得られた第１画像Ｐ１とタイミングＴ１５、Ｔ１６に得られた第２画像Ｐ２とからなる画像セットＳ４が得られる。
　そして、各画像セットの画像毎に対して、ブレ量算出処理が施される。このブレ量算出処理においては、第１画像に対してはアルゴリズムＡ１が適用され、第２画像に対してはアルゴリズムＡ２が適用される。画像セットＳ１の場合であれば、タイミングＴ１、Ｔ２の第１画像Ｐ１に対してはアルゴリズムＡ１が適用されて、タイミングＴ１、Ｔ２のブレ量Ｂｘ１、Ｂｘ２が算出される。一方、タイミングＴ３、Ｔ４の第２画像Ｐ２に対してはアルゴリズムＡ２が適用されて、タイミングＴ３、Ｔ４のブレ量Ｂｙ３、Ｂｙ４が算出される。同様にして、画像セットＳ２の画像毎に対してブレ量算出処理を行うことにより、ブレ量Ｂｘ５、Ｂｘ６、Ｂｙ７，Ｂｙ８が算出される。また、画像セットＳ３の画像に対してブレ量算出処理を行うことにより、ブレ量Ｂｘ９、Ｂｘ１０、Ｂｙ１１，Ｂｙ１２が算出される。また、画像セットＳ４の画像に対してブレ量算出処理を行うことにより、ブレ量Ｂｘ１３、Ｂｘ１４、Ｂｙ１５，Ｂｙ１６が算出される。
　次に、画像セット毎に算出したブレ量を合計して、代表ブレ量を算出する。画像セットＳ１の場合であれば、ブレ量Ｂｘ１、Ｂｘ２、Ｂｙ３、Ｂｙ４を合計して、代表ブレ量ＢＴ１を得る。同様にして、画像セットＳ２の場合であれば、ブレ量Ｂｘ５、Ｂｘ６、Ｂｙ７、Ｂｙ８を合計して、代表ブレ量ＢＴ２を得る。また、画像セットＳ３の場合であれば、ブレ量Ｂｘ９、Ｂｘ１０、Ｂｙ１１、Ｂｙ１２を合計して、代表ブレ量ＢＴ３を得る。また、画像セットＳ４の場合であれば、ブレ量Ｂｘ１３、Ｂｘ１４、Ｂｙ１５、Ｂｙ１６を合計して、代表ブレ量ＢＴ４を得る。
　そして、画像セットＳ１～Ｓ４のうち、代表ブレ量が最も小さい画像セットを、保存用静止画として選択する。例えば、代表ブレ量ＢＴ２が最も小さい場合（ＢＴ２＜ＢＴ１、ＢＴ３、ＢＴ４）には、タイミングＴ５、Ｔ６の第１画像とタイミングＴ７、Ｔ８の第２画像からなる画像セットＳ２が、保存用静止画として選択される。
　なお、本実施形態では、静止画保存制御部７４は、画像セット単位でブレ量（代表ブレ量）を算出し、代表ブレ量が最も小さい画像セットを保存用静止画として選択しているが、この方法には限られない。例えば、特定の静止画取得指示期間Ｔｐに得られる複数の画像のうち、第１画像について最もブレ量が小さい第１画像と、第２画像について最もブレ量が小さい第２画像とを、それぞれ保存用静止画として選択するようにしてもよい。
　［第２実施形態］
　第１実施形態では、静止画取得指示があった後に得られる画像を対象として、ブレ量算出及び保存用静止画の保存が行われたが、第２実施形態では、あらかじめ特定期間の間に得られた複数の画像の動画である一時保存動画を対象に、ブレ量算出及び保存用静止画の保存が行われる。すなわち、第１実施形態では、静止画取得指示があった後に得られる画像を、ブレ量算出及び保存用静止画の保存の対象とするが、第２実施形態では、静止画取得指示がある前に得られる画像を、ブレ量算出及び保存用静止画の保存の対象とする。第２実施形態は、上記以外については第１実施形態と同様であり、図１４及び図１５において、図１～１３と同じ符号を付す装置等は、第１実施形態にて説明したとおりであるので説明を略す。
　図１４に示すよう、本実施形態における画像処理部６０は、通常観察モード用画像処理部６８と、マルチ観察モード用画像処理部７０と、ブレ量算出部７２と、静止画保存制御部７４に加えて、動画一時保存部８２を有する。動画一時保存部８２は、設定に従い、常に現時点から遡った特定期間に得られた画像の動画を保存し、自動的に保存した動画を更新している。保存、更新の方法は、どのような方法も採用できるが、本実施形態では、特定の時間の間隔で、特定期間（動画一時保存期間Ｔｑ）の動画を一定の複数個保存し、新しい動画が保存されると、最も古い時刻から取得された動画を削除する方法としている。そして、静止画取得指示が行われると、その時刻を含む動画のうち最も新しい動画の１つを選択して、この動画に含まれる各フレームに対して、ブレ量算出を行う。したがって、本実施形態では、静止画取得指示の時刻を含む動画一時保存期間Ｔｑのうち、最新の時刻を含むものが、静止画取得指示期間となる。
　本実施形態におけるブレ量算出の対象について、図１５を用いて説明する。静止画取得指示がタイミングＴ４０で行われると、タイミングＴ４０が含まれる動画一時保存期間Ｔｑに取得された一時保存動画が、ブレ量を算出する対象として設定される。特定期間である動画一時保存期間Ｔｑは、４セット分の画像セット（１の画像セットは４フレーム分の画像からなる）、即ち、タイミングＴ３９から遡って、１６フレーム分の画像を取得することができる期間である。したがって、特定期間である動画一時保存期間Ｔｑに含まれる画像取得のタイミングは、タイミングＴ３９からＴ２４までとなる。
　第１実施形態と同様に、特定期間の動画一時保存期間Ｔｑにおいても、第１照明光Ｌ１と第２照明光Ｌ２とが、２フレーム間隔で、切り替えて発光される。また、２フレーム分の第１照明光の発光に合わせて、２フレーム分の第１画像Ｐ１が得られ、その第１照明光の後に発光される２フレーム分の第２照明光の発光に合わせて、２フレーム分の第２画像Ｐ２が得られる。これら２フレーム分の第１画像の取得と２フレーム分の第２画像の取得とは、交互に行われる。したがって、タイミングＴ３９からＴ３６においては、タイミングＴ３８、Ｔ３９に得られた第２画像Ｐ２とタイミングＴ３６、Ｔ３７に得られた第１画像Ｐ１とからなる画像セットＳ８が得られる。同様にして、タイミングＴ３５からＴ３２においては、タイミングＴ３４、Ｔ３５に得られた第２画像Ｐ２とタイミングＴ３２、Ｔ３３に得られた第１画像Ｐ１とからなる画像セットＳ７が得られる。また、タイミングＴ３０、Ｔ３１に得られた第２画像Ｐ２とタイミングＴ２８、Ｔ２９に得られた第１画像Ｐ１とからなる画像セットＳ６が得られる。また、タイミングＴ２６、Ｔ２７に得られた第２画像Ｐ２とタイミングＴ２４、Ｔ２５に得られた第１画像Ｐ１とからなる画像セットＳ５が得られる。
　そして、各画像セットの画像毎に対して、ブレ量算出処理が施される。このブレ量算出処理においては、第１画像に対してはアルゴリズムＡ１が適用され、第２画像に対してはアルゴリズムＡ２が適用される。画像セットＳ８の場合であれば、タイミングＴ３８、Ｔ３９の第２画像Ｐ２に対してはアルゴリズムＡ２が適用されて、タイミングＴ３８、Ｔ３９のブレ量Ｂｙ２、Ｂｙ１が算出される。一方、タイミングＴ３６、Ｔ３７の第１画像Ｐ１に対してはアルゴリズムＡ１が適用されて、タイミングＴ３６、Ｔ３７のブレ量Ｂｘ４、Ｂｘ３が算出される。同様にして、画像セットＳ７の画像毎に対してブレ量算出処理を行うことにより、ブレ量Ｂｙ５、Ｂｙ６、Ｂｘ７，Ｂｘ８が算出される。また、画像セットＳ６の画像に対してブレ量算出処理を行うことにより、ブレ量Ｂｙ９、Ｂｙ１０、Ｂｘ１１，Ｂｘ１２が算出される。また、画像セットＳ５の画像に対してブレ量算出処理を行うことにより、ブレ量Ｂｙ１３、Ｂｙ１４、Ｂｘ１５，Ｂｘ１６が算出される。
　次に、画像セット毎に算出したブレ量を合計して、代表ブレ量を算出する。画像セットＳ８の場合であれば、ブレ量Ｂｙ１、Ｂｙ２、Ｂｘ３、Ｂｘ４を合計して、代表ブレ量ＢＴ４を得る。同様にして、画像セットＳ７の場合であれば、ブレ量Ｂｙ５、Ｂｙ６、Ｂｘ７、Ｂｘ８を合計して、代表ブレ量ＢＴ３を得る。また、画像セットＳ６の場合であれば、ブレ量Ｂｙ９、Ｂｙ１０、Ｂｘ１１、Ｂｘ１２を合計して、代表ブレ量ＢＴ２を得る。また、画像セットＳ５の場合であれば、ブレ量Ｂｙ１３、Ｂｙ１４、Ｂｘ１５、Ｂｘ１６を合計して、代表ブレ量ＢＴ１を得る。
　そして、画像セットＳ１～Ｓ４のうち、代表ブレ量が最も小さい画像セットを、保存用静止画として選択する。例えば、代表ブレ量ＢＴ２が最も小さい場合（ＢＴ２＜ＢＴ１、ＢＴ３、ＢＴ４）には、タイミングＴ３０、Ｔ３１の第２画像とタイミングＴ２８、Ｔ２９の第１画像からなる画像セットＳ６が、保存用静止画として選択される。
　なお、本実施形態では、静止画保存制御部７４は、画像セット単位でブレ量（代表ブレ量）を算出し、代表ブレ量が最も小さい画像セットを保存用静止画として選択しているが、この方法には限られない。例えば、特定の静止画取得指示期間に得られる複数の画像のうち、第１画像について最もブレ量が小さい第１画像と、第２画像について最もブレ量が小さい第２画像とを、それぞれ保存用静止画として選択するようにしてもよい。
　本実施形態は、静止画取得指示を行った時刻から過去に取得された画像を対象として、保存用静止画を選択するように構成されているため、ユーザーが画像を実際に確認した直後に、遡った時点の静止画を取得することができる。したがって、ユーザーは、静止画を取得するために観察位置を戻る必要がないため、効率的である。
　［第３実施形態］
　第１実施形態及び第２実施形態では、静止画取得指示があった後にブレ量算出が始められたが、第３実施形態では、あらかじめ、特定期間に取得した複数画像を対象として、ブレ量を算出する。そして、ブレ量が少ない画像を一時保存用静止画として一時静止画保存部８４に保存しておき、静止画取得指示があった場合、一時保存用静止画のうち、静止画取得指示の時刻および最新の時刻を含む静止画取得指示期間Ｔｒに取得された一時保存用静止画を、保存用静止画として静止画保存部７６に送る。すなわち、第１実施形態及び第２実施形態では、静止画取得指示があった後にブレ量を算出したが、第３実施形態では、静止画取得指示がある前にブレ量を算出し、ブレ量の少ない画像を選択し、保存しておく。第３実施形態は、上記以外については第１実施形態と同様であり、図１６及び図１７において、図１～１５と同じ符号を付す装置等は、第１実施形態にて説明したとおりであるので説明を略す。
　図１６に示すように、本実施形態における画像処理部６０は、通常観察モード用画像処理部６８と、マルチ観察モード用画像処理部７０と、ブレ量算出部７２と、静止画保存制御部７４に加え、一時静止画保存部８４を有する。本実施形態においては、設定に従い、常に現時点から遡った特定期間に得られた画像に対して、ブレ量算出処理を行っている。ブレ量算出の方法については、第１実施形態または第２実施形態と同様である。したがって、上記特定期間に取得された画像を１グループとして、これらに対し、観察モード毎に異なるパラメータにより、ブレ量が算出され、算出されたブレ量が比較され、ブレ量が少ない画像のセットが、一時静止画保存部８４に保存されている。一時静止画保存部８４には、ブレ量が少ない画像セットである一時保存用静止画が、一定の複数個保存されており、自動的に保存した画像を更新している。保存、更新の方法は、どのような方法も採用できるが、本実施形態では、特定の時間の間隔で、上記特定期間に取得された一時保存用静止画を一定の複数個保存し、新しい一時保存用静止画が保存されると、最も古い時刻に取得された一時保存用静止画を削除する方法としている。そして、静止画取得指示が行われると、一時保存用静止画のうち、静止画取得指示の時刻および最新の時刻を含む静止画取得指示期間Ｔｒに取得された一時保存用静止画を選択して、これを保存用静止画として、静止画保存部７６に送る。
　本実施形態におけるブレ量算出の対象について、図１７を用いて説明する。静止画取得指示がタイミングＴ６０で行われると、一時静止画保存部８４に保存されている一時保存用静止画のうち、静止画取得指示の時刻であるタイミングＴ６０および最新の時刻を含む静止画取得指示期間Ｔｒに取得された一時保存用静止画が選択される。タイミングＴ５９からタイミングＴｎ（ｎは２以上の自然数）までの期間が静止画取得指示期間Ｔｒである。静止画取得指示期間Ｔｒは、４セット分の画像セット（１の画像セットは４フレーム分の画像からなる）、即ち１６フレーム分の画像を取得することができる期間である。したがって、静止画取得指示期間Ｔｒは、タイミングＴ５９からＴ４４までとなる。
　以下、第１実施形態と同様に、静止画取得指示期間Ｔｒにおいても、第１照明光Ｌ１と第２照明光Ｌ２とが、２フレーム間隔で、切り替えて発光される。また、２フレーム分の第１照明光の発光に合わせて、２フレーム分の第１画像Ｐ１が得られ、その第１照明光の後に発光される２フレーム分の第２照明光の発光に合わせて、２フレーム分の第２画像Ｐ２が得られる。これら２フレーム分の第１画像の取得と２フレーム分の第２画像の取得とは、交互に行われる。したがって、タイミングＴ５９からＴ５６においては、タイミングＴ５８、Ｔ５９に得られた第２画像Ｐ２とタイミングＴ５６、Ｔ５７に得られた第１画像Ｐ１とからなる画像セットＳ１２が得られる。同様にして、タイミングＴ５５からＴ５２においては、タイミングＴ５４、Ｔ５５に得られた第２画像Ｐ２とタイミングＴ５２、Ｔ５３に得られた第１画像Ｐ１とからなる画像セットＳ１１が得られる。また、タイミングＴ５０、Ｔ５１に得られた第２画像Ｐ２とタイミングＴ４８、Ｔ４９に得られた第１画像Ｐ１とからなる画像セットＳ１０が得られる。また、タイミングＴ４６、Ｔ４７に得られた第２画像Ｐ２とタイミングＴ４４、Ｔ４５に得られた第１画像Ｐ１とからなる画像セットＳ９が得られる。
　そして、各画像セットの画像毎に対して、ブレ量算出処理が施される。このブレ量算出処理においては、第１画像に対してはアルゴリズムＡ１が適用され、第２画像に対してはアルゴリズムＡ２が適用される。画像セットＳ１２の場合であれば、タイミングＴ５８、Ｔ５９の第２画像Ｐ２に対してはアルゴリズムＡ２が適用されて、タイミングＴ５８、Ｔ５９のブレ量Ｂｙ１、Ｂｙ２が算出される。一方、タイミングＴ５６、Ｔ５７の第１画像Ｐ１に対してはアルゴリズムＡ１が適用されて、タイミングＴ５６、Ｔ５７のブレ量Ｂｘ３、Ｂｘ４が算出される。同様にして、画像セットＳ１１の画像毎に対してブレ量算出処理を行うことにより、ブレ量Ｂｙ５、Ｂｙ６、Ｂｘ７，Ｂｘ８が算出される。また、画像セットＳ１０の画像に対してブレ量算出処理を行うことにより、ブレ量Ｂｙ９、Ｂｙ１０、Ｂｘ１１，Ｂｘ１２が算出される。また、画像セットＳ９の画像に対してブレ量算出処理を行うことにより、ブレ量Ｂｙ１３、Ｂｙ１４、Ｂｘ１５，Ｂｘ１６が算出される。
　次に、画像セット毎に算出したブレ量を合計して、代表ブレ量を算出する。画像セットＳ１２の場合であれば、ブレ量Ｂｙ１、Ｂｙ２、Ｂｘ３、Ｂｘ４を合計して、代表ブレ量ＢＴ４を得る。同様にして、画像セットＳ１１の場合であれば、ブレ量Ｂｙ５、Ｂｙ６、Ｂｘ７、Ｂｘ８を合計して、代表ブレ量ＢＴ３を得る。また、画像セットＳ１０の場合であれば、ブレ量Ｂｙ９、Ｂｙ１０、Ｂｘ１１、Ｂｘ１２を合計して、代表ブレ量ＢＴ２を得る。また、画像セットＳ９の場合であれば、ブレ量Ｂｙ１３、Ｂｙ１４、Ｂｘ１５、Ｂｘ１６を合計して、代表ブレ量ＢＴ１を得る。
　そして、画像セットＳ９～Ｓ１２のうち、代表ブレ量が最も小さい画像セットを、保存用静止画として選択する。例えば、代表ブレ量ＢＴ２が最も小さい場合（ＢＴ２＜ＢＴ１、ＢＴ３、ＢＴ４）には、タイミングＴ５０、Ｔ５１の第２画像とタイミングＴ４８、Ｔ４９の第１画像からなる画像セットＳ１０が、一時保存用静止画として保存されており、これが保存用静止画として選択される。
　なお、本実施形態では、静止画保存制御部７４は、画像セット単位でブレ量（代表ブレ量）を算出し、代表ブレ量が最も小さい画像セットを保存用静止画として選択しているが、この方法には限られない。例えば、特定の静止画取得指示期間に得られる複数の画像のうち、第１画像について最もブレ量が小さい第１画像と、第２画像について最もブレ量が小さい第２画像とを、それぞれ保存用静止画として選択するようにしてもよい。
　本実施形態は、常にブレ量が少ない静止画が一時的に保存されているため、設定によって、複数の静止画を保存することができ、さまざまに利用することができる。例えば、複数のブレ量の少ない静止画である一時保存用静止画を、連続して表示することにより、特定の構造物を強調させた画像を動画として表示させることが可能である。
　なお、上記実施形態においては、マルチ観察モードにおいて、第１照明光と第２照明光とを、２フレーム間隔で、切り替えながら発光し、かつ、第１照明光に対応する第１観察画像と第２照明光に対応する第２観察画像とを、２フレーム間隔で、切り替えてモニタ１８に表示するようにしているが、互いに波長帯域が異なる３種類以上の照明光を、特定の発光順序及び発光期間に従って、切り替えながら発光し、かつ、各照明光に対応する３種類以上の観察画像を、特定の表示順序及び表示時間に従って、切り替えてモニタ１８に表示するようにしてもよい。
　上記実施形態において、画像処理部６０、表示制御部６２など、プロセッサ装置１６に含まれる処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピューターに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
　なお、本発明は、第１～第３実施形態のような内視鏡システムの他、各種の医用画像処理装置に対して適用することが可能である。
　１０　　内視鏡システム
　１２　　内視鏡
　１２ａ　　挿入部
　１２ｂ　　操作部
　１２ｃ　　湾曲部
　１２ｄ　　先端部
　１２ｅ　　アングルノブ
　１３ａ　　静止画取得指示ＳＷ
　１３ｂ　　モード切替ＳＷ
　１４　　光源装置
　１６　　プロセッサ装置
　１８　　モニタ
　１９　　コンソール
　２０　　光源部
　２０ａ　　Ｖ－ＬＥＤ
　２０ｂ　　Ｂ－ＬＥＤ
　２０ｃ　　Ｇ－ＬＥＤ
　２０ｄ　　Ｒ－ＬＥＤ
　２１　　光源制御部
　２２　　発光期間設定部
　２３　　光路結合部
　２６ａ、２６ｂ　　スライドバー
　２７ａ、２７ｂ　　スライダ
　３０ａ　　照明光学系
　３０ｂ　　撮像光学系
　４１　　ライトガイド
　４５　　照明レンズ
　４６　　対物レンズ
　４８　　撮像センサ
　５０　　ＣＤＳ・ＡＧＣ回路
　５２　　Ａ／Ｄ変換器
　５３　　画像取得部
　５６　　ＤＳＰ
　５８　　ノイズ除去部
　６０　　画像処理部
　６２　　表示制御部
　６６　　中央制御部
　６８　　通常観察モード用画像処理部
　７０　　マルチ観察モード用画像処理部
　７２　　ブレ量算出部
　７４　　静止画保存制御部
　７６　　静止画保存部
　７８　　ブレ量算出処理部
　８０　　アルゴリズム切替部
　８２　　動画一時保存部
　８４　　一時静止画保存部

Claims (11)

  1. 　互いに異なる波長帯域の光を発光する複数の半導体光源と、
    　前記複数の半導体光源のそれぞれが、第１の発光比率を有する第１照明光と、前記第１の発光比率と異なる第２の発光比率を有する第２照明光とを含む複数の照明光を、特定の発光順序及び発光期間により切替えて発光する制御を行う光源制御部と、
    　各前記照明光により照明された観察対象を撮像して複数の画像を取得する画像取得部であり、前記複数の画像には前記第１照明光による第１画像及び前記第２照明光による第２画像とが含まれる画像取得部と、
    　各前記画像の保存用静止画を取得するための静止画取得指示を行う静止画取得指示入力部と、
    　前記静止画取得指示が行われたタイミングを含む特定の静止画取得指示期間に取得した前記複数の画像を対象としてブレ量を算出するブレ量算出部であり、前記ブレ量を算出するためのブレ量算出処理は、前記画像毎に異なっているブレ量算出部と、
    　前記ブレ量に関して特定の条件を満たす場合に、前記複数の画像を、前記保存用静止画として静止画保存部に保存する制御を行う静止画保存制御部と、
    を備える内視鏡システム。
  2. 　各前記画像には複数色の分光画像が含まれ、
    　前記ブレ量算出処理は、前記第１画像のうち第１色の分光画像から前記第１ブレ量を算出する第１ブレ量算出処理と、前記第２画像のうち前記第１色と異なる第２色の分光画像から前記第２ブレ量を算出する第２ブレ量算出処理とが含まれる請求項１に記載の内視鏡システム。
  3. 　前記第１照明光は前記第２照明光よりも短波の光を多く含み、
    　前記第１色は青色であり、前記第２色は緑色である請求項２に記載の内視鏡システム。
  4. 　前記特定の静止画取得指示期間においては、前記複数の画像は、画像セットとして取得され、
    　前記静止画保存制御部は、前記特定の条件を満たす画像セットを、前記保存用静止画として保存する請求項１ないし３いずれか１項記載の内視鏡システム。
  5. 　前記特定の条件を満たす画像セットは、前記複数の画像セットのうち前記画像セットの各画像のブレ量を合計した代表ブレ量が最も小さい画像セットである請求項４記載の内視鏡システム。
  6. 　前記静止画保存制御部は、前記特定の静止画取得指示期間に得られる前記複数の画像のうち、前記第１画像について最もブレ量が小さい第１画像と、第２画像について最もブレ量が小さい第２画像とを、それぞれ保存用静止画として保存する請求項１ないし３いずれか１項記載の内視鏡システム。
  7. 　前記複数の画像を、特定の表示順序及び／または表示時間を含む表示条件に従って、切り替えて表示部に表示する表示制御部を有し、
    　前記静止画保存制御部は、前記保存用静止画に対して、前記表示条件を関連付けて保存する請求項１ないし６いずれか１項に記載の内視鏡システム。
  8. 　互いに異なる波長帯域の光を発光する複数の半導体光源と、
    　前記複数の半導体光源のそれぞれが、第１の発光比率を有する第１照明光と、前記第１の発光比率と異なる第２の発光比率を有する第２照明光とを含む複数の照明光を、特定の発光順序及び発光期間により切替えて発光する制御を行う光源制御部と、
    　各前記照明光により照明された観察対象を撮像して複数の画像を取得する画像取得部であり、前記複数の画像には前記第１照明光による第１画像及び前記第２照明光による第２画像とが含まれる画像取得部と、
    　特定期間に取得した前記複数の画像の動画を、一時保存動画として保存する動画保存部と、
    　各前記画像の保存用静止画を取得するための静止画取得指示を行う静止画取得指示入力部と、
    　前記静止画取得指示が行われたタイミングに取得された前記画像を含む前記一時保存動画を対象としてブレ量を算出するブレ量算出部であり、前記ブレ量を算出するためのブレ量算出処理は、前記画像毎に異なっているブレ量算出部と、
    　前記ブレ量に関して特定の条件を満たす場合に、複数の前記画像を、前記保存用静止画として静止画保存部に保存する制御を行う静止画保存制御部と、
    を備える内視鏡システム。
  9. 　互いに異なる波長帯域の光を発光する複数の半導体光源と、
    　前記複数の半導体光源のそれぞれが、第１の発光比率を有する第１照明光と、前記第１の発光比率と異なる第２の発光比率を有する第２照明光とを含む複数の照明光を、特定の発光順序及び発光期間により切替えて発光する制御を行う光源制御部と、
    　各前記照明光により照明された観察対象を撮像して複数の画像を取得する画像取得部であり、前記複数の画像には前記第１照明光による第１画像及び前記第２照明光による第２画像とが含まれる画像取得部と、
    　各前記画像の保存用静止画を取得するための静止画取得指示を行う静止画取得指示入力部と
    　特定期間に取得した前記複数の画像を対象としてブレ量を算出するブレ量算出部であり、前記ブレ量を算出するためのブレ量算出処理は、前記画像毎に異なっているブレ量算出部と、
    　前記ブレ量に関して特定の条件を満たす場合に、前記複数の画像を、一時保存用静止画として一時静止画保存部に保存する制御、及び、前記静止画取得指示に従い、前記一時保存用静止画を保存用静止画として静止画像保存部に保存する制御を行う静止画保存制御部と、
    を備える内視鏡システム。
  10. 　前記特定期間は、現時点から前記特定期間遡った時点までの期間である請求項８または９に記載の内視鏡システム。
  11. 　光源制御部が、互いに異なる波長帯域の光を発光する複数の半導体光源のそれぞれが、第１の発光比率を有する第１照明光と、前記第１の発光比率と異なる第２の発光比率を有する第２照明光とを含む複数の照明光を、特定の発光順序及び発光期間により切替えて発光する制御を行う光源制御ステップと、
    　画像取得部が、各前記照明光により照明された観察対象を撮像して複数の画像を取得するステップであり、前記複数の画像には前記第１照明光による第１画像及び前記第２照明光による第２画像とが含まれる画像取得ステップと、
    　静止画取得指示入力部が、各前記画像の保存用静止画を取得するための静止画取得指示を行う静止画取得指示ステップと、
    　ブレ量算出部が、前記静止画取得指示が行われたタイミングを含む特定の静止画取得指示期間に取得した前記複数の画像を対象としてブレ量を算出するステップであり、前記ブレ量を算出するためのブレ量算出処理は、前記画像毎に異なっているブレ量算出ステップと、
    　静止画保存制御部が、前記ブレ量に関して特定の条件を満たす場合に、前記複数の画像を、前記保存用静止画として静止画保存部に保存する静止画保存ステップとを有する内視鏡システムの作動方法。
PCT/JP2018/040929 2017-11-10 2018-11-05 内視鏡システム及びその作動方法 WO2019093256A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18877088.7A EP3708063B1 (en) 2017-11-10 2018-11-05 Endoscope system and method for operating same
JP2019552770A JP6956197B2 (ja) 2017-11-10 2018-11-05 内視鏡システム及びその作動方法
CN201880072739.XA CN111343897B (zh) 2017-11-10 2018-11-05 内窥镜系统及其工作方法
US16/868,419 US11510559B2 (en) 2017-11-10 2020-05-06 Endoscope system and method of operating the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017217613 2017-11-10
JP2017-217613 2017-11-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/868,419 Continuation US11510559B2 (en) 2017-11-10 2020-05-06 Endoscope system and method of operating the same

Publications (1)

Publication Number Publication Date
WO2019093256A1 true WO2019093256A1 (ja) 2019-05-16

Family

ID=66439221

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/040929 WO2019093256A1 (ja) 2017-11-10 2018-11-05 内視鏡システム及びその作動方法

Country Status (5)

Country Link
US (1) US11510559B2 (ja)
EP (1) EP3708063B1 (ja)
JP (1) JP6956197B2 (ja)
CN (1) CN111343897B (ja)
WO (1) WO2019093256A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021172131A1 (ja) * 2020-02-28 2021-09-02 富士フイルム株式会社 内視鏡システム、及び内視鏡システムの作動方法
JPWO2021182048A1 (ja) * 2020-03-13 2021-09-16
WO2021250952A1 (ja) * 2020-06-08 2021-12-16 富士フイルム株式会社 内視鏡システム及びその作動方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0316470A (ja) 1989-06-14 1991-01-24 Matsushita Electric Ind Co Ltd 手振れ補正装置
JP2001218217A (ja) 2000-02-03 2001-08-10 Olympus Optical Co Ltd 画像フリーズ処理装置
JP2009230598A (ja) 2008-03-25 2009-10-08 Seiko Epson Corp 画像判定装置、画像判定方法および画像判定プログラム
JP2012070938A (ja) 2010-09-28 2012-04-12 Fujifilm Corp 内視鏡画像記録装置、及び内視鏡画像記録支援方法、並びにプログラム
JP2013188364A (ja) 2012-03-14 2013-09-26 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムにおける露光量調整方法
JP5499050B2 (ja) 2009-12-22 2014-05-21 パナソニック株式会社 画像処理装置、撮像装置、及び画像処理方法
JP2016054794A (ja) * 2014-09-05 2016-04-21 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2016067782A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
WO2017051455A1 (ja) * 2015-09-24 2017-03-30 オリンパス株式会社 内視鏡装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4009581B2 (ja) * 2003-11-18 2007-11-14 オリンパス株式会社 カプセル型医療システム
JP5675496B2 (ja) * 2011-05-23 2015-02-25 オリンパスメディカルシステムズ株式会社 医療機器及び医療用プロセッサ
JP5973708B2 (ja) * 2011-10-21 2016-08-23 オリンパス株式会社 撮像装置及び内視鏡装置
JP6013020B2 (ja) * 2012-05-02 2016-10-25 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2014220690A (ja) * 2013-05-09 2014-11-20 オリンパスメディカルシステムズ株式会社 信号処理装置、信号処理方法
JP6047467B2 (ja) * 2013-09-03 2016-12-21 富士フイルム株式会社 内視鏡システム及びその作動方法
EP3020322A4 (en) * 2013-12-06 2017-03-08 Olympus Corporation Imaging device and imaging device operation method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0316470A (ja) 1989-06-14 1991-01-24 Matsushita Electric Ind Co Ltd 手振れ補正装置
JP2001218217A (ja) 2000-02-03 2001-08-10 Olympus Optical Co Ltd 画像フリーズ処理装置
JP2009230598A (ja) 2008-03-25 2009-10-08 Seiko Epson Corp 画像判定装置、画像判定方法および画像判定プログラム
JP5499050B2 (ja) 2009-12-22 2014-05-21 パナソニック株式会社 画像処理装置、撮像装置、及び画像処理方法
JP2012070938A (ja) 2010-09-28 2012-04-12 Fujifilm Corp 内視鏡画像記録装置、及び内視鏡画像記録支援方法、並びにプログラム
JP2013188364A (ja) 2012-03-14 2013-09-26 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムにおける露光量調整方法
JP2016054794A (ja) * 2014-09-05 2016-04-21 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2016067782A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
WO2017051455A1 (ja) * 2015-09-24 2017-03-30 オリンパス株式会社 内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3708063A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021172131A1 (ja) * 2020-02-28 2021-09-02 富士フイルム株式会社 内視鏡システム、及び内視鏡システムの作動方法
JPWO2021172131A1 (ja) * 2020-02-28 2021-09-02
EP4111936A4 (en) * 2020-02-28 2023-08-09 FUJIFILM Corporation ENDOSCOPE SYSTEM AND METHOD OF ENDOSCOPE SYSTEM OPERATION
JP7390465B2 (ja) 2020-02-28 2023-12-01 富士フイルム株式会社 内視鏡システム、及び内視鏡システムの作動方法
JPWO2021182048A1 (ja) * 2020-03-13 2021-09-16
CN115279253A (zh) * 2020-03-13 2022-11-01 富士胶片株式会社 内窥镜系统及内窥镜系统的工作方法
WO2021250952A1 (ja) * 2020-06-08 2021-12-16 富士フイルム株式会社 内視鏡システム及びその作動方法

Also Published As

Publication number Publication date
EP3708063A4 (en) 2021-05-12
EP3708063B1 (en) 2024-10-09
US20200260933A1 (en) 2020-08-20
CN111343897A (zh) 2020-06-26
EP3708063A1 (en) 2020-09-16
CN111343897B (zh) 2023-03-28
US11510559B2 (en) 2022-11-29
JPWO2019093256A1 (ja) 2020-11-19
JP6956197B2 (ja) 2021-11-02

Similar Documents

Publication Publication Date Title
WO2019093256A1 (ja) 内視鏡システム及びその作動方法
WO2019093355A1 (ja) 内視鏡システム及びその作動方法
WO2019163540A1 (ja) 内視鏡システム
US10285631B2 (en) Light source device for endoscope and endoscope system
US10003774B2 (en) Image processing device and method for operating endoscope system
JPWO2019039354A1 (ja) 光源装置及び内視鏡システム
JP6285370B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム
JP6430880B2 (ja) 内視鏡システム、及び、内視鏡システムの作動方法
JP7080195B2 (ja) 内視鏡システム
WO2019093356A1 (ja) 内視鏡システム及びその作動方法
WO2019208236A1 (ja) 医療画像処理システム
WO2021250952A1 (ja) 内視鏡システム及びその作動方法
WO2021149357A1 (ja) 内視鏡システム及びその作動方法
JP7411515B2 (ja) 内視鏡システム及びその作動方法
WO2021172131A1 (ja) 内視鏡システム、及び内視鏡システムの作動方法
WO2021182048A1 (ja) 内視鏡システム、及び内視鏡システムの作動方法
WO2021106452A1 (ja) 内視鏡システム及びその作動方法
JP7163243B2 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP7208876B2 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18877088

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019552770

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018877088

Country of ref document: EP

Effective date: 20200610