WO2017110180A1 - 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 - Google Patents

内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 Download PDF

Info

Publication number
WO2017110180A1
WO2017110180A1 PCT/JP2016/077867 JP2016077867W WO2017110180A1 WO 2017110180 A1 WO2017110180 A1 WO 2017110180A1 JP 2016077867 W JP2016077867 W JP 2016077867W WO 2017110180 A1 WO2017110180 A1 WO 2017110180A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
illumination light
accuracy
alignment
unit
Prior art date
Application number
PCT/JP2016/077867
Other languages
English (en)
French (fr)
Inventor
睦朗 今井
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP16878076.5A priority Critical patent/EP3403567B1/en
Publication of WO2017110180A1 publication Critical patent/WO2017110180A1/ja
Priority to US15/973,534 priority patent/US11116384B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device

Definitions

  • the present invention relates to an endoscope system that performs alignment of two or more images, a processor device, and an operation method of the endoscope system.
  • diagnosis is generally performed while observing an observation target using a moving image almost in real time using an endoscope system including a light source device, an endoscope, and a processor device.
  • an endoscope system including a light source device, an endoscope, and a processor device.
  • light of a very narrow wavelength band of blue and green (hereinafter referred to as narrow band light) is used as illumination light, so that the tissue or gland duct structure of interest such as blood vessels can be observed.
  • narrow band light light of a very narrow wavelength band of blue and green
  • An endoscope system that obtains an image in which a structure of interest such as a so-called pit pattern is emphasized is known.
  • a plurality of images obtained by photographing the observation target at different timings are used. For example, when obtaining an image in which a blood vessel or the like is emphasized using blue and green narrowband light as described above, the blue narrowband light and the green narrowband light are sequentially irradiated to the observation target, An image obtained by sequentially photographing the observation object using narrow-band light is synthesized.
  • extracting or emphasizing the tissue or structure of interest, or when calculating biological function information such as oxygen saturation use multiple images obtained by photographing the observation target at different timings. There is a case.
  • alignment of observation objects (subjects) appearing in a plurality of images to be used (hereinafter simply referred to as “alignment” or “image alignment”). )I do.
  • alignment By aligning the images to be used, errors (hereinafter referred to as artifacts) due to the displacement of the observation object between the images are reduced, so that the accuracy of highlighting of the tissue or the like to be noticed is improved.
  • the endoscope system disclosed in Patent Literature 1 combines a normal image captured using white light and an image captured using narrowband light by aligning and emphasizing a target tissue or the like. The generated image is generated and displayed. Further, the endoscope system of Patent Document 2 improves the alignment accuracy by limiting the range of alignment within the image when aligning the images.
  • the present invention appropriately reduces the time required for alignment when enhancing a tissue or the like of interest using a plurality of images obtained by photographing an observation target at different timings, and a frame rate. It is an object of the present invention to provide an endoscope system, a processor device, and an operation method of the endoscope system, which are compatible with accuracy such as emphasis of a focused tissue or the like.
  • the endoscope system of the present invention uses a first image obtained by photographing an observation object using the first illumination light, and a second illumination light different from the first illumination light, and a timing different from the first image.
  • a positioning unit that performs positioning of the first image and the second image, and at least a target structure to be noted in the observation target.
  • An accuracy changing unit that changes the accuracy of alignment.
  • an illumination light selection unit that selects the first illumination light and the second illumination light
  • the accuracy changing unit is the first illumination light, the second illumination light, or the first selected by the illumination light selection unit. It is preferable to change the alignment accuracy according to the combination of the illumination light and the second illumination light.
  • the accuracy changing unit increases the accuracy of alignment as the first illumination light, the second illumination light, or the combination of the first illumination light and the second illumination light selected by the illumination light selection unit has a shorter wavelength. Is preferred.
  • a depth designation unit for designating the depth of the structure of interest is provided, and the accuracy changing unit changes the alignment accuracy using the depth designated by the depth designation unit.
  • the accuracy changing unit increases the alignment accuracy as the depth of the structure of interest specified by the depth specifying unit is shallower.
  • a movement amount calculation unit that calculates the movement amount of the observation target using the first image and the second image is provided, and the accuracy changing unit changes the alignment accuracy using the movement amount.
  • the accuracy changing unit preferably increases the accuracy of alignment as the amount of movement is smaller.
  • a blur amount calculation unit that calculates the blur amount of the first image or the second image is provided, and the accuracy changing unit changes the accuracy of alignment using the blur amount.
  • the accuracy changing unit increases the accuracy of alignment as the blur amount is smaller.
  • the processor device of the endoscope system of the present invention uses a first image obtained by photographing an observation target using the first illumination light, and a first image using a second illumination light different from the first illumination light.
  • an image acquisition unit that acquires a second image obtained by photographing an observation target at different timings
  • an alignment unit that performs alignment of the first image and the second image, and at least the attention structure to be noticed in the observation target
  • an accuracy changing unit that changes the accuracy of alignment.
  • the image acquisition unit uses the first illumination light obtained by photographing the observation target using the first illumination light, and the second illumination light different from the first illumination light.
  • the endoscope system, the processor device, and the operation method of the endoscope system according to the present invention are used when emphasizing a tissue or the like to be noted using a plurality of images obtained by photographing an observation target at different timings.
  • the time required for alignment can be appropriately reduced as necessary, and both the frame rate and the accuracy such as emphasis of the focused tissue can be achieved.
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18, and a console 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 includes an insertion portion 12a to be inserted into the subject, an operation portion 12b provided at the proximal end portion of the insertion portion 12a, a bending portion 12c provided at the distal end side of the insertion portion 12a, and a distal end portion. 12d.
  • the bending portion 12c is bent by operating the angle knob 12e of the operation portion 12b. As a result of the bending of the bending portion 12c, the distal end portion 12d is directed in a desired direction.
  • the operation unit 12b is provided with a mode switch 13a and a zoom operation unit 13b.
  • the mode change switch 13a is used for an observation mode change operation.
  • the endoscope system 10 has a normal observation mode and a special observation mode.
  • the normal observation mode is an observation mode in which an image having a natural hue (hereinafter referred to as a normal image) obtained by photographing an observation target using white light as illumination light is displayed on the monitor 18.
  • the special observation mode is an observation mode that displays an image in which a blood vessel at a specific depth is emphasized among blood vessels included in the observation target using an image obtained by photographing the observation target.
  • the processor device 16 is electrically connected to the monitor 18 and the console 19.
  • the monitor 18 outputs and displays images in each observation mode and image information attached to the images.
  • the console 19 functions as a user interface that receives input operations such as function settings.
  • the processor device 16 may be connected to an external recording unit (not shown) for recording images, image information, and the like.
  • the light source device 14 includes a light source unit 20 that emits illumination light and a light source control unit 22 that controls driving of the light source unit 20.
  • the light source unit 20 includes four light sources: a V light source 20a, a B2 light source 20b, a G light source 20c, and an R light source 20d.
  • each of the V light source 20a, the B light source 20b, the G light source 20c, and the R light source 20d is an LED (Light Emitting Diode).
  • the light source unit 20 may be a combination of an LD (LaserLDDiode), a phosphor and a band limiting filter, a combination of a lamp such as a xenon lamp and a band limiting filter, or the like.
  • the V light source 20a is a violet light source that emits violet light V having a center wavelength of about 405 nm and a wavelength band of about 380 nm to 420 nm.
  • the B light source 20b is a blue light source that emits blue light B having a center wavelength of about 460 nm and a wavelength band of about 420 nm to 500 nm.
  • the G light source 20c is a green light source that emits green light G having a wavelength band ranging from about 480 nm to 600 nm.
  • the R light source 20d is a red light source that emits red light R having a center wavelength of about 620 nm to 630 nm and a wavelength band of about 600 nm to 650 nm.
  • the center wavelengths of the V light source 20a and the B light source 20b have a width of about ⁇ 5 nm to ⁇ 10 nm.
  • the light source control unit 22 independently controls the lighting and extinguishing timings of each of the light sources 20a to 20d constituting the light source unit 20, the light emission amount at the time of lighting, and the like.
  • the light source control unit 22 turns on all of the V light source 20a, the B light source 20b, the G light source 20c, and the R light source 20d. For this reason, in the normal observation mode, white light including purple light V, blue light B, green light G, and red light R becomes illumination light.
  • the light source control unit 22 controls the light sources 20a to 20d of the respective colors with the light emission pattern that emits the first illumination light and the light emission pattern that emits the second illumination light.
  • the light source control unit 22 lights only the V light source 20a and the B light source 20b.
  • the light emission pattern is repeated alternately.
  • the first illumination light and the second illumination light selected by the settings are the blue light B and the green light G
  • the light source control unit 22 lights only the B light source 20b and the G light source 20c. The light emission pattern is repeated alternately.
  • the red light R can be used for the first illumination light or the second illumination light.
  • the monochromatic light emitted by using any one of the light sources 20a to 20d of each color can be used as the first illumination light or the second illumination light, and two or more light sources of the light sources 20a to 20d of each color.
  • the light emitted by turning on can also be used as the first illumination light or the second illumination light.
  • the combination of the light sources to be turned on can be changed by changing the spectral spectrum as a whole by adjusting the balance of the light amounts of the light sources to be turned on.
  • first illumination light or the second illumination light Even in the same case, light of various colors can be used as the first illumination light or the second illumination light.
  • Light that restricts a part of the wavelength band and the light amount of each color light emitted from the light sources 20a to 20d of each color using the band limiting filter can also be used as the first illumination light or the second illumination light. Therefore, in this specification, “different” illumination light means that when two illumination lights are compared, at least one of a wavelength band or a spectrum is not the same.
  • the illumination light emitted from the light source unit 20 enters the light guide 41.
  • the light guide 41 is built in the endoscope 12 and the universal cord (the cord connecting the endoscope 12, the light source device 14, and the processor device 16), and the illumination light is transmitted to the distal end portion 12d of the endoscope 12.
  • a multimode fiber can be used as the light guide 41.
  • a thin fiber cable having a core diameter of 105 ⁇ m, a cladding diameter of 125 ⁇ m, and a diameter of ⁇ 0.3 to 0.5 mm including a protective layer serving as an outer shell can be used.
  • the distal end portion 12d of the endoscope 12 is provided with an illumination optical system 30a and a photographing optical system 30b.
  • the illumination optical system 30 a has an illumination lens 45, and illumination light is irradiated to the observation target through the illumination lens 45.
  • the photographing optical system 30b includes an objective lens 46, a zoom lens 47, and an image sensor 48.
  • the image sensor 48 reflects reflected light or scattered light of the illumination light that returns from the observation target via the objective lens 46 and the zoom lens 47 (including fluorescence due to fluorescence emitted from the observation target or a drug administered to the observation target). Take a picture of the observation object using The zoom lens 47 moves by operating the zoom operation unit 13b, and enlarges or reduces the observation target to be photographed using the image sensor 48.
  • the image sensor 48 is a primary color sensor, and is mainly a B pixel (blue pixel) provided with a blue color filter that transmits light in the purple to blue wavelength band, and mainly transmits light in the green wavelength band.
  • B pixel blue pixel
  • a B image blue image
  • G image green image
  • red image red image
  • the illumination light is white light
  • a B image, a G image, and an R image are obtained as described above.
  • the B pixel receives light in a wavelength band from purple to blue among reflected light of white light and the like, captures an observation target, and outputs a B image.
  • the G pixel receives light in the green wavelength band and outputs a G image
  • the R pixel receives light in the red wavelength band and outputs an R image.
  • the illumination light is alternately switched between the first illumination light and the second illumination light.
  • an image of each color of BGR (hereinafter referred to as a first image) obtained by photographing the observation target using the first illumination light and the second illumination light are used to select the observation target at a different timing from the first image.
  • An image of each color of BGR obtained by photographing (hereinafter referred to as a second image) is obtained.
  • a B image (hereinafter referred to as a V image) corresponding to the reflected light of the purple light V is the first.
  • One image and the B image corresponding to the blue light B is the second image.
  • a CCD (Charge-Coupled Device) sensor or a CMOS (Complementary Metal-Oxide Semiconductor) sensor can be used as the image sensor 48 .
  • the image sensor 48 of the present embodiment is a primary color sensor, but a complementary color sensor can also be used.
  • Complementary color sensors include, for example, a cyan pixel with a cyan color filter, a magenta pixel with a magenta color filter, a yellow pixel with a yellow color filter, and a green pixel with a green color filter.
  • a complementary color sensor is used, an image obtained from each color pixel can be converted into a B image, a G image, and an R image by performing complementary color-primary color conversion.
  • a monochrome sensor not provided with a color filter can be used as the image sensor 48 instead of the color sensor. In this case, the image of each color can be obtained by sequentially photographing the observation target using illumination light of each color such as BGR.
  • the processor device 16 includes an illumination light selection unit 51, a control unit 52, an image acquisition unit 54, an image processing unit 61, and a display control unit 66.
  • the processor device 16 includes a CPU (Central processing unit), and the CPU functions as an illumination light selection unit 51, a control unit 52, an image acquisition unit 54, an image processing unit 61, and a display control unit 66.
  • a CPU Central processing unit
  • the illumination light selection unit 51 selects the first illumination light and the second illumination light to be used in the special observation mode according to the attention structure to be noticed in the observation target based on the setting input from the console 19 or the like.
  • the structure of interest is a structure, structure, or the like of interest as an observation purpose for diagnosis, among structures such as tissue pit patterns such as blood vessels included in the observation target. For example, a blood vessel in a specific depth range among the blood vessels included in the observation target is the structure of interest.
  • the illumination light selection unit 51 sets the light from among the system selectable lights. Appropriate illumination light close to each wavelength of the input first illumination light and second illumination light is selected as the first illumination light and the second illumination light.
  • the extreme surface blood vessel when a blood vessel in a shallow depth range (hereinafter referred to as an extreme surface blood vessel) is a target structure among blood vessels in a relatively shallow depth range below the mucous membrane (hereinafter referred to as a surface blood vessel), the extreme surface blood vessel
  • the wavelength (for example, 400 nm), the wavelength band, or the color of the first illumination light suitable for the observation, and the wavelength of the second illumination light (for example, 450 nm), the wavelength band, or the color are set and input.
  • the endoscope system 10 can systematically select the first illumination light and the second illumination light from four types of light of purple light V, blue light B, green light G, or red light R.
  • the illumination light selection unit 51 selects the purple light V as the first illumination light and the blue light B as the second illumination light according to the setting input. Since the setting input is performed according to the target structure, selecting the first illumination light and the second illumination light as described above is equivalent to selecting the first illumination light and the second illumination light according to the target structure.
  • the control unit 52 receives the mode switching signal from the mode switching switch 13a and inputs the control signal to the light source control unit 22 and the image sensor 48 to switch the observation mode. In the special observation mode, the control unit 52 inputs a control signal corresponding to the first illumination light and the second illumination light selected by the illumination light selection unit 51 to the light source control unit 22. Accordingly, the light source control unit 22 emits the first illumination light and the second illumination light selected by the illumination light selection unit 51 using the light source unit 20. In addition, the control unit 52 also performs synchronous control of the illumination light irradiation timing and the photographing timing.
  • the image acquisition unit 54 acquires an image of each color from the image sensor 48. Specifically, in the normal observation mode, the image acquisition unit 54 acquires a B image, a G image, and an R image from the image sensor 48. On the other hand, in the special observation mode, the image acquisition unit 54 uses a first image obtained by photographing the observation target from the image sensor 48 using the first illumination light, and a second illumination light different from the first illumination light. Thus, a second image obtained by photographing the observation target at a timing different from that of the first image is acquired. For example, when the first illumination light is purple light V and the second illumination light is blue light B, the image acquisition unit 54 sequentially acquires a V image and a B image.
  • the image acquisition unit 54 includes a DSP (Digital Signal Processor) 56, a noise reduction unit 58, and a conversion unit 59, and performs various processes on the acquired image using these.
  • DSP Digital Signal Processor
  • the DSP 56 performs various processing such as defect correction processing, offset processing, gain correction processing, linear matrix processing, gamma conversion processing, demosaic processing, and YC conversion processing on the acquired image as necessary.
  • the defect correction process is a process for correcting the pixel value of the pixel corresponding to the defective pixel of the image sensor 48.
  • the offset process is a process for reducing the dark current component from the image subjected to the defect correction process and setting an accurate zero level.
  • the gain correction process is a process for adjusting the signal level of each image by multiplying the image subjected to the offset process by a gain.
  • the linear matrix process is a process for improving the color reproducibility of the image subjected to the offset process, and the gamma conversion process is a process for adjusting the brightness and saturation of the image after the linear matrix process.
  • the demosaic process (also referred to as an isotropic process or a synchronization process) is a process of interpolating the pixel values of the missing pixels, and is applied to the image after the gamma conversion process.
  • the missing pixel is a pixel having no pixel value because pixels of other colors are arranged in the image sensor 48 due to the arrangement of the color filters.
  • the B image is an image obtained by photographing the observation target using the B pixel, the pixel at the position corresponding to the G pixel or the R pixel of the image sensor 48 has no pixel value.
  • the B image is interpolated to generate pixel values of the pixels at the positions of the G pixel and the R pixel of the image sensor 48.
  • the YC conversion process is a process for converting the demosaiced image into a luminance channel Y, a color difference channel Cb, and a color difference channel Cr.
  • the noise reduction unit 58 performs noise reduction processing on the luminance channel Y, the color difference channel Cb, and the color difference channel Cr using, for example, a moving average method or a median filter method.
  • the conversion unit 59 reconverts the luminance channel Y, the color difference channel Cb, and the color difference channel Cr after the noise reduction processing into an image of each color of BGR again.
  • the image processing unit 61 includes a normal processing unit 62 and a special processing unit 63.
  • the normal processing unit 62 operates in the normal observation mode, and performs a color conversion process, a color enhancement process, and a structure enhancement process on an image of each BGR color to generate a normal image.
  • a color conversion process a 3 ⁇ 3 matrix process, a gradation conversion process, a three-dimensional LUT (look-up table) process, and the like are performed on an image of each color of BGR.
  • the color enhancement process is a process for enhancing the color of an image
  • the structure enhancement process is a process for enhancing a tissue or structure to be observed such as a blood vessel or a pit pattern.
  • the display control unit 66 sequentially acquires normal images from the normal processing unit 62, converts the acquired normal images into a format suitable for display, and sequentially outputs and displays them on the monitor 18. Thereby, in the normal observation mode, the doctor or the like can observe the observation target using the moving image of the normal image.
  • the special processing unit 63 operates in the special observation mode, and has a specific depth (for example, a depth based on the surface of the mucous membrane to be observed is a specific depth) using an image acquired in the special observation mode. An image is generated that represents a blood vessel with respect to other blood vessels using a color difference. As shown in FIG. 3, the special processing unit 63 includes an alignment unit 71, an accuracy change unit 72, a brightness correction unit 73, a calculation image generation unit 74, a resolution reduction unit 76, and an image generation unit 77.
  • a specific depth for example, a depth based on the surface of the mucous membrane to be observed is a specific depth
  • An image is generated that represents a blood vessel with respect to other blood vessels using a color difference.
  • the special processing unit 63 includes an alignment unit 71, an accuracy change unit 72, a brightness correction unit 73, a calculation image generation unit 74, a resolution reduction unit 76, and an image generation unit 77.
  • Alignment unit 71 aligns the first image and the second image.
  • the alignment of the first image and the second image is a process in which the position (coordinates) of the corresponding part of the observation target represented by the first image and the observation target represented by the second image are substantially matched. It is. Specifically, the alignment is performed by estimating a motion vector of an observation target represented by both images by matching the first image and the second image, and at least one of the first image and the second image based on the estimated motion vector. Can be carried out by transforming.
  • the accuracy of alignment performed by the alignment unit 71 can be changed.
  • the alignment unit 71 can change the alignment accuracy by changing the density of motion vectors to be estimated (so-called lattice density).
  • lattice density the density of motion vectors to be estimated (the more motion vectors are), the higher the alignment accuracy. For example, when the motion vector is estimated for each pixel and when the motion vector is estimated for every two pixels, the alignment accuracy is higher when the motion vector is estimated for each pixel.
  • the alignment unit 71 can change the accuracy for obtaining the end point of the motion vector, and as a result, the alignment accuracy can be changed. For example, when the end point of the motion vector is obtained at the sub-pixel level, the alignment accuracy is increased.
  • the alignment accuracy is higher.
  • the alignment accuracy can be changed by skipping matching in a high-resolution layer.
  • the accuracy changing unit 72 changes the accuracy of alignment performed by the alignment unit 71 according to at least the structure of interest to be observed in the observation target.
  • the accuracy changing unit 72 is the first illumination light, the second illumination light, or a combination of the first illumination light and the second illumination light selected by the illumination light selection unit 51 (hereinafter referred to as selective illumination light). )
  • selective illumination light selected by the illumination light selection unit 51
  • changing the alignment accuracy according to the selected illumination light changes the alignment accuracy according to the target structure. Is the same as
  • “Changing the alignment accuracy according to the first illumination light” means that the alignment wavelength is adjusted based on the center wavelength, the peak wavelength, the width of the wavelength band of the first illumination light, the average wavelength in consideration of the spectral spectrum, or the like. This means changing the accuracy.
  • the meaning of “change the alignment accuracy according to the second illumination light” is also the same.
  • “Changing the alignment accuracy according to the combination of the first illumination light and the second illumination light” means that the center wavelength, peak wavelength, width of the wavelength band, or spectral spectrum of the first illumination light and the second illumination light This means that the accuracy of alignment is changed based on a statistic such as a wavelength (average value, median value, etc.) in consideration of.
  • the accuracy changing unit 72 increases the alignment accuracy as the selection illumination light (first illumination light, second illumination light, or a combination of the first illumination light and the second illumination light) has a shorter wavelength.
  • the first illumination light has a short wavelength means that the center wavelength, the peak wavelength, the width of the wavelength band of the first illumination light, the average wavelength considering the spectral spectrum, or the like is short.
  • a combination of the first illumination light and the second illumination light has a short wavelength means that the center wavelength, the peak wavelength, the width of the wavelength band, or the spectral spectrum of the first illumination light and the second illumination light are added. Or the like (mean value, median, standard deviation, etc.) are short or small.
  • the accuracy changing unit 72 determines the alignment accuracy according to the first illumination light among the above three patterns.
  • the purple light V has a shorter center wavelength or the like than the blue light B. . Therefore, the accuracy changing unit 72 increases the alignment accuracy when using the purple light V as the first illumination light as compared with when using the blue light B.
  • the accuracy changing unit 72 determines the alignment accuracy according to the second illumination light.
  • the accuracy changing unit 72 determines the accuracy of alignment according to the combination of the first illumination light and the second illumination light among the above three patterns.
  • the combination of the first illumination light and the second illumination light is the violet light V and the blue light B and the case where the combination is the blue light B and the green light G
  • the average value of the center wavelengths is compared. Is shorter than the combination of violet light V and blue light B than the combination of blue light B and green light G. Therefore, the accuracy changing unit 72 uses the purple light V and the blue light B for the first illumination light and the second illumination light, rather than using the blue light B and the green light G for the first illumination light and the second illumination light. When used, the alignment accuracy is increased.
  • the accuracy changing unit 72 increases the accuracy of alignment as the illumination light used in the special observation mode has a shorter wavelength as a whole. This also means that the alignment accuracy is lowered as the illumination light used in the special observation mode has a longer wavelength as a whole.
  • the tissue and structure etc. tend to become thinner and smaller as the depth below the mucosa is shallower, and the tissue and structure tend to become thicker and larger as the depth below the mucous membrane increases.
  • the depth of penetration into the object to be observed is smaller for light with a short wavelength and larger for light with a longer wavelength, so the shorter the light, the easier it is to observe the structure at a shallow position under the mucous membrane. The more the wavelength of light is used, the easier it is to observe the structure at a deeper position below the mucosa.
  • the illumination light used in the special observation mode has a short wavelength as a whole
  • the structure of interest is generally thin and small tissue or structure
  • the illumination light used in the observation mode has a long wavelength as a whole
  • the structure of interest is generally thick and large in structure or structure, so there was a slight misalignment between the first image and the second image.
  • the artifact is relatively small. In this case, particularly when the observation target is observed using a moving image, image disturbance caused by artifacts is hardly visually recognized.
  • the accuracy changing unit 72 changes the alignment accuracy as described above according to the wavelength of illumination light used in the special observation mode (that is, what the target structure is), as necessary.
  • the processing load on the alignment unit 71 is reduced, and the alignment process is completed quickly. This makes it easy to maintain the frame rate of the image generated and displayed in the special observation mode.
  • changing the alignment accuracy includes switching the alignment on and off.
  • the accuracy changing unit 72 can set the alignment to OFF, thereby skipping the processing performed by the alignment unit 71 and not performing the alignment.
  • the accuracy when alignment is turned on may be set to a certain accuracy, and is set according to the wavelength of the selected illumination light as described above. You can also
  • the brightness correction unit 73 corrects the brightness of at least one of the first image and the second image aligned by the alignment unit 71 and sets the brightness of the first image and the second image to a specific ratio. For example, the brightness correction unit 73 corrects the gain of at least one of the first image and the second image using the light amount ratio between the first illumination light and the second illumination light, thereby correcting the first image and the first image. The relative brightness of the two images can be corrected.
  • the brightness correction unit 73 corrects the brightness. For this reason, for example, when the first illumination light is the purple light V, the second illumination light is the blue light B, and the light quantity of the purple light V and the light quantity of the blue light B is 2: 1, the brightness correction unit 73.
  • the brightness of the V image (first image) is halved by gain correction, or the brightness of the B image (second image) is doubled by gain correction to obtain the V image (first image).
  • the brightness ratio of the B image (second image) is set to 1: 1 (specific ratio).
  • the average value of the luminance of the first image substantially corresponds to the brightness of the mucous membrane to be observed represented by the first image.
  • the brightness correction unit 73 calculates the average value of the luminances of the first image and the second image, and the ratio of these ratios. Can be used to correct the gain of at least one of the first image and the second image to correct the relative brightness of the first image and the second image to a specific ratio.
  • the calculation image generation unit 74 calculates using the first image and the second image whose brightness has been corrected, and generates a calculation image ⁇ . Specifically, the calculation image generation unit 74 generates a calculation image representing the difference or ratio between the first image and the second image.
  • the arithmetic image generation unit 74 performs logarithmic transformation on the first image and the second image, and computes an arithmetic image ⁇ (more specifically, the first image and the second image after the logarithmic transformation). A calculation image ⁇ ) obtained by subtracting the first image from the two images is generated.
  • an arithmetic image ⁇ representing the ratio between the first image and the second image (more specifically, the ratio of the first image to the second image) is used. Generate.
  • the pixel value of each pixel of the first image and the second image represents the amount of received light.
  • the pixel value represents the density. Therefore, regardless of the illuminance of the illumination light when each image is obtained. A stable calculation result can be obtained.
  • the generation of the calculation image ⁇ by the calculation image generation unit 74 is equivalent to emphasizing a blood vessel at a specific depth using the first image and the second image.
  • the surface blood vessels (the entire depth range of As and Ad) are almost the same for both illumination lights. Can be observed.
  • the purple light V has a shorter wavelength than the blue light B, the depth of penetration is small. For this reason, when the violet light V is used as the illumination light, only blood vessels in a relatively shallow depth range As below the mucous membrane can be projected as compared with the case where the blue light B is used as the illumination light.
  • the contrast of the blood vessel in the depth range As (ratio of the reflected light amount from the blood vessel to the reflected light amount from the surrounding mucous membrane) is larger than when the blue light B is used for the illumination light.
  • the blue light B since the blue light B has a longer wavelength than the violet light V, the depth of penetration is large.
  • a blood vessel in a relatively deep depth range Ad can be projected as compared with the case where the purple light V is used for the illumination light.
  • the contrast of the blood vessels in the shallow depth range As is smaller than when purple light V is used.
  • the calculation image ⁇ is generated by subtracting the B image obtained by using the blue light B as the illumination light from the V image obtained by using the purple light V as the illumination light
  • the surface blood vessels are obtained in the calculation image ⁇ .
  • the pixel value of the pixel representing the extreme surface blood vessel in the shallow depth range As below the mucous membrane is a large value (white)
  • the pixel value of the pixel representing the blood vessel in the deep depth range Ad among the surface blood vessels. Becomes a small value (black).
  • the calculated image ⁇ is an image in which the extreme surface blood vessels in the specific depth range As are emphasized.
  • the calculation image ⁇ When the calculation image ⁇ is generated by subtracting the V image from the B image, the pixel value of the pixel representing the extreme surface blood vessel in the depth range As becomes a small value (black) in the calculation image ⁇ .
  • the pixel value of the pixel representing the blood vessel in the range Ad becomes a large value (white). Therefore, even when the same combination of purple light V and blue light B as described above is used as the first illumination light and the second illumination light, the first illumination light is changed to the blue light B and the second illumination light is changed to the purple light V.
  • the calculation image ⁇ When the calculation image ⁇ is generated by subtracting the B image from the V image, the calculation image ⁇ becomes an image in which blood vessels in a specific depth range Ad are emphasized.
  • the calculation image generation unit 74 When the calculation image generation unit 74 generates the calculation image ⁇ as described above, in addition to the error due to the calculation accuracy of the calculation image generation unit 74, the calculation image generation unit 74 is caused by the alignment accuracy of the first image and the second image. Artifacts. Since the calculation accuracy of the calculation image generation unit 74 is constant, a substantial error that may fluctuate the calculation image ⁇ is an artifact caused by the alignment accuracy of the first image and the second image. Since the accuracy changing unit 72 controls the artifact caused by the alignment accuracy of the first image and the second image, the accuracy changing unit 72 controls the generation accuracy of the calculation image ⁇ as a result.
  • the resolution reduction unit 76 is a so-called low-pass filter (hereinafter referred to as LPF), and reduces the resolution of the operation image ⁇ .
  • the processing strength of the resolution reduction applied to the calculation image ⁇ by the resolution reduction unit 76 is determined by the cutoff frequency of the LPF.
  • the cut-off frequency of the LPF is set in advance, and at least lower than the resolution of the original calculation image ⁇ .
  • the image generation unit 77 generates an image having the luminance channel Y and the two color difference channels Cb and Cr by using either the first image or the second image and the low-resolution operation image ⁇ . . Specifically, the image generation unit 77 assigns an image having a higher contrast of the structure of interest between the first image and the second image to the luminance channel Y, and uses the reduced-resolution operation image ⁇ as two color difference channels. By assigning to Cb and Cr, an attention structure emphasized image in which the attention structure is emphasized using a color is generated.
  • the image generation unit 77 assigns a V image having a relatively high contrast of the extreme surface blood vessels to the luminance channel Y.
  • the attention-structure-enhanced image generated in this way has almost the same color as the image that emphasizes the blood vessels and the like of the conventional endoscope system, and is applied to other blood vessels such as the mucous membrane and the depth range Ad.
  • This is an image in which the superficial blood vessel, which is the structure of interest, is emphasized by the difference in color.
  • the coefficient ⁇ and the coefficient ⁇ differ according to the structure of interest, that is, according to the selected illumination light.
  • the display control unit 66 sequentially acquires the above-described attention emphasized images from the image generation unit 77, converts them into a format suitable for display on the monitor 18, and sequentially outputs them.
  • a doctor or the like can observe the observation target using the moving image of the focused structure emphasized image.
  • the doctor or the like uses the console 19 or the like to set the structure of interest to be observed distinctly from other tissues or the like in the special observation mode (S10).
  • the structure of interest is set by inputting, for example, a numerical value for the wavelength of illumination light used in the special observation mode in accordance with the structure of interest.
  • the structure of interest is a polar surface blood vessel, and the wavelength of the first illumination light is set to 400 nm and the wavelength of the second illumination light is set to 450 nm in order to emphasize and observe the polar surface blood vessel. To do.
  • the illumination light selection unit 51 When switching to the special observation mode in a state in which the structure of interest is set, or when the setting of the structure of interest is input after switching to the special observation mode, the illumination light selection unit 51 performs the special observation mode according to the setting of the structure of interest.
  • the first illumination light and the second illumination light used in are selected (S11).
  • the endoscope system 10 can select any one of purple light V, blue light B, green light G, and red light R as the first illumination light and the second illumination light. Then, the illumination light selection unit 51 selects the purple light V as the first illumination light and the blue light B as the second illumination light according to the setting input of the structure of interest.
  • the accuracy changing unit 72 changes the accuracy of alignment performed in the alignment unit 71 according to the structure of interest (S12). . Specifically, the accuracy changing unit 72 increases the alignment accuracy as the wavelength of the purple light V that is the first illumination light, the blue light B that is the second illumination light, or a combination thereof is shorter. On the contrary, the setting accuracy is lowered as the wavelength is longer. As a result, as a result, the accuracy changing unit 72 sets the alignment accuracy suitable for emphasizing the extreme surface blood vessel that is the structure of interest.
  • the illumination light selection unit 51 selects the first illumination light and the second illumination light
  • the light source unit 20 first emits purple light V, which is the first illumination light (S13).
  • the image sensor 48 images the observation target irradiated with the purple light V, so that the image acquisition unit 54 acquires the V image 110 that is the first image corresponding to the first illumination light (S14).
  • the extreme surface blood vessels 124 can be observed in the V image 110 obtained here.
  • the superficial blood vessel 123 at a deeper position below the mucous membrane than the extreme superficial blood vessel 124 can also be observed using the V image 110.
  • the light source unit 20 emits the blue light B that is the second illumination light (S15), and the image sensor 48 captures the image of the observation target irradiated with the blue light B.
  • the acquisition unit 54 acquires the B image 120 that is the second image corresponding to the second illumination light (S16).
  • a surface blood vessel 123 at a relatively deep position can be observed.
  • the extreme surface blood vessel 124 can also be observed using the B image 120.
  • the V image 110 and the B image 120 are compared, the V image 110 has a higher contrast of the extreme surface blood vessel 124, and the B image 120 has a contrast of the surface blood vessel 123 at a deeper position than the extreme surface blood vessel 124. high.
  • the alignment unit 71 aligns the V image 110 that is the first image and the B image 120 that is the second image. (S17).
  • the alignment unit 71 aligns the V image 110 and the B image 120 with the accuracy changed by the accuracy changing unit 72 in step S12. That is, the alignment unit 71 does not always perform alignment with high accuracy, but minimizes the time required for alignment according to what the target structure is and completes the alignment quickly.
  • the brightness correction unit 73 corrects the brightness of the V image 110 that is the first image and the B image 120 that is the second image (S18), and the calculation image generation unit 74 performs the first image.
  • the B image 120 which is the second image is subtracted from the V image 110 which is the calculation image ⁇ (S19).
  • the pixel value of the superficial blood vessel 123 at a relatively deep position below the mucous membrane is smaller and the pixel value of the extreme superficial blood vessel 124 is larger than the original V image 110 and B image 120. For this reason, as shown in FIG. 10, the difference between the superficial blood vessel 124 and the superficial blood vessel 123 at a relatively deep position below the mucous membrane is more noticeable than in the V image 110.
  • the resolution reduction unit 76 reduces the resolution of the calculation image ⁇ generated by the calculation image generation unit 74 (S20). As shown in FIG. 11, the polar surface blood vessel 124 and the superficial blood vessel 123 are blurred in the reduced resolution calculation image ⁇ .
  • the image generation unit 77 assigns the V image 110, which is the first image, to the luminance channel Y, and assigns the low-resolution operation image ⁇ to the color difference channels Cb and Cr, thereby generating the attention structure enhanced image 130 ( S21).
  • the surface blood vessel 123 at a relatively deep position is colored cyan, and the extreme surface blood vessel 124 is colored magenta.
  • the focused structure enhancement image 130 highlights the polar surface blood vessel 124 that is the focused structure with respect to the surface blood vessel 123 that is in a relatively deep position by the color difference. It is easy to identify.
  • the endoscope system 10 repeats the operations in steps S13 to S21 if there is no change in the setting of the structure of interest. Therefore, the display control unit 66 sequentially acquires the structure-of-interest emphasized images 130 generated as described above and displays them on the monitor 18. Thereby, the doctor or the like can observe the moving image of the attention-structure-enhanced image 130 in the special observation mode.
  • the process is repeated from step S10.
  • the endoscope system 10 positions the first image and the second image obtained by capturing and acquiring the observation target at different timings using the first illumination light and the second illumination light, respectively.
  • Match The reason for aligning the first image and the second image in this way is to accurately emphasize the structure of interest. Therefore, if only pursuing to accurately emphasize the structure of interest, it is better to align the first image and the second image with the highest possible accuracy.
  • the alignment is a process that requires a heavy processing load and takes time, the higher the accuracy, the lower the frame rate of the moving image displayed on the monitor 18 for alignment.
  • the endoscope system 10 the first image and the second image are not aligned with high accuracy, but the accuracy changing unit 72 appropriately changes the alignment accuracy as described above. . Thereby, the endoscope system 10 can align the first image and the second image with necessary and sufficient accuracy while maintaining the frame rate of the moving image displayed on the monitor 18 as much as possible.
  • the alignment accuracy is linearly changed according to the wavelength of the selected illumination light selected by the illumination light selection unit 51 (FIG. 4). Accordingly, the alignment accuracy may be changed according to a curve or a monotonically changing function. In addition, the accuracy of alignment may be changed in stages according to the wavelength of the selected illumination light.
  • the wavelengths of the first illumination light and the second illumination light used in the special observation mode are set and input.
  • the illumination light selection unit 51 selects appropriate illumination light. Instead, information such as the depth of the target structure may be set and input, and the illumination light selection unit 51 may select the first illumination light and the second illumination light using the information such as the depth of the target structure. .
  • a depth designation unit 201 is provided in the processor device 16.
  • the depth designation unit 201 receives an operation input from the console 19 or the like, and designates the submucosal depth of the structure of interest to the illumination light selection unit 51. For example, with the mucous membrane surface or the like as a reference, a distance (depth) from the reference is input in a numerical value or a numerical value range.
  • a distance (depth) from the reference is input in a numerical value or a numerical value range.
  • the illumination light selection unit 51 designates the first illumination light and the second illumination light using the depth designated by the depth designation unit 201. For example, when the structure of interest is the polar surface blood vessel 124, the depth specifying unit 201 sets the depth to the illumination light selecting unit 51 by inputting a numerical value of the depth of the polar surface blood vessel 124 or selecting the “polar surface blood vessel” menu. Therefore, the illumination light selection unit 51 selects the purple light V as the first illumination light and the blue light B as the second illumination light.
  • the doctor or the like uses the wavelengths of the first illumination light and the second illumination light for appropriately observing the target structure. Therefore, the special observation mode can be used more easily.
  • the accuracy changing unit 72 changes the accuracy of alignment performed by the alignment unit 71 according to the selected illumination light selected by the illumination light selecting unit 51, as in the first embodiment.
  • the accuracy changing unit 72 uses the information on the depth specified by the depth specifying unit 201 instead of the selected illumination light, so that the positioning unit 71
  • the alignment accuracy to be performed can be changed.
  • the accuracy changing unit 72 increases the alignment accuracy as the depth of the target structure specified by the depth specifying unit 201 is shallower, and the target structure specified by the depth specifying unit 201. The greater the depth of, the lower the accuracy of alignment. This is almost equivalent to increasing the alignment accuracy as the selected illumination light has a shorter wavelength and decreasing the alignment accuracy as the selected illumination light has a longer wavelength.
  • the accuracy of can be changed. In this case as well, the shorter the wavelength of the selected illumination light, the higher the alignment accuracy, the lower the selected illumination light, the lower the alignment accuracy, and the lower the specified depth, the higher the alignment accuracy.
  • the positioning accuracy is lowered as the specified depth is increased.
  • the alignment accuracy is more appropriately than in the first embodiment and the second embodiment.
  • the setting can be changed.
  • the alignment accuracy is linearly changed using the depth of the designated structure of interest (FIG. 14), but the curve is drawn using the depth of the designated structure of interest.
  • the alignment accuracy may be changed according to a monotonically changing function.
  • the alignment accuracy can be changed step by step using the depth of the designated structure of interest.
  • the depth designation unit 201 is provided in the processor device 16, but the depth designation unit 201 may be incorporated in the special processing unit 63.
  • the accuracy changing unit 72 performs alignment using the selected illumination light selected by the illumination light selecting unit 51 and the depth of the structure of interest specified by the depth specifying unit 201.
  • the accuracy of alignment performed by the unit 71 is changed.
  • the accuracy changing unit 72 uses the magnitude of the movement of the observation target between the first image and the second image (hereinafter referred to as the amount of movement).
  • the accuracy of alignment performed by the alignment unit 71 can be changed.
  • a motion amount calculation unit 301 is provided in the special processing unit 63.
  • the motion amount calculation unit 301 acquires the first image and the second image from the image acquisition unit 54, and calculates the motion amount of the observation target between them. Specifically, the motion amount calculation unit 301 obtains a motion vector between the observation target of the first image and the observation target of the second image by matching the first image and the second image, and determines the magnitude of the motion vector. A statistic (average value, median value, maximum value, etc.) is calculated and used as the amount of movement.
  • the accuracy changing unit 72 changes the accuracy of alignment performed by the alignment unit 71 according to the selected illumination light selected by the illumination light selecting unit 51, as in the first embodiment. However, in the present embodiment, the accuracy of alignment performed by the alignment unit 71 is also changed using the motion amount calculated by the motion amount calculation unit 301. Specifically, the accuracy changing unit 72 increases the alignment accuracy as the selected illumination light has a shorter wavelength, decreases the alignment accuracy as the selected illumination light has a longer wavelength, and decreases the amount of motion. The accuracy of alignment is increased, and the accuracy of alignment is decreased as the amount of movement increases.
  • the accuracy changing unit 72 changes the accuracy of alignment according to the graph shown in FIG. That is, for each wavelength of the selected illumination light, the smaller the amount of movement, the higher the alignment accuracy, and the larger the amount of movement, the lower the alignment accuracy. This is because, when the amount of movement is large, even if there is an artifact due to low alignment accuracy, it is difficult to notice that there is an artifact in the video displayed on the monitor 18, and high-precision alignment is substantially It is because it does not play a role.
  • the accuracy of alignment can be set and changed more appropriately, and the first image and the second image can be set with sufficient accuracy while maintaining the frame rate of the moving image displayed on the monitor 18. It becomes easy to align.
  • the third embodiment can be combined with the second embodiment as well as the first embodiment. Moreover, the said 3rd Embodiment can be combined with 1st Embodiment and 2nd Embodiment.
  • the depth specifying unit 201 is provided as in the second embodiment, the accuracy of alignment is increased as the depth of the structure of interest specified by the depth specifying unit 201 is shallow, and the depth specifying unit 201 specifies The alignment accuracy is lowered as the depth of the structure of interest is deeper, the alignment accuracy is increased as the movement amount is smaller, and the alignment accuracy is lowered as the movement amount is larger.
  • the graphs of ⁇ 1, ⁇ 2, and ⁇ 3 are substantially parallel, and the alignment accuracy is uniform using the amount of motion regardless of the wavelength of the selected illumination light selected by each illumination light selection unit 51.
  • the rate of change of the alignment accuracy according to the amount of motion may be changed according to the wavelength of the selected illumination light. The same applies to the combination with the depth designation unit 201 of the second embodiment.
  • the accuracy of alignment is linearly changed using the amount of movement (FIGS. 16 to 18), but the position is determined according to a curve or a function that changes monotonously according to the amount of movement.
  • the accuracy of the alignment may be changed.
  • the accuracy of alignment may be changed step by step using the amount of motion. The same applies to the combination with the depth designation unit 201 of the second embodiment.
  • the alignment accuracy is changed step by step using the amount of movement, for example, as shown in FIG. 19, when the wavelength of the selected illumination light is ⁇ 1, which is the shortest wavelength, the amount of movement TM1 is used as a threshold, When the amount is equal to or less than TM1, the alignment accuracy is changed from Ac2 to Ac1 (Ac1> Ac2). When the wavelength of the selected illumination light is ⁇ 2, which is longer than ⁇ 1, the smaller motion amount TM2 ( ⁇ TM1) is set as a threshold value, and when the motion amount is equal to or less than TM2, the alignment accuracy is determined from Ac2. Change to Ac1.
  • the threshold of the motion amount for changing the alignment accuracy is increased as the wavelength of the selected illumination light is shorter. This is because, as the wavelength of the selective illumination light is shorter, the structure of interest is finer and shallower, so that the influence of artifacts due to the alignment accuracy is relatively large.
  • the alignment accuracy is changed in two stages, Ac1 and Ac2. However, the same is true when the alignment accuracy is changed to three or more stages.
  • the accuracy of alignment that is changed in stages is common regardless of the wavelength of the selected illumination light, but the accuracy of alignment that is changed in stages is changed for each wavelength of the selected illumination light. Can do. The same applies to the combination with the depth designation unit 201 of the second embodiment.
  • the accuracy changing unit 72 performs the alignment performed by the alignment unit 71 according to the amount of movement, that is, the relative magnitude of the movement of the observation target between the first image and the second image. Although the accuracy is changed, the accuracy changing unit 72 determines the magnitude of the movement of the observation target in the first image, the magnitude of the movement of the observation target in the second image, or the observation target in the first image. It is preferable to change the accuracy of the alignment performed by the alignment unit 71 according to the size of the motion and the size of the motion of the observation target in the second image.
  • the movement of the observation target in the first image (or in the second image) is the movement of the observation target when the first image (or the second image) is photographed or the relative relationship between the observation target and the endoscope 12. It is movement. Therefore, the magnitude of the movement of the observation target in the first image (or in the second image) is the so-called blur magnitude (hereinafter referred to as blur amount) of the first image (or second image).
  • the accuracy changing unit 72 changes the accuracy of the alignment performed by the alignment unit 71 using the blur amount of the first image, the blur amount of the second image, or the blur amount of the first image and the blur amount of the second image.
  • the special processing unit 63 is provided with a blur amount calculation unit 401 that calculates the blur amount.
  • the blur amount calculation unit 401 calculates the blur amount using, for example, frequency analysis. More specifically, the first image (or the second image) is Fourier-transformed to obtain a spectrum, and the intensity ratio between the low-frequency component and the high-frequency component is calculated, thereby blurring the first image (or the second image). Calculate the amount. When the low frequency component is large or the high frequency component is small, the blur amount is large, and when the low frequency component is small or the high frequency component is large, the blur amount is small.
  • the accuracy changing unit 72 changes the accuracy of alignment performed by the alignment unit 71 according to the selected illumination light selected by the illumination light selecting unit 51, as in the first embodiment. However, in the present embodiment, the accuracy of alignment performed by the alignment unit 71 is also changed using the blur amount calculated by the blur amount calculation unit 401.
  • the accuracy changing unit 72 compares the blur amount calculated by the blur amount calculating unit 401 with a preset threshold value. Specifically, the accuracy changing unit 72 increases the alignment accuracy as the shake amount is smaller, and lowers the alignment accuracy as the shake amount is smaller.
  • the accuracy changing unit 72 changes the accuracy of alignment according to the graph shown in FIG. That is, as in the case of changing the alignment accuracy using the motion amount (see the third embodiment, FIG. 16), the alignment accuracy is changed using the shake amount. Similar to the modification of the third embodiment (FIG. 17 or FIG.
  • the accuracy changing unit 72 of the present embodiment changes the rate of change of the alignment accuracy according to the amount of blur according to the wavelength of the selected illumination light. Also good. Further, the accuracy changing unit 72 of the present embodiment can change the accuracy of alignment step by step using the shake amount, as in another modified example (FIG. 19) of the third embodiment.
  • the accuracy changing unit 72 may switch ON / OFF the alignment performed by the alignment unit 71 using the shake amount. Specifically, when the shake amount is larger than the threshold value, the accuracy changing unit 72 turns off the alignment between the first image and the second image performed by the alignment unit 71. Thereby, the alignment part 71 skips alignment.
  • the accuracy changing unit 72 turns on the alignment performed by the alignment unit 71, and the alignment accuracy increases as the selected illumination light has a shorter wavelength, as in the first embodiment. The higher the selected illumination light, the lower the alignment accuracy. In this case, the alignment unit 71 performs alignment of the first image and the second image with the accuracy set and changed by the accuracy changing unit 72.
  • the accuracy changing unit 72 gives priority to the frame rate of the moving image displayed on the monitor 18 and skips alignment.
  • the accuracy changing unit 72 switches on / off of the alignment according to the graph shown in FIG. That is, when the wavelength of the selected illumination light is ⁇ 1, which is the shortest wavelength, the smallest blur amount TB1 is set as a threshold value, the alignment is turned on when the blur amount is equal to or less than the threshold value TB1, and the blur amount is larger than the threshold value TB1. Turn off alignment.
  • the blur amount TB2 larger than the threshold value TB1 for ⁇ 1 is set as a threshold value (TB2> TB1), and the alignment is turned on when the blur amount is equal to or less than the threshold value TB2.
  • the alignment is turned off.
  • the wavelength of the selected illumination light is ⁇ 3, which is the longest wavelength
  • the blur amount TB3 larger than the threshold value TB2 for ⁇ 2 is set as the threshold value (TB3> TB2), and the alignment is performed when the blur amount is equal to or less than the threshold value TB3. Is turned on, and the alignment is turned off when the blur amount is larger than the threshold value TB3.
  • the accuracy changing unit 72 reduces the blur amount threshold value for switching the alignment on / off.
  • the shorter the wavelength of the selected illumination light the more attention is paid. This is because the structure is small and fine, so that even a relatively small blur cannot be observed in the moving image displayed on the monitor 18 according to the blur of the observation target.
  • the accuracy changing unit 72 can use the blur amount for determining the specific accuracy of the alignment and switching the alignment on / off. As described above, the blur amount is used only for the on / off of the alignment. May be.
  • the fourth embodiment described above can be combined not only with the first embodiment but also with the second embodiment and the third embodiment.
  • the blur amount can be used for determining the specific accuracy of the alignment and switching the alignment on / off, but the first to third embodiments.
  • the modification of the fourth embodiment can be used only for switching the on / off of the alignment.
  • the depth specifying unit 201 specifies the threshold of the blur amount for switching the alignment on / off. Can be switched using the depth of the structure of interest. Specifically, as the depth of the target structure specified by the depth specifying unit 201 is shallower, the threshold for switching on / off of the alignment is reduced, and as the depth of the target structure specified by the depth specifying unit 201 is deeper, What is necessary is just to enlarge the threshold value which switches ON / OFF of alignment.
  • a threshold of blur amount for switching on / off of alignment when the wavelength of the selected illumination light is a short wavelength As the depth of the target structure specified by the depth specifying unit 201 is smaller, the threshold value for switching on / off of the alignment may be reduced.
  • the shake amount calculation unit 401 first calculates the shake amount as shown in FIG. 23 (S510). ), The accuracy changing unit 72 compares the threshold value for determining on / off of the alignment with the blur amount (S511). If the blur amount is equal to or less than the threshold (S511: YES), the motion amount calculation unit 301 calculates the motion amount (S512), and the accuracy changing unit 72 determines the alignment accuracy based on the motion amount and the like. (S513). Then, the alignment unit 71 aligns the first image and the second image with the accuracy determined by the accuracy changing unit 72.
  • the attention structure enhancement image 130 in which the attention structure is emphasized is generated and displayed.
  • the attention structure is extracted in addition to the case where the attention structure is emphasized. It is also suitable for calculating biological function information (oxygen saturation, etc.) regarding the structure of interest. That is, the present invention is suitable for the case where the calculation is performed using the first image and the second image obtained by photographing the observation target at different timings.
  • the present invention is implemented in an endoscope system that performs observation by inserting the endoscope 12 provided with the image sensor 48 into a subject.
  • the present invention is also suitable for a mirror system.
  • a capsule endoscope system includes at least a capsule endoscope 700 and a processor device (not shown).
  • the capsule endoscope 700 includes a light source unit 702, a control unit 703, an image sensor 704, an image processing unit 706, and a transmission / reception antenna 708.
  • the light source unit 702 corresponds to the light source unit 20.
  • the control unit 703 functions in the same manner as the light source control unit 22 and the control unit 52. Further, the control unit 703 can communicate with the processor device of the capsule endoscope system wirelessly using the transmission / reception antenna 708.
  • the processor device of the capsule endoscope system is substantially the same as the processor device 16 of the first to fourth embodiments, but the image processing unit 706 corresponding to the image acquisition unit 54 and the image processing unit 61 is a capsule endoscope.
  • the generated attention-structure-enhanced image 130 and the like provided in 700 is transmitted to the processor device via the transmission / reception antenna 708.
  • the image sensor 704 is configured similarly to the image sensor 48.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

異なるタイミングにおいて観察対象を撮影して得た複数の画像を用いて注目する組織等の強調等をする際に、位置合わせにかかる時間を必要に応じて適切に削減し、フレームレートと、注目する組織等の強調等の正確性を両立した内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法を提供する。内視鏡システムは、第１照明光を用いて観察対象を撮影して得る第１画像と、第１照明光とは異なる第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得る第２画像とを取得する画像取得部と、第１画像と第２画像の位置合わせを行う位置合わせ部と、少なくとも観察対象のなかで注目する注目構造にしたがって、位置合わせの精度を変更する精度変更部と、を備える。

Description

内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
　本発明は、２以上の画像の位置合わせを行う内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法に関する。
　医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いて、観察対象をほぼリアルタイムに動画を用いて観察しながら診断することが一般的になっている。また、観察対象を自然に観察するだけでなく、青色及び緑色のごく狭い波長帯域の光（以下、狭帯域光という）を照明光に利用することで、血管等の注目する組織や腺管構造（いわゆるピットパターン）等の注目する構造を強調した画像を得る内視鏡システムが知られている。
　注目する組織や構造を強調した画像を得る際には、多くの場合、異なるタイミングにおいて観察対象を撮影して得た複数の画像を利用する。例えば、上記のように青色及び緑色の狭帯域光を用いて血管等を強調した画像を得る際には、青色の狭帯域光と緑色の狭帯域光を観察対象に順次照射し、これらの各狭帯域光を用いて観察対象を順次撮影して得た画像を合成する。この他、注目する組織や構造を抽出したり強調したりする際や、酸素飽和度等の生体機能情報を算出する際にも、異なるタイミングにおいて観察対象を撮影して得た複数の画像を利用する場合がある。
　注目する組織等の強調等を正確に行うためには、通常は、使用する複数の画像に写る観察対象（被写体）の位置合わせ（以下、単に、「位置合わせ」または「画像の位置合わせ」という）を行う。使用する画像の位置合わせを行うことで、画像間の観察対象の位置ずれに起因した誤差（以下、アーチファクトという）が低減されるので、注目する組織等の強調等の精度が向上する。
　例えば、特許文献１の内視鏡システムは、白色光を用いて撮影した通常の画像と、狭帯域光を用いて撮影した画像とを、位置合わせをして合成し、注目する組織等を強調した画像を生成及び表示している。また、特許文献２の内視鏡システムは、画像の位置合わせをする際に、位置合わせをする範囲を画像内に限定することにより、位置合わせの精度を向上している。
特開２０１１－２３４８４４号公報 特開２０１３－１５３８１３号公報
　上記のように、異なるタイミングにおいて観察対象を撮影して得た複数の画像を用いて注目する組織等の強調等をする場合、使用する複数の画像の位置合わせをし、アーチファクトを低減することが望ましい。しかし、位置合わせは、計算負荷が高く、時間がかかる。このため、診断に使用できる程度に正確な強調等をするために、常に高精度な位置合わせをすると、フレームレートが低下してしまうという問題がある。
　もちろん、位置合わせ処理をしなければ、ストレスなく観察対象を観察可能なフレームレートを維持することができるが、強調等した部分や生体機能情報の値が不正確になるので、注目する組織等の強調等や生体機能情報の表示を信頼して診断することができない。このため、注目する組織等の強調等や生体機能情報を算出する意味がなくなってしまう。
　本発明は、異なるタイミングにおいて観察対象を撮影して得た複数の画像を用いて注目する組織等の強調等をする際に、位置合わせにかかる時間を必要に応じて適切に削減し、フレームレートと、注目する組織等の強調等の正確性とを両立した内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法を提供することを目的とする。
　本発明の内視鏡システムは、第１照明光を用いて観察対象を撮影して得る第１画像と、第１照明光とは異なる第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得る第２画像とを取得する画像取得部と、第１画像と第２画像の位置合わせを行う位置合わせ部と、少なくとも観察対象のなかで注目する注目構造にしたがって、位置合わせの精度を変更する精度変更部と、を備える。
　注目構造にしたがって、第１照明光及び第２照明光を選択する照明光選択部を備え、精度変更部は、照明光選択部が選択した第１照明光、第２照明光、または、第１照明光と第２照明光の組み合わせにしたがって、位置合わせの精度を変更することが好ましい。
　精度変更部は、照明光選択部が選択した第１照明光、第２照明光、または、第１照明光と第２照明光の組み合わせが短波長であるほど、位置合わせの精度を高くすることが好ましい。
　注目構造の深さを指定する深さ指定部を備え、精度変更部は、深さ指定部が指定した深さを用いて位置合わせの精度を変更することが好ましい。
　精度変更部は、深さ指定部が指定した注目構造の深さが浅いほど、位置合わせの精度を高くすることが好ましい。
　第１画像と第２画像とを用いて観察対象の動き量を算出する動き量算出部を備え、精度変更部は、動き量を用いて位置合わせの精度を変更することが好ましい。
　精度変更部は、動き量が小さいほど位置合わせの精度を高くすることが好ましい。
　第１画像または第２画像のブレ量を算出するブレ量算出部を備え、精度変更部は、ブレ量を用いて位置合わせの精度を変更することが好ましい。
　精度変更部は、ブレ量が小さいほど位置合わせの精度を高くすることが好ましい。
　本発明の内視鏡システムのプロセッサ装置は、第１照明光を用いて観察対象を撮影して得る第１画像と、第１照明光とは異なる第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得る第２画像とを取得する画像取得部と、第１画像と第２画像の位置合わせを行う位置合わせ部と、少なくとも観察対象のなかで注目する注目構造にしたがって、位置合わせの精度を変更する精度変更部と、を備える。
　本発明の内視鏡システムの作動方法は、画像取得部が、第１照明光を用いて観察対象を撮影して得る第１画像と、第１照明光とは異なる第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得る第２画像とを取得するステップと、位置合わせ部が、第１画像と第２画像の位置合わせを行うステップと、精度変更部が、少なくとも観察対象のなかで注目する注目構造にしたがって、位置合わせの精度を変更するステップと、を備える。
　本発明の内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法は、異なるタイミングにおいて観察対象を撮影して得た複数の画像を用いて注目する組織等の強調等をする際に、位置合わせにかかる時間を必要に応じて適切に削減し、フレームレートと、注目する組織等の強調等の正確性を両立することができる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 特殊処理部のブロック図である。 照明光の波長と位置合わせの精度の関係を示すグラフである。 血管の深さと血管のコントラストの関係を模式的に表すグラフである。 注目構造強調画像の生成方法を示す説明図である。 特殊観察モードの動作の流れを示すフローチャートである。 Ｖ画像の模式図である。 Ｂ画像の模式図である。 演算画像の模式図である。 低解像度化した演算画像の模式図である。 注目構造強調画像の模式図である。 深さ指定部と特殊処理部の関係を示すブロック図である。 注目構造の深さと位置合わせの制度の関係を示すグラフである。 動き量算出部を設けた特殊処理部のブロック図である。 動き量と位置合わせの精度の関係を示すグラフである。 動き量と位置合わせの精度の関係を示すグラフである。 動き量と位置合わせの精度の関係を示すグラフである。 動き量と位置合わせの精度の関係を示すグラフである。 ブレ量算出部を設けた特殊処理部のブロック図である。 ブレ量と位置合わせの精度の関係を示すグラフである。 ブレ量と位置合わせのオンオフの関係を示すグラフである。 ブレ量の算出と動き量の算出を組み合わせる場合のフローチャートである。 カプセル内視鏡の概略図である。
　［第１実施形態］
　図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続するとともに、プロセッサ装置１６に電気的に接続する。内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃと、先端部１２ｄとを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃが湾曲する。この湾曲部１２ｃが湾曲した結果、先端部１２ｄが所望の方向に向く。
　また、操作部１２ｂには、アングルノブ１２ｅの他、モード切り替えスイッチ１３ａ、ズーム操作部１３ｂが設けられている。モード切り替えスイッチ１３ａは、観察モードの切り替え操作に用いる。内視鏡システム１０は、通常観察モードと特殊観察モードを有する。通常観察モードは、照明光に白色光を用いて観察対象を撮影して得る自然な色合いの画像（以下、通常画像という）をモニタ１８に表示する観察モードである。特殊観察モードは、観察対象を撮影して得た画像を用いて観察対象に含まれる血管のうち、特定の深さにある血管を強調した画像を表示する観察モードである。
　プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続する。モニタ１８は、各観察モードの画像や画像に付帯する画像情報等を出力表示する。コンソール１９は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置１６には、画像や画像情報等を記録する外付けの記録部（図示省略）を接続してもよい。
　図２に示すように、光源装置１４は、照明光を発光する光源部２０と、光源部２０の駆動を制御する光源制御部２２と、を備えている。
　光源部２０は、Ｖ光源２０ａ、Ｂ２光源２０ｂ、Ｇ光源２０ｃ、及び、Ｒ光源２０ｄの４個の光源を備える。本実施形態においては、Ｖ光源２０ａ、Ｂ光源２０ｂ、Ｇ光源２０ｃ、及び、Ｒ光源２０ｄはいずれもＬＥＤ(Light Emitting Diode)である。光源部２０には、これらのＬＥＤの代わりに、ＬＤ(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせや、キセノンランプ等のランプと帯域制限フィルタとの組み合わせ等を用いることができる。
　Ｖ光源２０ａは、中心波長が約４０５ｎｍ、波長帯域が約３８０ｎｍ～４２０ｎｍの紫色光Ｖを発光する紫色光源である。Ｂ光源２０ｂは、中心波長が約４６０ｎｍ、波長帯域が約４２０ｎｍ～５００ｎｍの青色光Ｂを発光する青色光源である。Ｇ光源２０ｃは、波長帯域が約４８０ｎｍ～６００ｎｍに及ぶ緑色光Ｇを発光する緑色光源である。Ｒ光源２０ｄは、中心波長が約６２０ｎｍ～６３０ｎｍ、波長帯域が約６００ｎｍ～６５０ｎｍに及ぶ赤色光Ｒを発光する赤色光源である。なお、Ｖ光源２０ａ及びＢ光源２０ｂの中心波長は±５ｎｍから±１０ｎｍ程度の幅を有する。
　光源制御部２２は、光源部２０を構成する各光源２０ａ～２０ｄの点灯や消灯のタイミング、及び点灯時の発光量等をそれぞれ独立に制御する。通常観察モードの場合、光源制御部２２は、Ｖ光源２０ａ、Ｂ光源２０ｂ、Ｇ光源２０ｃ、及びＲ光源２０ｄを全て点灯する。このため、通常観察モードにおいては、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む白色光が照明光になる。
　一方、特殊観察モードの場合、第１照明光と、第１照明光とは異なる第２照明光を、設定により選択して使用する。このため、特殊観察モードの場合、光源制御部２２は、第１照明光を発光する発光パターンと、第２照明光を発光する発光パターンとで各色の光源２０ａ～２０ｄを制御する。
　例えば、設定により選択した第１照明光及び第２照明光が紫色光Ｖ及び青色光Ｂである場合、光源制御部２２は、Ｖ光源２０ａだけを点灯する発光パターンと、Ｂ光源２０ｂだけを点灯する発光パターンを交互に繰り返す。また、設定により選択した第１照明光及び第２照明光が青色光Ｂと緑色光Ｇである場合、光源制御部２２は、Ｂ光源２０ｂだけを点灯する発光パターンと、Ｇ光源２０ｃだけを点灯する発光パターンを交互に繰り返す。
　もちろん、赤色光Ｒは、第１照明光または第２照明光に使用できる。また、各色の光源２０ａ～２０ｄのうちのいずれか１つを用いて発光する単色の光を第１照明光または第２照明光として使用できる他、各色の光源２０ａ～２０ｄのうち２以上の光源を点灯して発光する光を第１照明光または第２照明光として使用することもできる。複数の光源を点灯して第１照明光または第２照明光を発光する場合には、点灯する光源の光量のバランスを調節して全体としての分光スペクトルを変えることで、点灯する光源の組み合わせが同じ場合でも様々な色の光を第１照明光または第２照明光として使用することができる。帯域制限フィルタを用いて、各色の光源２０ａ～２０ｄが発光する各色光の波長帯域や光量の一部を制限した光も第１照明光または第２照明光として使用可能である。したがって、本明細書において、照明光が「異なる」とは、２つの照明光を比較した場合に、波長帯域または分光スペクトルの少なくとも一方が同一でないことを意味する。
　光源部２０が発光した照明光は、ライトガイド４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコード）内に内蔵されており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３～０．５ｍｍの細径なファイバケーブルを使用することができる。
　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮影光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ４５を有しており、この照明レンズ４５を介して照明光が観察対象に照射される。撮影光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及びイメージセンサ４８を有している。イメージセンサ４８は、対物レンズ４６及びズームレンズ４７を介して、観察対象から戻る照明光の反射光や散乱光（観察対象が発する蛍光や観察対象に投与等した薬剤に起因して蛍光を含む）等を用いて観察対象を撮影する。なお、ズームレンズ４７は、ズーム操作部１３ｂの操作をすることで移動し、イメージセンサ４８を用いて撮影する観察対象を拡大または縮小する。
　イメージセンサ４８は、原色系のカラーセンサであり、主に紫色から青色の波長帯域の光を透過する青色カラーフィルタが設けられたＢ画素（青色画素）、主に緑色の波長帯域の光を透過する緑色カラーフィルタが設けられたＧ画素（緑色画素）、及び、主に赤色の波長帯域の光を透過する赤色カラーフィルタが設けられたＲ画素（赤色画素）の３種類の画素を有する。このため、イメージセンサ４８を用いて観察対象を撮影すると、Ｂ画像（青色画像）、Ｇ画像（緑色画像）、及びＲ画像（赤色画像）の３種類の画像が得られる。
　通常観察モードの場合、照明光は白色光であるため、上記の通り、Ｂ画像、Ｇ画像、及びＲ画像がそれぞれ得られる。具体的には、Ｂ画素は、白色光の反射光等のうち、紫色から青色の波長帯域の光を受光して観察対象を撮影し、Ｂ画像を出力する。Ｇ画素は緑色の波長帯域の光を受光してＧ画像を出力し、Ｒ画素は赤色の波長帯域の光を受光してＲ画像を出力する。
　一方、特殊観察モードにおいては、照明光は第１照明光と第２照明光とに交互に切り替わる。このため、第１照明光を用いて観察対象を撮影して得るＢＧＲ各色の画像（以下、第１画像という）と、第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得るＢＧＲ各色の画像（以下、第２画像という）が得られる。例えば、紫色光Ｖを第１照明光に使用し、かつ、青色光Ｂを第２照明光に使用する場合、紫色光Ｖの反射光等に対応するＢ画像（以下、Ｖ画像という）が第１画像であり、青色光Ｂに対応するＢ画像が第２画像である。
　なお、イメージセンサ４８としては、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４８は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色－原色色変換をすれば、Ｂ画像、Ｇ画像、及びＲ画像に変換することができる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ４８として使用することができる。この場合、ＢＧＲ等各色の照明光を用いて観察対象を順次撮影することにより、上記各色の画像を得ることができる。
　プロセッサ装置１６は、照明光選択部５１と、制御部５２と、画像取得部５４と、画像処理部６１と、表示制御部６６と、を有する。例えば、プロセッサ装置１６はＣＰＵ（Central processing unit）を有し、このＣＰＵが照明光選択部５１、制御部５２、画像取得部５４、画像処理部６１、及び表示制御部６６として機能する。
　照明光選択部５１は、コンソール１９からの設定入力等に基づいて、観察対象のなかで注目する注目構造にしたがって、特殊観察モードにおいて使用する第１照明光及び第２照明光を選択する。注目構造とは、観察対象が含む血管等の組織ピットパターン等の構造等のうち、診断のために観察の目的として注目する組織や構造等である。例えば、観察対象が含む血管のうち、特定の深さ範囲にある血管が注目構造である。
　コンソール１９を用いて注目構造の観察等に適した第１照明光及び第２照明光の各波長を設定入力すると、照明光選択部５１は、システム的に選択可能な光のなかかから、設定入力した第１照明光及び第２照明光の各波長に近い適切な照明光を第１照明光及び第２照明光に選択する。例えば、粘膜下の比較的浅い深さ範囲にある血管（以下、表層血管という）のうち、特に浅い深さ範囲にある血管（以下、極表層血管という）が注目構造である場合、極表層血管の観察等に適した第１照明光の波長（例えば４００ｎｍ）、波長帯域、または、色等と、第２照明光の波長（例えば４５０ｎｍ）、波長帯域、または色等を設定入力する。内視鏡システム１０がシステム的に紫色光Ｖ、青色光Ｂ、緑色光Ｇ、または赤色光Ｒの４種類の光のなかから任意に第１照明光及び第２照明光を選択可能であるとすれば、照明光選択部５１は、設定入力にしたがって、紫色光Ｖを第１照明光に選択し、青色光Ｂを第２照明光に選択する。設定入力は注目構造にしたがって行われるので、上記のように第１照明光及び第２照明光を選択することは、注目構造にしたがって第１照明光及び第２照明光を選択することに等しい。
　制御部５２は、モード切り替えスイッチ１３ａからモード切り替え信号の入力を受けて、光源制御部２２及びイメージセンサ４８に制御信号を入力することにより、観察モードを切り替える。また、特殊観察モードの場合、制御部５２は、照明光選択部５１が選択した第１照明光及び第２照明光に応じた制御信号を光源制御部２２に入力する。これにより、光源制御部２２は、光源部２０を用いて照明光選択部５１が選択した第１照明光及び第２照明光を発光する。この他、制御部５２は、照明光の照射タイミングと撮影のタイミングの同期制御等もする。
　画像取得部５４は、イメージセンサ４８から各色の画像を取得する。具体的には、通常観察モードの場合、画像取得部５４は、イメージセンサ４８からＢ画像、Ｇ画像、及びＲ画像を取得する。一方、特殊観察モードの場合、画像取得部５４は、イメージセンサ４８から第１照明光を用いて観察対象を撮影して得る第１画像と、第１照明光とは異なる第２照明光を用いて、第１画像とは異なるタイミングにおいて観察対象を撮影して得る第２画像と、を取得する。例えば、第１照明光が紫色光Ｖであり、第２照明光が青色光Ｂの場合には、画像取得部５４は、Ｖ画像とＢ画像を順次取得する。
　また、画像取得部５４は、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、変換部５９と、を有し、これらを用いて、取得した画像に各種処理を施す。
　ＤＳＰ５６は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種処理を施す。
　欠陥補正処理は、イメージセンサ４８の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理（等方化処理や同時化処理とも言う）は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列のため、イメージセンサ４８において他の色の画素を配置しているために、画素値がない画素である。例えば、Ｂ画像はＢ画素を用いて観察対象を撮影して得る画像なので、イメージセンサ４８のＧ画素やＲ画素に対応する位置の画素には画素値がない。デモザイク処理は、Ｂ画像を補間して、イメージセンサ４８のＧ画素及びＲ画素の位置にある画素の画素値を生成する。ＹＣ変換処理は、デモザイク処理後の画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒに変換する処理である。
　ノイズ低減部５８は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５９は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色の画像に再変換する。
　画像処理部６１は、通常処理部６２と、特殊処理部６３とを有する。通常処理部６２は、通常観察モード時に作動し、ＢＧＲ各色の画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施し、通常画像を生成する。色変換処理は、ＢＧＲ各色の画像に対して３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（ルックアップテーブル）処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である。表示制御部６６は、通常処理部６２から通常画像を順次取得し、取得した通常画像を表示に適した形式に変換してモニタ１８に順次出力表示する。これにより、通常観察モードの場合、医師等は、通常画像の動画を用いて観察対象を観察することができる。
　特殊処理部６３は、特殊観察モード時に作動し、特殊観察モードにおいて取得した画像を用いて、特定深さ（例えば、観察対象の粘膜の表面を基準とした深さが特定の深さ）にある血管を、他の血管に対して色の違いを用いて表す画像を生成する。図３に示すように、特殊処理部６３は、位置合わせ部７１、精度変更部７２、明るさ補正部７３、演算画像生成部７４、低解像度化部７６、及び、画像生成部７７を備える。
　位置合わせ部７１は、第１画像と第２画像の位置合わせを行う。第１画像と第２画像の位置合わせ（以下、単に位置合わせという）とは、第１画像が表す観察対象と第２画像が表す観察対象の対応する部分の位置（座標）を概ね一致させる処理である。具体的には、位置合わせは、第１画像及び第２画像のマッチングにより両画像が表す観察対象の動きベクトルを推定し、推定した動きベクトルに基づいて第１画像及び第２画像のうち少なくとも一方を変形して行うことができる。
　位置合わせ部７１が行う位置合わせの精度は変更可能である。具体的には、位置合わせ部７１は、推定する動きベクトルの密度（いわゆる格子密度）を変えることで、位置合わせの精度を変更することができる。推定する動きベクトルの密度が高い（動きベクトルの数が多い）ほど、位置合わせの精度は高くなる。例えば、１画素ずつ動きベクトルを推定する場合と、２画素ごとに動きベクトルを推定する場合とでは、１画素ずつ動きベクトルを推定する場合の方が位置合わせの精度が高い。また、位置合わせ部７１は、動きベクトルの終点を求める精度を変更し、その結果として、位置合わせの精度を変更することができる。例えば、動きベクトルの終点を、サブピクセルレベルにおいて求めると位置合わせの精度が高くなる。同様に、動きベクトルの終点を、１／８サブピクセルレベルにおいて求める場合と、１／２サブピクセルレベルにおいて求める場合とで比較すれば、１／８サブピクセルレベルにおいて動きベクトルの終点を求める場合の方が位置合わせの精度が高い。また、画像間のマッチングを多重解像度に分解して階層毎（分解した解像度毎）に行う場合は、高解像度の階層でのマッチングをスキップすることでも位置合わせの精度を変更できる。
　精度変更部７２は、少なくとも観察対象において注目する注目構造にしたがって、位置合わせ部７１が行う位置合わせの精度を変更する。本実施形態においては、精度変更部７２は、照明光選択部５１が選択した第１照明光、第２照明光、または、第１照明光と第２照明光の組み合わせ（以下、選択照明光という）にしたがって、位置合わせの精度を設定する。照明光選択部５１は、注目構造にしたがって第１照明光及び第２照明光を選択するので、選択照明光にしたがって位置合わせの精度を変更することは、注目構造にしたがって位置合わせの精度を変更するのと同じことである。
　「第１照明光にしたがって位置合わせの精度を変更する」とは、第１照明光の中心波長、ピーク波長、波長帯域の広さ、または分光スペクトルを加味した平均波長等に基づいて位置合わせの精度を変更することをいう。「第２照明光にしたがって位置合わせ精度を変更する」の意味も同様である。「第１照明光と第２照明光の組み合わせにしたがって位置合わせの精度を変更する」とは、第１照明光と第２照明光の中心波長、ピーク波長、波長帯域の広さ、または分光スペクトルを加味した波長等の統計量（平均値、中央値等）に基づいて位置合わせの精度を変更することをいう。
　また、精度変更部７２は、選択照明光（第１照明光、第２照明光、または、第１照明光と第２照明光の組み合わせ）が短波長であるほど、位置合わせの精度を高くする。「第１照明光が短波長」とは、第１照明光の中心波長、ピーク波長、波長帯域の広さ、または、分光スペクトルを加味した平均波長等が短いことを表す。第２照明光についても同様である。「第１照明光と第２照明光の組み合わせが短波長である」とは、第１照明光と第２照明光の中心波長、ピーク波長、波長帯域の広さ、または分光スペクトルを加味した波長等の統計量（平均値、中央値、または標準偏差等）が、短いことまたは小さいことを表す。
　精度変更部７２が上記３パターンのうち第１照明光にしたがって位置合わせの精度を決めるとする。この場合、例えば、第１照明光が紫色光Ｖである場合と、第２照明光が青色光Ｂである場合を比較すると、青色光Ｂよりも紫色光Ｖの方が、中心波長等が短い。したがって、精度変更部７２は、第１照明光に紫色光Ｖを使用する場合の方が青色光Ｂを使用する場合よりも、位置合わせの精度を高くする。精度変更部７２が第２照明光にしたがって位置合わせの精度を決める場合も同様である。
　精度変更部７２が、上記３パターンのうち、第１照明光と第２照明光の組み合わせにしたがって位置合わせの精度を決めるとする。この場合、例えば、第１照明光及び第２照明光の組み合わせが、紫色光Ｖ及び青色光Ｂである場合と、青色光Ｂ及び緑色光Ｇである場合とを比較すると、中心波長の平均値は、青色光Ｂ及び緑色光Ｇの組み合わせよりも、紫色光Ｖ及び青色光Ｂの組み合わせの方が短い。したがって、精度変更部７２は、第１照明光及び第２照明光に青色光Ｂ及び緑色光Ｇを使用する場合よりも、第１照明光及び第２照明光に紫色光Ｖ及び青色光Ｂを使用する場合の方が位置合わせの精度を高くする。
　いずれにしても、例えば、図４に示すように、精度変更部７２は、特殊観察モードにおいて使用する照明光が全体として短波長であるほど、位置合わせの精度を高くする。これは、特殊観察モードにおいて使用する照明光が全体として長波長であるほど、位置合わせ精度を低くすることでもある。
　一般に、観察対象が生体の場合、粘膜下の深さが浅いほど組織や構造等は細く小さくなり、粘膜下の深さが深いほど組織や構造は太く大きくなる傾向にある。また、観察対象中への深達度は、短波長の光ほど小さく、長波長の光ほど大きいので、短波長の光を使用するほど粘膜下の浅い位置にある構造等を観察しやすく、長波長の光を使用するほど粘膜下の深い位置にある構造等を観察しやすい。したがって、特殊観察モードにおいて使用する照明光を全体として短波長にするケースは、注目構造が概ね細く小さい組織や構造であるから、第１画像と第２画像の間にわずかな位置ずれがあるだけでも、その後の演算等において無視できないアーチファクトになりやすい。逆に、観察モードにおいて使用する照明光を全体として長波長にするケースは、注目構造が概ね太く大きい組織や構造であるから、第１画像と第２画像の間に多少の位置ずれがあったとしても相対的にアーチファクトは小さい。この場合、特に観察対象を、動画を用いて観察すると、アーチファクトに起因する画像の乱れ等はほとんど視認されない。
　こうしたことから、精度変更部７２は、特殊観察モードで使用する照明光の波長等（すなわち注目構造が何であるか）にしたがって、上記のように位置合わせの精度を変更することで、必要に応じて位置合わせ部７１の処理負荷を低減し、位置合わせの処理が早く完了するようにしているのである。これにより、特殊観察モードにおいて生成及び表示する画像のフレームレートが維持しやすくする。
　なお、位置合わせの精度の変更は、位置合わせのオンオフの切り替えを含む。すなわち、精度変更部７２は、位置合わせの精度を下げる場合、位置合わせをオフに設定することにより、位置合わせ部７１が行う処理をスキップして、位置合わせを行わないようにすることができる。また、位置合わせの精度の変更を、オンオフの切り替えてする場合、位置合わせをオンにした場合の精度は、一定の精度に設定してもよく、上記と同様に選択照明光の波長にしたがって設定することもできる。
　明るさ補正部７３は、位置合わせ部７１が位置合わせした第１画像または第２画像のうち少なくとも一方の明るさを補正し、第１画像及び第２画像の明るさを特定の比率にする。例えば、明るさ補正部７３は、第１照明光と第２照明光の光量比を用いて、第１画像または第２画像のうち少なくともいずれか一方をゲイン補正することにより、第１画像及び第２画像の相対的な明るさを補正することができる。
　第１画像を得たときの第１照明光の光量と、第２画像を得たときの第２照明光の光量は、第１画像及び第２画像を得た時点でいずれも既知であるから、第１照明光と第２照明光の光量比は、明るさ補正部７３が明るさの補正をする段階で既知である。このため、例えば、第１照明光が紫色光Ｖであり、第２照明光が青色光Ｂであり、紫色光Ｖの光量と青色光Ｂの光量が２：１の場合、明るさ補正部７３は、Ｖ画像（第１画像）の明るさをゲイン補正により１／２倍にし、または、Ｂ画像（第２画像）の明るさをゲイン補正により２倍して、Ｖ画像（第１画像）の明るさとＢ画像（第２画像）の明るさの比率を１：１（特定の比率）にする。
　また、第１画像の輝度の平均値は、第１画像が表す観察対象の粘膜の明るさに概ね相当する。第２画像でも同様である。このため、上記のように、第１照明光と第２照明光の比を用いる代わりに、明るさ補正部７３は、第１画像及び第２画像の輝度の平均値を算出し、これらの比を用いて、第１画像または第２画像のうち少なくとも一方にゲイン補正をして、第１画像及び第２画像の相対的な明るさを特定の比率に補正することができる。
　演算画像生成部７４は、明るさを補正した第１画像及び第２画像を用いて演算し、演算画像Δを生成する。具体的には、演算画像生成部７４は、第１画像と第２画像の差または比を表す演算画像を生成する。本実施形態においては、演算画像生成部７４は、第１画像及び第２画像を対数変換し、対数変換後の第１画像及び第２画像の差を表す演算画像Δ（より具体的には第２画像から第１画像を減算した演算画像Δ）を生成する。第１画像と第２画像を対数変換せずに使用する場合には、第１画像と第２画像の比（より具体的には第２画像に対する第１画像の比）を表す演算画像Δを生成する。第１画像及び第２画像の各画素の画素値は受光量を表すが、対数変換をすると、画素値は濃度を表すことになるので、各画像を得たときの照明光の照度によらず、安定した演算結果を得ることができる。
　上記のように演算画像生成部７４が、演算画像Δを生成することは、第１画像と第２画像を用いて特定深さにある血管を強調することに相当する。例えば、図５に示すように、紫色光Ｖ及び青色光Ｂを第１照明光及び第２照明光に使用すると、どちらの照明光の場合も、概ね表層血管（Ａｓ及びＡｄの全深さ範囲の血管）を観察可能である。しかし、紫色光Ｖは、青色光Ｂと比較して波長が短いので深達度が小さい。このため、紫色光Ｖを照明光に使用すると、青色光Ｂを照明光に使用する場合と比較して、相対的に粘膜下の浅い深さ範囲Ａｓにある血管しか写し出せない。その代わり、深さ範囲Ａｓにある血管のコントラスト（周辺の粘膜からの反射光量に対する血管からの反射光量の比）は、青色光Ｂを照明光に使用する場合よりも大きい。逆に、青色光Ｂは、紫色光Ｖと比較して波長が長いので深達度が大きい。このため、青色光Ｂを照明光に使用すると、紫色光Ｖを照明光に使用する場合と比較して、相対的に深い深さ範囲Ａｄにある血管まで写し出せる。その代わり、浅い深さ範囲Ａｓにある血管のコントラストは紫色光Ｖを使用した場合よりも小さい。
　したがって、紫色光Ｖを照明光に使用して得るＶ画像から、青色光Ｂを照明光に使用して得るＢ画像を減算して演算画像Δを生成すると、この演算画像Δにおいては、表層血管のなかでも特に粘膜下の浅い深さ範囲Ａｓにある極表層血管を表す画素の画素値は大きい値（白色）になり、表層血管の中でも深い深さ範囲Ａｄにある血管を表す画素の画素値は小さい値（黒色）になる。このため、注目構造が極表層血管の場合には、第１照明光を紫色光Ｖにし、第２照明光を青色光Ｂにすることで、Ｖ画像からＢ画像を減算して演算画像Δを生成すると、この演算画像Δは、特定の深さ範囲Ａｓにある極表層血管を強調した画像となる。
　なお、Ｂ画像からＶ画像を減算して演算画像Δを生成すると、この演算画像Δにおいては、深さ範囲Ａｓにある極表層血管を表す画素の画素値は小さい値（黒色）になり、深さ範囲Ａｄにある血管を表す画素の画素値が大きい値（白色）になる。このため、上記と同じ紫色光Ｖ及び青色光Ｂの組み合わせを第１照明光及び第２照明光にする場合でも、第１照明光を青色光Ｂにし、第２照明光を紫色光Ｖにして、Ｖ画像からＢ画像を減算して演算画像Δを生成すると、この演算画像Δは、特定の深さ範囲Ａｄにある血管を強調した画像となる。
　演算画像生成部７４が上記のように演算画像Δを生成する際には、演算画像生成部７４の演算精度に起因する誤差の他に、第１画像と第２画像の位置合わせの精度に起因したアーチファクトが生じる。演算画像生成部７４の演算精度は一定であるため、演算画像Δの変動し得る実質的な誤差は、第１画像と第２画像の位置合わせの精度に起因したアーチファクトである。第１画像と第２画像の位置合わせの精度に起因したアーチファクトは、精度変更部７２が制御しているので、結果として、精度変更部７２が演算画像Δの生成精度を制御している。
　低解像度化部７６は、いわゆるローパスフィルタ（以下、ＬＰＦという）であり、演算画像Δを低解像度化する。低解像度化部７６が演算画像Δに施す低解像度化の処理強度は、ＬＰＦのカットオフ周波数で定まる。ＬＰＦのカットオフ周波数は予め設定され、少なくとも、元の演算画像Δの解像度よりは低解像度化する。
　画像生成部７７は、第１画像または第２画像のうちのいずれかと、低解像度化した演算画像Δとを用いて、輝度チャンネルＹと、２つの色差チャンネルＣｂ，Ｃｒとを有する画像を生成する。具体的には、画像生成部７７は、第１画像と第２画像のうち、注目構造のコントラストがより高い方の画像を輝度チャンネルＹに割り当て、低解像度化した演算画像Δを２つの色差チャンネルＣｂ，Ｃｒに割り当てることにより、注目構造を色を用いて強調した、注目構造強調画像を生成する。
　例えば、注目構造が極表層血管であり、第１照明光に紫色光Ｖを使用し、第２照明光に青色光Ｂを使用する場合、Ｖ画像（第１画像）とＢ画像（第２画像）を比較すると、相対的にＶ画像の方が注目構造である極表層血管のコントラストが高い。このため、図６に示すように、画像生成部７７は、相対的に極表層血管のコントラストが高いＶ画像を輝度チャンネルＹに割り当てる。また、演算画像Δを色差チャンネルＣｂ，Ｃｒに割り当てる際には、それぞれ係数α（例えばα＝０．１６９）と係数β（例えばβ＝０．５）を乗じ、表層血管等を強調観察する他の内視鏡システムが表示する画像と色味を揃える。このようにして生成した注目構造強調画像は、全体としての色味は従来の内視鏡システムの血管等を強調する画像とほぼ同じで、粘膜や深さ範囲Ａｄ等の他の血管に対して、注目構造である極表層血管を色の違いで強調した画像になる。なお、係数α及び係数βは、注目構造にしたがって、すなわち選択照明光にしたがって異なる。
　表示制御部６６は、特殊観察モードの場合、画像生成部７７から上記注目構造強調画像を順次取得し、モニタ１８への表示に適した形式に変換して順次出力する。これにより、特殊観察モードの場合、医師等は、注目構造強調画像の動画を用いて観察対象を観察することができる。
　次に、特殊観察モードにおける内視鏡システム１０の画像処理の流れを図７に沿って説明する。まず、医師等は、コンソール１９等を用いて、特殊観察モードにおいて他の組織等と峻別して観察する注目構造の設定をする（Ｓ１０）。具体的には、注目構造に応じて、特殊観察モードにおいて使用する照明光の波長を、例えば数値を設定入力することにより、注目構造の設定をする。以下においては、一例として、注目構造が極表層血管であり、極表層血管を強調観察するために、第１照明光の波長を４００ｎｍに、第２照明光の波長を４５０ｎｍにする設定にしたとする。
　注目構造の設定がされた状態において特殊観察モードに切り替えると、あるいは、特殊観察モードに切り替えた後に注目構造の設定入力をすると、照明光選択部５１が、注目構造の設定にしたがって、特殊観察モードにおいて使用する第１照明光及び第２照明光を選択する（Ｓ１１）。簡単のために、内視鏡システム１０が、第１照明光及び第２照明光に、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒのうちのいずれかを選択可能であるとすると、照明光選択部５１は、注目構造の設定入力にしたがって、紫色光Ｖを第１照明光に選択し、青色光Ｂを第２照明光に選択する。
　上記のように照明光選択部５１が第１照明光及び第２照明光を選択すると、精度変更部７２が、注目構造にしたがって、位置合わせ部７１において行う位置合わせの精度を変更する（Ｓ１２）。具体的には、精度変更部７２は、第１照明光である紫色光Ｖ、第２照明光である青色光Ｂ、または、これらの組み合わせの波長が短波長であるほど位置合わせの精度を高く設定変更し、逆に、波長が長波長であるほど位置合わせの精度を低く設定変更する。これにより、結果として、精度変更部７２は、注目構造である極表層血管の強調に適した位置合わせの精度を設定する。
　一方、照明光選択部５１が第１照明光及び第２照明光を選択すると、光源部２０が、まず第１照明光である紫色光Ｖを発光する（Ｓ１３）。そして、イメージセンサ４８が、この紫色光Ｖが照射された観察対象を撮影することにより、画像取得部５４が第１照明光に対応した第１画像であるＶ画像１１０を取得する（Ｓ１４）。図８に示すように、ここで得るＶ画像１１０は、観察対象の起伏等の形状１１２の他、極表層血管１２４が観察可能である。また、極表層血管１２４よりも粘膜下の深い位置にある表層血管１２３も、Ｖ画像１１０を用いて観察可能である。
　こうしてＶ画像１１０を取得すると、光源部２０が、第２照明光である青色光Ｂを発光し（Ｓ１５）、イメージセンサ４８がこの青色光Ｂが照射された観察対象を撮影することにより、画像取得部５４が第２照明光に対応した第２画像であるＢ画像１２０を取得する（Ｓ１６）。図９に示すように、Ｂ画像１２０は、観察対象の形状１１２の他、比較的深い位置にある表層血管１２３が観察可能である。また、極表層血管１２４もＢ画像１２０を用いて観察可能である。但し、Ｖ画像１１０とＢ画像１２０を比較すると、Ｖ画像１１０の方が極表層血管１２４のコントラストが高く、Ｂ画像１２０の方が極表層血管１２４よりも深い位置にある表層血管１２３のコントラストが高い。
　上記のように、画像取得部５４がＶ画像１１０とＢ画像１２０を取得すると、位置合わせ部７１は、第１画像であるＶ画像１１０と、第２画像であるＢ画像１２０とを位置合わせする（Ｓ１７）。位置合わせ部７１は、Ｖ画像１１０とＢ画像１２０の位置合わせを、精度変更部７２がステップＳ１２において設定変更した精度で行う。すなわち、位置合わせ部７１は、常に高精度で位置合わせをするのではなく、注目構造が何であるかにしたがって位置合わせに要する時間を必要最小限にし、迅速に位置合わせを完了する。
　位置合わせが完了すると、明るさ補正部７３が、第１画像であるＶ画像１１０と第２画像であるＢ画像１２０の明るさを補正し（Ｓ１８）、演算画像生成部７４が、第１画像であるＶ画像１１０から第２画像であるＢ画像１２０を減算して、演算画像Δを生成する（Ｓ１９）。演算画像Δは、元のＶ画像１１０及びＢ画像１２０に対して、粘膜下の比較的深い位置にある表層血管１２３の画素値は小さくなり、かつ、極表層血管１２４の画素値は大きくなる。このため、図１０に示すように、演算画像Δにおいては、極表層血管１２４と、粘膜下の比較的深い位置にある表層血管１２３の違いが、Ｖ画像１１０よりも顕著になる。
　演算画像生成部７４が生成した演算画像Δは、低解像度化部７６が低解像度化する（Ｓ２０）。図１１に示すように、低解像度化した演算画像Δでは、極表層血管１２４や表層血管１２３はぼやけた状態になる。
　その後、画像生成部７７は、第１画像であるＶ画像１１０を輝度チャンネルＹに割り当て、低解像度化した演算画像Δを色差チャンネルＣｂ，Ｃｒに割り当てることにより、注目構造強調画像１３０を生成する（Ｓ２１）。図１２に示すように、注目構造強調画像１３０においては、比較的深い位置にある表層血管１２３がシアン系の色に着色し、極表層血管１２４がマゼンタ系の色に着色する。このため、注目構造強調画像１３０は、注目構造である極表層血管１２４を、比較的深い位置にある表層血管１２３に対して色の違いで強調しており、注目構造である極表層血管１２４が識別しやすくなっている。
　内視鏡システム１０は、注目構造の設定変更をしなければ、上記ステップＳ１３～Ｓ２１の動作を繰り返し行う。このため、表示制御部６６は、上記のように生成する注目構造強調画像１３０を順次取得し、モニタ１８に表示する。これにより、医師等は、特殊観察モードの場合に、注目構造強調画像１３０の動画を観察することができる。注目構造の設定を変更した場合には、再び上記ステップＳ１０から行う。
　上記のように、内視鏡システム１０は、特殊観察モード時に、第１照明光と第２照明光を用いてそれぞれ異なるタイミングにおいて観察対象を撮影して取得する第１画像と第２画像を位置合わせする。このように、第１画像と第２画像の位置合わせをするのは、注目構造を正確に強調するためである。したがって、注目構造を正確に強調することだけを追求するのであれば、可能な限り高い精度で、第１画像と第２画像を位置合わせするのが良い。しかし、位置合わせは処理負荷が高く、時間がかかる処理なので、高精度にするほど、位置合わせのためにモニタ１８に表示する動画のフレームレートが低下する。こうしたことから、内視鏡システム１０においては、むやみに高い精度で第１画像と第２画像を位置合わせするのではなく、上記のように精度変更部７２が位置合わせの精度を適切に変更する。これにより、内視鏡システム１０は、モニタ１８に表示する動画のフレームレートをできる限り維持しつつ、かつ、必要十分な精度で第１画像と第２画像の位置合わせすることができる。
　なお、上記第１実施形態においては、照明光選択部５１が選択した選択照明光の波長の長短にしたがって直線的に位置合わせの精度を変更しているが（図４）、選択照明光の波長に応じて、曲線や単調に変化する関数にしたがって位置合わせの精度を変更してもよい。この他、選択照明光の波長にしたがって、段階的に位置合わせの精度を変更してもよい。
　［第２実施形態］
　上記第１実施形態においては、特殊観察モードにおいて使用する第１照明光及び第２照明光の波長等を設定入力し、その結果、照明光選択部５１が適切な照明光を選択するが、この代わりに、注目構造の深さ等の情報を設定入力し、照明光選択部５１は、この注目構造の深さ等の情報を用いて第１照明光及び第２照明光を選択しても良い。
　この場合、図１３に示すように、プロセッサ装置１６に深さ指定部２０１を設ける。深さ指定部２０１は、コンソール１９等からの操作入力を受け、照明光選択部５１に対して注目構造の粘膜下の深さを指定する。例えば、粘膜表面等を基準として、その基準からの距離（深さ）を数値または数値の範囲において入力する。また、「極表層血管」、「表層血管」、「中層血管」、または、「深層血管」等の予め定める深さの情報を含むメニューの選択にしたがって、簡易的に注目構造の深さを指定することもできる。
　照明光選択部５１は、深さ指定部２０１が指定した深さを用いて第１照明光及び第２照明光を指定する。例えば、注目構造が極表層血管１２４である場合、極表層血管１２４がある深さの数値の入力や「極表層血管」メニューの選択により、深さ指定部２０１は照明光選択部５１に深さを指定するので、照明光選択部５１は、第１照明光に紫色光Ｖを選択し、第２照明光に青色光Ｂを選択する。
　上記のように、注目構造の深さの指定にしたがって特殊観察モードが動作するようにすれば、医師等は、注目構造を適切に観察するための第１照明光及び第２照明光の波長等を検討しなくても良いので、より簡便に特殊観察モードを使用することができる。
　なお、精度変更部７２は、第１実施形態と同様に、照明光選択部５１が選択した選択照明光にしたがって位置合わせ部７１が行う位置合わせの精度を変更する。但し、上記のように深さ指定部２０１を設ける場合には、精度変更部７２は、選択照明光の代わりに、深さ指定部２０１が指定する深さの情報を用いて位置合わせ部７１が行う位置合わせ精度を変更することができる。この場合、図１４に示すように、精度変更部７２は、深さ指定部２０１が指定した注目構造の深さが浅いほど位置合わせの精度を高くし、深さ指定部２０１が指定した注目構造の深さが深いほど位置合わせ精度の精度を低くする。これは、選択照明光が短波長であるほど位置合わせの精度を高くし、選択照明光が長波長であるほど位置合わせの精度を低くするのとほぼ等しい。
　また、上記のように深さ指定部２０１を設ける場合、照明光選択部５１が選択した選択照明光と、深さ指定部２０１が指定した深さを用いて、位置合わせ部７１が行う位置合わせの精度を変更することができる。この場合も、選択照明光が短波長であるほど位置合わせの精度を高くし、選択照明光が長波長であるほど位置合わせの精度を低くし、指定した深さが浅いほど位置合わせの精度を高くし、かつ、指定した深さが深いほど位置合わせの精度を低くするのは上記第１実施形態及び第２実施形態と同様である。このように、選択照明光と、深さ指定部２０１が指定した深さとにしたがって位置合わせの精度を変更すると、上記第１実施形態及び上記第２実施形態よりも、さらに適切に位置合わせの精度を設定変更することができる。
　なお、上記第２実施形態においては、指定した注目構造の深さを用いて直線的に位置合わせの精度を変更しているが（図１４）、指定した注目構造の深さを用いて、曲線や単調に変化する関数にしたがって位置合わせの精度を変更してもよい。この他、指定した注目構造の深さを用いて、段階的に位置合わせの精度を変更することができる。また、上記第２実施形態においては、プロセッサ装置１６に深さ指定部２０１を設けているが、深さ指定部２０１は特殊処理部６３に組み込んでも良い。
　［第３実施形態］
　上記第１実施形態及び第２実施形態においては、精度変更部７２は、照明光選択部５１が選択した選択照明光や深さ指定部２０１が指定した注目構造の深さを用いて、位置合わせ部７１が行う位置合わせの精度を変更するが、これらの代わりに、精度変更部７２は、第１画像と第２画像間の観察対象の動きの大きさ（以下、動き量という）を用いて位置合わせ部７１が行う位置合わせの精度を変更することができる。
　この場合、図１５に示すように、特殊処理部６３に動き量算出部３０１を設ける。動き量算出部３０１は、画像取得部５４から第１画像と第２画像を取得し、これらの間の観察対象の動き量を算出する。具体的には、動き量算出部３０１は、第１画像と第２画像のマッチングにより、第１画像の観察対象と第２画像の観察対象の間の動きベクトルを求め、動きベクトルの大きさの統計量（平均値、中央値、または最大値等）を算出し、動き量とする。
　精度変更部７２は、第１実施形態と同様に、照明光選択部５１が選択した選択照明光にしたがって位置合わせ部７１が行う位置合わせの精度を変更する。但し、本実施形態においては、さらに、動き量算出部３０１が算出した動き量も用いて、位置合わせ部７１が行う位置合わせの精度を変更する。具体的には、精度変更部７２は、選択照明光が短波長であるほど位置合わせの精度を高くし、選択照明光が長波長であるほど位置合わせの精度を低くし、動き量が小さいほど位置合わせの精度を高くし、かつ、動き量が大きいほど位置合わせの精度を低くする。便宜的に選択照明光の波長がλ１、λ２、及びλ３（λ３＞λ２＞λ１）の場合を比較すると、例えば、図１６に示すグラフにしたがって精度変更部７２は位置合わせの精度を変更する。すなわち、選択照明光の波長ごとに、動き量が小さいほど位置合わせの精度を高くし、かつ、動き量が大きいほど位置合わせの精度を低くする。これは、動き量が大きい場合、位置合わせの精度が低いためにアーチファクトがあったとしても、モニタ１８に表示する動画においてはアーチファクトがあることに気付き難く、高精度の位置合わせが実質的には功を奏しないからである。
　上記のように、動き量をさらに考慮すると、より適切に位置合わせの精度を設定変更でき、モニタ１８に表示する動画のフレームレートが維持しつつ、必要十分な精度で第１画像と第２画像の位置合わせしやすくなる。
　上記第３実施形態は、第１実施形態だけでなく、第２実施形態とも組み合わせることができる。また、上記第３実施形態は、第１実施形態及び第２実施形態と組み合わせることができる。第２実施形態のように深さ指定部２０１を設ける場合には、深さ指定部２０１が指定した注目構造の深さが浅いほど位置合わせの精度を高くし、深さ指定部２０１が指定した注目構造の深さが深いほど位置合わせの精度を低くし、動き量が小さいほど位置合わせの精度を高くし、かつ、動き量が大きいほど位置合わせの精度を低くする。
　なお、図１６においては、λ１、λ２、及びλ３のグラフがほぼ平行であり、各照明光選択部５１が選択した選択照明光の波長によらず、動き量を用いて一律に位置合わせの精度を変更しているが、例えば図１７及び図１８に示すように、選択照明光の波長にしたがって動き量に応じた位置合わせの精度の変化率を変えても良い。第２実施形態の深さ指定部２０１と組み合わせる場合も同様である。
　上記第３実施形態においては、動き量を用いて直線的に位置合わせの精度を変更しているが（図１６～図１８）、動き量に応じて、曲線や単調に変化する関数にしたがって位置合わせの精度を変更してもよい。この他、動き量を用いて段階的に位置合わせの精度を変更してもよい。これらのことは、第２実施形態の深さ指定部２０１と組み合わせる場合も同様である。
　動き量を用いて段階的に位置合わせの精度を変更する場合、例えば図１９に示すように、選択照明光の波長が最も短波長のλ１である場合には、動き量ＴＭ１を閾値とし、動き量がＴＭ１以下の場合に、位置合わせの精度をＡｃ２からＡｃ１（Ａｃ１＞Ａｃ２）に変更する。そして、選択照明光の波長がλ１よりも長波長のλ２である場合には、より小さい動き量ＴＭ２（＜ＴＭ１）を閾値とし、動き量がＴＭ２以下の場合に、位置合わせの精度をＡｃ２からＡｃ１に変更する。同様に、選択照明光の波長がλ２よりもさらに長波長のλ３である場合には、さらに小さい動き量ＴＭ３（＜ＴＭ２）を閾値とし、動き量がＴＭ３以下の場合に位置合わせの精度をＡｃ２からＡｃ１に変更する。このように、動き量を用いて段階的に位置合わせの精度を変更する場合は、選択照明光の波長が短波長であるほど、位置合わせの精度を変更する動き量の閾値を大きくする。選択照明光の波長が短波長であるほど、注目構造が細かくかつ浅い位置にあるので、位置合わせの精度に起因したアーチファクトの影響が相対的に大きいからである。
　図１９においては、位置合わせの精度をＡｃ１とＡｃ２の２段階に変化させているが、３以上の段階に位置合わせの精度を変更する場合も同様である。また、図１９においては、段階的に変更する位置合わせの精度が選択照明光の波長によらず共通であるが、段階的に変更する位置合わせの精度は、選択照明光の波長毎に変えることができる。第２実施形態の深さ指定部２０１と組み合わせる場合も同様である。
　［第４実施形態］
　上記第３実施形態においては、精度変更部７２は、動き量、すなわち第１画像と第２画像との間の相対的な観察対象の動きの大きさにしたがって位置合わせ部７１が行う位置合わせの精度を変更しているが、精度変更部７２は、第１画像内における観察対象の動きの大きさ、第２画像内における観察対象の動きの大きさ、または、第１画像内における観察対象の動きの大きさと第２画像内における観察対象の動きの大きさにしたがって、位置合わせ部７１が行う位置合わせの精度を変更することが好ましい。第１画像内（または第２画像内）における観察対象の動きとは、第１画像（または第２画像）を撮影した際の観察対象の移動または観察対象と内視鏡１２との相対的な動きである。したがって、第１画像内（または第２画像内）における観察対象の動きの大きさとは、第１画像（または第２画像）のいわゆるブレの大きさ（以下、ブレ量という）である。
　精度変更部７２が第１画像のブレ量、第２画像のブレ量、または、第１画像のブレ量と第２画像のブレ量を用いて、位置合わせ部７１が行う位置合わせの精度を変更する場合、図２０に示すように、例えば、特殊処理部６３にブレ量を算出するブレ量算出部４０１を設ける。ブレ量算出部４０１は、例えば、周波数解析を用いてブレ量を算出する。より具体的には、第１画像（または第２画像）をフーリエ変換してスペクトルを求め、低周波成分と高周波成分の強度比を算出することにより、第１画像（または第２画像）のブレ量を算出する。低周波成分が大きい場合または高周波成分が小さい場合にブレ量は大きくなり、低周波成分が小さい場合または高周波成分が大きい場合にブレ量は小さくなる。
　精度変更部７２は、第１実施形態と同様に、照明光選択部５１が選択した選択照明光にしたがって位置合わせ部７１が行う位置合わせの精度を変更する。但し、本実施形態においては、さらに、ブレ量算出部４０１が算出したブレ量も用いて、位置合わせ部７１が行う位置合わせの精度を変更する。
　ブレ量を用いて位置合わせの精度を変更する際、精度変更部７２は、ブレ量算出部４０１が算出したブレ量を予め設定した閾値と比較する。具体的には、精度変更部７２は、ブレ量が小さいほど位置合わせの精度を高くし、ブレ量が小さいほど位置合わせの精度を低くする。便宜的に選択照明光の波長がλ１、λ２、及びλ３（λ３＞λ２＞λ１）の場合を比較すると、例えば、図２１に示すグラフにしたがって精度変更部７２は位置合わせの精度を変更する。すなわち、動き量を用いて位置合わせの精度を変更する場合（第３実施形態、図１６参照）と同様に、ブレ量を用いて位置合わせの精度を変更する。本実施形態の精度変更部７２は、第３実施形態の変形例（図１７または図１８）と同様に、選択照明光の波長にしたがってブレ量に応じた位置合わせの精度の変化率を変えてもよい。また、本実施形態の精度変更部７２は、第３実施形態の別の変形例（図１９）と同様に、ブレ量を用いて段階的に位置合わせの精度を変更できる。
　なお、ブレ量を用いて位置合わせの精度を変更する場合、精度変更部７２は、ブレ量を用いて位置合わせ部７１が行う位置合わせのオンオフを切り替えると良い。具体的には、ブレ量が閾値よりも大きい場合、精度変更部７２は、位置合わせ部７１が行う第１画像と第２画像の位置合わせをオフにする。これにより、位置合わせ部７１は、位置合わせをスキップする。ブレ量が閾値以下の場合には、精度変更部７２は、位置合わせ部７１が行う位置合わせをオンにし、第１実施形態と同様に、選択照明光が短波長であるほど位置合わせの精度を高くし、選択照明光が長波長であるほど位置合わせの精度を低くする。この場合、位置合わせ部７１は、精度変更部７２が設定変更した精度で第１画像と第２画像の位置合わせを行う。
　モニタ１８に表示する動画のフレームレートに対してブレ量が大きすぎると、その中の１フレーム分の画像を静止画として視認したとしても、アーチファクトの有無にかかわらず注目構造を観察できない。このため、上記のように、ブレ量が大きい場合に位置合わせをスキップしてアーチファクトが生じたとしても、注目構造が観察できないという点では観察には何ら影響しない。したがって、精度変更部７２は、上記のようにブレ量が大きい場合には、モニタ１８に表示する動画のフレームレートを優先し、位置合わせをスキップする。
　便宜的に選択照明光の波長がλ１、λ２、及びλ３（λ３＞λ２＞λ１）の場合を比較すると、例えば、図２２に示すグラフにしたがって精度変更部７２は位置合わせのオンオフを切り替える。すなわち、選択照明光の波長が最も短波長のλ１の場合、最も小さいブレ量ＴＢ１を閾値とし、ブレ量が閾値ＴＢ１以下のときに位置合わせをオンにし、ブレ量が閾値ＴＢ１より大きい場合には位置合わせをオフにする。次いで選択照明光の波長が短波長であるλ２の場合、λ１用の閾値ＴＢ１よりも大きなブレ量ＴＢ２を閾値とし（ＴＢ２＞ＴＢ１）、ブレ量が閾値ＴＢ２以下の場合に位置合わせをオンにし、ブレ量が閾値ＴＢ２よりも大きい場合に位置合わせをオフにする。同様に、選択照明光の波長が最も長波長であるλ３の場合、λ２用の閾値ＴＢ２よりも更に大きいブレ量ＴＢ３を閾値とし（ＴＢ３＞ＴＢ２）、ブレ量が閾値ＴＢ３以下の場合に位置合わせをオンにし、ブレ量が閾値ＴＢ３よりも大きい場合に、位置合わせをオフにする。
　このように、精度変更部７２が選択照明光の波長が短波長である場合に位置合わせのオンオフを切り替えるブレ量の閾値を小さくするのは、選択照明光の波長が短波長であるほど、注目構造が小さく細かいので、比較的小さなブレでも、モニタ１８に表示する動画では観察対象のブレにしたがって注目構造が観察できなくなるからである。
　精度変更部７２は、ブレ量を位置合わせの具体的な精度の決定と、位置合わせのオンオフの切り替えに使用することができるが、上記のように、ブレ量は、位置合わせのオンオフにだけ使用してもよい。
　上記第４実施形態は、第１実施形態だけでなく、第２実施形態及び第３実施形態とも組み合わせることができる。ブレ量を用いて位置合わせのオンオフを切り替える上記第４実施形態の変形例についても同様である。但し、上記第４実施形態及び変形例のように、ブレ量は、位置合わせの具体的な精度の決定と、位置合わせのオンオフの切り替えに使用することができるが、第１～第３実施形態と上記第４実施形態の変形例を組み合わせる場合、ブレ量を位置合わせのオンオフの切り替えにだけ使用することができる。
　例えば、第２実施形態の深さ指定部２０１を設け、かつ、ブレ量を用いて位置合わせのオンオフを切り替える場合は、位置合わせのオンオフを切り替えるブレ量の閾値は、深さ指定部２０１が指定する注目構造の深さを用いて切り替えることができる。具体的には、深さ指定部２０１が指定する注目構造の深さが浅いほど、位置合わせのオンオフを切り替える閾値を小さくし、深さ指定部２０１が指定する注目構造の深さが深いほど、位置合わせのオンオフを切り替える閾値を大きくすれば良い。ブレ量を用いた位置合わせのオンオフの切り替えを、第１実施形態及び第２実施形態と組み合わせる場合には、選択照明光の波長が短波長である場合に位置合わせのオンオフを切り替えるブレ量の閾値を小さくし、かつ、深さ指定部２０１が指定する注目構造の深さが浅いほど、位置合わせのオンオフを切り替える閾値を小さくすれば良い。
　第３実施形態の動き量算出部３０１を設け、かつ、ブレ量を用いて位置合わせのオンオフを切り替える場合は、図２３に示すように、まずブレ量算出部４０１がブレ量を算出し（Ｓ５１０）、精度変更部７２が位置合わせのオンオフを決める閾値とブレ量を比較する（Ｓ５１１）。ブレ量が閾値以下であった場合には（Ｓ５１１：ＹＥＳ）、動き量算出部３０１が動き量を算出して（Ｓ５１２）、精度変更部７２が動き量等に基づいて位置合わせの精度を決定する（Ｓ５１３）。そして、位置合わせ部７１は、精度変更部７２が決定した精度で第１画像と第２画像を位置合わせする。一方、ブレ量が閾値よりも大きい場合には（Ｓ５１１：ＮＯ）、動き量の算出もスキップする。このように、第１画像と第２画像を位置合わせする際に、最初に位置合わせをするか否かを決め、位置合わせをしない場合には位置合わせだけでなく、動き量の算出もスキップすれば、無駄な演算を省くことができるので、モニタ１８に表示する動画のフレームレートを維持しやすい。
　上記第１～第４実施形態においては、注目構造を強調した注目構造強調画像１３０を生成及び表示しているが、本発明は、注目構造を強調する場合の他、注目構造を抽出する場合や、注目構造に関する生体機能情報（酸素飽和度等）を算出する場合にも好適である。すなわち、本発明は、異なるタイミングにおいて観察対象を撮影して得る第１画像と第２画像を用いて演算をする場合に好適である。
　上記第１～第４実施形態においては、イメージセンサ４８が設けられた内視鏡１２を被検体内に挿入して観察を行う内視鏡システムにおいて本発明を実施しているが、カプセル内視鏡システムにおいても本発明は好適である。図２４に示すように、例えば、カプセル内視鏡システムにおいては、カプセル内視鏡７００と、プロセッサ装置（図示しない）とを少なくとも有する。
　カプセル内視鏡７００は、光源部７０２と制御部７０３と、イメージセンサ７０４と、画像処理部７０６と、送受信アンテナ７０８と、を備えている。光源部７０２は、光源部２０に対応する。制御部７０３は、光源制御部２２及び制御部５２と同様に機能する。また、制御部７０３は、送受信アンテナ７０８を用いて、カプセル内視鏡システムのプロセッサ装置と無線を用いて通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記第１～第４実施形態のプロセッサ装置１６とほぼ同様であるが、画像取得部５４及び画像処理部６１に対応する画像処理部７０６はカプセル内視鏡７００に設けられ、生成した注目構造強調画像１３０等は、送受信アンテナ７０８を介してプロセッサ装置に送信される。イメージセンサ７０４はイメージセンサ４８と同様に構成される。
　１０　内視鏡システム
　１２　内視鏡
　１２ａ　挿入部
　１２ｂ　操作部
　１２ｃ　湾曲部
　１２ｄ　先端部
　１２ｅ　アングルノブ
　１３ａ　スイッチ
　１３ｂ　ズーム操作部
　１４　光源装置
　１６　プロセッサ装置
　１８　モニタ
　１９　コンソール
　２０，７０２　光源部
　２０ａ　Ｖ光源
　２０ｂ　Ｂ光源
　２０ｃ　Ｇ光源
　２０ｄ　Ｒ光源
　２２　光源制御部
　３０ａ　照明光学系
　３０ｂ　撮影光学系
　４１　ライトガイド
　４５　照明レンズ
　４６　対物レンズ
　４７　ズームレンズ
　４８，７０４　イメージセンサ
　５１　照明光選択部
　５２，７０３　制御部
　５４　画像取得部
　５６　ＤＳＰ
　５８　ノイズ低減部
　５９　変換部
　６１，７０６　画像処理部
　６２　通常処理部
　６３　特殊処理部
　６６　表示制御部
　７１　位置合わせ部
　７２　精度変更部
　７３　明るさ補正部
　７４　演算画像生成部
　７６　低解像度化部
　７７　画像生成部
　１１０　Ｖ画像
　１１２　形状
　１２０　Ｂ画像
　１２３　表層血管
　１２４　極表層血管
　１３０　注目構造強調画像
　２０１　深さ指定部
　３０１　動き量算出部
　４０１　ブレ量算出部
　７００　カプセル内視鏡
　７０８　送受信アンテナ
　Ａｄ，Ａｓ　範囲
　ＴＭ１，ＴＭ２，ＴＭ３，ＴＢ１，ＴＢ２，ＴＢ３　閾値

Claims (11)

  1. 　第１照明光を用いて観察対象を撮影して得る第１画像と、前記第１照明光とは異なる第２照明光を用いて、前記第１画像とは異なるタイミングにおいて前記観察対象を撮影して得る第２画像とを取得する画像取得部と、
    　前記第１画像と前記第２画像の位置合わせを行う位置合わせ部と、
    　少なくとも前記観察対象のなかで注目する注目構造にしたがって、前記位置合わせの精度を変更する精度変更部と、
    　を備える内視鏡システム。
  2. 　前記注目構造にしたがって、前記第１照明光及び前記第２照明光を選択する照明光選択部を備え、
    　前記精度変更部は、前記照明光選択部が選択した前記第１照明光、前記第２照明光、または、前記第１照明光と前記第２照明光の組み合わせにしたがって、前記位置合わせの精度を変更する請求項１に記載の内視鏡システム。
  3. 　前記精度変更部は、前記照明光選択部が選択した前記第１照明光、前記第２照明光、または、前記第１照明光と前記第２照明光の組み合わせが短波長であるほど、前記位置合わせの精度を高くする請求項２に記載の内視鏡システム。
  4. 　前記注目構造の深さを指定する深さ指定部を備え、
    　前記精度変更部は、前記深さ指定部が指定した深さを用いて前記位置合わせの精度を変更する請求項１～３のいずれか１項に記載の内視鏡システム。
  5. 　前記精度変更部は、前記深さ指定部が指定した前記注目構造の深さが浅いほど、前記位置合わせの精度を高くする請求項４に記載の内視鏡システム。
  6. 　前記第１画像と前記第２画像とを用いて前記観察対象の動き量を算出する動き量算出部を備え、
    　前記精度変更部は、前記動き量を用いて前記位置合わせの精度を変更する請求項１～５のいずれか１項に記載の内視鏡システム。
  7. 　前記精度変更部は、前記動き量が小さいほど前記位置合わせの精度を高くする請求項６に記載の内視鏡システム。
  8. 　前記第１画像または前記第２画像のブレ量を算出するブレ量算出部を備え、
    　前記精度変更部は、前記ブレ量を用いて前記位置合わせの精度を変更する請求項１～７のいずれか１項に記載の内視鏡システム。
  9. 　前記精度変更部は、前記ブレ量が小さいほど前記位置合わせの精度を高くする請求項８に記載の内視鏡システム。
  10. 　第１照明光を用いて観察対象を撮影して得る第１画像と、前記第１照明光とは異なる第２照明光を用いて、前記第１画像とは異なるタイミングにおいて前記観察対象を撮影して得る第２画像とを取得する画像取得部と、
    　前記第１画像と前記第２画像の位置合わせを行う位置合わせ部と、
    　少なくとも前記観察対象のなかで注目する注目構造にしたがって、前記位置合わせの精度を変更する精度変更部と、
    　を備える内視鏡システムのプロセッサ装置。
  11. 　画像取得部が、第１照明光を用いて観察対象を撮影して得る第１画像と、前記第１照明光とは異なる第２照明光を用いて、前記第１画像とは異なるタイミングにおいて前記観察対象を撮影して得る第２画像とを取得するステップと、
    　位置合わせ部が、前記第１画像と前記第２画像の位置合わせを行うステップと、
    　精度変更部が、少なくとも前記観察対象のなかで注目する注目構造にしたがって、前記位置合わせの精度を変更するステップと、
    　を備える内視鏡システムの作動方法。
PCT/JP2016/077867 2015-12-22 2016-09-21 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 WO2017110180A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16878076.5A EP3403567B1 (en) 2015-12-22 2016-09-21 Endoscopic system, processor device, and method for operating endoscopic system
US15/973,534 US11116384B2 (en) 2015-12-22 2018-05-08 Endoscope system capable of image alignment, processor device, and method for operating endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-250537 2015-12-22
JP2015250537A JP6654038B2 (ja) 2015-12-22 2015-12-22 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/973,534 Continuation US11116384B2 (en) 2015-12-22 2018-05-08 Endoscope system capable of image alignment, processor device, and method for operating endoscope system

Publications (1)

Publication Number Publication Date
WO2017110180A1 true WO2017110180A1 (ja) 2017-06-29

Family

ID=59089999

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/077867 WO2017110180A1 (ja) 2015-12-22 2016-09-21 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Country Status (4)

Country Link
US (1) US11116384B2 (ja)
EP (1) EP3403567B1 (ja)
JP (1) JP6654038B2 (ja)
WO (1) WO2017110180A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019167623A1 (ja) * 2018-03-02 2019-09-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6196900B2 (ja) * 2013-12-18 2017-09-13 オリンパス株式会社 内視鏡装置
WO2015093295A1 (ja) * 2013-12-20 2015-06-25 オリンパス株式会社 内視鏡装置
KR101828351B1 (ko) * 2016-06-24 2018-03-22 인더스마트 주식회사 내시경 시스템
EP3776055A1 (en) * 2018-04-12 2021-02-17 Life Technologies Corporation Apparatuses, systems and methods for generating color video with a monochrome sensor
JP6978604B2 (ja) * 2018-07-10 2021-12-08 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
CN112602115A (zh) * 2018-09-06 2021-04-02 索尼公司 医疗系统、信息处理设备和信息处理方法
CN114554932A (zh) * 2019-10-10 2022-05-27 富士胶片株式会社 内窥镜系统及其工作方法
WO2022056362A1 (en) * 2020-09-11 2022-03-17 Verily Life Sciences Llc Image processing to compensate for scene lighting during surgical procedures

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010227253A (ja) * 2009-03-26 2010-10-14 Olympus Corp 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP2011234844A (ja) 2010-05-10 2011-11-24 Olympus Corp 制御装置、内視鏡装置及びプログラム
JP2013153813A (ja) 2012-01-27 2013-08-15 Olympus Corp 内視鏡装置、画像処理方法及びプログラム
JP2013165776A (ja) * 2012-02-14 2013-08-29 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像生成方法
JP2013202189A (ja) * 2012-03-28 2013-10-07 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡動画表示方法、及び画像処理プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3012267B2 (ja) * 1990-02-05 2000-02-21 オリンパス光学工業株式会社 電子式内視鏡装置
JP2836158B2 (ja) * 1990-01-31 1998-12-14 富士写真光機株式会社 スチル画像撮影装置
US6671540B1 (en) * 1990-08-10 2003-12-30 Daryl W. Hochman Methods and systems for detecting abnormal tissue using spectroscopic techniques
JP3340467B2 (ja) * 1991-08-12 2002-11-05 オリンパス光学工業株式会社 色ズレ軽減装置
JP3193416B2 (ja) * 1991-10-02 2001-07-30 オリンパス光学工業株式会社 色ズレ検出装置
JP4093503B2 (ja) * 1997-06-13 2008-06-04 フジノン株式会社 立体視内視鏡
AU6754900A (en) * 1999-08-03 2001-02-19 Biophysica, Llc Spectroscopic systems and methods for detecting tissue properties
JP2001136540A (ja) * 1999-11-05 2001-05-18 Olympus Optical Co Ltd 画像処理装置
US20110057930A1 (en) * 2006-07-26 2011-03-10 Inneroptic Technology Inc. System and method of using high-speed, high-resolution depth extraction to provide three-dimensional imagery for endoscopy
CN104883950B (zh) * 2013-03-27 2016-12-28 奥林巴斯株式会社 内窥镜系统
JP6049202B2 (ja) * 2013-10-25 2016-12-21 富士フイルム株式会社 画像処理装置、方法、及びプログラム
US10080484B2 (en) * 2014-01-31 2018-09-25 University Of Washington Multispectral wide-field endoscopic imaging of fluorescence
JP5977772B2 (ja) * 2014-02-06 2016-08-24 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010227253A (ja) * 2009-03-26 2010-10-14 Olympus Corp 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP2011234844A (ja) 2010-05-10 2011-11-24 Olympus Corp 制御装置、内視鏡装置及びプログラム
JP2013153813A (ja) 2012-01-27 2013-08-15 Olympus Corp 内視鏡装置、画像処理方法及びプログラム
JP2013165776A (ja) * 2012-02-14 2013-08-29 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像生成方法
JP2013202189A (ja) * 2012-03-28 2013-10-07 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡動画表示方法、及び画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3403567A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019167623A1 (ja) * 2018-03-02 2019-09-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
JPWO2019167623A1 (ja) * 2018-03-02 2021-02-04 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
US11911007B2 (en) 2018-03-02 2024-02-27 Fujifilm Corporation Image processing device, endoscope system, and image processing method

Also Published As

Publication number Publication date
US20180249889A1 (en) 2018-09-06
EP3403567B1 (en) 2020-05-27
EP3403567A4 (en) 2019-04-10
JP2017113183A (ja) 2017-06-29
EP3403567A1 (en) 2018-11-21
US11116384B2 (en) 2021-09-14
JP6654038B2 (ja) 2020-02-26

Similar Documents

Publication Publication Date Title
WO2017110180A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6420230B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US9675238B2 (en) Endoscopic device
JP6461739B2 (ja) 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
US10039439B2 (en) Endoscope system and method for operating the same
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP6234350B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP7021183B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2017159059A1 (ja) 内視鏡システム及びその作動方法
WO2017183324A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2017183307A1 (ja) 内視鏡システム、画像処理装置、及び画像処理装置の作動方法
JP6196598B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6840737B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US20160287061A1 (en) Endoscope system, processor device, and operation method of endoscope system
WO2018061414A1 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JPWO2019039354A1 (ja) 光源装置及び内視鏡システム
JP6774550B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2019093356A1 (ja) 内視鏡システム及びその作動方法
WO2016104408A1 (ja) 内視鏡用のプロセッサ装置、及びその作動方法、並びに制御プログラム
JP6153913B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP7390465B2 (ja) 内視鏡システム、及び内視鏡システムの作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16878076

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE