WO2021250952A1 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
WO2021250952A1
WO2021250952A1 PCT/JP2021/008524 JP2021008524W WO2021250952A1 WO 2021250952 A1 WO2021250952 A1 WO 2021250952A1 JP 2021008524 W JP2021008524 W JP 2021008524W WO 2021250952 A1 WO2021250952 A1 WO 2021250952A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
observation
still
still image
observation image
Prior art date
Application number
PCT/JP2021/008524
Other languages
English (en)
French (fr)
Inventor
昌之 蔵本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022530028A priority Critical patent/JP7477208B2/ja
Priority to CN202180040822.0A priority patent/CN115697179A/zh
Publication of WO2021250952A1 publication Critical patent/WO2021250952A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an endoscope system for storing still images of a plurality of types of observation images and a method of operating the same when switching and displaying a plurality of types of observation images.
  • an endoscope system equipped with a light source device, an endoscope, and a processor device is widely used.
  • the observation target is irradiated with illumination light from the endoscope, and the observation target being illuminated by the illumination light is imaged by the image pickup element of the endoscope, and the observation target is based on the RGB image signal obtained.
  • the image of is displayed on the display.
  • a plurality of observation images having different display contents are simultaneously or switched to be displayed on a display according to the purpose of diagnosis.
  • Patent Document 1 when the first observation image emphasizing the surface blood vessel and the second observation image emphasizing the deep blood vessel are switched and displayed on the display, the background mucous membrane of the first observation image and the second observation image is displayed. By making the color tones the same, the difference between the first observation image and the second observation image can be understood.
  • the still images of the multiple types of observation images are stored in the still image storage memory in order to perform post-diagnosis. It is required to save.
  • the user confirms the contents of the still image in advance and then saves the still image in the still image storage memory.
  • Patent Document 2 describes three types of still images as a plurality of types of observation images, such as a still image for oxygen saturation observation, a still image for normal observation, and a still image for blood vessel emphasis observation. , It is described that the image is continuously displayed on the display by switching one by one at regular intervals. However, depending on the time for switching the display of the three types of still images, it may be difficult to grasp the difference in the contents of the still images.
  • the present invention provides an endoscopic system and an operation method thereof that can confirm the difference between the still images of a plurality of types of observation images before storage when the still images of a plurality of types of observation images are stored. With the goal.
  • the endoscope system of the present invention acquires a display displaying a first observation image or a second observation image different from the first observation image, and a still image of the first observation image or a still image of the second observation image.
  • a freeze processing operation member for performing freeze processing for the purpose and an image processing processor are provided, and the image processing processor automatically switches between the first observation image and the second observation image in a moving image switching cycle during the moving image display period.
  • the still image is saved in the still image storage memory from the still image set including the still image of the first observation image and the still image of the second observation image.
  • the first storage candidate image corresponding to the still image of the first observation image and the second storage candidate image corresponding to the still image of the second observation image are selected, and the first storage candidate image and the second storage are selected.
  • the candidate image is automatically switched in the still image switching cycle and displayed on the display, and the still image switching cycle is faster than the moving image switching cycle.
  • the image processing processor selects the still image of the first observed image with the least blur and the smallest blur among the still images of the first observed image included in the still image set as the first storage candidate image, and is still.
  • the still image of the second observed image included in the image set the still image of the second observed image with the smallest misalignment with respect to the still image of the first observed image with the smallest blur is the second storage candidate image. It is preferable to select as. It is preferable that the image processing processor performs the alignment processing for aligning the still image of the first observation image with the minimum blur and the still image of the second observation image with the minimum misalignment.
  • the image processing processor selects the still image of the second observed image with the least blur and the smallest blur among the still images of the second observed image included in the still image set as the second storage candidate image, and is still.
  • the still image of the first observed image with the smallest misalignment with respect to the still image of the second observed image with the smallest blur is the first storage candidate image. It is preferable to select as.
  • the image processing processor performs the alignment processing for aligning the still image of the first observation image with the minimum misalignment and the still image of the second observation image with the minimum blurring.
  • the number of times of switching display between the first storage candidate image and the second storage candidate image is 3 times or less in 1 second.
  • the image processing processor preferably uses a user interface to set at least one of a moving image switching cycle and a still image switching cycle.
  • the image processing processor displays the first observation image on the display at the timing when the freeze processing is started, in the still image display period, after displaying the still image of the first storage candidate image on the display, the first image processing processor displays the first observation image on the display. It is preferable that the 1st storage candidate image and the 2nd storage candidate image are automatically switched at the still image switching cycle and displayed on the display.
  • a storage processing operation member for performing a still image storage process for storing the first storage candidate image and the second storage candidate image in the still image storage memory
  • the image processing processor at least freezes. It is preferable to execute the freeze process when the process operation member is operated, and to execute the still image preservation process by operating the save process operation member during the freeze process execution. During the freeze setting time that starts according to the operation of the freeze processing operation member, it is preferable that the freeze processing continues even when the operation of the freeze processing operation member is released.
  • It has a light source unit that emits a first illumination light having the first spectral information and a second illumination light having a second spectral information different from the first spectral information, and a light source processor, and the light source processor is the first.
  • the first illumination light and the second illumination light are automatically switched, the first observation image is obtained by imaging the observation target illuminated by the first illumination light, and the second observation image is obtained by the second illumination light. It is preferably obtained by imaging an illuminated observation target.
  • the image processing processor acquires the observation image generation image, assigns the first color signal of the observation image generation image to the brightness information, generates the first observation image, and generates the second color signal of the observation image generation image. Is preferably assigned to the brightness information to generate a second observation image.
  • the first observation image and the second observation image display the same observation target, and at least a part of the background mucous membrane has the same color tone, and the first observation image and the second observation image have the same color tone. It is preferable that it is different from the second spectral information possessed by.
  • the endoscope system of the present invention acquires a display displaying a first observation image or a second observation image different from the first observation image, and a still image of the first observation image or a still image of the second observation image.
  • the image processing processor is provided with a freeze processing operation member for performing freeze processing for the purpose, and an image processing processor.
  • the image processing processor acquires an observation image generation image and uses the first color signal of the observation image generation image as brightness information. Either one of the assigned first color signal image or the second color signal image of the observation image generation image assigned to the brightness information is used as the first observation image and the other as the second observation image.
  • the first observation image and the second observation image are automatically switched in the moving image switching cycle and displayed on the display, and in the still image display period started by the freeze process, the first observation image is generated.
  • the first storage candidate image corresponding to the still image of the first observation image with the minimum blurring and the first storage candidate image are the candidates for saving in the still image storage memory. 1
  • the still image of the second observation image generated from the same observation image generation image as the storage candidate image is selected as the second storage candidate image, and the first storage candidate image and the second storage candidate image are switched between the still images.
  • the image is automatically switched at a cycle and displayed on the display, and the still image switching cycle is made faster than the moving image switching cycle.
  • the present invention provides a display that displays a first observation image or a second observation image different from the first observation image, and a freeze process for acquiring a still image of the first observation image or a still image of the second observation image.
  • the image processing processor switches between the first observation image and the second observation image during the moving image display period.
  • a still image is selected from the still image set including the still image of the first observation image and the still image of the second observation image.
  • the first storage candidate image corresponding to the still image of the first observation image and the second storage candidate image corresponding to the still image of the second observation image are selected, and the first storage candidate is selected.
  • the image and the second storage candidate image are automatically switched in the still image switching cycle and displayed on the display, and the still image switching cycle is made faster than the moving image switching cycle.
  • the present invention when storing still images of a plurality of types of observation images, it is possible to confirm the difference between the still images of the plurality of types of observation images before saving.
  • the endoscope system 10 of the first embodiment includes an endoscope 12, a light source device 14, a processor device 16, a display 18, and a user interface 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 includes an insertion portion 12a to be inserted into the subject, an operation portion 12b provided at the base end portion of the insertion portion 12a, and a curved portion 12c and a tip portion 12d provided on the tip end side of the insertion portion 12a. have.
  • the angle knob 12e of the operation unit 12b By operating the angle knob 12e of the operation unit 12b, the bending unit 12c bends. With this bending motion, the tip portion 12d is directed in a desired direction.
  • the user interface 19 includes a mouse and the like in addition to the illustrated keyboard.
  • the operation unit 12b is provided with a mode switching SW13a and a freeze processing operation member 13b in addition to the angle knob 12e.
  • the mode switching SW13a is used for switching between the normal observation mode, the first special observation mode, the second special observation mode, and the multi-observation mode.
  • the normal observation mode is a mode in which a normal image is displayed on the display 18.
  • the first special observation mode is a mode in which the first observation image in which the surface blood vessels are emphasized is displayed on the display 18.
  • the second special observation mode is a mode in which a second observation image emphasizing deep blood vessels is displayed on the display 18.
  • the multi-observation mode is a mode in which the first observation image and the second observation image are automatically switched and displayed on the display 18.
  • a foot switch may be used in addition to the mode switching SW13a.
  • the freeze processing operation member 13b is used for the execution operation of the freeze processing. Further, the freeze processing operation member 13b also functions as a storage processing operation member for executing the still image storage process.
  • the freeze process is executed at least when the freeze process operation member 13b is operated. During the execution of this freeze process, the still image storage process is executed by further operating the freeze process operation member 13b as the storage process operation member.
  • the freeze process that is, the still state of the observed image is released. Details of the freeze process and the still image storage process will be described later. It is preferable to continue the freeze processing even when the operation of the freeze processing operation member 13b is canceled within the freeze setting time started according to the operation of the freeze processing operation member 13b.
  • the freeze setting time can be set in advance by a service person or the like operating the user interface 19.
  • the processor device 16 is electrically connected to the display 18 and the user interface 19.
  • the display 18 outputs and displays image information and the like.
  • the user interface 19 functions as a UI (User Interface) that accepts input operations such as function settings.
  • An external recording unit (not shown) for recording image information or the like may be connected to the processor device 16.
  • the light source device 14 includes a light source unit 20, a light source processor 21, and an optical path coupling unit 23.
  • the light source unit 20 has a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and an R-LED (Red Light Emitting Diode) 20d. is doing.
  • the light source processor 21 controls the driving of the LEDs 20a to 20d.
  • the optical path coupling unit 23 couples the optical paths of the four colors of light emitted from the four colors of LEDs 20a to 20d.
  • the light coupled by the optical path coupling portion 23 is irradiated into the subject through the light guide 41 inserted into the insertion portion 12a and the illumination lens 45.
  • An LD Laser Diode
  • the V-LED 20a generates purple light V having a center wavelength of 405 ⁇ 10 nm and a wavelength range of 380 to 420 nm.
  • the B-LED 20b generates blue light B having a center wavelength of 460 ⁇ 10 nm and a wavelength range of 420 to 500 nm.
  • the G-LED 20c generates green light G having a wavelength range of 480 to 600 nm.
  • the R-LED 20d generates red light R having a central wavelength of 620 to 630 nm and a wavelength range of 600 to 650 nm.
  • the light source processor 21 emits normal light having a light intensity ratio of Vc: Bc: Gc: Rc among purple light V, blue light B, green light G, and red light R.
  • Each LED 20a to 20d is controlled.
  • the light intensity ratio between the purple light V, the blue light B, the green light G, and the red light R is Vs1: Bs1: Gs1: Rs1 as the first spectral information.
  • Each LED 20a to 20d is controlled so as to emit the first illumination light. It is preferable that the first illumination light can emphasize the surface blood vessels and accurately reproduce the color of the background mucosa. Therefore, for example, as shown in FIG.
  • Bs1 may be set to "0". Since the first illumination light in this case includes purple light, green light, and red light, it is possible to emphasize the superficial blood vessels as described above, accurately reproduce the color of the background mucosa, and to accurately reproduce the glandular duct. Various structures such as structure and unevenness can be emphasized. Compared with the spectrum of the second illumination light described later (see FIG. 5), it is preferable that Gs1 ⁇ Gs2 and Rs1 ⁇ Rs2.
  • the light intensity ratio includes the case where the ratio of at least one semiconductor light source is 0 (zero). Therefore, this includes the case where any one or more of the semiconductor light sources are not lit. For example, as in the case where the light intensity ratio between purple light V, blue light B, green light G, and red light R is 1: 0: 0: 0, only one of the semiconductor light sources is turned on, and the other three. Even if one does not light up, it shall have a light intensity ratio.
  • the light source processor 21 has a light intensity ratio of Vs2: Bs2: Gs2: Rs2 between purple light V, blue light B, green light G, and red light R as the second spectral information.
  • Each LED 20a to 20d is controlled so as to emit the second illumination light.
  • the second illumination light can emphasize the deep blood vessels and accurately reproduce the color of the background mucosa. Therefore, for example, as shown in FIG. 5, it is preferable that Gs2 and Rs2> 0.
  • Vs1 and Bs1 are smaller than Gs2 and Rs2. Since the second illumination light in this case includes green light and red light, deep blood vessels can be emphasized and the color of the background mucosa can be accurately reproduced.
  • the first illumination light and the second illumination light are emitted in a light emission period of two frames or more, respectively, and the first illumination light and the second illumination light are emitted. Controls to automatically switch between the illumination light and emit light.
  • the first observation image obtained when the first illumination light is emitted and the second observation image obtained when the second illumination light is emitted are generated so that the color tones of a part of the background mucous membrane are at least the same. ing.
  • the background mucosa refers to a region of the observation target that does not include a region recognized or imaged as a structure such as a blood vessel or a ductal structure.
  • the "frame” is a unit for controlling the image pickup sensor 48 that captures an image of an observation target.
  • “1 frame” is an exposure period and an image that exposes the image pickup sensor 48 with light from an observation target. It means a period including at least a read period for reading a signal.
  • the light emitting period is determined corresponding to the "frame” which is a unit of imaging.
  • the light source processor 21 controls the amount of illumination light emitted from each of the LEDs 20a to 20d based on the brightness information sent from the brightness information calculation unit 54 of the processor device 16.
  • the light guide 41 is built in the endoscope 12 and the universal cord (the cord connecting the endoscope 12, the light source device 14 and the processor device 16), and is formed in the optical path coupling portion 23.
  • the combined light propagates to the tip portion 12d of the endoscope 12.
  • a multimode fiber can be used as the light guide 41.
  • a fine fiber cable having a core diameter of 105 ⁇ m, a clad diameter of 125 ⁇ m, and a diameter of ⁇ 0.3 to 0.5 mm including a protective layer serving as an outer skin can be used.
  • the tip portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an image pickup optical system 30b.
  • the illumination optical system 30a has an illumination lens 45, and the light from the light guide 41 is irradiated to the observation target through the illumination lens 45.
  • the image pickup optical system 30b has an objective lens 46 and an image pickup sensor 48. The reflected light from the observation target is incident on the image pickup sensor 48 via the objective lens 46. As a result, a reflected image to be observed is formed on the image pickup sensor 48.
  • the image pickup sensor 48 is a color image pickup sensor, which captures a reflected image of a subject and outputs an image signal.
  • the image pickup sensor 48 is preferably a CCD (Charge Coupled Device) image pickup sensor, a CMOS (Complementary Metal-Oxide Semiconductor) image pickup sensor, or the like.
  • the image pickup sensor 48 used in the present invention is a color image pickup sensor for obtaining RGB image signals of three colors of R (red), G (green) and B (blue), that is, an R pixel provided with an R filter.
  • a so-called RGB image pickup sensor including a G pixel provided with a G filter and a B pixel provided with a B filter.
  • the image sensor 48 is a so-called complementary color image sensor equipped with C (cyan), M (magenta), Y (yellow), and G (green) complementary color filters instead of the RGB color image sensor. May be.
  • C cyan
  • M magenta
  • Y yellow
  • G green
  • the image pickup sensor 48 may be a monochrome image pickup sensor without a color filter. In this case, the light source processor 21 needs to turn on the blue light B, the green light G, and the red light R in a time-division manner, and to add a simultaneous process in the processing of the image pickup signal.
  • the image signal output from the image pickup sensor 48 is transmitted to the CDS / AGC circuit 50.
  • the CDS / AGC circuit 50 performs correlated double sampling (CDS (Correlated Double Sampling)) and automatic gain control (AGC (Auto Gain Control)) on an image signal which is an analog signal.
  • CDS Correlated Double Sampling
  • AGC Automatic gain control
  • the image signal that has passed through the CDS / AGC circuit 50 is converted into a digital image signal by the A / D converter (A / D (Analog / Digital) converter) 52.
  • the A / D converted digital image signal is input to the processor device 16.
  • the processor device 16 programs related to various processes such as freeze processing and still image storage processing are incorporated in a program memory (not shown).
  • the processor device 16 includes the image acquisition unit 53, the brightness information calculation unit 54, the DSP (Digital Signal Processor) 56, and noise removal.
  • the function of the still image-related processing unit 68 is realized.
  • the image acquisition unit 53 acquires an observation image obtained by imaging an observation target with the endoscope 12. Specifically, as an observation image, a digital color image signal from the endoscope 12 is input to the image acquisition unit 53.
  • the color image signal is derived from an R image signal output from the R pixel of the image sensor 48, a G image signal output from the G pixel of the image sensor 48, and a B image signal output from the B pixel of the image sensor 48. It is a constituent RGB image signal.
  • the brightness information calculation unit 54 calculates brightness information indicating the brightness of the observation target based on the RGB image signal input from the image acquisition unit 53. The calculated brightness information is sent to the light source processor 21 and used for controlling the amount of light emitted from the illumination light.
  • the DSP 56 performs various signal processing such as defect correction processing, offset processing, gain correction processing, linear matrix processing, gamma conversion processing, or demosaic processing on the received image signal.
  • defect correction process the signal of the defective pixel of the image sensor 48 is corrected.
  • offset processing the dark current component is removed from the RGB image signal subjected to the defect correction processing, and an accurate zero level is set.
  • gain correction process the signal level is adjusted by multiplying the RGB image signal after the offset process by a specific gain.
  • the RGB image signal after the gain correction processing is subjected to linear matrix processing for improving color reproducibility. After that, the brightness and saturation are adjusted by the gamma conversion process.
  • the RGB image signal after the linear matrix processing is subjected to demosaic processing (also referred to as isotropic processing and simultaneous processing), and a signal of a color lacking in each pixel is generated by interpolation.
  • demosaic processing also referred to as isotropic processing and simultaneous processing
  • all pixels have signals of each color of RGB.
  • the noise removing unit 58 removes noise from the RGB image signal by performing noise removing processing (for example, a moving average method, a median filter method, etc.) on the RGB image signal that has been gamma-corrected by the DSP 56.
  • the RGB image signal from which noise has been removed is transmitted to the signal switching unit 60.
  • the signal switching unit 60 When the signal switching unit 60 is set to the normal observation mode by the mode switching SW 13a, the signal switching unit 60 transmits an RGB image signal to the normal observation image processing unit 62. Further, when the first special observation mode is set, the RGB image signal is transmitted to the first special observation image processing unit 63. When the second special observation mode is set, the RGB image signal is transmitted to the second special observation image processing unit 64. Further, when the multi-observation mode is set, the RGB image signal obtained by the illumination and imaging of the first illumination light is transmitted to the first special observation image processing unit 63, and the illumination and imaging of the second illumination light are performed. The RGB image signal obtained in 1 is transmitted to the second special observation image processing unit 64.
  • the normal observation image processing unit 62 performs image processing for a normal image on the RGB image signal obtained in the normal observation mode.
  • the image processing for a normal image includes a structure enhancement process for a normal image and the like.
  • the normal observation image processing unit 62 is provided with a normal image parameter to be multiplied with respect to the RGB image signal in order to perform image processing for the normal image.
  • the RGB image signal subjected to image processing for a normal image is input from the normal observation image processing unit 62 to the display control unit 66 as a normal image.
  • the first special observation image processing unit 63 is an image such as saturation enhancement processing, hue enhancement processing, and structure enhancement processing based on the RGB image signal of the first observation image obtained at the time of illumination of the first illumination light and imaging.
  • the first observation image that has been processed (image processing for the first observation image) is generated.
  • image processing for the first observation image is generated.
  • the first special observation image processing unit 63 does not perform surface blood vessel enhancement processing for emphasizing surface blood vessels in order to display the first observation image on the display 18 as much as possible, but depending on the processing load, The surface blood vessel enhancement treatment may be performed.
  • the second special observation image processing unit 64 performs saturation enhancement processing, hue enhancement processing, structure enhancement processing, and the like based on the second RGB image signal of the second observation image obtained at the time of illumination of the second illumination light and imaging.
  • a second observation image to which image processing (image processing for a second observation image) has been performed is generated.
  • image processing image processing for a second observation image
  • many deep blood vessels are included, and the color of the background mucosa is accurately reproduced.
  • at least a part of the background mucosa has the same color tone in the first observation image and the second observation image.
  • the display control unit 66 displays a normal image, a first observation image, or a second observation image input from the normal observation image processing unit 62, the first special observation image processing unit 63, and the second special observation image processing unit 64. Control is performed to display the image as a displayable image in 18. The details of the display control unit will be described later.
  • the still image-related processing unit 68 performs a freeze process for acquiring a still image of an image corresponding to each observation mode, and a still image saving process for saving the still image obtained by the freeze process in the still image storage memory 67.
  • the still image of the normal image is acquired by the freeze process, and the acquired still image of the normal image is saved in the still image storage memory 67 by the still image saving process.
  • the first special observation mode the still image of the first observed image is acquired by the freeze process, and the acquired still image of the first image is saved in the still image storage memory 67 by the still image saving process.
  • the still image of the second observation image is acquired by the freeze process, and the acquired still image of the second observation image is saved in the still image storage memory 67 by the still image storage process. Details of the freeze process and the still image storage process in the multi-observation mode will be described later.
  • the image corresponding to each observation mode is displayed by the control by the display control unit 66.
  • a normal image is displayed on the display 18.
  • the first observation image showing the background mucosa and the surface blood vessels among the observation targets is displayed.
  • the second special observation mode as shown in FIG. 7, the second observation image showing the background mucosa and the deep blood vessels of the observation target is displayed.
  • the color first observation image and the second observation image are switched according to the emission period of the first illumination light and the emission period of the second illumination light. It is displayed on the display 18. That is, when the emission period of the first illumination light is 2 frames and the emission period of the second illumination light is 3 frames, the first observation image is displayed for 2 frames in a row, and the second observation image is 3 frames. Frames are displayed continuously.
  • the two types of first observation image and second observation image can be automatically switched and displayed without the user operating the mode switching SW13a.
  • the same observation target is displayed in the first observation image and the second observation image unless the observation target moves or the tip portion 12d of the endoscope 12 does not move.
  • the appearance of the observation target is different due to the difference in the spectral information because the spectral information is different from each other. That is, the visibility of the surface blood vessels is high in the first observation image having the first spectral information, while the visibility of the deep blood vessels is high in the second observation image having the second spectral information. Therefore, by switching and displaying the first observation image and the second observation image, it is possible to improve the visibility of a plurality of blood vessels having different depths.
  • the first observation image and the second observation image are images obtained based on the illumination light including the red, green, and blue bands, respectively, the color tone of the background mucous membrane can be reproduced. Therefore, the first observation image and the second observation image displayed in the multi-observation mode generate an image in which the color tone of the background mucous membrane is almost the same as that of the normal image, so that the user does not feel uncomfortable. As a result, the user can learn about the multi-observation mode in a relatively short period of time. Further, by switching between the first observation image and the second observation image and displaying them, it is possible to grasp how the blood vessels stand up from the deep blood vessels to the surface blood vessels. Further, since the color tone of the background mucous membrane is the same in the first observation image and the second observation image, it is possible to emphasize and display only the difference in blood vessels by switching the images.
  • the freeze process and the still image storage process in the multi-observation mode will be described.
  • a moving image display period and a still image display period started by freeze processing are provided. ..
  • the moving image display period is a period during which the freeze process or the still image storage process is not performed, or a period during which the image is restored after the still image display period ends.
  • the still image of the first observation image is selected as a candidate for storage in the still image storage memory 67 from the still image set including the still image of the first observation image and the still image of the second observation image.
  • the corresponding first storage candidate image and the second storage candidate image corresponding to the still image of the second observation image are selected, and the first storage candidate image and the second storage candidate image are automatically switched in the still image switching cycle. Is displayed on the display 18.
  • the first observation image is displayed on the display 18 at the timing when the freeze process is started, in the still image display period, the still image of the first storage candidate image is displayed on the display and then the first storage candidate. It is preferable that the image and the second storage candidate image are automatically switched at the still image switching cycle and displayed on the display 16.
  • the still image set may be either a still image set obtained during the moving image display period or a still image set obtained during the still image display period.
  • a still image set obtained during the still image display period.
  • the still image display period is preferably a fixed time sufficient for the user to grasp the content of the still image.
  • the first storage candidate image and the second storage candidate image are selected as candidates to be stored in the still image storage memory 67.
  • the still images of the first observation image included in the still image set the still image of the first observation image with the least blurring and the minimum blurring is selected as the first storage candidate image, and the still image.
  • the still images of the second observed image included in the set the still image of the second observed image having the smallest positional deviation with respect to the still image of the first observed image with the minimum blur is used as the second storage candidate image. select. Further, it is preferable to perform the alignment processing for aligning the still image of the first observation image with the minimum blur and the second observation image with the minimum misalignment using the index value related to "misalignment" described later.
  • the still image of the second observation image included in the still image set is selected as the second storage candidate image and is included in the still image set.
  • the still image of the first observed image is selected as the first storage candidate image. May be good.
  • “blurring” is generated by the movement of the observation target or the tip portion 12d of the endoscope, and reduces the sharpness of the observation coping.
  • the index value related to “blurring” is preferably calculated from the spatial frequency of the image, and it is preferable to use the index value related to "blurring” to select the still image of the first observation image having the minimum blurring.
  • the index value related to "positional deviation” is calculated from the movement vector between the still image of the first observation image with the minimum blur and the second observation image to be compared with the still image of the first observation image with the minimum blur. It is preferable that the selection of the minimum still image of the misalignment is performed by using the index value related to the “misalignment”.
  • the still image set is composed of the still images P1a, P1b, P1c of the first observation image for three frames and the still images P2a, P2b of the second observation images for two frames.
  • the first observation image P1b is selected as the still image of the first observation image with the minimum blurring from the still images of the first observation images P1a, P1b, and P1c.
  • the second observation image P2a is selected as the still image of the second observation image having the smallest position deviation with respect to the first observation image P1b.
  • the still image of the first observation image with the minimum blurring is displayed.
  • the second observation image with the minimum misalignment are automatically displayed on the display 18 at the still image switching cycle.
  • the first observation image P1b is selected as the still image of the first observation image with the minimum blurring
  • the second observation image P2a is selected as the still image of the second observation image with the minimum misalignment.
  • the first observation image P1b and the second observation image P2a are automatically switched at the still image switching cycle and displayed on the display 18.
  • the user After confirming the first observation image P1b and the second observation image P2a of the display 18, the user fully presses the freeze processing operation member 13b to execute the still image storage process, thereby performing the first observation image P1b and the second observation image P2a.
  • the second observation image P2a and the second observation image P2a are stored in the still image storage memory 67.
  • the still image switching cycle is faster than the moving image switching cycle. This makes the still image switching cycle faster than the moving image switching cycle so that the user can confirm the difference between the first storage candidate image and the second storage candidate image to be saved in the still image storage memory 67.
  • the moving image switching cycle is represented by the number of times (times / second) that the first observation image and the second observation image are switched and displayed on the display 18 in one second.
  • the still image switching cycle is represented by the number of times (times / second) that the first storage candidate image and the second storage candidate image are switched and displayed on the display 18 in one second.
  • the moving image switching cycle is set to 1 time / sec
  • the still image switching cycle is set to 3 times / sec, so that the first storage candidate image and the second storage candidate are set during the still image display period. You can definitely see the difference between the images.
  • the number of still image switching is preferably 3 times / sec or less, and if it exceeds 3 times / sec, a problem of photosensitivity may occur.
  • the moving image switching cycle and the still image switching cycle can be appropriately changed in the still image-related processing unit 68.
  • the still image-related processing unit 68 displays the switching cycle setting menu shown in FIG. 14 on the display 18.
  • the still image switching cycle can be changed, for example, from 1 time / second to 3 times / second in 0.5 times / second increments. Each switching cycle is assigned on the slide bar 80a.
  • the still image switching cycle is changed by operating the user interface 19 and aligning the slider 81a with the position on the slide bar 80a indicating the switching cycle to be changed.
  • operate the user interface 19 to switch on the slide bar 80b for example, the switching cycle from 1 time / second to 3 times / second, which can be changed in 0.5 times / second increments).
  • the moving image switching period is changed by adjusting the slider 8b to the position indicating the cycle. Since it is preferable that the still image switching cycle is earlier than the moving image switching cycle, in this case, the still image switching cycle or the moving image switching cycle is set so that the relationship of still image switching cycle> moving image switching cycle is maintained. Be changed.
  • the first storage candidate image and the second storage candidate image are selected as candidates to be stored in the still image storage memory 67. Select a save candidate image.
  • the first storage candidate image and the second storage candidate image are selected, the first storage candidate image and the second storage candidate image are automatically switched at the still image switching cycle and displayed on the display 18.
  • the freeze processing operation member 13b When the user agrees to save the first storage candidate image and the second storage candidate image displayed on the display 18 as still images, the freeze processing operation member 13b is fully pressed to save the still images. The process is executed. As a result, the first storage candidate image and the second storage candidate image are stored in the still image storage memory 67. On the other hand, if the user does not agree to save the first storage candidate image and the second storage candidate image displayed on the display 18 as still images, the freeze processing operation member 13b is not operated and is left as it is. .. Alternatively, the user interface 19 is operated to perform an operation not to save the first storage candidate image and the second storage candidate image. Then, when the still image display period for a certain period of time ends, the moving image display period is restored.
  • the freeze process and the still image storage process are operated by one freeze process operation member 13b, but as shown in FIG. 16, the freeze process operation member 13b performs only the freeze process and freezes.
  • the still image storage process may be performed by the storage process operation member 13c that is separate from the process operation member 13b.
  • the normal observation image processing unit 62, the first special observation image processing unit 63, and the second special observation image processing unit 64 are provided, and any of the processing units is provided according to the observation mode.
  • the signal switching unit 60 determines whether to perform the processing, the processing may be performed by another method.
  • a specific image processing unit 80 may be provided, and image processing corresponding to each observation mode may be performed by using the parameters corresponding to the observation modes.
  • a normal image is generated by setting the parameters for normal images and performing image processing in the specific image processing unit 80.
  • the specific image processing unit 80 sets the parameters for the first observation image and generates the first observation image.
  • the specific image processing unit 80 sets the parameters for the second observation image and generates the second observation image.
  • the specific image processing unit 80 switches between the parameters for the first observation image and the parameters for the second observation image in accordance with the switching between the first illumination light and the second illumination light. By doing so, the first observation image and the second observation image are generated respectively.
  • a first illumination light used for acquiring the first observation image and a second illumination light used for acquiring the second observation image are used.
  • the first observation image having the first spectral information and the first spectral information are different from the observation image generation image obtained by one kind of special light.
  • a second observation image having the second spectral information is acquired. Since the first observation image and the second observation image of the second embodiment are generated from the observation image generation image of one frame, the observation targets are the same, and the positional deviation or the like does not occur between the images.
  • the special observation image processing unit replaces the first special observation image processing unit 63 and the second special observation image processing unit 64. 102, except that the multi-observation image processing unit 104 is provided, and that the special observation mode and the multi-observation mode are provided in place of the first special observation mode and the second special observation mode, the first It is almost the same as the embodiment.
  • the special observation mode is a mode in which a special observation image emphasizing a blood vessel having a specific depth is displayed on the display 18.
  • a first observation image emphasizing the surface blood vessel and a second observation image emphasizing the deep blood vessel are generated from the observation image generation image, and the first observation image and the second observation image are combined. This mode automatically switches and displays on the display 18.
  • the light source processor 21 has a light intensity ratio of Vs: Bs: Gs: Rs between purple light V, blue light B, green light G, and red light R in the special observation mode or the multi-observation mode.
  • Each LED 20a to 20d is controlled so as to emit the special light. It is preferable that the special light can emphasize the blood vessels of a specific depth and accurately reproduce the color of the background mucosa.
  • the signal switching unit 60 transmits the RGB image signal that has passed through the noise removing unit 58 to the normal observation image processing unit 62 when the mode switching unit 60 is set to the normal observation mode.
  • the RGB image signal that has passed through the noise removing unit 58 is transmitted to the special observation image processing unit 63.
  • the multi-observation mode is set, the RGB image signal that has passed through the noise removing unit 58 is transmitted to the multi-observation image processing unit 104.
  • the special observation image processing unit 63 is input with the Rs image signal, the Gs image signal, and the Bs image signal obtained in the special observation mode.
  • Image processing for the special observation mode is performed on the input Rs image signal, Gs image signal, and Bs image signal.
  • the special observation image processing unit 63 is provided with parameters for the special observation mode to be multiplied with respect to the Rs image signal, the Gs image signal, and the Bs image signal in order to perform image processing for the special observation mode.
  • the image processing for the special observation mode includes structure enhancement processing for the special observation mode.
  • the RGB image signal subjected to the image processing for the special observation image is input from the special observation image processing unit 63 to the display control unit 66 as a special observation image.
  • the multi-observation image processing unit 104 inputs the Rs image signal, the Gs image signal, and the Bs image signal obtained in the multi-observation mode.
  • Image processing for the multi-observation mode is performed on the input Rs image signal, Gs image signal, and Bs image signal.
  • the image processing for the multi-observation mode generates a plurality of observation images in which blood vessels having different depths are emphasized from the observation image generation image of one frame. In the present embodiment, as a plurality of observation images, a first observation image in which the surface blood vessels are emphasized and a second observation image in which the deep blood vessels are emphasized are generated. The details of the image processing for the multi-observation mode will be described later.
  • the first observation image and the second observation image are input from the multi-observation image processing unit 104 to the display control unit 66.
  • the multi-observation image processing unit 104 is also provided with parameters for the multi-observation mode to be multiplied by the Rs image signal, the Gs image signal, and the Bs image signal in order to perform image processing for the multi-observation mode.
  • the image processing for the multi-observation mode the first color signal image in which the first color signal of the observation image generation image is assigned to the brightness information or the second color signal of the observation image generation image is assigned to the brightness information.
  • One of the second color signal images is generated as the first observation image, and the other is generated as the second observation image.
  • the first color signal image is used as the first observation image and the second color signal image is used as the second observation image, but vice versa.
  • the first observation image generation process for generating the first observation image performs luminance color difference signal conversion processing on the Bs image signal, the Gs image signal, and the Rs image signal obtained in the multi-observation mode. Then, it is converted into a luminance signal Y, a color difference signal Cr, and Cb. Next, the luminance signal Y is converted into the luminance signal Ym by performing the luminance signal allocation process of assigning the luminance signal Y (luminance information) to the Bs image signal (the first color signal (blue signal) of the observed image).
  • the first observation image should be an image in which the surface blood vessels are emphasized as the first specific information contained in the region other than the background mucosa. Can be done. Further, since the first observation image is generated based on the Gs image signal and the Rs image signal containing the components of green light G and red light R among the special light, the color tone of the background mucosa is also accurately represented. ..
  • a color difference signal correction process for correcting the deviation of the color difference signals Cr and Cb accompanying the conversion of the luminance signal Y into the luminance signal Ym is performed. Specifically, the color difference signal Cr is multiplied by the converted color difference signal Ym / the converted color difference signal Y. Similarly, the color difference signal Cb is multiplied by the converted color difference signal Ym / the converted color difference signal Y. As a result, by correcting the deviation of the color difference signals Cr and Cb, it is possible to correct the saturation deviation according to the luminance conversion while maintaining the hue (when the luminance becomes small, the saturation becomes small). And if the brightness is high, the saturation can be high).
  • the luminance signal Ym, the color difference signal Cr ⁇ Ym / Y, and the color difference signal Cb ⁇ Ym / Y are converted into B1 image signals, G1 image signals, and R1 image signals by performing RGB conversion processing.
  • These B1 image signal, G1 image signal, and R1 image signal correspond to the first color signal image and become the first observation image.
  • the second observation image generation process for generating the second observation image is the same as the first observation image generation process, with respect to the Bs image signal, the Gs image signal, and the Rs image signal obtained in the multi-observation mode.
  • the luminance color difference signal conversion process is performed to convert the luminance signal Y, the luminance signal Cr, and the Cb.
  • the luminance signal Y is converted into the luminance signal Yn by performing the luminance signal allocation process of assigning the luminance signal Y (luminance information) to the Gs image signal (the second color signal (green signal) of the observed image).
  • the second observation image should be an image in which deep blood vessels are emphasized as the second specific information contained in a region other than the background mucosa. Can be done. Further, since the second observation image is generated based on the Gs image signal and the Rs image signal containing the components of green light G and red light R among the special light, the color tone of the background mucosa is also accurately represented. ..
  • the second color signal of the observation image is a color signal having a longer wave component than the first color signal of the observation image.
  • the first color signal is a blue signal and the second color signal is a green signal, but the present invention is not limited to this.
  • the first color signal may be a green signal and the second color signal may be a red signal such as an Rs image signal.
  • a color difference signal correction process for correcting the deviation of the color difference signals Cr and Cb accompanying the conversion of the luminance signal Y into the luminance signal Yn is performed.
  • the color difference signal Cr is multiplied by the converted color difference signal Yn / the converted color difference signal Y.
  • the color difference signal Cb is multiplied by the converted color difference signal Yn / the converted color difference signal Y. This makes it possible to correct the deviation of the color difference signals Cr and Cb.
  • the luminance signal Yn, the color difference signal Cr ⁇ Yn / Y, and the color difference signal Cb ⁇ Yn / Y are converted into B2 image signals, G2 image signals, and R2 image signals by performing RGB conversion processing. These B2 image signal, G2 image signal, and R2 image signal correspond to the second color signal image and become the second observation image.
  • the still image storage process of the second embodiment is performed as follows. From the still image set obtained during the still image display period, as candidates for saving in the still image storage memory 67, the first storage candidate image corresponding to the still image of the first observation image with the minimum blur and the first storage candidate. The still image of the second observation image generated by the same observation image generation image as the image is selected as the second storage candidate image. Since the first observation image and the second observation image are generated from the observation image generation image of one frame, if the blur of the first observation image is the minimum, the blur of the second observation image is also the minimum. It has become. The method of selecting the first observation image with the minimum blur is the same as that of the first embodiment.
  • the signal to which the Bs image signal, the Gs image signal, or the composite signal is assigned is the luminance signal Y, but it may be assigned to other brightness information.
  • a Bs image signal or a Gs image signal may be assigned to the lightness corresponding to the brightness information.
  • the first illumination light is emitted in the first emission pattern and the second illumination is emitted.
  • the light may be emitted in the second emission pattern.
  • the first light emission pattern is the first A light emission pattern in which the number of frames in the first lighting period is the same in each first lighting period, and as shown in FIG. 22. It is preferable that the number of frames in the first lighting period is one of the first B emission patterns different in each first lighting period.
  • the number of frames in the second illumination period is the same in each second illumination period, and the emission spectrum of the second illumination light is in each second illumination period.
  • the number of frames in the second illumination period is the same in each of the second illumination periods, and the emission spectrum of the second illumination light is the second in each.
  • Second B pattern different in the illumination period as shown in FIG. 24, the number of frames in the second illumination period is different in each second illumination period, and the emission spectrum of the second illumination light is different.
  • the second C pattern which is the same in the second illumination period, as shown in FIG. 25, the number of frames in the second illumination period is different in each second illumination period, and the emission spectrum of the second illumination light is different. It is preferably one of the second D patterns that are different in each second illumination period.
  • the emission spectrum of the first illumination light may be the same or different in each first illumination period.
  • the first lighting period is preferably longer than the second lighting period, and the first lighting period is preferably two frames or more.
  • the first lighting period is set to 2 frames, and the second lighting period is set to 1 frame. Since the first illumination light is used to generate a display image to be displayed on the display 18, it is preferable to obtain a bright image by illuminating the observation target with the first illumination light.
  • the first illumination light is preferably white light.
  • the second illumination light is used for the analysis process, it is preferable to illuminate the observation target with the second illumination light to obtain an image suitable for the analysis process.
  • purple light V, blue light B, green light G, and red light R may be used as the second illumination light.
  • the second emission pattern is the second A pattern (the number of frames in the second illumination period: the same, the emission spectrum of the second illumination light: the same) or the second C pattern (the number of frames in the second illumination period: different, the second illumination).
  • the second emission pattern is the second B pattern (number of frames in the second illumination period: same, emission spectrum of the second illumination light: different) or the second D pattern (number of frames in the second illumination period: different, second illumination light).
  • emission spectrum different
  • at least two of purple light V, blue light B, green light G, and red light R may be switched in a specific order to emit light in the second illumination period.
  • three lights, purple light V, green light G, and red light R, are sequentially emitted in that order.
  • the first image is taken from the image pickup sensor 44 by reading out the signal while the first illumination light is exposed to the image pickup sensor 44 in the first illumination period. Output a signal.
  • the period for outputting the first image signal is defined as the first imaging period.
  • the first image signal includes a B1 image signal output from the B pixel, a G1 image signal output from the G pixel, and an R1 image signal output from the R pixel.
  • the image pickup processor 45 outputs a second image signal from the image pickup sensor 44 by performing signal readout in a state where the image pickup sensor 44 is exposed to the second illumination light during the second illumination period.
  • the period for outputting the second image signal is defined as the first imaging period.
  • the second image signal includes a B2 image signal output from the B pixel, a G2 image signal output from the G pixel, and an R2 image signal output from the R pixel.
  • the analysis processing unit (not shown) in the processor device performs image processing for a normal observation image on the input R1 image signal, G1 image signal, and B1 image signal for one frame.
  • the R1 image signal, the G1 image signal, and the B1 image signal that have been subjected to image processing for a normal observation image are used as a display image.
  • the analysis processing unit performs analysis processing on the input R2 image signal, G2 image signal, and B2 image signal for a specific frame.
  • the analysis processing unit performs display control processing for displaying the analysis result, which is the result of the analysis processing, on the display image.
  • the first emission pattern is the first A emission pattern and the second emission pattern is the second B pattern (the number of frames in the second illumination period: the same, the emission spectrum of the second illumination light: different)
  • the first illumination When the white light W is illuminated for two frames as the light, and the purple light V, the green light G, and the red light R as the second illumination light are illuminated for one frame each during the emission of the white light W.
  • a display image is obtained by performing image processing for a normal observation image on a first image signal obtained by illumination with white light.
  • the second image signal (R2 image signal, G2 image signal, B2 image signal) obtained by the illumination of purple light V is subjected to analysis processing to obtain the analysis result V.
  • the second image signal (R2 image signal, G2 image signal, B2 image signal) obtained by the illumination of the green light G is subjected to analysis processing to obtain the analysis result G.
  • the second image signal (R2 image signal, G2 image signal, B2 image signal) obtained by the illumination of the red light R is subjected to analysis processing to obtain the analysis result R.
  • These analysis results V, G, and R are displayed on the display image as a group of analysis results T after the analysis process for the red light R is completed.
  • the analysis results V, G, and R may be displayed independently on the display image, and the analysis result obtained by combining at least two of the analysis results V, G, and R may be displayed on the display image. It may be displayed.
  • a blood vessel extraction process for extracting blood vessel shape information, an index value calculation process for calculating an index value related to a blood vessel based on the extracted blood vessel shape information, and an index value calculated are displayed.
  • the display image with the analysis result on which the result of the analysis process is displayed is input to the display control unit 66.
  • the hardware-like structure of the processing unit included in the processor device 16 such as the image processing unit 104 is various processors as shown below.
  • the circuit configuration is changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units. It includes a programmable logic device (PLD), which is a possible processor, a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing various processes, and the like.
  • CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • PLD programmable logic device
  • dedicated electric circuit which is a processor having a circuit configuration specially designed for executing various processes, and the like.
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). May be done. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the hardware structure of the storage unit is a storage device such as an HDD (hard disk drive) or SSD (solid state drive).
  • the present invention can be applied to various medical image processing devices, in addition to the endoscope system, the processor device incorporated in the capsule endoscopy system, and the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

複数種類の観察画像の静止画を保存する場合において、それら複数種類の観察画像の静止画の違いを保存前に確認することができる内視鏡システム及びその作動方法を提供する。　フリーズ処理によって開始する静止画表示期間において、静止画セットの中から、静止画保存メモリ（６７）に保存する候補として、第１観察画像の静止画に対応する第１保存候補画像と第２観察画像の静止画に対応する第２保存候補画像とを選択する。第１保存候補画像と第２保存候補画像とを、動画切替周期よりも早い静止画切替周期で自動的に切り替えてディスプレイ（１８）に表示する。

Description

内視鏡システム及びその作動方法
　本発明は、複数種類の観察画像を切り替えて表示する場合において、複数種類の観察画像の静止画を保存する内視鏡システム及びその作動方法に関する。
　近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるＲＧＢ画像信号に基づいて、観察対象の画像をディスプレイ上に表示する。
　また、近年では、診断の目的に応じて、表示内容が異なる複数の観察画像を同時に又は切り替えてディスプレイに表示することが行われている。例えば、特許文献１では、表層血管を強調する第１観察画像と深層血管を強調する第２観察画像とを切り替えてディスプレイの表示する場合において、第１観察画像と第２観察画像の背景粘膜の色調を同一とすることにより、第１観察画像と第２観察画像の違いが分かるようにしている。
国際公開第２０１９／１６３５４０号 特許第５５８７９３２号公報
　上記のように、表示内容が異なる複数種類の観察画像を同時に又は切り替えてディスプレイに表示する場合においても、事後的な診断を行うため、それら複数種類の観察画像の静止画を静止画保存メモリに保存することが求められている。複数種類の観察画像の静止画を保存する場合には、ユーザーが事前に、それら静止画の内容を確認してから、静止画保存メモリに保存することが好ましい。
　これに関して、特許文献２には、複数種類の観察画像として、酸素飽和度観察用静止画、通常観察用静止画、血管強調観察用静止画を保存する場合には、それら３種類の静止画を、一定時間ごとに１つずつ切り替えて連続的にディスプレイに表示することが記載されている。ただし、３種類の静止画の表示を切り替える時間によっては、それら静止画の内容の違いを把握することが難しい場合がある。
　本発明は、複数種類の観察画像の静止画を保存する場合において、それら複数種類の観察画像の静止画の違いを保存前に確認することができる内視鏡システム及びその作動方法を提供することを目的とする。
　本発明の内視鏡システムは、第１観察画像、又は、第１観察画像と異なる第２観察画像を表示するディスプレイと、第１観察画像の静止画又は第２観察画像の静止画を取得するためのフリーズ処理を行うためのフリーズ処理操作部材と、画像処理用プロセッサとを備え、画像処理用プロセッサは、動画表示期間において、第１観察画像と第２観察画像とを動画切替周期で自動的に切り替えてディスプレイに表示し、フリーズ処理によって開始する静止画表示期間において、第１観察画像の静止画及び第２観察画像の静止画を含む静止画セットの中から、静止画保存メモリに保存する候補として、第１観察画像の静止画に対応する第１保存候補画像と第２観察画像の静止画に対応する第２保存候補画像とを選択し、且つ、第１保存候補画像と第２保存候補画像とを静止画切替周期で自動的に切り替えてディスプレイに表示し、静止画切替周期は動画切替周期よりも早くする。
　画像処理用プロセッサは、静止画セットに含まれる第１観察画像の静止画のうち、最もブレが少ないブレ最小の第１観察画像の静止画を、第１保存候補画像として選択し、且つ、静止画セットに含まれる第２観察画像の静止画のうち、ブレ最小の第１観察画像の静止画に対して位置ずれが少ない位置ずれ最小の第２観察画像の静止画を、第２保存候補画像として選択することが好ましい。画像処理用プロセッサは、ブレ最小の第１観察画像の静止画と位置ずれ最小の第２観察画像の静止画とを位置合わせする位置合わせ処理を行うことが好ましい。
　画像処理用プロセッサは、静止画セットに含まれる第２観察画像の静止画のうち、最もブレが少ないブレ最小の第２観察画像の静止画を、第２保存候補画像として選択し、且つ、静止画セットに含まれる第１観察画像の静止画のうち、ブレ最小の第２観察画像の静止画に対して位置ずれが少ない位置ずれ最小の第１観察画像の静止画を、第１保存候補画像として選択することが好ましい。画像処理用プロセッサは、位置ずれ最小の第１観察画像の静止画とブレ最小の第２観察画像の静止画とを位置合わせする位置合わせ処理を行うことが好ましい。
　静止画切替周期は、第１保存候補画像と第２保存候補画像の切替表示の回数が１秒間で３回以下であることが好ましい。画像処理用プロセッサは、ユーザーインターフェースを用いて、動画切替周期と静止画切替周期との少なくとも一方を設定することが好ましい。画像処理用プロセッサは、フリーズ処理を開始したタイミングで第１観察画像をディスプレイに表示している場合には、静止画表示期間では、第１保存候補画像の静止画をディスプレイに表示した後に、第１保存候補画像と第２保存候補画像とを静止画切替周期で自動的に切り替えてディスプレイに表示することが好ましい。
　フリーズ処理操作部材に加えて、第１保存候補画像と第２保存候補画像を静止画保存メモリに保存する静止画保存処理を行うための保存処理操作部材を備え、画像処理用プロセッサは、少なくともフリーズ処理操作部材を操作した場合にフリーズ処理を実行し、フリーズ処理実行中に、保存処理操作部材を操作することにより、静止画保存処理を実行することが好ましい。フリーズ処理操作部材の操作に従って開始するフリーズ設定時間内は、フリーズ処理操作部材の操作を解除した場合であっても、フリーズ処理が継続することが好ましい。
　第１分光情報を有する第１照明光と、第１分光情報とことなる第２分光情報を有する第２照明光とを発する光源部と、光源用プロセッサとを有し、光源用プロセッサは、第１照明光と第２照明光とを自動的に切り替え、第１観察画像は、第１照明光により照明された観察対象を撮像することにより得られ、第２観察画像は、第２照明光により照明された観察対象を撮像することにより得られることが好ましい。
　画像処理用プロセッサは、観察画像生成用画像を取得し、観察画像生成用画像の第１色信号を明るさ情報に割り当てて第１観察画像を生成し、観察画像生成用画像の第２色信号を明るさ情報に割り当てて第２観察画像を生成することが好ましい。
　第１観察画像と第２観察画像とは同一の観察対象が表示されており、かつ、少なくとも背景粘膜の一部が同じ色調であり、第１観察画像が有する第１分光情報と第２観察画像が有する第２分光情報とは異なっていることが好ましい。
　本発明の内視鏡システムは、第１観察画像、又は、第１観察画像と異なる第２観察画像を表示するディスプレイと、第１観察画像の静止画又は第２観察画像の静止画を取得するためのフリーズ処理を行うフリーズ処理操作部材と、画像処理用プロセッサとを備え、画像処理用プロセッサは、観察画像生成用画像を取得し、観察画像生成用画像の第１色信号を明るさ情報に割り当てた第１色信号画像、又は、観察画像生成用画像の第２色信号を明るさ情報に割り当てた第２色信号画像のいずれか一方を第１観察画像と、他方を第２観察画像として生成し、動画表示期間において、第１観察画像と第２観察画像とを動画切替周期で自動的に切り替えて前記ディスプレイに表示し、フリーズ処理によって開始する静止画表示期間において、第１観察画像の静止画及び第２観察画像の静止画を含む静止画セットの中から、静止画保存メモリに保存する候補として、ブレ最小の第１観察画像の静止画に対応する第１保存候補画像と、第１保存候補画像と同じ観察画像生成用画像より生成された第２観察画像の静止画を第２保存候補画像として選択し、且つ、第１保存候補画像と第２保存候補画像とを静止画切替周期で自動的に切り替えて前記ディスプレイに表示し、静止画切替周期は動画切替周期よりも早くする。
　本発明は、第１観察画像、又は、第１観察画像と異なる第２観察画像を表示するディスプレイと、第１観察画像の静止画又は第２観察画像の静止画を取得するためのフリーズ処理を行うためのフリーズ処理操作部材と、画像処理用プロセッサとを備える内視鏡システムの作動方法おいて、画像処理用プロセッサは、動画表示期間において、第１観察画像と第２観察画像とを動画切替周期で自動的に切り替えて前記ディスプレイに表示し、フリーズ処理によって開始する静止画表示期間において、第１観察画像の静止画及び第２観察画像の静止画を含む静止画セットの中から、静止画保存メモリに保存する候補として、第１観察画像の静止画に対応する第１保存候補画像と第２観察画像の静止画に対応する第２保存候補画像とを選択し、且つ、第１保存候補画像と第２保存候補画像とを静止画切替周期で自動的に切り替えてディスプレイに表示し、静止画切替周期は動画切替周期よりも早くする。
　本発明によれば、複数種類の観察画像の静止画を保存する場合において、それら複数種類の観察画像の静止画の違いを保存前に確認することができる。
第１実施形態の内視鏡システムの外観図である。 第１実施形態の内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒの発光スペクトルを示すグラフである。 紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒを含む第１照明光の発光スペクトルを示すグラフである。 緑色光Ｇ及び赤色光Ｒを含む第２照明光の発光スペクトルを示すグラフである。 第１観察画像を示す画像図である。 第２観察画像を示す画像図である。 カラーの第１観察画像と第２観察画像の切り替え表示を示す説明図である。 動画表示期間及び静止画表示期間を示す説明図である。 静止画セットを示す説明図である。 ブレ最小の第１観察画像の静止画と位置ずれ最小の第２観察画像の静止画を示す説明図である。 ブレ最小の第１観察画像の静止画と位置ずれ最小の第２観察画像の静止画の切替表示を示す説明図である。 動画切替周期及び静止画切替周期を示す説明図である。 切替周期設定メニューを示す画像図である。 フリーズ処理及び静止画保存処理の流れを示すフローチャートである。 別の実施形態の内視鏡の操作部の一部を示す平面図である。 第１実施形態における別形態の内視鏡システムの機能を示すブロック図である。 第２実施形態の内視鏡システムの機能を示すブロック図である。 第１観察画像生成処理を示す説明図である。 第２観察画像生成処理を示す説明図である。 解析処理モード時の第１Ａ発光パターン又は第２Ａパターンを示す説明図である。 解析処理モード時の第１Ｂ発光パターンを示す説明図である。 解析処理モード時の第２Ｂパターンを示す説明図である。 解析処理モード時の第２Ｃパターンを示す説明図である。 解析処理モード時の第２Ｄパターンを示す説明図である。 第１撮像期間及び第２撮像期間を示す説明図である。 解析処理モードにおける照明制御、解析処理、及び画像表示を時系列順で示す説明図である。
　［第１実施形態］
　図１に示すように、第１実施形態の内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、ディスプレイ１８と、ユーザーインターフェース１９とを有する。内視鏡１２は光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。内視鏡１２は、被検体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられる湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作に伴って、先端部１２ｄが所望の方向に向けられる。なお、ユーザーインターフェース１９は図示したキーボードの他、マウスなどが含まれる。
　また、操作部１２ｂには、アングルノブ１２ｅの他、モード切替ＳＷ１３ａ、フリーズ処理操作部材１３ｂが設けられている。モード切替ＳＷ１３ａは、通常観察モードと、第１特殊観察モードと、第２特殊観察モードと、マルチ観察モードとの切替操作に用いられる。通常観察モードは、通常画像をディスプレイ１８上に表示するモードである。第１特殊観察モードは、表層血管を強調した第１観察画像をディスプレイ１８上に表示するモードである。第２特殊観察モードは、深層血管を強調した第２観察画像をディスプレイ１８上に表示するモードである。マルチ観察モードは、第１観察画像と第２観察画像とを自動的に切り替えてディスプレイ１８に表示するモードである。なお、モードを切り替えるためのモード切替部としては、モード切替ＳＷ１３ａの他に、フットスイッチを用いてもよい。
　フリーズ処理操作部材１３ｂは、フリーズ処理の実行操作に用いられる。また、フリーズ処理操作部材１３ｂは、静止画保存処理を実行する保存処理操作部材としての機能も兼ねている。少なくともフリーズ処理操作部材１３ｂを操作した場合に前記フリーズ処理を実行する。このフリーズ処理の実行中に、保存処理操作部材としてのフリーズ処理操作部材１３ｂを更に操作することにより、静止画保存処理が実行される。静止画保存処理が完了すると、フリーズ処理、即ち、観察画像画像の静止状態が解除される。フリーズ処理及び静止画保存処理の詳細については、後述する。なお、フリーズ処理操作部材１３ｂの操作に従って開始するフリーズ設定時間内は、フリーズ処理操作部材１３ｂの操作を解除した場合であっても、フリーズ処理を継続させることが好ましい。フリーズ設定時間は、サービスマンなどがユーザーインターフェース１９を操作することによって、予め設定が可能である。
　プロセッサ装置１６は、ディスプレイ１８及びユーザーインターフェース１９と電気的に接続される。ディスプレイ１８は、画像情報等を出力表示する。ユーザーインターフェース１９は、機能設定等の入力操作を受け付けるUI（User Interface：ユーザーインターフェース）として機能する。なお、プロセッサ装置１６には、画像情報等を記録する外付けの記録部（図示省略）を接続してもよい。
　図２に示すように、光源装置１４は、光源部２０と、光源用プロセッサ２１と、光路結合部２３とを有している。光源部２０は、V-LED（Violet Light Emitting Diode）２０ａ、B-LED（Blue Light Emitting Diode）２０ｂ、G-LED（Green Light Emitting Diode）２０ｃ、R-LED（Red Light Emitting Diode）２０ｄを有している。光源用プロセッサ２１は、ＬＥＤ２０a～２０ｄの駆動を制御する。光路結合部２３は、４色のLED２０a～２０ｄから発せられる４色の光の光路を結合する。光路結合部２３で結合された光は、挿入部１２a内に挿通されたライトガイド４１及び照明レンズ４５を介して、被検体内に照射される。なお、LEDの代わりに、LD（Laser Diode）を用いてもよい。
　図３に示すように、V-LED２０ａは、中心波長４０５±１０nm、波長範囲３８０～４２０nmの紫色光Ｖを発生する。B-LED２０ｂは、中心波長４６０±１０nm、波長範囲４２０～５００nmの青色光Ｂを発生する。G-LED２０ｃは、波長範囲が４８０～６００nmに及ぶ緑色光Ｇを発生する。R-LED２０ｄは、中心波長６２０～６３０nmで、波長範囲が６００～６５０nmに及ぶ赤色光Ｒを発生する。
　光源用プロセッサ２１は、通常観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。また、光源用プロセッサ２１は、第１特殊観察モード時には、第１分光情報として、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ１：Ｂｓ１：Ｇｓ１：Ｒｓ１となる第１照明光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。第１照明光は、表層血管を強調するとともに、背景粘膜の色を正確に再現することができることが好ましい。そのため、例えば、図４に示すように、少なくともＶｓ１を、その他のＢｓ１、Ｇｓ１、Ｒｓ１よりも大きくすることが好ましい。Ｂｓ１は「０」としてもよい。この場合の第１照明光は、紫色光、緑色光、及び赤色光を含むため、上記のような表層血管を強調することができるとともに、背景粘膜の色を正確に再現でき、且つ、腺管構造や凹凸など各種構造も強調することができる。なお、後述の第２照明光のスペクトル（図５参照）と比較すると、Ｇｓ１＜Ｇｓ２、Ｒｓ１＜Ｒｓ２とすることが好ましい。
　なお、本明細書において、光強度比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光強度比を有するものとする。
　また、光源用プロセッサ２１は、第２特殊観察モード時には、第２分光情報として、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ２：Ｂｓ２：Ｇｓ２：Ｒｓ２となる第２照明光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。第２照明光は、深層血管を強調するとともに、背景粘膜の色を正確に再現することができることが好ましい。そのため、例えば、図５に示すように、Ｇｓ２、Ｒｓ２＞０とすることが好ましい。Ｖｓ１、Ｂｓ１はＧｓ２、Ｒｓ２よりも小さいことが好ましい。この場合の第２照明光は、緑色光及び赤色光を含むため、深層血管を強調することができ、且つ、背景粘膜の色を正確に再現することができる。
　光源用プロセッサ２１は、マルチ観察モードに設定されている場合には、第１照明光と第２照明光とをそれぞれ２フレーム以上の発光期間にて発光し、且つ、第１照明光と第２照明光とを自動的に切り替えて発光する制御を行う。第１照明光の発光時に得られる第１観察画像と、第２照明光の発光時に得られる第２観察画像とにおいては、それぞれの背景粘膜の一部の色調を少なくとも同じにするように生成している。ここで、「背景粘膜の色調が同じ」とは、第１観察画像の背景粘膜と第２観察画像の背景粘膜の色調が全く同じである他、第１観察画像の背景粘膜と第２観察画像の背景粘膜との色差が一定の範囲内であることをいう。また、第１観察画像と第２観察画像において、背景粘膜の一部だけでなく、一部以外の色調を同じようにしてもよい。なお、背景粘膜とは、観察対象のうち、血管や腺管構造など構造物として認識又は撮像される領域を含まない領域をいう。
　なお、「フレーム」とは、観察対象を撮像する撮像センサ４８を制御するための単位をいい、例えば、「１フレーム」とは、観察対象からの光で撮像センサ４８を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間のことをいう。本実施形態においては、撮像の単位である「フレーム」に対応して発光期間が定められている。
　また、光源用プロセッサ２１は、プロセッサ装置１６の明るさ情報算出部５４から送られる明るさ情報に基づいて、各ＬＥＤ２０ａ～２０ｄから発せられる照明光の発光量を制御する。
　図２に示すように、ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコード）内に内蔵されており、光路結合部２３で結合された光を内視鏡１２の先端部１２ｄまで伝搬する。なお、ライトガイド４１としては、マルチモードファイバを使用することができる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３～０．５ｍｍの細径なファイバケーブルを使用することができる。
　内視鏡１２の先端部１２ｄには、照明光学系３０aと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有しており、この照明レンズ４５を介して、ライトガイド４１からの光が観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６及び撮像センサ４８を有している。観察対象からの反射光は、対物レンズ４６を介して、撮像センサ４８に入射する。これにより、撮像センサ４８に観察対象の反射像が結像される。
　撮像センサ４８はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ４８は、ＣＣＤ(Charge Coupled Device）撮像センサやＣＭＯＳ(Complementary Metal-Oxide Semiconductor）撮像センサ等であることが好ましい。本発明で用いられる撮像センサ４８は、Ｒ（赤）、Ｇ（緑）及びＢ（青）の３色のＲＧＢ画像信号を得るためのカラーの撮像センサ、即ち、Ｒフィルタが設けられたＲ画素、Ｇフィルタが設けられたＧ画素、Ｂフィルタが設けられたＢ画素を備えた、いわゆるＲＧＢ撮像センサである。
　なお、撮像センサ４８としては、RGBのカラーの撮像センサの代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるため、補色－原色色変換によって、CMYGの４色の画像信号をＲＧＢの３色の画像信号に変換する必要がある。また、撮像センサ４８はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源用プロセッサ２１は青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
　撮像センサ４８から出力される画像信号は、ＣＤＳ／ＡＧＣ回路５０に送信される。ＣＤＳ／ＡＧＣ回路５０は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ／ＡＧＣ回路５０を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog /Digital）コンバータ）５２により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、プロセッサ装置１６に入力される。
　プロセッサ装置１６は、フリーズ処理、静止画保存処理などの各種処理に関するプログラムがプログラム用メモリ（図示しない）に組み込まれている。画像処理用プロセッサによって構成される中央制御部５９がプログラムを実行することによって、プロセッサ装置１６では、画像取得部５３と、明るさ情報算出部５４と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ除去部５８と、信号切替部６０と、通常観察画像処理部６２と、第１特殊観察画像処理部６３と、第２特殊観察画像処理部６４と、表示制御部６６と、静止画保存メモリ６７と、静止画関連処理部６８の機能が実現する。
　画像取得部５３は、内視鏡１２において観察対象を撮像することにより得られた観察画像を取得する。具体的には、観察画像として、内視鏡１２からのデジタルのカラー画像信号が画像取得部５３に入力される。カラー画像信号は、撮像センサ４８のＲ画素から出力されるＲ画像信号と、撮像センサ４８のＧ画素から出力されるＧ画像信号と、撮像センサ４８のＢ画素から出力されるＢ画像信号とから構成されるＲＧＢ画像信号である。明るさ情報算出部５４は、画像取得部５３から入力されるＲＧＢ画像信号に基づいて、観察対象の明るさを示す明るさ情報を算出する。算出した明るさ情報は光源用プロセッサ２１に送られ、照明光の発光量の制御に用いられる。
　ＤＳＰ５６は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ４８の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたＲＧＢ画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のＲＧＢ画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のＲＧＢ画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のＲＧＢ画像信号には、デモザイク処理（等方化処理、同時化処理とも言う）が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。
　ノイズ除去部５８は、ＤＳＰ５６でガンマ補正等が施されたＲＧＢ画像信号に対してノイズ除去処理（例えば移動平均法やメディアンフィルタ法等）を施すことによって、ＲＧＢ画像信号からノイズを除去する。ノイズが除去されたＲＧＢ画像信号は、信号切替部６０に送信される。
　信号切替部６０は、モード切替ＳＷ１３ａにより、通常観察モードにセットされている場合には、ＲＧＢ画像信号を通常観察画像処理部６２に送信する。また、第１特殊観察モードにセットされている場合には、ＲＧＢ画像信号を第１特殊観察画像処理部６３に送信する。また、第２特殊観察モードにセットされている場合には、ＲＧＢ画像信号を第２特殊観察画像処理部６４に送信する。また、マルチ観察モードにセットされている場合には、第１照明光の照明及び撮像で得られたＲＧＢ画像信号は第１特殊観察画像処理部６３に送信され、第２照明光の照明及び撮像で得られたＲＧＢ画像信号は第２特殊観察画像処理部６４に送信される。
　通常観察画像処理部６２は、通常観察モード時に得られたＲＧＢ画像信号に対して、通常画像用の画像処理を施す。通常画像用の画像処理には、通常画像用の構造強調処理などが含まれる。通常観察画像処理部６２では、通常画像用の画像処理を行うために、ＲＧＢ画像信号に対して掛け合わされる通常画像用パラメータが設けられている。通常画像用の画像処理が施されたＲＧＢ画像信号は、通常画像として、通常観察画像処理部６２から表示制御部６６に入力される。
　第１特殊観察画像処理部６３は、第１照明光の照明及び撮像時に得られた第１観察画像のＲＧＢ画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理（第１観察画像用画像処理）が行われた第１観察画像を生成する。第１観察画像では、表層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。なお、第１特殊観察画像処理部６３では、第１観察画像をできるだけディスプレイ１８に表示するようにするために、表層血管を強調する表層血管強調処理は行わないが、処理負荷の状況によっては、表層血管強調処理を行うようにしてもよい。
　第２特殊観察画像処理部６４は、第２照明光の照明及び撮像時に得られた第２観察画像の第２ＲＧＢ画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理（第２観察画像用画像処理）が行われた第２観察画像を生成する。第２観察画像では、深層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。なお、マルチ観察モードでは、第１観察画像と第２観察画像において、少なくとも背景粘膜の一部の色調は同じになっている。
　表示制御部６６は、通常観察画像処理部６２、第１特殊観察画像処理部６３、第２特殊観察画像処理部６４から入力された通常画像、第１観察画像、又は第２観察画像を、ディスプレイ１８で表示可能な画像として表示するための制御を行う。表示制御部の詳細については後述する。
　静止画関連処理部６８は、各観察モードに対応する画像の静止画を取得するためのフリーズ処理と、フリーズ処理で得られる静止画を静止画保存メモリ６７に保存する静止画保存処理を行う。通常観察モードの場合であれば、フリーズ処理により通常画像の静止画を取得し、取得した通常画像の静止画を静止画保存処理によって静止画保存メモリ６７に保存する。第１特殊観察モードの場合であれば、フリーズ処理により第１観察画像の静止画を取得し、取得した第１画像の静止画を静止画保存処理によって静止画保存メモリ６７に保存する。第２特殊観察モードの場合であれば、フリーズ処理により第２観察画像の静止画を取得し、取得した第２観察画像の静止画を静止画保存処理によって静止画保存メモリ６７に保存する。マルチ観察モードにおけるフリーズ処理と静止画保存処理の詳細については、後述する。
　以下、表示制御部６６の詳細について説明を行う。表示制御部６６による制御によって、各観察モードに応じた画像が表示される。通常観察モードの場合には、通常画像がディスプレイ１８に表示される。また、第１特殊観察モードの場合には、図６に示すように、観察対象のうち背景粘膜、及び、表層血管が表された第１観察画像が表示される。また、第２特殊観察モードの場合には、図７に示すように、観察対象のうち背景粘膜、及び、深層血管が表された第２観察画像が表示される。
　また、マルチ観察モードの場合には、図８に示すように、第１照明光の発光期間と第２照明光の発光期間に合わせて、カラーの第１観察画像と第２観察画像が切り替えてディスプレイ１８に表示される。即ち、第１照明光の発光期間が２フレームで、第２照明光の発光期間が３フレームである場合には、第１観察画像が２フレーム続けて表示され、且つ、第２観察画像が３フレーム続けて表示される。
　以上のように、マルチ観察モードにおいては、ユーザーによるモード切替ＳＷ１３ａの操作を行うことなく、２種類の第１観察画像と第２観察画像を自動的に切り替えて表示することができる。このように自動的に切り替えて表示することで、観察対象に動き又は内視鏡１２の先端部１２ｄに動きが無い限り、第１観察画像と第２観察画像とでは同一の観察対象が表示される。ただし、第１観察画像と第２観察画像とでは同一の観察対象であっても、それぞれ分光情報が異なっているため、分光情報の違いにより観察対象の見え方は異なっている。即ち、第１分光情報を有する第１観察画像では表層血管の視認性が高くなっている一方、第２分光情報を有する第２観察画像では深層血管の視認性が高くなっている。したがって、第１観察画像と第２観察画像とを切り替えて表示することによって、深さが異なる複数の血管に対する視認性の向上を図ることができる。
　また、第１観察画像と第２観察画像は、それぞれ赤色、緑色、青色帯域を含む照明光に基づいて得られた画像であるため、背景粘膜の色調を再現することができる。したがって、マルチ観察モードで表示される第１観察画像と第２観察画像は、通常画像と背景粘膜の色調がほとんど変わらない画像を生成しているため、ユーザーに違和感を与えることがない。その結果、マルチ観察モードに対するユーザーの学習を比較的短い期間で行うことができる。また、第１観察画像と第２観察画像を切り替えて表示することで、深層血管から表層血管までどのように血管が立ち上がっているかを把握することができる。また、第１観察画像と第２観察画像とでは、背景粘膜の色調が同じであるため、画像の切替によって、血管の違いだけを強調して表示することが可能となる。
　次に、マルチ観察モードにおけるフリーズ処理と静止画保存処理について、説明する。マルチ観察モードにおいては、図９に示すように、第１観察画像又は第２観察画像をディスプレイ１８に表示する期間として、動画表示期間と、フリーズ処理によって開始する静止画表示期間が設けられている。動画表示期間では、第１観察画像と第２観察画像とを動画切替周期で自動的に切り替えてディスプレイ１８に表示する。動画表示期間は、フリーズ処理又は静止画保存処理は行われない期間、又は、静止画表示期間終了後に復帰する期間となっている。
　静止画表示期間においては、第１観察画像の静止画と第２観察画像の静止画を含む静止画セットの中から、静止画保存メモリ６７に保存する候補として、第１観察画像の静止画に対応する第１保存候補画像と第２観察画像の静止画に対応する第２保存候補画像と選択し、且つ、第１保存候補画像と第２保存候補画像を静止画切替周期で自動的に切り替えてディスプレイ１８に表示する。なお、フリーズ処理を開始したタイミングに第１観察画像をディスプレイ１８に表示している場合には、静止画表示期間では、第１保存候補画像の静止画をディスプレイに表示した後に、第１保存候補画像と第２保存候補画像とを静止画切替周期で自動的に切り替えてディスプレイ１６に表示することが好ましい。
　静止画セットとしては、具体的には、動画表示期間で得られる静止画セット、又は、静止画表示期間で得られる静止画セットのいずれでもよい。例えば、図１０に示すように、静止画表示期間において、３フレームの第１照明光と２フレームの第２照明光からなる発光サイクルを繰り返し行う場合においては場合には、１の発光サイクル毎に、静止画セットとして、３フレーム分の第１観察画像と２フレーム分の第２観察画像が得られる。なお、静止画セットは、１の発光サイクルから得られる第１観察画像又は第２観察画像に限らず、複数の発光サイクルから得られる第１観察画像又は第２観察画像であってもよい。また、静止画表示期間は、ユーザーが静止画の画像の内容を把握できるのに十分な一定時間であることが好ましい。
　そして、動画表示期間又は静止画表示期間で得られた静止画セットの中から、静止画保存メモリ６７に保存する候補として第１保存候補画像と第２保存候補画像と選択する。具体的には、静止画セットに含まれる第１観察画像の静止画のうち、最もブレが少ないブレ最小の第１観察画像の静止画を、第１保存候補画像として選択し、且つ、静止画セットに含まれる第２観察画像の静止画のうち、ブレ最小の第１観察画像の静止画に対して位置ずれが少ない位置ずれ最小の第２観察画像の静止画を、第２保存候補画像として選択する。また、ブレ最小の第１観察画像の静止画と、位置ずれ最小の第２観察画像とは、後述の「位置ずれ」に関する指標値を用いて、位置合わせする位置合わせ処理を行うことが好ましい。
　なお、静止画セットに含まれる第２観察画像の静止画のうち、最もブレが少ないブレ最小の第２観察画像の静止画を、第２保存候補画像として選択し、且つ、静止画セットに含まれる第１観察画像の静止画のうち、ブレ最小の第２観察画像の静止画に対して位置ずれが少ない位置ずれ最小の第１観察画像の静止画を、第１保存候補画像として選択してもよい。この場合、位置ずれ最小の第１観察画像の静止画とブレ最小の第２観察画像の静止画とを位置合わせする位置合わせ処理を行うことが好ましい。
　なお、「ブレ」とは、観察対象又は内視鏡の先端部１２ｄが動くことにより発生して観察対処のシャープネスを低下させるものである。「ブレ」に関する指標値は、画像の空間周波数などにより算出することが好ましく、ブレ最小の第１観察画像の静止画の選択には、「ブレ」に関する指標値を用いて行うことが好ましい。また、なお、「位置ずれ」に関する指標値は、ブレ最小の第１観察画像の静止画と、ブレ最小の第１観察画像の静止画と比較する第２観察画像との移動ベクトルなどから算出することが好ましく、位置ずれ最小静止画の選択は、「位置ずれ」に関する指標値を用いて行うことが好ましい。
　例えば、図１１に示すように、静止画セットが、３フレーム分の第１観察画像の静止画Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃと２フレーム分の第２観察画像Ｐ２ａ、Ｐ２ｂの静止画から構成される場合には、第１観察画像Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃの静止画の中から、ブレ最小の第１観察画像の静止画として、第１観察画像Ｐ１ｂを選択する。そして、第２観察画像Ｐ２ａ、Ｐ２ｂの静止画の中から、第１観察画像Ｐ１ｂに対して位置ずれが少ない位置ずれ最小の第２観察画像の静止画として、第２観察画像Ｐ２ａを選択する。
　そして、静止画表示期間においては、第１保存候補画像と第２保存候補画像とを静止画切替周期で自動的に切り替えてディスプレイ１８に表示する場合として、ブレ最小の第１観察画像の静止画と、位置ずれ最小の第２観察画像とを静止画切替周期で自動的にディスプレイ１８に表示する。例えば、図１１に示すように、ブレ最小の第１観察画像の静止画として、第１観察画像Ｐ１ｂを選択し、位置ずれ最小の第２観察画像の静止画として、第２観察画像Ｐ２ａを選択した場合には、図１２に示すように、第１観察画像Ｐ１ｂと第２観察画像Ｐ２ａとを静止画切替周期で自動的に切り替えてディスプレイ１８に表示する。ユーザーは、ディスプレイ１８の第１観察画像Ｐ１ｂと第２観察画像Ｐ２ａとを確認した上で、フリーズ処理操作部材１３ｂを全押しして静止画保存処理を実行することにより、第１観察画像Ｐ１ｂと第２観察画像Ｐ２ａとが静止画保存メモリ６７に保存される。
　ここで、静止画切替周期は、動画切替周期よりも早くすることが好ましい。これは、ユーザーが、静止画保存メモリ６７に保存しようとする第１保存候補画像及び第２保存候補画像の違いを確認できるように、静止画切替周期を動画切替周期よりも早くしている。動画切替周期は、１秒間において、第１観察画像と第２観察画像をディスプレイ１８で切替表示する回数（回／秒）で表される。静止画切替周期は、１秒間において、第１保存候補画像と第２保存候補画像をディスプレイ１８で切替表示する回数（回／秒）で表される。
　例えば、図１３に示すように、動画切替周期は１回／秒とし、静止画切替周期は、３回／秒とすることで、静止画表示期間において、第１保存候補画像と第２保存候補画像の違いを確実に確認することができる。静止画切替回数は３回／秒以下であることが好ましく、３回／秒を超える場合には、光過敏の問題が生じるおそれがある。なお、詳細は、「https://www.jstage.jst.go.jp/article/jsmbe1987/18/1/18_1_21/_pdf」（特集:ユビキタス映像社会における健康と安全、題名「視覚刺激による生体影響：脳波, 脳内イメージングによる検討」（BME Vol.18, No.1, 2004））に記載あり。
　動画切替周期と静止画切替周期については、静止画関連処理部６８において、適宜変更が可能である。ユーザーインターフェース１９の操作により、動画切替周期と静止画切替周期の変更操作を受け付けると、静止画関連処理部６８は、図１４に示す切替周期設定メニューをディスプレイ１８上に表示する。静止画切替周期は、例えば、１回／秒から３回／秒の間で、０．５回／秒刻みで変更可能である。各切替周期については、スライドバー８０ａ上に割り当てられている。
　静止画切替周期を変更する場合には、ユーザーインターフェース１９を操作して、スライドバー８０ａ上の変更したい切替周期を示す位置にスライダ８１ａを合わせることで、静止画切替周期が変更される。動画切替周期についても、ユーザーインターフェース１９を操作して、スライドバー８０ｂ（例えば、１回／秒から３回／秒の切替周期で、０．５回／秒刻みで変更可能）上の変更したい切替周期を示す位置にスライダ８ｂを合わせること動画切替期間が変更される。なお、静止画切替周期は動画切替周期よりも早いことが好ましいことから、この場合には、静止画切替周期＞動画切替周期の関係が維持されるように、静止画切替周期又は動画切替周期が変更される。
　次に、マルチ観察モードにおけるフリーズ処理及び静止画保存処理の一連の流れについて、図１５に示すフローチャートに沿って説明する。動画表示期間においては、第１観察画像と第２観察画像とが、動画切替周期で自動的に切り替えてディスプレイ１８に表示される。フリーズ処理操作部材１３ｂを半押しすることにより、フリーズ処理が実行される。これにより、静止画表示期間に切り替わる。
　静止画表示期間では、まず、第１観察画像の静止画と第２観察画像の静止画を含む静止画セットの中から、静止画保存メモリ６７に保存する候補として第１保存候補画像と第２保存候補画像とを選択する。第１保存候補画像と第２保存候補画像とが選択されると、第１保存候補画像と第２保存候補画像とを静止画切替周期で自動的に切り替えてディスプレイ１８に表示する。静止画切替周期を動画切替周期よりも早くすることにより、第１候補観察画像と第２候補観察画像の違いがより分かるようになる。
　ユーザーは、ディスプレイ１８に表示された第１保存候補画像と第２保存候補画像について、静止画として保存することに同意する場合には、フリーズ処理操作部材１３ｂを全押しすることにより、静止画保存処理が実行される。これにより、第１保存保存候補画像と第２保存候補画像が静止画保存メモリ６７に保存される。一方、ユーザーが、ディスプレイ１８に表示された第１保存候補画像と第２保存候補画像について、静止画として保存することに同意しない場合には、フリーズ処理操作部材１３ｂを操作せず、そのまま放置する。もしくは、ユーザーインターフェース１９を操作して、第１保存候補画像と第２保存候補画像を保存しない旨の操作を行う。そして、一定時間の静止画表示期間が終了すると、動画表示期間に復帰する。
　なお、本実施形態では、フリーズ処理と静止画保存処理を、１つのフリーズ処理操作部材１３ｂで操作しているが、図１６に示すように、フリーズ処理操作部材１３ｂはフリーズ処理のみを行い、フリーズ処理操作部材１３ｂとは別体の保存処理操作部材１３ｃで静止画保存処理を行うようにしてもよい。
　なお、第１実施形態では、通常観察画像処理部６２と、第１特殊観察画像処理部６３と、第２特殊観察画像処理部６４とを設けて、観察モードに応じて、いずれの処理部で処理するかを信号切替部６０によって決定するようにしているが、その他の方法で処理を行うようにしてもよい。例えば、通常観察画像処理部６２と、第１特殊観察画像処理部６３と、第２特殊観察画像処理部６４の代わりに、図１７に示すように、それら処理部６２、６３、６４とを一まとめにした特定の画像処理部８０を設け、観察モードに対応するパラメータを用いて、各観察モードに対応する画像処理を行うようにしてもよい。
　例えば、通常観察モードの場合であれば、特定の画像処理部８０において、通常画像用パラメータに設定して画像処理を行うことにより、通常画像を生成する。第１特殊観察モードの場合であれば、特定の画像処理部８０において、第１観察画像用パラメータに設定して、第１観察画像を生成する。第２特殊観察モードの場合であれば、特定の画像処理部８０において、第２観察画像用パラメータに設定して、第２観察画像を生成する。マルチ観察モードの場合であれば、第１照明光と第２照明光との切替に合わせて、特定の画像処理部８０において、第１観察画像用パラメータと第２観察画像用パラメータとの切替を行うことによって、第１観察画像と第２観察画像とがそれぞれ生成されるようにする。
　［第２実施形態］
　第１実施形態では、２種類の第１観察画像と第２観察画像を取得するために、第１観察画像の取得に用いる第１照明光と第２観察画像の取得に用いる第２照明光とを切り替えて発光を行っているが、第２実施形態では、１種類の特殊光によって得られた観察画像生成用画像から、第１分光情報を有する第１観察画像と、第１分光情報と異なる第２分光情報を有する第２観察画像を取得する。第２実施形態の第１観察画像と第２観察画像は、１フレームの観察画像生成用画像から生成されるため、観察対象は同一であり、且つ、画像間で位置ズレ等は生じていない。
　第２実施形態の内視鏡システム１００では、図１８に示すように、プロセッサ装置１６において、第１特殊観察画像処理部６３、第２特殊観察画像処理部６４に代えて、特殊観察画像処理部１０２、マルチ観察画像処理部１０４が設けられていること以外、及び、第１特殊観察モード、第２特殊観察モードに代えて、特殊観察モード及びマルチ観察モードが設けられている以外は、第１実施形態とほぼ同様である。
　第２実施形態において、特殊観察モードは、特定深さの血管を強調した特殊観察画像をディスプレイ１８上に表示するモードである。マルチ観察モードは、観察画像生成用画像から、表層血管を強調した第１観察画像、及び、深層血管を強調した第２観察画像を生成し、且つ、第１観察画像と第２観察画像とを自動的に切り替えてディスプレイ１８に表示するモードである。
　第２実施形態では、光源用プロセッサ２１は、特殊観察モード又はマルチ観察モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光強度比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。特殊光は、特定深さの血管を強調するとともに、背景粘膜の色を正確に再現することができることが好ましい。
　第２実施形態においては、信号切替部６０は、モード切替ＳＷ１３ａにより、通常観察モードにセットされている場合には、ノイズ除去部５８を経たＲＧＢ画像信号を通常観察画像処理部６２に送信する。また、特殊観察モードにセットされている場合には、ノイズ除去部５８を経たＲＧＢ画像信号を特殊観察画像処理部６３に送信する。また、マルチ観察モードにセットされている場合には、ノイズ除去部５８を経たＲＧＢ画像信号をマルチ観察画像処理部１０４に送信する。
　特殊観察画像処理部６３は、特殊観察モード時に得られたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号が入力される。この入力されたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に対して、特殊観察モード用の画像処理を施す。特殊観察画像処理部６３では、特殊観察モード用の画像処理を行うために、Ｒｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に対して掛け合わされる特殊観察モード用のパラメータが設けられている。特殊観察モード用の画像処理には、特殊観察モード用の構造強調処理などが含まれる。特殊観察画像用の画像処理が施されたＲＧＢ画像信号は、特殊観察画像として、特殊観察画像処理部６３から表示制御部６６に入力される。
　マルチ観察画像処理部１０４は、マルチ観察モード時に得られたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号が入力される。この入力されたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に対して、マルチ観察モード用の画像処理を施す。マルチ観察モード用の画像処理は、１フレームの観察画像生成用画像から、互いに異なる深さの血管を強調した複数の観察画像を生成する。本実施形態では、複数の観察画像として、表層血管を強調した第１観察画像と深層血管を強調した第２観察画像とを生成する。マルチ観察モード用の画像処理の詳細については後述する。第１観察画像と第２観察画像とは、マルチ観察画像処理部１０４から表示制御部６６に入力される。なお、マルチ観察画像処理部１０４においても、マルチ観察モード用の画像処理を行うために、Ｒｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に掛け合わされるマルチ観察モード用のパラメータが設けられている。
　次に、マルチ観察モード用の画像処理について説明する。マルチ観察モードの画像処理においては、観察画像生成用画像の第１色信号を明るさ情報に割り当てた第１色信号画像、又は、観察画像生成用画像の第２色信号を明るさ情報に割り当てた第２色信号画像のいずれか一方を第１観察画像と、他方を第２観察画像として生成する。本実施形態では、第１色信号画像を第１観察画像とし、第２色信号画像を第２観察画像とするが、その反対でもよい。
　第１観察画像を生成する第１観察画像生成処理は、図１９に示すように、マルチ観察モード時に得られるＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号に対して、輝度色差信号変換処理を行って、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂに変換する。次に、輝度信号Ｙ（明るさ情報）をＢｓ画像信号（観察画像の第１色信号（青色信号））に割り当てる輝度信号割り当て処理を行うことによって、輝度信号Ｙを輝度信号Ｙｍに変換する。Ｂｓ画像信号は、後述するように、表層血管の情報を含んでいることから、第１観察画像について、背景粘膜以外の領域に含まれる第１特定情報として、表層血管を強調した画像にすることができる。また、第１観察画像は、特殊光のうち緑色光Ｇ及び赤色光Ｒの成分が含まれるＧｓ画像信号、Ｒｓ画像信号に基づいて生成されるため、背景粘膜の色調も正確に表されている。
　次に、輝度信号Ｙを輝度信号Ｙｍに変換することに伴う色差信号Ｃｒ、Ｃｂのずれを補正する色差信号補正処理を行う。具体的には、色差信号Ｃｒに対して、変換後の色差信号Ｙｍ／変換後の色差信号Ｙを掛け合わせる。同様にして、色差信号Ｃｂに対して、変換後の色差信号Ｙｍ／変換後の色差信号Ｙを掛け合わせる。これにより、色差信号Ｃｒ、Ｃｂのずれを補正することにより、色相を維持したまま、輝度の変換に応じて彩度のずれを補正することができる（輝度が小さくなる場合には彩度を小さくすることができ、輝度が大きくなる場合には彩度を大きくすることができる）。そして、輝度信号Ｙｍ、色差信号Ｃｒ×Ｙｍ／Ｙ、色差信号Ｃｂ×Ｙｍ／Ｙに対して、ＲＧＢ変換処理を行うことによって、Ｂ１画像信号、Ｇ１画像信号、Ｒ１画像信号に変換する。これらＢ１画像信号、Ｇ１画像信号、Ｒ１画像信号が第１色信号画像に相当し、第１観察画像となる。
　第２観察画像を生成する第２観察画像生成処理は、図２０に示すように、第１観察画像生成処理と同様、マルチ観察モード時に得られるＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号に対して、輝度色差信号変換処理を行って、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂに変換する。次に、輝度信号Ｙ（明るさ情報）をＧｓ画像信号（観察画像の第２色信号（緑色信号））に割り当てる輝度信号割り当て処理を行うことによって、輝度信号Ｙを輝度信号Ｙｎに変換する。Ｇｓ画像信号は、後述するように、深層血管の情報を含んでいることから、第２観察画像について、背景粘膜以外の領域に含まれる第２特定情報として、深層血管を強調した画像にすることができる。また、第２観察画像は、特殊光のうち緑色光Ｇ及び赤色光Ｒの成分が含まれるＧｓ画像信号、Ｒｓ画像信号に基づいて生成されるため、背景粘膜の色調も正確に表されている。
　なお、観察画像の第２色信号は観察画像の第１色信号よりも長波の成分を持つ色信号である。本実施形態では、第１色信号を青色信号、第２色信号を緑色信号としているが、これに限られない。例えば、第１色信号を緑色信号とし、第２色信号をＲｓ画像信号のような赤色信号としてもよい。
　次に、輝度信号Ｙを輝度信号Ｙｎに変換することに伴う色差信号Ｃｒ、Ｃｂのずれを補正する色差信号補正処理を行う。具体的には、色差信号Ｃｒに対して、変換後の色差信号Ｙｎ／変換後の色差信号Ｙを掛け合わせる。同様にして、色差信号Ｃｂに対して、変換後の色差信号Ｙｎ／変換後の色差信号Ｙを掛け合わせる。これにより、色差信号Ｃｒ、Ｃｂのずれを補正することができる。そして、輝度信号Ｙｎ、色差信号Ｃｒ×Ｙｎ／Ｙ、色差信号Ｃｂ×Ｙｎ／Ｙに対して、ＲＧＢ変換処理を行うことによって、Ｂ２画像信号、Ｇ２画像信号、Ｒ２画像信号に変換する。これらＢ２画像信号、Ｇ２画像信号、Ｒ２画像信号が第２色信号画像に相当し、第２観察画像となる。
　第２実施形態の静止画保存処理は、以下のようにして行われる。静止画表示期間で得られた静止画セットの中から、静止画保存メモリ６７に保存する候補として、ブレ最小の第１観察画像の静止画に対応する第１保存候補画像と、第１保存候補画像と同じ観察画像生成用画像により生成された第２観察画像の静止画を第２保存候補画像として選択する。なお、第１観察画像と第２観察画像は１フレームの観察画像生成用画像から生成されるものであるため、第１観察画像のブレが最小であれば、第２観察画像のブレも最小となっている。ブレ最小の第１観察画像を選択する方法は、第１実施形態と同様である。
　なお、本実施形態においては、Ｂｓ画像信号、Ｇｓ画像信号、又は合成信号を割り当てる信号を、輝度信号Ｙとするが、その他の明るさ情報に割り当てるようにしてもよい。例えば、第１観察画像を明度、彩度、色相で構成する場合には、明るさ情報に対応する明度にＢｓ画像信号又はＧｓ画像信号を割り当てるようにしてもよい。
　なお、光源用プロセッサ２１は、マルチ観察モード時に、第１照明光と第２照明光とを自動的に切り替えて発光する場合において、第１照明光を第１発光パターンで発光し、第２照明光を第２発光パターンで発光してもよい。具体的には、第１発光パターンは、図２１に示すように、第１照明期間のフレーム数が、それぞれの第１照明期間において同じである第１Ａ発光パターンと、図２２に示すように、第１照明期間のフレーム数が、それぞれの第１照明期間において異なっている第１Ｂ発光パターンとのうちのいずれかであることが好ましい。
　第２発光パターンは、図２１に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ａパターン、図２３に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において同じであり、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｂパターン、図２４に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において同じである第２Ｃパターン、図２５に示すように、第２照明期間のフレーム数が、それぞれの第２照明期間において異なっており、且つ、第２照明光の発光スペクトルが、それぞれの第２照明期間において異なっている第２Ｄパターンのうちのいずれかであることが好ましい。なお、第１照明光の発光スペクトルは、それぞれの第１照明期間において同じであってもよく、異なってもよい。
　ここで、第１照明期間は第２照明期間よりも長くすることが好ましく、第１照明期間は２フレーム以上とすることが好ましい。例えば、図２１では、第１発光パターンを第１Ａパターンとし、第２発光パターンを第２Ａパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：同じ）とする場合において、第１照明期間を２フレームとし、第２照明期間を１フレームとしている。第１照明光は、ディスプレイ１８に表示する表示用画像の生成に用いられることから、第１照明光を観察対象に照明することによって、明るい画像が得られることが好ましい。
　例えば、第１照明光は、白色光であることが好ましい。一方、第２照明光は、解析処理に用いることから、第２照明光を観察対象に照明することによって、解析処理に適した画像が得られることが好ましい。例えば、血管深さが異なる複数の血管の形状情報に基づいて、解析処理を行う場合には、第２照明光として、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒを用いることが好ましい。この場合、第２発光パターンを第２Ａパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：同じ）又は第２Ｃパターン（第２照明期間のフレーム数：異なる、第２照明光の発光スペクトル：同じ）とする場合には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒのうちのいずれか１つの光を用いることが好ましい。一方、第２発光パターンを第２Ｂパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：異なる）又は第２Ｄパターン（第２照明期間のフレーム数：異なる、第２照明光の発光スペクトル：異なる）とする場合には、第２照明期間において、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、赤色光Ｒのうち少なくとも２つの光を特定の順番で切り替えて発光することが好ましい。後述では、紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒの３つの光を、その順番で順次発光している。
　マルチ観察モードで行う撮像制御では、図２６に示すように、第１照明期間において第１照明光を撮像センサ４４に露光させた状態で、信号読み出しを行うことにより、撮像センサ４４から第１画像信号を出力させる。第１画像信号を出力する期間を第１撮像期間とする。第１画像信号には、Ｂ画素から出力されるＢ１画像信号、Ｇ画素から出力されるＧ１画像信号、及び、Ｒ画素から出力されるＲ１画像信号が含まれる。また、撮像用プロセッサ４５は、第２照明期間において第２照明光を撮像センサ４４に露光させた状態で、信号読み出しを行うことにより、撮像センサ４４から第２画像信号を出力させる。第２画像信号を出力する期間を第１撮像期間とする。第２画像信号には、Ｂ画素から出力されるＢ２画像信号、Ｇ画素から出力されるＧ２画像信号、及び、Ｒ画素から出力されるＲ２画像信号が含まれる。
　マルチ観察モードにおいては、プロセッサ装置内の解析処理部（図示しない）は、入力した１フレーム分のＲ１画像信号、Ｇ１画像信号、Ｂ１画像信号に対して、通常観察画像用の画像処理を施す。通常観察画像用の画像処理が施されたＲ１画像信号、Ｇ１画像信号、Ｂ１画像信号は、表示用画像として使用される。また、解析処理部は、入力した特定フレーム分のＲ２画像信号、Ｇ２画像信号、Ｂ２画像信号に対して、解析処理を行う。また、解析処理部は、解析処理の結果である解析結果を表示用画像に表示させる表示制御処理を行う。
　例えば、第１発光パターンを第１Ａ発光パターンとし、第２発光パターンを第２Ｂパターン（第２照明期間のフレーム数：同じ、第２照明光の発光スペクトル：異なる）とする場合において、第１照明光として白色光Ｗを２フレーム分、第２照明光としての紫色光Ｖ、緑色光Ｇ、赤色光Ｒを、白色光Ｗの発光の間に、それぞれ１フレーム分だけ観察対象に照明する場合には、図２７に示すように、白色光の照明により得られる第１画像信号に対して通常観察画像用画像処理を施すことによって、表示用画像を得る。
　一方、紫色光Ｖの照明により得られる第２画像信号（Ｒ２画像信号、Ｇ２画像信号、Ｂ２画像信号）に対して解析処理を行って、解析結果Ｖを得る。同様にして、緑色光Ｇの照明により得られる第２画像信号（Ｒ２画像信号、Ｇ２画像信号、Ｂ２画像信号）に対して解析処理を行って、解析結果Ｇを得る。また、赤色光Ｒの照明により得られる第２画像信号（Ｒ２画像信号、Ｇ２画像信号、Ｂ２画像信号）に対して解析処理を行って、解析結果Ｒを得る。これら解析結果Ｖ、Ｇ、Ｒは、赤色光Ｒに関する解析処理が完了した後、一まとめにした解析結果Ｔとして、表示用画像に表示される。なお、解析結果Ｖ、Ｇ、Ｒは、それぞれ単独で表示用画像に表示してもよく、また、解析結果Ｖ、Ｇ、Ｒのうち少なくとも２つ組み合わせて得られる解析結果を、表示用画像に表示してもよい。
　なお、解析処理としては、例えば、血管の形状情報を抽出する血管抽出処理、抽出した血管の形状情報に基づいて、血管に関する指標値を算出する指標値算出処理、及び、算出した指標値を表示用画像に重畳表示するための重畳表示制御処理が含まれる。解析処理の結果が表示された解析結果付き表示用画像は、表示制御部６６に入力される。
　上記第１及び第２実施形態において、画像取得部５３、明るさ情報算出部５４、ＤＳＰ５６、ノイズ除去部５８、通常観察画像処理部６２第１特殊観察画像処理部６３、第２特殊観察画像処理部６４、静止画保存メモリ６７、静止画関連処理部６８、表示制御部６６、表示期間設定部６６ａ、静止画関連処理部６８、特定の画像処理部８０、特殊観察画像処理部１０２、マルチ観察画像処理部１０４など、プロセッサ装置１６に含まれる処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。
　なお、本発明は、内視鏡システムの他、カプセル内視鏡システムに組み込まれるプロセッサ装置の他、各種の医用画像処理装置に対して適用することが可能である。
１０　内視鏡システム
１２　内視鏡
１２ａ　挿入部
１２ｂ　操作部
１２ｃ　湾曲部
１２ｄ　先端部
１２ｅ　アングルノブ
１３ａ　モード切替ＳＷ
１３ｂ　フリーズ処理操作部材
１３ｃ　保存処理操作部材
１４　光源装置
１６　プロセッサ装置
１８　ディスプレイ
１９　ユーザーインターフェース
２０　光源部
２０ａ　Ｖ－ＬＥＤ
２０ｂ　Ｂ－ＬＥＤ
２０ｃ　Ｇ－ＬＥＤ
２０ｄ　Ｒ－ＬＥＤ
２１　光源用プロセッサ
２３　光路結合部
３０ａ　照明光学系
３０ｂ　撮像光学系
４１　ライトガイド
４５　照明レンズ
４６　対物レンズ
４８　撮像センサ
５０　ＣＤＳ／ＡＧＣ回路
５２　Ａ／Ｄ変換器
５３　画像取得部
５４　明るさ情報算出部
５６　ＤＳＰ
５８　ノイズ除去部
５９　中央制御部
６０　信号切替部
６２　通常観察画像処理部
６３　第１特殊観察画像処理部
６４　第２特殊観察画像処理部
６６　表示制御部
６７　静止画保存メモリ
６８　静止画関連処理部
８０　画像処理部
８０ａ　スライドバー
８０ｂ　スライドバー
８１ａ　スライダ
８１ｂ　スライダ
１００　内視鏡システム
１０２　特殊観察画像処理部
１０４　マルチ観察画像処理部
 
 
 
 
 

Claims (15)

  1. 　第１観察画像、又は、前記第１観察画像と異なる第２観察画像を表示するディスプレイと、
    　前記第１観察画像の静止画又は前記第２観察画像の静止画を取得するためのフリーズ処理を行うフリーズ処理操作部材と、
    　画像処理用プロセッサとを備え、
    　前記画像処理用プロセッサは、
    　動画表示期間において、前記第１観察画像と前記第２観察画像とを動画切替周期で自動的に切り替えて前記ディスプレイに表示し、
    　前記フリーズ処理によって開始する静止画表示期間において、前記第１観察画像の静止画及び前記第２観察画像の静止画を含む静止画セットの中から、静止画保存メモリに保存する候補として、前記第１観察画像の静止画に対応する第１保存候補画像と前記第２観察画像の静止画に対応する第２保存候補画像とを選択し、且つ、前記第１保存候補画像と前記第２保存候補画像とを静止画切替周期で自動的に切り替えて前記ディスプレイに表示し、
    　前記静止画切替周期は前記動画切替周期よりも早くする内視鏡システム。
  2. 　前記画像処理用プロセッサは、
    　前記静止画セットに含まれる第１観察画像の静止画のうち、最もブレが少ないブレ最小の第１観察画像の静止画を、前記第１保存候補画像として選択し、且つ、前記静止画セットに含まれる第２観察画像の静止画のうち、ブレ最小の第１観察画像の静止画に対して位置ずれが少ない位置ずれ最小の第２観察画像の静止画を、前記第２保存候補画像として選択する請求項１記載の内視鏡システム。
  3. 　前記画像処理用プロセッサは、前記ブレ最小の第１観察画像の静止画と前記位置ずれ最小の第２観察画像の静止画とを位置合わせする位置合わせ処理を行う請求項２記載の内視鏡システム。
  4. 　前記画像処理用プロセッサは、
    　前記静止画セットに含まれる第２観察画像の静止画のうち、最もブレが少ないブレ最小の第２観察画像の静止画を、前記第２保存候補画像として選択し、且つ、前記静止画セットに含まれる第１観察画像の静止画のうち、ブレ最小の第２観察画像の静止画に対して位置ずれが少ない位置ずれ最小の第１観察画像の静止画を、前記第１保存候補画像として選択する請求項１記載の内視鏡システム。
  5. 　前記画像処理用プロセッサは、前記位置ずれ最小の第１観察画像の静止画と前記ブレ最小の第２観察画像の静止画とを位置合わせする位置合わせ処理を行う請求項４記載の内視鏡システム。
  6. 　前記静止画切替周期は、前記第１保存候補画像の静止画と前記第２保存候補画像の切替表示の回数が１秒間で３回以下である請求項１ないし５いずれか１項記載の内視鏡システム。
  7. 　前記画像処理用プロセッサは、ユーザーインターフェースを用いて、前記動画切替周期と前記静止画切替周期の少なくとも一方を設定する請求項１ないし６いずれか１項記載の内視鏡システム。
  8. 　前記画像処理用プロセッサは、前記フリーズ処理を開始したタイミングで前記第１観察画像を前記ディスプレイに表示している場合には、前記静止画表示期間では、前記第１保存候補画像の静止画を前記ディスプレイに表示した後に、前記第１保存候補画像と前記第２保存候補画像とを静止画切替周期で自動的に切り替えて前記ディスプレイに表示する請求項１ないし７いずれか１項記載の内視鏡システム。
  9. 　前記フリーズ処理操作部材に加えて、前記第１保存候補画像と前記第２保存候補画像を静止画保存メモリに保存する静止画保存処理を行うための保存処理操作部材を備え、
    　前記画像処理用プロセッサは、
    　少なくとも前記フリーズ処理操作部材を操作した場合に前記フリーズ処理を実行し、前記フリーズ処理実行中に、前記保存処理操作部材を操作することにより、前記静止画保存処理を実行する請求項１ないし８いずれか１項記載の内視鏡システム。
  10. 　前記フリーズ処理操作部材の操作に従って開始するフリーズ設定時間内は、前記フリーズ処理操作部材の操作を解除した場合であっても、前記フリーズ処理が継続する請求項１ないし８いずれか１項記載の内視鏡システム。
  11. 　第１分光情報を有する第１照明光と、前記第１分光情報とことなる第２分光情報を有する第２照明光とを発する光源部と、
    　光源用プロセッサとを有し、
    　前記光源用プロセッサは、
    　前記第１照明光と前記第２照明光とを自動的に切り替え、
    　前記第１観察画像は、前記第１照明光により照明された観察対象を撮像することにより得られ、
    　前記第２観察画像は、前記第２照明光により照明された観察対象を撮像することにより得られる請求項１ないし１０いずれか１項記載の内視鏡システム。
  12. 　前記画像処理用プロセッサは、
    　観察画像生成用画像を取得し、
    　前記観察画像生成用画像の第１色信号を明るさ情報に割り当てて前記第１観察画像を生成し、前記観察画像生成用画像の第２色信号を明るさ情報に割り当てて前記第２観察画像を生成する請求項１ないし１０いずれか１項記載の内視鏡システム。
  13. 　前記第１観察画像と前記第２観察画像とは同一の観察対象が表示されており、かつ、少なくとも背景粘膜の一部が同じ色調であり、
    　前記第１観察画像が有する第１分光情報と前記第２観察画像が有する第２分光情報とは異なっている請求項１記載の内視鏡システム。
  14. 　第１観察画像、又は、前記第１観察画像と異なる第２観察画像を表示するディスプレイと、
    　前記第１観察画像の静止画又は前記第２観察画像の静止画を取得するためのフリーズ処理を行うフリーズ処理操作部材と、
    　画像処理用プロセッサとを備え、
    　前記画像処理用プロセッサは、
    　観察画像生成用画像を取得し、
    　前記観察画像生成用画像の第１色信号を明るさ情報に割り当てた第１色信号画像、又は、前記観察画像生成用画像の第２色信号を明るさ情報に割り当てた第２色信号画像のいずれか一方を前記第１観察画像と、他方を前記第２観察画像として生成し、
    　動画表示期間において、前記第１観察画像と前記第２観察画像とを動画切替周期で自動的に切り替えて前記ディスプレイに表示し、
    　前記フリーズ処理によって開始する静止画表示期間において、前記第１観察画像の静止画及び前記第２観察画像の静止画を含む静止画セットの中から、静止画保存メモリに保存する候補として、ブレ最小の前記第１観察画像の静止画に対応する第１保存候補画像と、前記第１保存候補画像と同じ前記観察画像生成用画像より生成された前記第２観察画像の静止画を前記第２保存候補画像として選択し、且つ、前記第１保存候補画像と前記第２保存候補画像とを静止画切替周期で自動的に切り替えて前記ディスプレイに表示し、
    　前記静止画切替周期は前記動画切替周期よりも早くする内視鏡システム。
  15. 　第１観察画像、又は、前記第１観察画像と異なる第２観察画像を表示するディスプレイと、
    　前記第１観察画像の静止画又は前記第２観察画像の静止画を取得するためのフリーズ処理を行うフリーズ処理操作部材と、
    　画像処理用プロセッサとを備える内視鏡システムの作動方法おいて、
    　前記画像処理用プロセッサは、
    　動画表示期間において、前記第１観察画像と前記第２観察画像とを動画切替周期で自動的に切り替えて前記ディスプレイに表示し、
    　前記フリーズ処理によって開始する静止画表示期間において、前記第１観察画像の静止画及び前記第２観察画像の静止画を含む静止画セットの中から、静止画保存メモリに保存する候補として、前記第１観察画像の静止画に対応する第１保存候補画像と前記第２観察画像の静止画に対応する第２保存候補画像とを選択し、且つ、前記第１保存候補画像と前記第２保存候補画像とを静止画切替周期で自動的に切り替えて前記ディスプレイに表示し、
    　前記静止画切替周期は前記動画切替周期よりも早くする内視鏡システムの作動方法。
     
     
PCT/JP2021/008524 2020-06-08 2021-03-04 内視鏡システム及びその作動方法 WO2021250952A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022530028A JP7477208B2 (ja) 2020-06-08 2021-03-04 内視鏡システム及びその作動方法
CN202180040822.0A CN115697179A (zh) 2020-06-08 2021-03-04 内窥镜系统及其工作方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-099306 2020-06-08
JP2020099306 2020-06-08

Publications (1)

Publication Number Publication Date
WO2021250952A1 true WO2021250952A1 (ja) 2021-12-16

Family

ID=78847188

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008524 WO2021250952A1 (ja) 2020-06-08 2021-03-04 内視鏡システム及びその作動方法

Country Status (3)

Country Link
JP (1) JP7477208B2 (ja)
CN (1) CN115697179A (ja)
WO (1) WO2021250952A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007252635A (ja) * 2006-03-23 2007-10-04 Olympus Medical Systems Corp 画像処理装置
JP2013188364A (ja) * 2012-03-14 2013-09-26 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムにおける露光量調整方法
WO2019093256A1 (ja) * 2017-11-10 2019-05-16 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2019163471A1 (ja) * 2018-02-22 2019-08-29 富士フイルム株式会社 内視鏡システム
WO2019163540A1 (ja) * 2018-02-20 2019-08-29 富士フイルム株式会社 内視鏡システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007252635A (ja) * 2006-03-23 2007-10-04 Olympus Medical Systems Corp 画像処理装置
JP2013188364A (ja) * 2012-03-14 2013-09-26 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムにおける露光量調整方法
WO2019093256A1 (ja) * 2017-11-10 2019-05-16 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2019163540A1 (ja) * 2018-02-20 2019-08-29 富士フイルム株式会社 内視鏡システム
WO2019163471A1 (ja) * 2018-02-22 2019-08-29 富士フイルム株式会社 内視鏡システム

Also Published As

Publication number Publication date
CN115697179A (zh) 2023-02-03
JP7477208B2 (ja) 2024-05-01
JPWO2021250952A1 (ja) 2021-12-16

Similar Documents

Publication Publication Date Title
JP6917518B2 (ja) 内視鏡システム
US11523733B2 (en) Endoscope system and method of operating the same
CN111568340B (zh) 内窥镜系统
WO2019093356A1 (ja) 内視鏡システム及びその作動方法
US20210161372A1 (en) Endoscope system
JP7069290B2 (ja) 内視鏡システム及びその作動方法
JP6956197B2 (ja) 内視鏡システム及びその作動方法
WO2021250952A1 (ja) 内視鏡システム及びその作動方法
JP6995889B2 (ja) 内視鏡システム及びその作動方法
JP7171885B2 (ja) 内視鏡システム
JP7163243B2 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP7273988B2 (ja) 内視鏡システム
JP7390465B2 (ja) 内視鏡システム、及び内視鏡システムの作動方法
WO2021149357A1 (ja) 内視鏡システム及びその作動方法
WO2021182048A1 (ja) 内視鏡システム、及び内視鏡システムの作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21821288

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022530028

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21821288

Country of ref document: EP

Kind code of ref document: A1