WO2021172131A1 - 内視鏡システム、及び内視鏡システムの作動方法 - Google Patents
内視鏡システム、及び内視鏡システムの作動方法 Download PDFInfo
- Publication number
- WO2021172131A1 WO2021172131A1 PCT/JP2021/005937 JP2021005937W WO2021172131A1 WO 2021172131 A1 WO2021172131 A1 WO 2021172131A1 JP 2021005937 W JP2021005937 W JP 2021005937W WO 2021172131 A1 WO2021172131 A1 WO 2021172131A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- light
- period
- illumination light
- illumination
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000005286 illumination Methods 0.000 claims description 172
- 239000004065 semiconductor Substances 0.000 claims description 23
- 238000012545 processing Methods 0.000 abstract description 78
- 210000004204 blood vessel Anatomy 0.000 description 32
- 238000006243 chemical reaction Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 210000004877 mucosa Anatomy 0.000 description 9
- 230000000295 complement effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 210000004400 mucous membrane Anatomy 0.000 description 4
- 206010034972 Photosensitivity reaction Diseases 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000036211 photosensitivity Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0669—Endoscope light sources at proximal end of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
Definitions
- the present invention relates to an endoscope system that stores a plurality of types of still images according to instructions, and a method of operating the endoscope system.
- diagnosis using an endoscope system equipped with a light source device, an endoscope, and a processor device is widely performed.
- diagnosis using an endoscopic system an image obtained by photographing an observation target with an endoscope (hereinafter referred to as an endoscopic image) by image-enhanced observation (IEE, image enhanced endoscopy) in which illumination light or the like is devised is used. May be used to obtain various information about the surface structure of the object to be observed, the surface layer of the mucous membrane, and the like.
- an appropriate diagnosis may be possible by acquiring a plurality of types of images obtained by a plurality of types of illumination light and the like, and comparing or superimposing these images in detail. Assuming that a plurality of types of images consisting of a normal image obtained by white light observation and an image obtained by IEE are used, an oxygen saturation observation moving image, a normal observation moving image, and a blood vessel emphasis observation moving image are displayed in parallel on a display device, and during the moving image display. An endoscopic system or the like that saves each observation moving image as a still image after setting exposure conditions when the freeze button is operated is disclosed (Patent Document 1).
- a plurality of types of still images with less blurring are selected and saved from the time when the freeze button is instructed to save the still image while the moving image is displayed, for example, going back to the past for a certain period of time. ..
- a plurality of illumination lights for example, two types of images are compared between an image by illumination light for emphasizing the surface blood vessels and the like of the observation target and an image by illumination light for emphasizing the middle and deep blood vessels and the like of the same observation target.
- an object of the present invention is to provide an endoscope system that stores a plurality of types of still images in a state suitable for comparison or superposition by one instruction, and an operation method of the endoscope system. do.
- At least one first image and one second image satisfying the preset selection conditions are selected and saved.
- the selection condition is preferably the first image or the second image having the least blur among the acquired plurality of first images and the plurality of second images.
- the selection condition is preferably the first image and the second image having the least positional deviation among the first image and the second image selected from the acquired plurality of first images and the plurality of second images.
- the selection condition is preferably the first image and the second image having the smallest difference in acquisition time between the first image and the second image selected from the acquired plurality of first images and the plurality of second images. ..
- the light source processor alternately repeats the first period and the second period of emitting the second illumination light, and during the period of emitting the second illumination light, the first illumination light is emitted for a period of at least one frame. , It is preferable to control the light emission by switching to the second illumination light.
- the image processor controls to display the acquired first image and / or the second image on the display, and at least the second image is displayed on the display during the second period.
- the image processor controls to display the acquired first image and / or second image on the display, and it is preferable to display at least the first image on the display during the first period.
- the semiconductor light source is a first semiconductor light source that emits first narrow band light having a wavelength band of 410 ⁇ 10 nm and a wavelength range of 420 to 500 nm, and a wavelength band having a wavelength band of 450 ⁇ 10 nm and a wavelength range of 380 to 420 nm. It is preferable to include a second semiconductor light source that emits a second narrow wavelength light.
- the image processor stores the first image and the second image after adding information about the illumination light used.
- the present invention is a method of operating an endoscope system, which includes a plurality of semiconductor light sources that emit light in different wavelength bands, a light source processor, and an image processor.
- the light source processor emits the first illumination light among the plurality of illumination lights having different combinations of light intensity ratios of the plurality of semiconductor light sources, and the second illumination having a different combination from the first illumination light during the first period.
- the light is switched to the first illumination light for a period of at least one frame to control the light emission.
- the image processor acquires the first image or the second image obtained by photographing the observation target illuminated by the first illumination light or the second illumination light for each frame, and stores the first image and the second image.
- At least one first image and one second image satisfying the preset selection conditions are selected and saved.
- a plurality of types of still images can be stored in a state suitable for comparison or superposition with a single instruction.
- the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a display 18, and a keyboard 19.
- the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
- the endoscope 12 includes an insertion portion 12a to be inserted into the body to be observed, an operation portion 12b provided at the base end portion of the insertion portion 12a, and a curved portion 12c and a tip provided on the tip end side of the insertion portion 12a. It has a part 12d.
- the curved portion 12c bends by operating the angle knob 12e (see FIG. 2) of the operating portion 12b.
- the tip portion 12d is directed in a desired direction by the bending motion of the bending portion 12c.
- the operation unit 12b gives a still image acquisition instruction to the angle knob 12e, a mode changeover switch 12g used for the observation mode switching operation, a zoom operation unit 12h for changing the imaging magnification, and a still image acquisition instruction. It has a still image acquisition instruction unit 12f.
- a keyboard 19 or a foot switch was used in addition to the mode changeover switch 12g or the scope switch of the still image acquisition instruction unit 12f. It may be an operation or an instruction.
- the endoscope system 10 has three modes: a normal observation mode, a special observation mode, and a multi-observation mode.
- the normal observation mode is a mode in which a normal observation image (hereinafter, referred to as a normal image), which is an image of a natural hue obtained by imaging an observation target using white light as illumination light, is displayed on the display 18.
- the special observation mode includes a first special observation mode and a second special observation mode.
- the first special observation mode is a mode for displaying a first special observation image (hereinafter referred to as a first image) emphasizing surface information such as surface blood vessels on the display 18, and a second special observation mode is for deep blood vessels and the like.
- the multi-observation mode is a mode for automatically switching between the first special observation mode and the second special observation mode.
- the processor device 16 is electrically connected to the display 18 and the keyboard 19.
- the display 18 outputs and displays a normal image, a first image, a second image, and / or information incidental to these images.
- the keyboard 19 functions as a user interface that accepts input operations such as function settings.
- An external recording unit (not shown) for recording an image, image information, or the like may be connected to the processor device 16.
- the light source device 14 is a device that emits illumination light to irradiate an observation target, and includes a light source unit 20 and a light source processor 21 that controls the light source unit 20.
- the light source unit 20 is composed of, for example, a semiconductor light source such as a multi-color LED (Light Emitting Diode), a combination of a laser diode and a phosphor, or a xenon lamp or a halogen light source.
- the light source unit 20 includes an optical filter or the like for adjusting the wavelength band of the light emitted by the LED or the like.
- the light source processor 21 controls the amount of illumination light by turning on / off each LED and adjusting the drive current and drive voltage of each LED and the like. Further, the light source processor 21 controls the wavelength band of the illumination light by changing the optical filter or the like.
- the light source unit 20 includes V-LED (Violet Light Emitting Diode) 20a, B-LED (Blue Light Emitting Diode) 20b, and G-LED (Green Light Emitting Diode) 20c.
- R-LED (Red Light Emitting Diode) 20d has four color LEDs.
- the V-LED 20a generates purple light V having a center wavelength of 410 ⁇ 10 nm and a wavelength range of 380 to 420 nm.
- the B-LED 20b generates blue light B having a center wavelength of 450 ⁇ 10 nm and a wavelength range of 420 to 500 nm.
- the G-LED 20c generates green light G having a wavelength range of 480 to 600 nm.
- the R-LED20d generates red light R having a center wavelength of 620 to 630 nm and a wavelength range of 600 to 650 nm.
- the symbol "-" indicates a range including numerical values before and after, and for example, "420-500 nm" means "420 nm or more and 500 nm or less”.
- the light source processor 21 controls the V-LED20a, B-LED20b, G-LED20c, and R-LED20d. In the normal observation mode, the light source processor 21 emits normal light in which the combination of the light intensity ratios of purple light V, blue light B, green light G, and red light R is Vc: Bc: Gc: Rc. In addition, each LED 20a to 20d is controlled.
- the light source processor 21 is the first illumination light in which the combination of the light intensity ratios of the purple light V, the blue light B, the green light G, and the red light R is Vs1: Bs1: Gs1: Rs1.
- Each LED 20a to 20d is controlled so as to emit light.
- the first illumination light preferably emphasizes the surface blood vessels. Therefore, in the first illumination light, it is preferable that the light intensity of the purple light V is larger than the light intensity of the blue light B.
- the ratio of the light intensity Vs1 of the purple light V to the light intensity Bs1 of the blue light B is set to "4: 1".
- the combination of light intensity ratios includes the case where the ratio of at least one semiconductor light source is 0 (zero). Therefore, this includes the case where any one or more of the semiconductor light sources are not lit. For example, as in the case where the combination of the light intensity ratios of purple light V, blue light B, green light G, and red light R is 1: 0: 0: 0, only one of the semiconductor light sources is turned on, and the other. Even when the three are not lit, they have a light intensity ratio and are one of the combinations of the light intensity ratios.
- the combination of the light intensity ratios between the purple light V, the blue light B, the green light G, and the red light R is Vs2: Bs2: Gs2: Rs2.
- Each LED 20a to 20d is controlled so as to emit illumination light.
- the second illumination light preferably emphasizes deep blood vessels. Therefore, in the second illumination light, it is preferable that the light intensity of the blue light B is larger than the light intensity of the purple light V.
- the ratio of the light intensity Vs2 of the purple light V and the light intensity Bs2 of the blue light B is set to "1: 3".
- the combination of the light intensity ratios of purple light V, blue light B, green light G, and red light R that is, the types of illumination light are different from each other.
- the light source processor 21 emits a specific type of illumination light, for example, the first illumination light, and the combination of the first illumination light and the light intensity ratio is different from each other during the first period, for example, the second illumination light. Is controlled to emit light by switching to the first illumination light for a period of at least one frame.
- the illumination light having a different combination of the second illumination light and the light intensity ratio for example, the first illumination light is combined with the second illumination light for a period of at least one frame.
- Controls to switch and emit light When the light source processor 21 switches and emits another type of illumination light during a period of emitting a specific type of illumination light, at any time within a period of at least one frame, the other type of illumination light is used. It may be switched, but it may be controlled so that other types of illumination light are periodically emitted according to a preset cycle.
- the period during which the specific type of illumination light is emitted is the period during which the specific type of illumination light is continuously emitted, other types of illumination light are emitted during the period during which the specific type of illumination light is emitted. After switching and emitting light, a specific type of illumination light may be emitted again.
- the "frame” is a unit for controlling the image sensor 45 (see FIG. 3) that images the observation target.
- the "1 frame” is the exposure of the image sensor 45 with the light from the observation target. It means a period including at least an exposure period to be exposed and a reading period to read out an image signal.
- a first period or a second period is defined corresponding to a "frame” which is a unit of imaging.
- the light emission control in the first period or the light emission control in the second period as described above by the light source processor 21 will be specifically described.
- the first illumination light is continuously applied.
- the second illumination light is emitted by switching to the first illumination light in a cycle of the second illumination light emission period 72 of one frame with respect to the first illumination light emission period 71 of five frames. This cycle is repeated.
- the period of the first illumination light emission period 74 of one frame is set against the second illumination light emission period 73 of five frames.
- the first illumination light is emitted by switching to the second illumination light, and this cycle is repeated.
- the figure in order to avoid complicating the figure, only a part of the figure is coded.
- the light source processor 21 When the light source processor 21 is set to the multi-observation mode, the light source processor 21 continuously emits a specific type of illumination light, for example, a first period in which the first illumination light is continuously emitted, and a second illumination light is continuously emitted. The second period is repeated alternately.
- the light source processor 21 controls to emit the second illumination light by switching to the first illumination light for a period of at least one frame during the first period, and during the second period. In addition, control is performed so that the first illumination light is switched to the second illumination light for a period of at least one frame to emit light.
- the first illumination light emission period 71 of 5 frames in a cycle of the second illumination light emission period 72 of one frame, the second illumination light is emitted by switching to the first illumination light, and this cycle is repeated in the first period 75.
- the second illumination light is switched to the second illumination light in a cycle of the first illumination light emission period 74 of one frame with respect to the second illumination light emission period 73 of five frames.
- the first illumination light is emitted, and this cycle is repeated during the second period 76.
- the process returns to the first period 75 in which the first illumination light is continuously emitted, and the first period 75 and the second period are alternately repeated.
- the first period 75 and the second period 76 are 20 frames each.
- the first period which is the light emission period of the first illumination light
- the second period which is the light emission period of the second illumination light
- the first period can be changed, for example, between 2 frames and 60 frames, and each light emission period is assigned on the slide bar 81a.
- the second period can also be changed, for example, between 2 frames and 60 frames, and each light emission period is assigned on the slide bar 81b.
- the first period is changed by operating the keyboard 19 and aligning the slider 82a with the position on the slide bar 81a indicating the light emitting period to be changed.
- the second period is changed by operating the keyboard 19 and aligning the slider 82b with the position on the slide bar 81b indicating the light emitting period to be changed.
- the slide bar 81b is also assigned a light emitting period of, for example, 2 to 60 frames.
- the slide bar 81a allocates a light emitting period of 20 frames in the first period
- the slide bar 81b allocates a light emitting period of 20 frames in the second period.
- the light emitted by each of the LEDs 20a to 20e is incident on the light guide 41 via an optical path coupling portion (not shown) composed of a mirror, a lens, or the like.
- the light guide 41 is built in the endoscope 12 and the universal cord (the cord connecting the endoscope 12, the light source device 14, and the processor device 16).
- the light guide 41 propagates the light from the optical path coupling portion to the tip portion 12d of the endoscope 12.
- the tip portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b.
- the illumination optical system 30a has an illumination lens 42, and the illumination light propagated by the light guide 41 is applied to the observation target through the illumination lens 42.
- the image pickup optical system 30b includes an objective lens 43, a zoom lens 44, and an image pickup sensor 45.
- Various types of light such as reflected light, scattered light, and fluorescence from the observation target are incident on the image pickup sensor 45 via the objective lens 43 and the zoom lens 44.
- an image to be observed is formed on the image sensor 45.
- the zoom lens 44 freely moves between the telephoto end and the wide-angle end by operating the zoom operation unit 12h, and enlarges or reduces the observation target to be imaged on the image sensor 45.
- the image pickup sensor 45 is a color image pickup sensor provided with any of R (red), G (green), or B (blue) color filters for each pixel, and images an observation target to image signals of each RGB color. Is output.
- a CCD (Charge Coupled Device) image pickup sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image pickup sensor can be used.
- a complementary color image sensor provided with complementary color filters of C (cyan), M (magenta), Y (yellow) and G (green) may be used. .. When a complementary color imaging sensor is used, CMYG four-color image signals are output.
- an RGB image signal similar to that of the image sensor 45 can be obtained by converting the image signals of the four colors of CMYG into the image signals of the three colors of RGB by the complementary color-primary color conversion. Further, instead of the image sensor 45, a monochrome sensor without a color filter may be used.
- the image pickup sensor 45 is driven and controlled by an image pickup processor (not shown).
- the control by the imaging processor is different for each mode.
- the imaging processor controls the image sensor 45 so as to image an observation object illuminated by normal light.
- the Bc image signal is output from the B pixel of the image sensor 45
- the Gc image signal is output from the G pixel
- the Rc image signal is output from the R pixel.
- the image pickup processor controls the image pickup sensor 45 so as to take an image of the observation target illuminated by the special light.
- the Bs1 image signal is output from the B pixel of the image sensor 45, the Gs1 image signal is output from the G pixel, and the Rs1 image signal is output from the R pixel.
- the Bs2 image signal is output from the B pixel of the image sensor 45, the Gs2 image signal is output from the G pixel, and the Rs2 image signal is output from the R pixel.
- the CDS / AGC (Correlated Double Sampling / Automatic Gain Control) circuit 46 performs correlated double sampling (CDS) and automatic gain control (AGC) on the analog image signal obtained from the image sensor 45.
- CDS correlated double sampling
- AGC automatic gain control
- the image signal that has passed through the CDS / AGC circuit 46 is converted into a digital image signal by the A / D (Analog / Digital) converter 47.
- the digital image signal after A / D conversion is input to the processor device 16.
- the processor device 16 stores a program related to processing such as image storage processing in a program memory (not shown).
- the central control unit 62 configured by the image processor operates the program in the program memory to operate the image signal acquisition unit 51, the DSP (Digital Signal Processor) 52, and the noise reduction unit.
- the functions of 53, the memory 54, the signal processing unit 55, the image storage unit 56, the image storage control unit 61, the display control unit 57, and the video signal generation unit 58 are realized.
- the central control unit 62 receives information from the endoscope 12 and the light source device 14, and based on the received information, controls each part of the processor device 16 and also controls the endoscope 12 or the light source device 14. I do. It also receives information such as instructions from the keyboard 19.
- the image signal acquisition unit 51 acquires a digital image signal of the endoscope image input from the endoscope 12.
- the image signal acquisition unit 51 acquires an image signal obtained by photographing the observation target illuminated by each illumination light for each frame.
- the acquired image signal is transmitted to the DSP 52.
- the DSP 52 performs various signal processing such as offset processing, defect correction processing, demosaic processing, linear matrix processing, gain correction processing, gamma conversion processing, and YC conversion processing on the received image signal.
- the offset processing the dark current component is removed from the received image signal, and an accurate zero level is set.
- the defect correction process the signal of the defective pixel of the image sensor 45 is corrected.
- demosaic processing also referred to as isotropic processing or simultaneous processing
- a signal of the missing color of each pixel is generated by interpolation.
- demosaic process all the pixels have signals of each color of RGB.
- the image signal of each color after demosaic processing is subjected to linear matrix processing that enhances color reproducibility.
- the gain correction process adjusts the signal level of each image signal by multiplying the image signal of each color after the demosaic process by a specific gain. After that, the brightness and saturation of each image signal are adjusted by the gamma conversion process.
- the DSP 52 performs YC conversion processing on each image signal after the gamma conversion processing processing, and outputs the luminance signal Y, the color difference signal Cb, and the color difference signal Cr to the noise reduction unit 53.
- the noise reduction unit 53 performs noise reduction processing by, for example, a moving average method or a median filter method on an image signal that has been subjected to gamma conversion processing or the like by DSP 52.
- the noise-reduced image signal is stored in the memory 54.
- the signal processing unit 55 acquires the image signal after noise reduction from the memory 54. Then, the acquired image signal is subjected to signal processing such as color conversion processing, color enhancement processing, and structure enhancement processing as necessary to generate a color endoscopic image in which the observation target is captured.
- the color conversion process is a process of converting an image signal by a 3 ⁇ 3 matrix process, a gradation conversion process, a three-dimensional LUT (look-up table) process, or the like.
- the color enhancement process is performed on the image signal that has undergone the color conversion process.
- the structure enhancement process is a process for emphasizing a specific tissue or structure included in an observation target such as a blood vessel or a pit pattern, and is performed on an image signal after the color enhancement process.
- the signal processing unit 55 performs normal image image processing on the input image signal after noise reduction for one frame.
- Image processing for ordinary images includes 3 ⁇ 3 matrix processing, gradation conversion processing, color conversion processing such as three-dimensional LUT processing, color enhancement processing, and structure enhancement processing such as spatial frequency enhancement.
- the image signal subjected to the image processing for a normal image is input to the image storage unit 56 as a normal image.
- the signal processing unit 55 performs special image processing on the image signal after noise reduction for one frame input in the first special observation mode or the second special observation mode.
- Image processing for special images includes 3 ⁇ 3 matrix processing, gradation conversion processing, color conversion processing such as three-dimensional LUT processing, color enhancement processing, and structure enhancement processing such as spatial frequency enhancement.
- the image signal subjected to the image processing for the special image is input to the image storage unit 56 as the first image or the second image.
- the endoscopic image generated by the signal processing unit 55 is a normal observation image when the observation mode is the normal observation mode, and is a special observation image when the observation mode is the special observation mode. Therefore, color conversion processing and color enhancement are performed. The contents of the processing and the structure enhancement processing differ depending on the observation mode.
- the signal processing unit 55 In the normal observation mode, the signal processing unit 55 generates the normal observation image by performing the various signal processings described above so that the observation target has a natural color.
- the signal processing unit 55 performs, for example, the above-mentioned various signal processes for emphasizing the blood vessel to be observed to generate a special observation image including the first image and the second image.
- the semiconductor light source is a first semiconductor light source that emits purple light V (first narrow band light) having a wavelength band of 410 ⁇ 10 nm and a wavelength range of 420 to 500 nm, and a wavelength band having a center wavelength of 450 ⁇ 10 nm and a wavelength range. Since it includes a second semiconductor light source that emits blue light B (second narrow band light) having a wavelength of 380 to 420 nm, in the special observation image generated by the signal processing unit 55, the surface of the mucous membrane is used as a reference in the first image.
- first narrow band light purple light V (first narrow band light) having a wavelength band of 410 ⁇ 10 nm and a wavelength range of 420 to 500 nm, and a wavelength band having a center wavelength of 450 ⁇ 10 nm and a wavelength range. Since it includes a second semiconductor light source that emits blue light B (second narrow band light) having a wavelength of 380 to 420 nm, in the special observation image generated by the
- Blood vessels (so-called superficial blood vessels) or blood located at a relatively shallow position in the observation target have a magenta color (for example, brown color), and in the second image, they are relatively deep in the observation target with reference to the surface of the mucous membrane.
- the blood vessels at the location (so-called mid-deep blood vessels) have a cyan-based color (for example, green). Therefore, the blood vessels or bleeding (blood) to be observed are emphasized by the difference in color with respect to the mucous membrane represented by the pinkish color.
- the first image displays an image showing the background mucosa BM and the surface blood vessel VS1 among the observation objects.
- the first image is obtained based on the first illumination light including purple light, blue light, green light, and red light.
- the purple light image VP obtained based on the reflected light of the purple light V and the blue light B includes an image of the surface blood vessel VS1.
- the light intensity of the purple light V is stronger than the light intensity of the blue light B, it is referred to as a purple light image VP.
- the green light G and the red light R are deep to the background mucosa BM distributed at a position deeper than the surface blood vessel VS1 and the deep blood vessel VS2 (blood vessel located deeper than the surface blood vessel VS1). Reach. Therefore, the green and red light image GRPs obtained based on the reflected light of the green light G and the red light R include an image of the background mucosa BM. From the above, since the first image is an image in which the purple light image VP and the green and red light image GRP are combined, the images of the background mucosa BM and the surface blood vessel VS1 are displayed.
- the second image displays an image showing the background mucosa BM and the deep blood vessel VS2 among the observation objects.
- the second image is obtained based on a second illumination light including purple light, blue light, green light, and red light.
- a second illumination light including purple light, blue light, green light, and red light.
- the blue light image BP obtained based on the reflected light of the purple light V and the blue light B includes an image of the deep blood vessel VS2.
- the light intensity of the blue light B is stronger than the light intensity of the purple light V, it is referred to as a blue light image BP.
- the green light G and the red light R are deep to the background mucosa BM distributed at a position deeper than the surface blood vessel VS1 and the deep blood vessel VS2 (blood vessel located deeper than the surface blood vessel VS1). Reach. Therefore, the green and red light image GRPs obtained based on the reflected light of the green light G and the red light R include an image of the background mucosa BM. From the above, since the second image is an image in which the blue light image BP and the green and red light image GRP are combined, the images of the background mucosa BM and the deep blood vessel VS2 are displayed.
- the image storage unit 56 performs image storage processing.
- the image saving process is a process of saving an image, for example, a process of saving a first image and a second image.
- the image storage control unit 61 controls the image storage process. Specifically, the image storage control unit 61 acquires a plurality of types of images, for example, a plurality of types of images acquired in a predetermined period prior to the processing start operation time when the process start operation for starting the image storage process is performed.
- a control is performed in which at least one first image and a second image satisfying a preset selection condition are selected from the first image and the plurality of second images, and are stored in the image storage unit 56.
- the processing start operation is, for example, a still image acquisition instruction (freeze instruction or release instruction) operation by the still image acquisition instruction unit 12f.
- the image storage unit 56 stores endoscopic images such as the first image and the second image selected by preset selection conditions under the control of the image storage control unit 61 in the image storage unit 56 or storage (not shown). Save to.
- the storage is an external storage device connected to the processor device 16 such as a LAN (Local Area Network).
- a file server of a system for filing an endoscopic image such as a PACS (Picture Archiving and Communication System) or a NAS (Network). Attached Storage) etc.
- the image storage process by the image storage control unit 61 is specifically performed as follows.
- the first special observation mode as the illumination light, during the first period in which the first illumination light is continuously emitted, the second illumination light emission period 72 of one frame is compared with the first illumination light emission period 71 of five frames.
- the cycle of the light is switched to the first illumination light to emit the second illumination light, and this cycle is repeated.
- the image sensor 45 acquires an image signal by accumulating and reading out electric charges for each frame.
- the acquisition of the first image signal by the image sensor 45 is shown by a solid line
- the acquisition of the second image signal is shown by a broken line.
- the figure is schematically shown, and for example, the time for accumulation and reading is not always the same.
- the image signal acquisition unit 51 acquires a plurality of first images obtained by photographing the observation target illuminated by the first illumination light in the period 91, and obtains the observation target illuminated by the second illumination light in the period 92. Acquire a plurality of captured second images.
- the image storage control unit 61 selects the first image or the second image satisfying the selection condition from the plurality of first images and the second images acquired in the preset predetermined period 94, respectively. Control is performed to select at least one by one and save the image in the image storage unit 56.
- the selection condition can be set in advance, but it is a condition that the first image and the second image to be saved are saved in a state suitable for comparison or superposition.
- the image storage control unit 61 sets the selection condition to be the first image and the second image having the least blur among the acquired plurality of first images and the plurality of second images, respectively.
- a known method can be used as a method for selecting the first image and the second image having the least blurring in the first image or the second image. For example, the amount of blur in each image can be calculated and the one with the smallest amount of blur can be selected.
- the method of calculating the amount of blur mainly includes a method based on image analysis and a method based on the image sensor 45, and the method based on image analysis includes a point spread function (PSF (Point Spread)) for each of a plurality of regions in the image.
- PSF Point Spread
- There is a method of estimating Function)) and estimating the direction and magnitude of blur from the point spread function with high accuracy see Japanese Patent No. 5949050).
- the first image 96 and the second image 95 having the least blurring are selected. ..
- the first image 96 and the second image 95 selected by the image storage control unit 61 are stored in the image storage unit 56 by the image storage control unit 61.
- the image storage unit 56 uses the image signal sent from the signal processing unit 55 for image storage processing and also sends it to the display control unit 57 for display.
- the image acquired by the image signal acquisition unit 51 or the image saved by the image storage unit 56 has a time acquired as ancillary information of the image, but the image storage unit 56 adds information regarding the corresponding illumination light. After that, it is preferable to save the first image and the second image. In this case, it is preferable to have information on the illumination light or the observation mode as incidental information. Further, the file name of the image may be accompanied by identification information or an identifier such as a tag associated with the illumination light or the observation mode. Based on the above, it is possible to easily recognize whether the acquired or saved image is the first image or the second image.
- the display control unit 57 controls the display of an image on the display 18, which is a display means.
- the normal image is continuously displayed as a moving image on the display 18, in the special observation mode, the first image or the second image is continuously displayed as a moving image on the display 18, and in the multi-observation mode, the first image or the second image is continuously displayed on the display 18.
- Control is performed to automatically switch either the first image or the second image and display it on the display 18 as a moving image.
- the display 18 is controlled to display the endoscopic images such as the first image and the second image selected by the selection conditions as still images.
- the display control unit 57 When displaying still images such as the first image and the second image, the display control unit 57 not only displays the still images side by side on the display 18, but also adjusts the transparency of each image and superimposes them on the display, or displays them.
- the display is controlled so that the display method is set according to the purpose, such as switching to the same area of the display 18 in a short time of 1 second or less and displaying it like an animation.
- the video signal generation unit 58 outputs a normal image, a special image, a first image and a second image stored in the image storage unit 56, and / or information incidental to these images, and the like, which are output from the display control unit 57. It is converted into a video signal that can be displayed in full color on the display 18. The converted video signal is input to the display 18. As a result, a normal image, a special image, incidental information, or the like is displayed on the display 18.
- the endoscope system 10 while the illumination period of the illumination light used for observation is lengthened, the image is acquired by switching to another illumination light for a moment such as one frame during the illumination period. Therefore, it is possible to easily acquire a plurality of types of images corresponding to a plurality of types of illumination light. Further, the switching of the illumination light is a momentary period such as one frame, and other than that, one type of illumination light is continuously emitted, so that the user does not recognize the switching of the illumination, and the problem of photosensitivity arises. Hateful. Therefore, with the above configuration, the endoscope system 10 can store a plurality of types of still images in a state suitable for comparison or superimposition by one still image acquisition instruction 93.
- the image storage control unit 61 sets the selection conditions of the first image and the first image having the least misalignment among the first image and the second image selected from the acquired plurality of first images or the plurality of second images. It is preferable that there are two images. Since the positional deviation between the selected first image and the second image is small, the first image and the second image can be stored in a state suitable for comparison or superposition.
- a known method can be used as a method for selecting the first image and the second image having the least misalignment. For example, in the method based on image analysis, the first image and the second image are divided, and the cumulative amount of the Gs1 image signal of the first image and the Gs2 image signal of the second image having similar signal characteristics in each region is compared. And so on.
- the image storage control unit 61 sets the selection condition as the first image having the smallest difference in acquisition time between the first image and the second image selected from the acquired plurality of first images and the plurality of second images.
- the second image is preferable. The smaller the difference in acquisition time between the selected first image and the second image, the less likely it is that the position shift between the first image and the second image will occur, so it is suitable for comparing or superimposing the first image and the second image. It can be saved in the state of the day.
- a plurality of first images are acquired in the period 91 and a plurality of second images are acquired in the period 92 by the illumination light, the image sensor 45, and the image signal acquisition unit 51 similar to those in FIG.
- the first image 96 and the second image 95 close to the time of the still image acquisition instruction 93 are selected.
- the first image 96 and the second image 95 selected by the image storage control unit 61 are stored in the image storage unit 56 by the image storage control unit 61.
- the above selection conditions may be used alone or in combination of two or more. For example, when there are a plurality of combinations of the first image and the second image having the smallest difference in acquisition time, the one with the least blurring may be selected.
- the image storage process by the image storage control unit 61 is specifically performed as shown in FIG.
- the illumination light is the illumination light in the multi-observation mode.
- the same reference numerals indicate the same ones. Therefore, in FIG. 18, the same reference numerals as those in FIG. 10 indicate the same ones.
- the image sensor 45 acquires an image signal by accumulating and reading out electric charges for each frame. In FIG. 18, the acquisition of the first image signal by the image sensor 45 is shown by a solid line, and the acquisition of the second image signal is shown by a broken line.
- the image signal acquisition unit 51 acquires a plurality of first images obtained by photographing the observation target illuminated by the first illumination light in the period 91, and photographs the observation object illuminated by the second illumination light in the period 92.
- a plurality of the second images obtained were acquired, and in the period 97, a plurality of second images obtained by photographing the observation target illuminated by the second illumination light were acquired, and in the period 98, the observation object illuminated by the first illumination light was acquired.
- the image storage control unit 61 selects the first image and the second image satisfying the selection condition from the plurality of first images and the second images acquired in the preset predetermined period 94, respectively. Control is performed to select at least one by one and save the image in the image storage unit 56.
- the selection conditions and the like are the same as in the case of the special observation mode described above.
- the endoscope system 10 can store a plurality of types of still images in a state suitable for comparison or superimposition by one still image acquisition instruction 93.
- the display control unit 57 may control the display 18 to continuously display the first image during the first period.
- the second illumination light is switched from the first illumination light for a period of at least one frame to emit light, and the image sensor 45 acquires an image signal for each frame, but the display 18 displays the first image. Display continuously.
- the image signal acquisition unit 51 acquires a plurality of first images obtained by photographing the observation target illuminated by the first illumination light in the period 91, and in the period 92, the image signal acquisition unit 51 acquires a plurality of first images.
- a plurality of second images obtained by photographing the observation target illuminated by the second illumination light are acquired.
- the display control unit 57 controls that the acquired second image is not displayed on the display 18. In this case, during the period in which the second image is acquired, the first image immediately before the acquisition of the second image may be extended and displayed as it is. Similarly, in the second special observation mode, the second image is continuously displayed.
- the display control unit 57 continuously displays the first image on the display 18 in the first period 75, and continuously displays the second image in the second period 76. Display on.
- the display control unit 57 controls the display control unit 57 to continuously display the first image on the display 18 during the first period, the image signal in a mode different from the mode being observed can be acquired, while being obtained.
- An endoscopic image can be displayed on the display 18 without flicker or the like. Therefore, the user can perform observations and the like more stably.
- observation is performed in the first special observation mode (step ST110).
- the image signal acquisition unit 51 acquires the first image and the second image (step ST120).
- the endoscope image displayed on the display 18 may be a continuous display of the first image, or the display may be switched between the first image and the second image according to the acquisition of the image.
- the image signal acquisition unit 51 When there is a still image acquisition instruction (YES in step ST130), since the still image acquisition instruction is a process start operation of the image saving process, the image signal acquisition unit 51 performs the image signal acquisition unit 51 in a predetermined period before the time of the still image acquisition instruction. From the acquired plurality of first images and second images, one first image and one second image satisfying preset selection conditions are selected (step ST140). If there is no still image acquisition instruction (NO in step ST130), observation and acquisition of the first image and the second image are continued. The selected first image and second image are stored by the image storage unit 56 (step ST150). The display control unit 57 displays the saved first image and second image on the display 18 (step ST160).
- the display format is a preset format, and for example, two images are superimposed and displayed on the display 18.
- the series of flows is completed.
- the process returns to the observation in the first special mode.
- the present invention is applied to an endoscopic system that processes an endoscopic image, but it is applied to a medical image processing system that processes a medical image other than the endoscopic image.
- the present invention can be applied when storing a still image.
- the hardware structure of the processing unit that executes various processes is as follows. ).
- the circuit configuration is changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units. It includes a programmable logic device (PLD), which is a possible processor, a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing various processes, and the like.
- PLD programmable logic device
- One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). May be done. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
- SoC System On Chip
- a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used.
- the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
- the hardware structure of these various processors is, more specifically, an electric circuit in the form of a combination of circuit elements such as semiconductor elements.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Endoscopes (AREA)
Abstract
複数種類の静止画を1回の指示により比較又は重畳に適した状態で保存する内視鏡システム、及び内視鏡システムの作動方法を提供する。 第1照明光を発光する期間中に、第2照明光を少なくとも1フレームの期間、第1照明光と切り替えて発光する。第1照明光又は第2照明光により照明された観察対象を撮影して得られる第1画像(96)又は第2画像(95)をフレーム毎に取得する。画像保存処理の処理開始操作時刻より前の予め設定した期間に取得した複数の第1画像(96)及び第2画像(95)から、予め設定した選択条件を満たす第1画像(96)及び第2画像(95)をそれぞれ少なくとも1つずつ選択して保存する。
Description
本発明は、指示により複数種類の静止画を保存する内視鏡システム、及び内視鏡システムの作動方法に関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムを用いた診断では、照明光等を工夫した画像強調観察(IEE、image enhanced endoscopy)により、観察対象を内視鏡で撮影して得た画像(以下、内視鏡画像という)を用いて、観察対象の表面構造、又は粘膜表層等に関する様々な情報を得る場合がある。
IEEを用いた診断においては、複数種類の照明光等によって得られる複数種類の画像を取得し、これらの画像を詳細に比較又は重畳することにより適切な診断ができる場合がある。白色光観察による通常画像、及びIEEによる画像等からなる複数種類の画像を用いるものとして、酸素飽和度観察動画、通常観察動画、及び血管強調観察動画を表示装置に並列表示し、動画表示中にフリーズボタンが操作されると、各観察動画を露光条件を設定した上で静止画として保存する内視鏡システム等が開示されている(特許文献1)。
従来技術では、動画表示中にフリーズボタンを操作することにより静止画の保存が指示された時点から、例えば、一定期間過去にさかのぼって、ブレの少ない複数種類の静止画を選択し保存している。複数の照明光において、例えば、観察対象の表層血管等を強調するための照明光による画像と、同じ観察対象の中深層血管等を強調するための照明光による画像との2種類の画像を見比べることにより、観察対象の奥行き方向に関する情報が得られるため、病変の範囲について診断する場合等に有効である。
複数の照明光に対応した複数種類の静止画を保存するためには、例えば、従来技術のように、照明光を切り替えて照明光毎に静止画の保存を行うことにより各種の静止画を保存する。複数の照明光を繰り返し切り替えながら観察対象を観察して撮像する場合、観察に使用する照明光の切り替え周期は、光過敏等の問題から、できるだけ長くすることが好ましい。しかしながら、この場合は、静止画取得指示を行った際の観察に使用しない照明光の画像を選択しなければならず、照明光の切り替え周期が長いほど、保存した複数種類の画像間の時間差が大きくなる。保存した複数種類の画像間の時間差が大きいほど、観察対象の動き等のため画像間の位置が大きくずれる可能性が高くなり、比較又は重畳に適さない静止画が保存されるおそれがあった。
一方、保存した複数種類の画像間の時間差を小さくするためには、複数種類の照明光の切り替え周期を小さくして、各照明光の照明時間を短くすることが考えられる。しかしながら、この方法では、光のちらつき、又は光過敏の問題が生じるおそれがあり、画像間の時間差とのトレードオフとなる。
また、特許文献1では、上記に加え、複数種類の照明光を所定の順序により自動で切り替えて、各照明光に対応する動画を同時にディスプレイに表示する。この場合、1つの照明光としては照明光を切り替えない場合と比較してフレームレートが半分以下になり、例えば、動く可能性がある観察対象を複数種類の画像間の比較又は重畳により診断するのが難しい場合があった。
本発明は、上記実情に鑑み、複数種類の静止画を1回の指示により比較又は重畳に適した状態で保存する内視鏡システム、及び内視鏡システムの作動方法を提供することを目的とする。
本発明は、内視鏡システムであって、光源用プロセッサと画像用プロセッサとを備える。光源用プロセッサは、互いに異なる波長帯域の光を発光する複数の半導体光源と、複数の半導体光源の光強度比の組み合わせが互いに異なる複数の照明光のうちの第1照明光を発光する第1期間中に、第1照明光と組み合わせが互いに異なる第2照明光を、少なくとも1フレームの期間、第1照明光と切り替えて、発光する制御を行う。画像用プロセッサは、第1照明光又は第2照明光により照明された観察対象を撮影して得られる第1画像又は第2画像をフレーム毎に取得し、第1画像及び第2画像を保存する画像保存処理を行い、画像保存処理を開始させるための処理開始操作が行われた際に、処理開始操作時刻より前の予め設定した期間に取得した複数の第1画像及び複数の第2画像から、予め設定した選択条件を満たす第1画像及び第2画像をそれぞれ少なくとも1つずつ選択して保存する。
選択条件は、取得した複数の第1画像及び複数の第2画像のうち、ブレが最も少ない第1画像又は第2画像とすることが好ましい。
選択条件は、取得した複数の第1画像及び複数の第2画像から選択された第1画像と第2画像とにおいて、位置ずれが最も少ない第1画像及び第2画像とすることが好ましい。
選択条件は、取得した複数の第1画像及び複数の第2画像から選択された第1画像と第2画像とにおいて、取得時刻の差が最も少ない第1画像及び第2画像とすることが好ましい。
光源用プロセッサは、第1期間と、第2照明光を発光する第2期間とを交互に繰り返し、かつ、第2照明光を発光する期間中に、第1照明光を、少なくとも1フレームの期間、第2照明光と切り替えて発光する制御を行うことが好ましい。
画像用プロセッサは、取得した第1画像及び/又は第2画像をディスプレイに表示する制御を行い、第2期間中は少なくとも第2画像をディスプレイに表示することが好ましい。
画像用プロセッサは、取得した第1画像及び/又は第2画像をディスプレイに表示する制御を行い、第1期間中は少なくとも第1画像をディスプレイに表示することが好ましい。
半導体光源は、波長帯域が中心波長410±10nmかつ波長範囲420~500nmである第1狭帯域光を発光する第1半導体光源と、波長帯域が中心波長450±10nmかつ波長範囲380~420nmである第2狭帯域光を発光する第2半導体光源とを含むことが好ましい。
画像用プロセッサは、用いた照明光に関する情報を付与した上で第1画像及び第2画像を保存することが好ましい。
また、本発明は、内視鏡システムの作動方法であって、互いに異なる波長帯域の光を発光する複数の半導体光源と、光源用プロセッサと、画像用プロセッサとを備える。光源用プロセッサは、複数の半導体光源の光強度比の組み合わせが互いに異なる複数の照明光のうちの第1照明光を発光する第1期間中に、第1照明光と組み合わせが互いに異なる第2照明光を、少なくとも1フレームの期間、第1照明光と切り替えて、発光する制御を行う。画像用プロセッサは、第1照明光又は第2照明光により照明された観察対象を撮影して得られる第1画像又は第2画像をフレーム毎に取得し、第1画像及び第2画像を保存する画像保存処理を行い、画像保存処理を開始させるための処理開始操作が行われた際に、処理開始操作時刻より前の予め設定した期間に取得した複数の第1画像及び複数の第2画像から、予め設定した選択条件を満たす第1画像及び第2画像をそれぞれ少なくとも1つずつ選択して保存する。
本発明によれば、複数種類の静止画を1回の指示により比較又は重畳に適した状態で保存することができる。
図1において、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、ディスプレイ18と、キーボード19とを有する。内視鏡12は、光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bのアングルノブ12e(図2参照)を操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。
図2に示すように、操作部12bは、アングルノブ12eの他、観察モードの切替操作に用いるモード切替スイッチ12gと、撮像倍率を変更するためのズーム操作部12hと、静止画取得指示を行う静止画取得指示部12fとを有する。なお、観察モードの切替操作、ズーム操作、又は静止画取得指示は、モード切替スイッチ12g、又は静止画取得指示部12fのスコープスイッチの他、キーボード19、又はフットスイッチ(図示しない)等を用いた操作又は指示としてもよい。
内視鏡システム10は、通常観察モード、特殊観察モード、及びマルチ観察モードの3つのモードを有している。通常観察モードは、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの画像である通常観察画像(以下、通常画像という)をディスプレイ18上に表示するモードである。特殊観察モードは、第1特殊観察モードと第2特殊観察モードとを含む。第1特殊観察モードは、表層血管などの表層情報を強調した第1特殊観察画像(以下、第1画像という)をディスプレイ18上に表示するモードであり、第2特殊観察モードは、深層血管などの深層情報を強調した第2特殊観察画像(以下、第2画像という)をディスプレイ18上に表示するモードである。マルチ観察モードは、第1特殊観察モードと第2特殊観察モードとを自動的に切り替えるモードである。
プロセッサ装置16は、ディスプレイ18及びキーボード19と電気的に接続される。ディスプレイ18は、通常画像、第1画像、第2画像、及び/又はこれらの画像に付帯する情報などを出力表示する。キーボード19は、機能設定などの入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報などを記録する外付けの記録部(図示省略)を接続してもよい。
図3において、光源装置14は、観察対象に照射する照明光を発する装置であり、光源部20と、光源部20を制御する光源用プロセッサ21とを備える。光源部20は、例えば、複数色のLED(Light Emitting Diode)等の半導体光源、レーザダイオードと蛍光体との組み合わせ、又はキセノンランプやハロゲン光源で構成する。また、光源部20には、LED等が発光した光の波長帯域を調整するための光学フィルタ等が含まれる。光源用プロセッサ21は、各LED等のオン/オフや、各LED等の駆動電流や駆動電圧の調整によって、照明光の光量を制御する。また、光源用プロセッサ21は、光学フィルタの変更等によって、照明光の波長帯域を制御する。
図4に示すように、本実施形態では、光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及びR-LED(Red Light Emitting Diode)20dの4色のLEDを有する。
図5に示すように、V-LED20aは、中心波長410±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長450±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。なお、本明細書において、「~」の記号は前後の数値を含む範囲を示し、例えば、「420~500nm」は「420nm以上500nm以下」を意味する。
光源用プロセッサ21は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを制御する。光源用プロセッサ21は、通常観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比の組み合わせがVc:Bc:Gc:Rcとなる通常光を発光するように、各LED20a~20dを制御する。
光源用プロセッサ21は、第1特殊観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比の組み合わせがVs1:Bs1:Gs1:Rs1となる第1照明光を発光するように、各LED20a~20dを制御する。第1照明光は、表層血管を強調することが好ましい。そのため、第1照明光は、紫色光Vの光強度を青色光Bの光強度よりも大きくすることが好ましい。例えば、図6に示すように、紫色光Vの光強度Vs1と青色光Bの光強度Bs1との比率を「4:1」とする。
なお、本明細書において、光強度比の組み合わせは、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比の組み合わせが1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光強度比を有し、光強度比の組み合わせの1つである。
また、光源用プロセッサ21は、第2特殊観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比の組み合わせがVs2:Bs2:Gs2:Rs2となる第2照明光を発光するように、各LED20a~20dを制御する。第2照明光は、深層血管を強調することが好ましい。そのため、第2照明光は、青色光Bの光強度を紫色光Vの光強度よりも大きくすることが好ましい。例えば、図7に示すように、紫色光Vの光強度Vs2と青色光Bの光強度Bs2との比率を「1:3」とする。
通常観察モード、第1特殊観察モード、または第2特殊観察モードにおいて、紫色光V、青色光B、緑色光G、及び赤色光Rの光強度比の組み合わせ、すなわち照明光の種類は互いに異なる。光源用プロセッサ21は、特定の種類の照明光、例えば、第1照明光を発光する第1期間中に、第1照明光と光強度比の組み合わせが互いに異なる照明光、例えば、第2照明光を、少なくとも1フレームの期間、第1照明光と切り替えて発光する制御を行う。例えば、第2照明光を発光する第2期間中では、第2照明光と光強度比の組み合わせが互いに異なる照明光、例えば、第1照明光を、少なくとも1フレームの期間、第2照明光と切り替えて発光する制御を行う。光源用プロセッサ21は、特定の種類の照明光を発光する期間中に他の種類の照明光を切り替えて発光する際は、少なくとも1フレームの期間であればどの時点で他の種類の照明光に切り替えてもよいが、予め設定した周期により他の種類の照明光を周期的に発光するように制御してもよい。なお、特定の種類の照明光を発光する期間中とは、特定の種類の照明光を続けて発光する期間であるため、特定の種類の照明光を発光する期間中に他の種類の照明光を切り替えて発光した後は、再び、特定の種類の照明光を発光してもよい。
なお、「フレーム」とは、観察対象を撮像する撮像センサ45(図3参照)を制御するための単位をいい、例えば、「1フレーム」とは、観察対象からの光で撮像センサ45を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間をいう。本実施形態においては、撮像の単位である「フレーム」に対応して第1期間、又は第2期間がそれぞれ定められる。
特殊観察モードにおいて、光源用プロセッサ21による上記のような第1期間での発光制御又は第2期間での発光制御を具体的に説明すると、図8に示すように、第1照明光を続けて発光する第1期間中は、5フレームの第1照明光発光期間71に対して1フレームの第2照明光発光期間72の周期で、第1照明光と切り替えて第2照明光を発光し、この周期を繰り返す。または、図9に示すように、第2照明光を続けて発光する第2期間中は、5フレームの第2照明光発光期間73に対して1フレームの第1照明光発光期間74の周期で、第2照明光と切り替えて第1照明光を発光し、この周期を繰り返す。なお、図においては、図が煩雑になることを避けるため、一部にのみ符号を付す。
光源用プロセッサ21は、マルチ観察モードに設定されている場合には、特定の種類の照明光、例えば、第1照明光を続けて発光する第1期間と、第2照明光を続けて発光する第2期間とを交互に繰り返す。マルチ観察モードでは、光源用プロセッサ21は、例えば、第1期間中に、第2照明光を、少なくとも1フレームの期間、第1照明光と切り替えて発光する制御を行い、かつ、第2期間中に、第1照明光を、少なくとも1フレームの期間、第2照明光と切り替えて発光する制御を行う。
光源用プロセッサ21によるマルチ観察モードにおける発光制御を具体的に説明すると、図10に示すように、第1照明光を続けて発光する第1期間75では、5フレームの第1照明光発光期間71に対して1フレームの第2照明光発光期間72の周期で、第1照明光と切り替えて第2照明光を発光し、この周期を第1期間75中で繰り返す。その後、第2照明光を続けて発光する第2期間76では、5フレームの第2照明光発光期間73に対して1フレームの第1照明光発光期間74の周期で、第2照明光と切り替えて第1照明光を発光し、この周期を第2期間76中で繰り返す。その後、再び第1照明光を続けて発光する第1期間75に戻り、第1期間75と第2期間とを交互に繰り返す。本実施形態では、第1期間75と第2期間76とは、それぞれ20フレームである。
第1照明光の発光期間である第1期間と第2照明光の発光期間である第2期間とは、光源用プロセッサ21に接続された発光期間設定部22によって、適宜変更が可能である。キーボード19の操作により、発光期間の変更操作を受け付けると、発光期間設定部22は、図11に示すような発光期間設定メニューをディスプレイ18上に表示する。第1期間は、例えば、2フレームから60フレームの間で変更可能であり、各発光期間については、スライドバー81a上に割り当てられている。第2期間も、例えば、2フレームから60フレームの間で変更可能であり、各発光期間については、スライドバー81b上に割り当てられている。
第1期間を変更する場合には、キーボード19を操作して、スライドバー81a上の変更したい発光期間を示す位置にスライダ82aを合わせることで、第1期間が変更される。第2期間についても、キーボード19を操作して、スライドバー81b上の変更したい発光期間を示す位置にスライダ82bを合わせることで、第2期間が変更される。なお、スライドバー81bも、例えば、2フレームから60フレームの発光期間が割り当てられている。本実施形態では、マルチ観察モードでは、第1期間は、スライドバー81aにより20フレームの発光期間が割り当てられ、第2期間は、スライドバー81bにより20フレームの発光期間が割り当てられる。
各LED20a~20eが発する光は、ミラーやレンズなどで構成される光路結合部(図示せず)を介して、ライトガイド41に入射される。ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置14及びプロセッサ装置16を接続するコード)に内蔵されている。ライトガイド41は、光路結合部からの光を、内視鏡12の先端部12dまで伝搬する。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ42を有しており、ライトガイド41によって伝搬した照明光は照明レンズ42を介して観察対象に照射される。撮像光学系30bは、対物レンズ43、ズームレンズ44、及び撮像センサ45を有している。観察対象からの反射光、散乱光、及び蛍光等の各種の光は、対物レンズ43及びズームレンズ44を介して撮像センサ45に入射する。これにより、撮像センサ45に観察対象の像が結像する。ズームレンズ44は、ズーム操作部12hを操作することでテレ端とワイド端との間で自在に移動し、撮像センサ45に結像する観察対象を拡大又は縮小する。
撮像センサ45は、画素毎にR(赤色)、G(緑色)、またはB(青色)のカラーフィルタのいずれかが設けられたカラー撮像センサであり、観察対象を撮像してRGB各色の画像信号を出力する。撮像センサ45としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。また、原色のカラーフィルタが設けられた撮像センサ45の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力される。このため、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ45と同様のRGB画像信号を得ることができる。また、撮像センサ45の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
撮像センサ45は、撮像用プロセッサ(図示せず)によって駆動制御される。撮像用プロセッサによる制御は、各モードによって異なっている。通常観察モードでは、撮像用プロセッサは、通常光で照明された観察対象を撮像するように、撮像センサ45を制御する。これにより、撮像センサ45のB画素からBc画像信号が出力され、G画素からGc画像信号が出力され、R画素からRc画像信号が出力される。特殊観察モード又はマルチ観察モードでは、撮像用プロセッサは撮像センサ45を制御して、特殊光で照明された観察対象を撮像するように、撮像センサ45を制御する。これにより、第1特殊観察モードでは、撮像センサ45のB画素からBs1画像信号が出力され、G画素からGs1画像信号が出力され、R画素からRs1画像信号が出力される。同様に、第2特殊観察モードでは、撮像センサ45のB画素からBs2画像信号が出力され、G画素からGs2画像信号が出力され、R画素からRs2画像信号が出力される。
CDS/AGC(Correlated Double Sampling/Automatic Gain Control)回路46は、撮像センサ45から得られるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路46を経た画像信号は、A/D(Analog/Digital)コンバータ47により、デジタルの画像信号に変換される。A/D変換後のデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16には、画像保存処理などの処理に関するプログラムがプログラム用メモリ(図示しない)に格納されている。プロセッサ装置16においては、画像用プロセッサによって構成される中央制御部62によって、プログラム用メモリ内のプログラムが動作することによって、画像信号取得部51と、DSP(Digital Signal Processor)52と、ノイズ低減部53と、メモリ54と、信号処理部55と、画像保存部56と、画像保存制御部61と、表示制御部57と、映像信号生成部58の機能が実現される。また、中央制御部62は、内視鏡12および光源装置14からの情報を受信し、受信した情報に基いて、プロセッサ装置16の各部の制御の他、内視鏡12または光源装置14の制御を行う。また、キーボード19からの指示などの情報も受信する。
画像信号取得部51は、内視鏡12から入力される内視鏡画像のデジタル画像信号を取得する。画像信号取得部51は、各照明光により照明された観察対象を撮影した画像信号を、フレーム毎に取得する。取得した画像信号はDSP52に送信される。DSP52は、受信した画像信号に対して、オフセット処理、欠陥補正処理、デモザイク処理、リニアマトリクス処理、ゲイン補正処理、ガンマ変換処理、及びYC変換処理等の各種信号処理を行う。オフセット処理では、受信した画像信号から暗電流成分を除き、正確な零レベルを設定する。欠陥補正処理では、撮像センサ45の欠陥画素の信号が補正される。欠陥補正処理後の画像信号には、デモザイク処理(等方化処理、同時化処理とも言う)が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がRGB各色の信号を有するようになる。
デモザイク処理後の各色の画像信号には、色再現性を高めるリニアマトリクス処理が施される。ゲイン補正処理は、デモザイク処理後の各色の画像信号に特定のゲインを乗じることにより各画像信号の信号レベルを整える。その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。DSP52は、ガンマ変換処理処理後の各画像信号にYC変換処理を施し、輝度信号Yと色差信号Cb及び色差信号Crをノイズ低減部53に出力する。
ノイズ低減部53は、DSP52でガンマ変換処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した画像信号は、メモリ54に記憶する。
信号処理部55は、メモリ54からノイズ低減後の画像信号を取得する。そして、取得した画像信号に対して、必要に応じて、色変換処理、色彩強調処理、及び構造強調処理等の信号処理を施し、観察対象が写ったカラーの内視鏡画像を生成する。色変換処理は、画像信号に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(ルックアップテーブル)処理などにより色の変換を行う処理である。色彩強調処理は、色変換処理済みの画像信号に対して行う。構造強調処理は、例えば血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像信号に対して行う。
信号処理部55において、通常観察モードでは、入力した1フレーム分のノイズ低減後の画像信号に対して、通常画像用画像処理を施す。通常画像用画像処理には、3×3のマトリクス処理、階調変換処理、3次元LUT処理等の色変換処理、色彩強調処理、及び空間周波数強調等の構造強調処理が含まれる。通常画像用画像処理が施された画像信号は、通常画像として画像保存部56に入力する。
信号処理部55において、特殊観察モードでは、第1特殊観察モード又は第2特殊観察モードにおいて入力した1フレーム分のノイズ低減後の画像信号に対して、それぞれ特殊画像用画像処理を施す。特殊画像用画像処理には、3×3のマトリクス処理、階調変換処理、3次元LUT処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。特殊画像用画像処理が施された画像信号は、第1画像又は第2画像として画像保存部56に入力する。
信号処理部55が生成する内視鏡画像は、観察モードが通常観察モードの場合は通常観察画像であり、観察モードが特殊観察モードの場合は特殊観察画像であるため、色変換処理、色彩強調処理、及び構造強調処理の内容は、観察モードによって異なる。通常観察モードの場合、信号処理部55は、観察対象が自然な色合いになる上記各種信号処理を施して通常観察画像を生成する。特殊観察モードの場合、信号処理部55は、例えば、観察対象の血管を強調する上記各種信号処理を施して第1画像及び第2画像を含む特殊観察画像を生成する。
半導体光源は、波長帯域が中心波長410±10nmかつ波長範囲420~500nmである紫色光V(第1狭帯域光)を発光する第1半導体光源と、波長帯域が中心波長450±10nmかつ波長範囲380~420nmである青色光B(第2狭帯域光)を発光する第2半導体光源とを含むため、信号処理部55が生成する特殊観察画像では、第1画像では、粘膜の表面を基準として観察対象内の比較的浅い位置にある血管(いわゆる表層血管)又は血液は、マゼンタ系の色(例えばブラウン色)になり、第2画像では、粘膜の表面を基準とし観察対象内の比較的深い位置にある血管(いわゆる中深層血管)は、シアン系の色(例えば緑色)になる。このため、ピンク系の色で表される粘膜に対して、観察対象の血管又は出血(血液)は、色の違いで強調される。
図12に示すように、第1画像により、観察対象のうち背景粘膜BM、及び、表層血管VS1が表された画像が表示される。第1画像は、紫色光、青色光、緑色光、及び赤色光を含む第1照明光に基づいて得られる。図13に示すように、第1照明光が観察対象に照明されると、第1照明光のうち紫色光V及び青色光Bは、表層血管VS1が分布する表層にまで深達する。したがって、紫色光V及び青色光Bの反射光に基づいて得られる紫色光画像VPには、表層血管VS1の像が含まれる。なお、ここでは、紫色光Vの光強度が青色光Bの光強度より強いため、紫色光画像VPとする。また、第1照明光のうち緑色光Gと赤色光Rは、表層血管VS1及び深層血管VS2(表層血管VS1よりも深い位置にある血管)よりもさらに深い位置に分布する背景粘膜BMにまで深達する。したがって、緑色光Gと赤色光Rの反射光に基づいて得られる緑及び赤色光画像GRPには、背景粘膜BMの像が含まれる。以上から、第1画像は紫色光画像VPと緑及び赤色光画像GRPを組み合わせた画像であるため、背景粘膜BM及び表層血管VS1の像が表示される。
図14に示すように、第2画像により、観察対象のうち背景粘膜BM、及び、深層血管VS2が表された画像が表示される。第2画像は、紫色光、青色光、緑色光、及び赤色光を含む第2照明光に基づいて得られる。図15に示すように、第2照明光が観察対象に照明されると、第2照明光のうち紫色光V及び青色光Bは、深層血管VS2が分布する深層にまで深達する。したがって、紫色光V及び青色光Bの反射光に基づいて得られる青色光画像BPには、深層血管VS2の像が含まれる。なお、ここでは、青色光Bの光強度が紫色光Vの光強度より強いため、青色光画像BPとする。また、第2照明光のうち緑色光Gと赤色光Rは、表層血管VS1及び深層血管VS2(表層血管VS1よりも深い位置にある血管)よりもさらに深い位置に分布する背景粘膜BMにまで深達する。したがって、緑色光Gと赤色光Rの反射光に基づいて得られる緑及び赤色光画像GRPには、背景粘膜BMの像が含まれる。以上から、第2画像は青色光画像BPと緑及び赤色光画像GRPを組み合わせた画像であるため、背景粘膜BM及び深層血管VS2の像が表示される。
画像保存部56は、画像保存処理を行う。画像保存処理は、画像を保存する処理であり、例えば、第1画像及び第2画像を保存する処理である。画像保存制御部61は、画像保存処理を制御する。具体的には、画像保存制御部61は、画像保存処理を開始させるための処理開始操作が行われた際に、処理開始操作時刻より前の所定期間に取得した複数種類の画像、例えば、複数の第1画像及び複数の第2画像から、予め設定した選択条件を満たす第1画像及び第2画像を、それぞれ少なくとも1つずつ選択して、画像保存部56に保存する制御を行う。
処理開始操作は、例えば、静止画取得指示部12fによる静止画取得指示(フリーズ指示又はレリーズ指示)操作である。静止画取得指示部12fを操作することにより、静止画取得指示が入力されると、処理開始操作が行われたことになり、画像保存処理が開始する。画像保存部56は、画像保存制御部61の制御により、予め設定した選択条件により選択された第1画像及び第2画像等の内視鏡画像を、画像保存部56又はストレージ(図示せず)に保存する。ストレージは、プロセッサ装置16にLAN(Local Area Network)等接続した外部記憶装置であり、例えば、PACS(Picture Archiving and Communication System)等の内視鏡画像をファイリングするシステムのファイルサーバや、NAS(Network Attached Storage)等である。
図16に示すように、画像保存制御部61による画像保存処理は、具体的には次のように行う。第1特殊観察モードにおいて、照明光としては、第1照明光を続けて発光する第1期間中に、5フレームの第1照明光発光期間71に対して1フレームの第2照明光発光期間72の周期で、第1照明光と切り替えて第2照明光を発光し、この周期を繰り返す。撮像センサ45は、フレーム毎に電荷の蓄積と読み出しとを行うことにより、画像信号を取得する。なお、図16において、撮像センサ45による第1画像信号取得を実線で示し、第2画像信号取得を破線で示した。また、図は模式的に示したものであって、例えば、蓄積と読み出しとの時間は、必ずしも同程度の時間であるとは限らない。以上により、画像信号取得部51は、期間91において、第1照明光により照明された観察対象を撮影した第1画像を複数取得し、期間92において、第2照明光により照明された観察対象を撮影した第2画像を複数取得する。
静止画取得指示93が行われると、画像保存制御部61は、予め設定した所定期間94に取得した複数の第1画像及び第2画像から、選択条件を満たす第1画像又は第2画像をそれぞれ少なくとも1つずつ選択して画像保存部56に保存する制御を行う。選択条件は、予め設定することができるが、保存する第1画像と第2画像とが、比較又は重畳に適した状態で保存される条件とする。例えば、画像保存制御部61は、選択条件を、取得した複数の第1画像及び複数の第2画像のうち、それぞれブレが最も少ない第1画像及び第2画像であるとすることが好ましい。
第1画像又は第2画像においてブレが最も少ない第1画像及び第2画像を選択する方法としては、公知の手法を用いることができる。例えば、各画像におけるブレ量を算出して、ブレ量が最も小さいものを選択することができる。ブレ量の算出方法としては、主として、画像解析に基づく方法と撮像センサ45に基づく方法等があり、画像解析に基づく方法としては、画像における複数の領域のそれぞれについて点拡がり関数(PSF(Point Spread Function))を推定し、その点拡がり関数からブレの方向及び大きさを高精度に推定する方法がある(特許5499050号公報参照)。また、画像信号から移動ベクトルを検出し、移動ベクトルを元に画像ブレ量を検出する方法がある(特開平3-16470号公報参照)。また、コントラストを算出し、コントラストが大きいものをブレ量が少ないものとして検出する方法も好ましく用いられる。
図16において、静止画取得指示93から所定期間94の期間に取得された複数の第1画像及び複数の第2画像のうち、ブレが最も少ない第1画像96及び第2画像95が選択される。画像保存制御部61が選択した第1画像96と第2画像95とは、画像保存制御部61が画像保存部56に保存する。なお、画像保存部56は、信号処理部55から送られた画像信号を、画像保存処理のために用いるほか、表示のために表示制御部57に送る。
なお、画像信号取得部51が取得した画像、又は、画像保存部56が保存した画像は、画像の付帯情報として取得した時間を有するが、画像保存部56は、対応する照明光に関する情報を付与した上で第1画像及び第2画像を保存することが好ましい。この場合、照明光又は観察モードの情報も付帯情報として有することが好ましい。また、画像のファイル名に照明光又は観察モードと紐付けしたタグ等の識別情報又は識別子等を付しても良い。以上によれば、取得又は保存した画像が第1画像であるか第2画像であるかを、容易に認識することができる。
表示制御部57は、表示手段であるディスプレイ18への画像の表示を制御する。例えば、通常観察モードでは、通常画像を連続して動画としてディスプレイ18に表示し、特殊観察モードでは、第1画像又は第2画像を連続して動画としてディスプレイ18に表示し、マルチ観察モードでは、第1画像又は第2画像のいずれかを自動的に切り替えて動画としてディスプレイ18に表示する制御を行う。また、静止画取得指示93が行われた場合は、選択条件により選択された第1画像及び第2画像等の内視鏡画像を静止画としてディスプレイ18に表示する制御を行う。
表示制御部57は、第1画像及び第2画像等の静止画を表示する場合は、ディスプレイ18に並べて表示する他に、それぞれの画像の透過度を調整して重畳して表示する、又は、ディスプレイ18の同じ領域に1秒以下の短時間で切り替えて、アニメーションのように表示する等、目的に応じて設定した表示方法となるよう表示を制御する。
映像信号生成部58は、表示制御部57から出力される通常画像、特殊画像、画像保存部56に保存された第1画像と第2画像、及び/又はこれらの画像に付帯する情報などを、ディスプレイ18においてフルカラーで表示可能にする映像信号に変換する。変換済みの映像信号はディスプレイ18に入力される。これにより、ディスプレイ18には通常画像、特殊画像、又は付帯情報等が表示される。
以上のとおり、内視鏡システム10では、観察に使用する照明光の照明期間は長くする一方で、その照明期間中に、例えば、1フレームといった一瞬だけ他の照明光に切り替えて画像を取得しておくため、複数種類の照明光に対応した複数種類の画像が簡便に取得できる。さらに、照明光の切り替えは、1フレームといった一瞬の期間であり、それ以外は1種類の照明光を続けて発光するため、ユーザは照明の切り替えを認識することがなく、光過敏の問題が生じにくい。したがって、内視鏡システム10は、上記の構成としたことにより、複数種類の静止画を1回の静止画取得指示93により、比較又は重畳に適した状態で保存することができる。
なお、画像保存制御部61は、選択条件を、取得した複数の第1画像又は複数の第2画像から選択された第1画像と第2画像とにおいて、位置ずれが最も少ない第1画像及び第2画像であるとすることが好ましい。選択された第1画像と第2画像との位置ずれが少ないことにより、第1画像と第2画像とを比較又は重畳に適した状態で保存することができる。
位置ずれが最も少ない第1画像と第2画像とを選択する方法としては、公知の手法を用いることができる。例えば、画像解析に基づく方法では、第1画像と第2画像とを分割し、それぞれの領域において信号特性が類似する第1画像のGs1画像信号と第2画像のGs2画像信号の累積量を比較して求める方法等が挙げられる。
また、画像保存制御部61は、選択条件を、取得した複数の第1画像及び複数の第2画像から選択された第1画像と第2画像とにおいて、取得時刻の差が最も少ない第1画像及び第2画像であるとすることが好ましい。選択された第1画像と第2画像との取得時刻の差が少ないほど、第1画像と第2画像との位置ずれが生じにくいため、第1画像と第2画像とを比較又は重畳に適した状態で保存することができる。
図17に示すように、図16と同様の照明光、撮像センサ45、及び画像信号取得部51により、期間91において第1画像を複数取得し、期間92において第2画像を複数取得されている場合、取得時刻の差が最も少ない第1画像及び第2画像のうち、静止画取得指示93の時刻に近い第1画像96及び第2画像95が選択される。画像保存制御部61が選択した第1画像96と第2画像95とは、画像保存制御部61が画像保存部56に保存する。
上記したような選択条件は、単独で用いても良いし、複数を組み合わせて用いても良い。例えば、取得時刻の差が最も少ない第1画像及び第2画像の組み合わせが複数あった場合は、それらのうち、ブレが少ないものを選択するようにしてもよい。
なお、マルチ観察モードにおいて、画像保存制御部61による画像保存処理は、具体的には、図18に示すように行なう。照明光は、マルチ観察モードにおける照明光である。図において、同じ符号は同じものを示す。したがって、図18において、図10と同じ符号は同じものを示す。撮像センサ45は、フレーム毎に電荷の蓄積と読み出しとを行うことにより画像信号を取得する。なお、図18において、撮像センサ45による第1画像信号取得を実線で示し、第2画像信号取得を破線で示した。したがって、画像信号取得部51は、期間91において、第1照明光により照明された観察対象を撮影した第1画像を複数取得し、期間92において、第2照明光により照明された観察対象を撮影した第2画像を複数取得し、また、期間97において、第2照明光により照明された観察対象を撮影した第2画像を複数取得し、期間98において、第1照明光により照明された観察対象を撮影した第2画像を複数取得する。
静止画取得指示93が行われると、画像保存制御部61は、予め設定した所定期間94に取得した複数の第1画像及び第2画像から、選択条件を満たす第1画像及び第2画像をそれぞれ少なくとも1つずつ選択して画像保存部56に保存する制御を行う。選択条件等は、上記した特殊観察モードの場合と同様である。
以上のように、マルチ観察モードにおいても、内視鏡システム10により、複数種類の静止画を1回の静止画取得指示93により、比較又は重畳に適した状態で保存することができる。
なお、表示制御部57は、第1期間中は第1画像を連続してディスプレイ18に表示する制御を行っても良い。第1期間中は、第2照明光を少なくとも1フレームの期間、第1照明光と切り替えて発光し、撮像センサ45は、フレーム毎に画像信号を取得するが、ディスプレイ18には第1画像を連続して表示する。
図19に示すように、第1特殊観察モードにおいて、画像信号取得部51は、期間91において、第1照明光により照明された観察対象を撮影した第1画像を複数取得し、期間92において、第2照明光により照明された観察対象を撮影した第2画像を複数取得する。表示制御部57は、取得した画像をディスプレイ18に表示する制御を行う他に、本実施形態では、取得した第2画像はディスプレイ18に表示しない制御を行う。この場合、第2画像を取得した期間は、第2画像を取得する直前の第1画像をそのまま延長して表示してもよい。なお、第2特殊観察モードにおいても同様に、第2画像を連続して表示する。
マルチ観察モードにおいては、図20に示すように、表示制御部57は、第1期間75では第1画像を連続してディスプレイ18に表示し、第2期間76では第2画像を連続してディスプレイに表示する。
以上のように、表示制御部57が第1期間中は第1画像を連続してディスプレイ18に表示する制御を行うことにより、観察中のモードとは異なるモードの画像信号を取得しながらも、ディスプレイ18に、ちらつき等がなく内視鏡画像を表示することができる。したがって、ユーザーはより安定して観察等を行うことができる。
次に、静止画保存の一連の流れについて、図21に示すフローチャートに沿って説明を行う。第1特殊観察モードの場合、第1特殊観察モードにて観察を行う(ステップST110)。観察中に、画像信号取得部51は第1画像と第2画像とを取得している(ステップST120)。この場合、ディスプレイ18に表示する内視鏡画像は、第1画像を連続して表示してもよいし、画像の取得に従って、表示も第1画像と第2画像とを切り替えても良い。
静止画取得指示があった場合(ステップST130でYES)、静止画取得指示は画像保存処理の処理開始操作であるので、静止画取得指示の時刻より前の所定期間に、画像信号取得部51が取得した複数の第1画像と第2画像とから、予め設定した選択条件を満たす第1画像及び第2画像をそれぞれ1つずつ選択する(ステップST140)。静止画取得指示がない場合は(ステップST130でNO)、観察と第1画像及び第2画像の取得が続けられる。選択された第1画像及び第2画像は、画像保存部56が保存する(ステップST150)。表示制御部57が、保存された第1画像及び第2画像をディスプレイ18に表示する(ステップST160)。表示形式は、予め設定された形式であり、例えば、2つの画像を重畳してディスプレイ18に表示する。観察が終了されると(ステップST170でYES)、一連の流れが終了する。観察を継続する場合は(ステップST170でNO)、第1特殊モードでの観察に戻る。
なお、上記実施形態では、内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理システムに対しても、静止画を保存する際に本発明の適用は可能である。
上記実施形態において、プロセッサ装置16に含まれる中央制御部62、画像信号取得部51、DSP52、ノイズ低減部53、メモリ54、信号処理部55、画像保存部56、画像保存制御部61、表示制御部57、及び映像信号生成部58といった各種の処理を実行する処理部(processing unit)、光源用プロセッサ21、並びに撮像用プロセッサのハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f 静止画取得指示部
12g モード切替スイッチ
12h ズーム操作部
14 光源装置
16 プロセッサ装置
18 ディスプレイ
19 キーボード
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源用プロセッサ
22 発光期間設定部
30a 照明光学系
30b 撮像光学系
41 ライトガイド
42 照明レンズ
43 対物レンズ
44 ズームレンズ
45 撮像センサ
46 CDS/AGC回路
47 A/Dコンバータ
51 画像信号取得部
52 DSP
53 ノイズ低減部
54 メモリ
55 信号処理部
56 画像保存部
57 表示制御部
58 映像信号生成部
61 画像保存制御部
62 中央制御部
71、74 第1照明光発光期間
72、73 第2照明光発光期間
81a、81b スライドバー
82a、82b スライダ
91、92、97、98 期間
93 静止画取得指示
94 所定期間
95 第2画像
96 第1画像
BM 背景粘膜
VS1 表層血管
VS2 深層血管
VP 紫色光画像
GRP 緑及び赤色光画像
ST110~ST200 ステップ
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f 静止画取得指示部
12g モード切替スイッチ
12h ズーム操作部
14 光源装置
16 プロセッサ装置
18 ディスプレイ
19 キーボード
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源用プロセッサ
22 発光期間設定部
30a 照明光学系
30b 撮像光学系
41 ライトガイド
42 照明レンズ
43 対物レンズ
44 ズームレンズ
45 撮像センサ
46 CDS/AGC回路
47 A/Dコンバータ
51 画像信号取得部
52 DSP
53 ノイズ低減部
54 メモリ
55 信号処理部
56 画像保存部
57 表示制御部
58 映像信号生成部
61 画像保存制御部
62 中央制御部
71、74 第1照明光発光期間
72、73 第2照明光発光期間
81a、81b スライドバー
82a、82b スライダ
91、92、97、98 期間
93 静止画取得指示
94 所定期間
95 第2画像
96 第1画像
BM 背景粘膜
VS1 表層血管
VS2 深層血管
VP 紫色光画像
GRP 緑及び赤色光画像
ST110~ST200 ステップ
Claims (10)
- 互いに異なる波長帯域の光を発光する複数の半導体光源と、
前記複数の半導体光源の光強度比の組み合わせが互いに異なる複数の照明光のうちの第1照明光を発光する第1期間中に、前記第1照明光と前記組み合わせが互いに異なる第2照明光を、少なくとも1フレームの期間、前記第1照明光と切り替えて、発光する制御を行う光源用プロセッサと、
画像用プロセッサとを備え、
前記画像用プロセッサは、
前記第1照明光又は前記第2照明光により照明された観察対象を撮影して得られる第1画像又は第2画像をフレーム毎に取得し、
前記第1画像及び前記第2画像を保存する画像保存処理を行い、
前記画像保存処理を開始させるための処理開始操作が行われた際に、前記処理開始操作時刻より前の予め設定した期間に取得した複数の前記第1画像及び複数の前記第2画像から、予め設定した選択条件を満たす前記第1画像及び前記第2画像をそれぞれ少なくとも1つずつ選択して保存する内視鏡システム。 - 前記選択条件は、取得した複数の前記第1画像及び複数の前記第2画像のうち、ブレが最も少ない前記第1画像及び前記第2画像とする請求項1に記載の内視鏡システム。
- 前記選択条件は、取得した複数の前記第1画像及び複数の前記第2画像から選択された前記第1画像と前記第2画像とにおいて、位置ずれが最も少ない前記第1画像及び前記第2画像とする請求項1または2に記載の内視鏡システム。
- 前記選択条件は、取得した複数の前記第1画像及び複数の前記第2画像から選択された前記第1画像と前記第2画像とにおいて、取得時刻の差が最も少ない前記第1画像及び前記第2画像とする請求項1ないし3のいずれか1項に記載の内視鏡システム。
- 前記光源用プロセッサは、前記第1期間と、前記第2照明光を発光する第2期間とを交互に繰り返し、かつ、前記第2期間中に、前記第1照明光を、少なくとも1フレームの期間、前記第2照明光と切り替えて発光する制御を行う請求項1ないし4のいずれか1項に記載の内視鏡システム。
- 前記画像用プロセッサは、取得した前記第1画像及び/又は前記第2画像をディスプレイに表示する制御を行い、
前記第2期間中は少なくとも前記第2画像を前記ディスプレイに表示する請求項5に記載の内視鏡システム。 - 前記画像用プロセッサは、取得した前記第1画像及び/又は前記第2画像をディスプレイに表示する制御を行い、
前記第1期間中は少なくとも前記第1画像を前記ディスプレイに表示する請求項1ないし5のいずれか1項に記載の内視鏡システム。 - 前記半導体光源は、前記波長帯域が中心波長410±10nmかつ波長範囲420~500nmである第1狭帯域光を発光する第1半導体光源と、前記波長帯域が中心波長450±10nmかつ波長範囲380~420nmである第2狭帯域光を発光する第2半導体光源とを含む請求項1ないし7のいずれか1項に記載の内視鏡システム。
- 前記画像用プロセッサは、用いた前記照明光に関する情報を付与した上で前記第1画像及び前記第2画像を保存する請求項1ないし8のいずれか1項に記載の内視鏡システム。
- 互いに異なる波長帯域の光を発光する複数の半導体光源と、
光源用プロセッサと、
画像用プロセッサとを備える内視鏡システムの作動方法において、
前記光源用プロセッサは、
前記複数の半導体光源の光強度比の組み合わせが互いに異なる複数の照明光のうちの第1照明光を発光する第1期間中に、前記第1照明光と前記組み合わせが互いに異なる第2照明光を、少なくとも1フレームの期間、前記第1照明光と切り替えて、発光する制御を行い、
前記画像用プロセッサは、
前記第1照明光又は前記第2照明光により照明された観察対象を撮影して得られる第1画像又は第2画像をフレーム毎に取得し、
前記第1画像及び前記第2画像を保存する画像保存処理を行い、
前記画像保存処理を開始させるための処理開始操作が行われた際に、前記処理開始操作時刻より前の予め設定した期間に取得した複数の前記第1画像及び複数の前記第2画像から、予め設定した選択条件を満たす前記第1画像及び前記第2画像をそれぞれ少なくとも1つずつ選択して保存する内視鏡システムの作動方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21761328.0A EP4111936A4 (en) | 2020-02-28 | 2021-02-17 | ENDOSCOPE SYSTEM AND METHOD OF ENDOSCOPE SYSTEM OPERATION |
JP2022503290A JP7390465B2 (ja) | 2020-02-28 | 2021-02-17 | 内視鏡システム、及び内視鏡システムの作動方法 |
CN202180017252.3A CN115209778A (zh) | 2020-02-28 | 2021-02-17 | 内窥镜系统及内窥镜系统的工作方法 |
US17/822,348 US20220400930A1 (en) | 2020-02-28 | 2022-08-25 | Endoscope system and method of operating endoscope system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-034275 | 2020-02-28 | ||
JP2020034275 | 2020-02-28 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/822,348 Continuation US20220400930A1 (en) | 2020-02-28 | 2022-08-25 | Endoscope system and method of operating endoscope system |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021172131A1 true WO2021172131A1 (ja) | 2021-09-02 |
Family
ID=77490980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/005937 WO2021172131A1 (ja) | 2020-02-28 | 2021-02-17 | 内視鏡システム、及び内視鏡システムの作動方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220400930A1 (ja) |
EP (1) | EP4111936A4 (ja) |
JP (1) | JP7390465B2 (ja) |
CN (1) | CN115209778A (ja) |
WO (1) | WO2021172131A1 (ja) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0316470A (ja) | 1989-06-14 | 1991-01-24 | Matsushita Electric Ind Co Ltd | 手振れ補正装置 |
JP2009279171A (ja) * | 2008-05-22 | 2009-12-03 | Fujinon Corp | 蛍光画像取得方法および蛍光画像取得装置 |
JP2010279454A (ja) * | 2009-06-03 | 2010-12-16 | Olympus Corp | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
JP2013188364A (ja) | 2012-03-14 | 2013-09-26 | Fujifilm Corp | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムにおける露光量調整方法 |
JP5499050B2 (ja) | 2009-12-22 | 2014-05-21 | パナソニック株式会社 | 画像処理装置、撮像装置、及び画像処理方法 |
JP2016123576A (ja) * | 2014-12-26 | 2016-07-11 | オリンパス株式会社 | 蛍光観察装置 |
JP2017079870A (ja) * | 2015-10-23 | 2017-05-18 | Hoya株式会社 | 内視鏡システム |
JP2017164393A (ja) * | 2016-03-18 | 2017-09-21 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2019093355A1 (ja) * | 2017-11-13 | 2019-05-16 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2019093256A1 (ja) * | 2017-11-10 | 2019-05-16 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2019163540A1 (ja) * | 2018-02-20 | 2019-08-29 | 富士フイルム株式会社 | 内視鏡システム |
-
2021
- 2021-02-17 EP EP21761328.0A patent/EP4111936A4/en active Pending
- 2021-02-17 CN CN202180017252.3A patent/CN115209778A/zh active Pending
- 2021-02-17 JP JP2022503290A patent/JP7390465B2/ja active Active
- 2021-02-17 WO PCT/JP2021/005937 patent/WO2021172131A1/ja unknown
-
2022
- 2022-08-25 US US17/822,348 patent/US20220400930A1/en active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0316470A (ja) | 1989-06-14 | 1991-01-24 | Matsushita Electric Ind Co Ltd | 手振れ補正装置 |
JP2009279171A (ja) * | 2008-05-22 | 2009-12-03 | Fujinon Corp | 蛍光画像取得方法および蛍光画像取得装置 |
JP2010279454A (ja) * | 2009-06-03 | 2010-12-16 | Olympus Corp | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
JP5499050B2 (ja) | 2009-12-22 | 2014-05-21 | パナソニック株式会社 | 画像処理装置、撮像装置、及び画像処理方法 |
JP2013188364A (ja) | 2012-03-14 | 2013-09-26 | Fujifilm Corp | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムにおける露光量調整方法 |
JP2016123576A (ja) * | 2014-12-26 | 2016-07-11 | オリンパス株式会社 | 蛍光観察装置 |
JP2017079870A (ja) * | 2015-10-23 | 2017-05-18 | Hoya株式会社 | 内視鏡システム |
JP2017164393A (ja) * | 2016-03-18 | 2017-09-21 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2019093256A1 (ja) * | 2017-11-10 | 2019-05-16 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2019093355A1 (ja) * | 2017-11-13 | 2019-05-16 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2019163540A1 (ja) * | 2018-02-20 | 2019-08-29 | 富士フイルム株式会社 | 内視鏡システム |
Also Published As
Publication number | Publication date |
---|---|
US20220400930A1 (en) | 2022-12-22 |
JP7390465B2 (ja) | 2023-12-01 |
JPWO2021172131A1 (ja) | 2021-09-02 |
EP4111936A1 (en) | 2023-01-04 |
CN115209778A (zh) | 2022-10-18 |
EP4111936A4 (en) | 2023-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2926717B1 (en) | Endoscope system | |
JP6243364B2 (ja) | 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム | |
JP6362274B2 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
CN111343898B (zh) | 内窥镜系统及其工作方法 | |
US11596293B2 (en) | Endoscope system and operation method therefor | |
JP6285370B2 (ja) | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム | |
CN111568340A (zh) | 内窥镜系统 | |
JP6891294B2 (ja) | 内視鏡システム及びその作動方法 | |
JP6616071B2 (ja) | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム | |
JP2018051364A (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法 | |
CN111712178A (zh) | 内窥镜系统及其工作方法 | |
JP2020192007A (ja) | 情報処理装置及びその作動方法並びに内視鏡システム及びその作動方法 | |
WO2021172131A1 (ja) | 内視鏡システム、及び内視鏡システムの作動方法 | |
JP6285373B2 (ja) | 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 | |
WO2021182048A1 (ja) | 内視鏡システム、及び内視鏡システムの作動方法 | |
JP7411515B2 (ja) | 内視鏡システム及びその作動方法 | |
WO2021149357A1 (ja) | 内視鏡システム及びその作動方法 | |
JP7390482B2 (ja) | 内視鏡システム及びその作動方法 | |
WO2021250952A1 (ja) | 内視鏡システム及びその作動方法 | |
WO2023119795A1 (ja) | 内視鏡システム及びその作動方法 | |
JP2016067781A (ja) | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法 | |
CN111820852A (zh) | 处理器装置及内窥镜系统以及校准方法 | |
CN114727752A (zh) | 内窥镜系统 | |
CN114585292A (zh) | 内窥镜系统及其工作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21761328 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022503290 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2021761328 Country of ref document: EP Effective date: 20220928 |