WO2017069024A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
WO2017069024A1
WO2017069024A1 PCT/JP2016/080232 JP2016080232W WO2017069024A1 WO 2017069024 A1 WO2017069024 A1 WO 2017069024A1 JP 2016080232 W JP2016080232 W JP 2016080232W WO 2017069024 A1 WO2017069024 A1 WO 2017069024A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image signal
evaluation value
stored
signal
Prior art date
Application number
PCT/JP2016/080232
Other languages
English (en)
French (fr)
Inventor
雅明 福田
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Priority to DE112016000142.8T priority Critical patent/DE112016000142T5/de
Priority to US15/513,618 priority patent/US10646110B2/en
Priority to CN201680002893.0A priority patent/CN107072511B/zh
Publication of WO2017069024A1 publication Critical patent/WO2017069024A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2453—Optical details of the proximal end
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6867—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive specially adapted to be attached or implanted in a specific body part
    • A61B5/6873—Intestine

Definitions

  • the present invention relates to an endoscope system that performs still (freeze) processing of a captured moving image.
  • An endoscope system that includes a scope unit, a processor unit, and a monitor is known as an endoscope system for observing a subject in a body cavity such as a human esophagus or intestine.
  • Illumination light emitted from the processor unit is guided through a light guide fiber provided in the scope unit and is emitted from a light distribution window provided at the distal end of the scope unit.
  • the illumination light emitted from the light distribution window is reflected by the subject in the body cavity and is taken as object light into the observation window provided at the distal end of the scope unit.
  • the object light captured from the observation window is converted into an electric signal at a predetermined frame rate by the image sensor and output to the processor unit.
  • the processor unit includes a signal processing circuit, converts the received electrical signal into a video signal by the signal processing circuit, and transmits the video signal to the monitor.
  • the monitor displays a moving image based on the video signal received from the processor unit.
  • the user who uses an endoscope system can observe a to-be-photographed object by seeing the moving image displayed on the monitor.
  • a freeze instruction for temporarily suspending (freezing) the moving image is input to the processor unit by the surgeon, a still image of the subject is displayed on the monitor.
  • the surgeon can scrutinize the subject.
  • the still image displayed on the monitor may be blurred or blurred.
  • Patent Document 1 an endoscope system that suppresses color shift of a still image is disclosed in Japanese Patent No. 3887453 (hereinafter referred to as “Patent Document 1”).
  • the endoscope light source device described in Patent Literature 1 stores, as a still image, an image of a frame in which the color shift of the image is smaller than a predetermined value among moving images displayed at a predetermined frame rate.
  • the number of stored still images is limited, and the old images are sequentially updated.
  • the endoscope system displays a still image of a frame with the least color shift among a plurality of stored still images.
  • a freeze instruction is input, a still image with little color misalignment is displayed on the monitor.
  • the present invention has been made in view of the above circumstances, and in an endoscope system that displays an image of a subject illuminated by two types of illumination light having different wavelength bands, occurrence of blurring and blurring is suppressed.
  • An object is to provide an advantageous display for displaying a still image.
  • an endoscope system includes: a light source unit that alternately emits first illumination light and second illumination light having different wavelength bands at a predetermined period; An imaging unit that images a subject illuminated with the first illumination light to generate a first image signal, images a subject illuminated with the second illumination light to generate a second image signal, and First image signal storage means for sequentially storing the first image signal, second image signal storage means for sequentially storing the generated second image signal, and image evaluation of the first image based on the stored first image signal Image evaluation value calculating means for calculating at least one of the image evaluation value of the second image based on the value and the stored second image signal, and a plurality of stored first image signals based on the calculated image evaluation value Select the first display image signal from Image signal selection means for selecting a second display image signal from a plurality of stored second image signals, a first image based on the first display image signal, and a second image based on the second display image signal Display means for simultaneously displaying.
  • the first display image signal and the second display image signal are independently generated based on at least one of the image evaluation result of the first image and the image evaluation result of the second image. Selected. Accordingly, an image signal suitable for displaying a still image is selected as at least one of the first display image signal and the second display image signal.
  • the endoscope system may further include an instruction receiving unit that receives a freeze instruction from the user.
  • the image evaluation value calculation unit responds to the calculated image evaluation value according to a time difference between the time when the image for which the image evaluation value is calculated is captured and the time when the instruction receiving unit receives the freeze instruction. Perform weighting.
  • the image evaluation value calculating means may weight the image evaluation value by adding a larger addend or multiplying a larger multiplier as the time difference is smaller.
  • the image signal selection means selects the first display image signal from the plurality of stored first image signals based on the image evaluation value, and the second of the same frame as the frame of the first display image signal.
  • An image signal or a second image signal of a frame before or after a predetermined number of frames before the frame of the first display image signal may be selected as the second display image signal.
  • the first image signal storage means stores the first image signal stored when a first image signal is newly generated by the imaging means when a predetermined number of first image signals are stored.
  • the second image signal storage means stores a predetermined number of second image signals.
  • the newly generated second image signal is overwritten on the second image signal having the oldest stored time among the stored second image signals. May be stored.
  • FIG. 6 is a diagram for explaining the time change of the field synchronization signal, the field signal, and the illumination light, the timing at which the image signal is output from the imaging signal, and the timing at which the image signal storage process and the reading process are performed in the embodiment of the present invention.
  • FIG. It is a figure which shows the example of a display screen of the monitor in embodiment of this invention.
  • FIG. 1 is a block diagram showing a configuration of an endoscope system 100 according to an embodiment of the present invention.
  • the endoscope system 100 of this embodiment is a medical imaging system used for observing a subject in a human body cavity.
  • the endoscope system 100 includes a scope unit 110, a processor unit 120, and a monitor 130.
  • the scope part 110 has a connector part 111 and an insertion tube 112.
  • An image pickup unit 10 and a light distribution lens 11 that operate as image pickup means are provided at the distal end portion of the insertion tube 112.
  • a light guide fiber 13 and a plurality of wirings 14 are provided from the connector section 111 to the tip section.
  • the processor unit 120 includes a light source unit 121, a light source driving circuit 122, an image processing unit 123, a controller 124, an input device 125, and an image sensor driver 126.
  • FIG. 2 shows a block diagram of the light source unit 121.
  • the light source unit 121 includes a light source 20, a filter unit 21, a light control unit 22, and a condenser lens 23.
  • the light source 20 is driven by a light source driving circuit 122 and emits white illumination light.
  • the illumination light emitted from the light source 20 enters the filter unit 21.
  • the filter unit 21 includes an IR (infrared) cut filter 25 and a filter turret 26.
  • the illumination light incident on the filter unit 21 is incident on the light control unit 22 through the IR cut filter 25 and the filter turret 26 in this order.
  • FIG. 3 shows a front view of the filter turret 26 viewed from the light source 20 side.
  • the filter turret 26 has a disk shape.
  • the filter turret 26 includes a first optical filter 26a and a second optical filter 26b having different spectral characteristics arranged side by side in the circumferential direction.
  • Each optical filter has a fan shape that extends in an angular range (here, an angular range of about 180 °) corresponding to a predetermined field rate (in this embodiment, 1/60 second).
  • FIG. 4 shows the spectral characteristics of the first optical filter 26a and the second optical filter 26b.
  • the horizontal axis of FIG. 4 indicates the wavelength (unit: nm), and the vertical axis indicates the transmittance (unit:%).
  • the transmittance Ta of the first optical filter 26a is almost 100% for light in the visible light band having a wavelength of about 400 nm to about 700 nm.
  • the illumination light transmitted through the first optical filter 26a becomes white light.
  • the second optical filter 26b has a high transmittance Tb for light having a wavelength near 450 nm (blue light) and light near 550 nm (green light), and low transmittance Tb for light having other wavelengths. Therefore, the light transmitted through the second optical filter 26b becomes a cyan color in which blue light and green light are mixed.
  • the illumination light transmitted through the first optical filter 26a is referred to as “normal light”
  • the illumination light transmitted through the second optical filter 26b is referred to as “narrowband light”.
  • the filter turret 26 alternately takes out normal light from the first optical filter 26a and narrow-band light from the second optical filter 26b at a predetermined field rate.
  • the rotational position and phase of the filter turret 26 are controlled by detecting an opening (not shown) formed in the vicinity of the outer periphery of the filter turret 26 with the photo interrupter 28.
  • the light control unit 22 has a variable aperture. The amount of illumination light incident on the dimmer 22 from the filter turret 26 is adjusted by the opening of the variable diaphragm.
  • the illumination light modulated by the light control unit 22 is collected on the end surface of the light guide fiber 13 by the condenser lens 23 and is incident on the light guide fiber 13.
  • the illumination light incident on the light guide fiber 13 is guided to the distal end portion of the insertion tube 112.
  • the illumination light guided to the distal end of the insertion tube 112 is emitted from the exit end of the light guide fiber 13 and illuminates the subject in the body cavity. Illumination light that illuminates the subject is reflected by the subject and enters the imaging unit 10 as object light.
  • the imaging unit 10 includes an objective lens 10a and an imaging element 10b.
  • the image sensor 10b is, for example, an interlaced single-plate color CCD (Charge-Coupled Device) image sensor.
  • the object light incident on the imaging unit 10 is received by the imaging element 10b via the objective lens 10a.
  • the object light received by the image sensor 10 b is converted into an image signal at a predetermined field rate and transmitted to the image processing unit 123 of the processor unit 120 via one of the wires 14.
  • the image signal of the EVEN field output from the image sensor 10b is referred to as “first image signal”
  • the image signal of the ODD field is referred to as “second image signal”.
  • the switching timing between the normal light and the narrow band light by the filter turret 26 and the switching timing of the imaging period (field period) in the imaging device 10 b are synchronized with the field synchronization signal output from the imaging device driver 126. ing.
  • the first image signal in the EVEN field is an image signal generated by imaging a subject illuminated by normal light
  • the second image signal in the ODD field is generated by imaging a subject illuminated by narrowband light. Image signal.
  • the image sensor driver 126 transmits a field signal to the image processing unit 123 together with the first image signal or the second image signal.
  • the field signal is a signal indicating which of the first image signal and the second image signal is transmitted from the image sensor 10b to the image processing unit 123.
  • the image processing unit 123 includes a preprocessing unit 40, a first memory 41, a second memory 42, an image composition unit 43, a post processing unit 44, and an image evaluation processing unit 45.
  • the pre-processing unit 40 performs signal processing such as AD conversion and gamma correction on the first image signal and the second image signal received from the image sensor 10b.
  • signal processing such as AD conversion and gamma correction
  • the first image signal is transmitted to the first memory 41
  • the second image signal is transmitted to the second memory 42.
  • the first memory 41 operating as the first image signal storage means and the second memory 42 operating as the second image signal storage means sequentially store the received image signals.
  • the number of image signals (number of frames) stored in the first memory 41 and the second memory 42 has an upper limit. Therefore, when the first memory and the second memory receive a new image signal when the image signal is stored up to the upper limit, the new image signal is changed to the oldest image signal among the stored image signals. Overwrite and memorize.
  • FIG. 5 shows changes in time of the field synchronization signal, field signal, and illumination light, timing at which the image signal is output from the image sensor 10b, and storage processing and readout processing of the image signal in the first memory 41 and the second memory 42.
  • the field synchronization signal is a binary voltage signal having a rectangular wave shape, and the voltage changes at a predetermined field rate (in this embodiment, 1/60 seconds).
  • the field signal is a binary voltage signal having a rectangular wave shape.
  • the two values of the “field signal” represent “EVEN” and “ODD”, respectively.
  • the timing at which the voltage of the field signal changes is synchronized with the timing at which the voltage of the field synchronization signal rises.
  • “Illumination light” shown in FIG. 5 indicates the type of illumination light that illuminates the subject. As shown in FIG. 5, when the “field signal” is “EVEN”, the subject is illuminated with normal light, and when it is “ODD”, the subject is illuminated with narrowband light.
  • the first memory 41 sequentially stores the first image signal of the subject illuminated by the normal light at the frame rate of the image sensor 10b (in this embodiment, 1/30 second). Further, the second memory 42 sequentially stores the second image signal of the subject illuminated by the narrow band light at the frame rate of the image sensor 10b.
  • different numbers are assigned to the first image signals and the second image signals that are sequentially stored. Note that processing time is required for processing of electrical signals of the circuits constituting the processor unit 120 and the scope unit 110 such as signal processing in the preprocessing unit 40 and image signal writing processing in the first memory and the second memory. For this reason, a deviation occurs between the timing at which the image sensor 10b is exposed and the timing at which the image signal (first image signal or second image signal) is output. In FIG.
  • this timing deviation is described as being for one field.
  • the first memory 41 displays “first”.
  • a storage process of “image signal 1” is performed, and a read process of “second image signal 0” stored in the previous field is performed in the second memory 42.
  • the first memory 41 stores the previous field.
  • the reading process of “first image signal 1” is performed, and the storage process of “second image signal 1” is performed in the second memory 42.
  • the image signals read from the first memory 41 and the second memory 42 are transmitted to the image composition unit 43, respectively.
  • the image composition unit 43 synthesizes the first image signal and the second image signal of the same frame and transmits them to the post-processing unit 44.
  • the post-processing unit 44 processes the combined image signal received from the image combining unit 43 to generate monitor display screen data, and converts the generated monitor display screen data into a predetermined video format signal. To do.
  • the converted video format signal is output to the monitor 130.
  • FIG. 6 shows a display screen example of the monitor 130.
  • an image based on the first image signal hereinafter referred to as “normal light observation image” 131 and an image based on the second image signal (hereinafter referred to as “narrowband light observation”) are displayed on the monitor 130.
  • “Image”.) 132 are displayed side by side in one screen.
  • the controller 124 When a moving image is displayed on the monitor 130 and a freeze instruction is input to the input device 125 by a user (operator) of the endoscope system 100, the controller 124 operates as an instruction receiving unit.
  • the displayed moving image is paused (frozen).
  • the frozen moving image is displayed on the monitor 130 as a still image.
  • the first image signal and the second image signal to be displayed as a still image are selected by the image evaluation processing unit 45 from the image signals of a plurality of frames stored in the first memory 41 and the second memory 42, respectively. .
  • an image signal selected by the image evaluation processing unit 45 is referred to as a “still image signal”.
  • the image evaluation processing unit 45 operates as an image evaluation value calculation unit. Specifically, the image evaluation processing unit 45 stores each image signal (first image signal, second image signal) of each frame stored in each memory (first memory 41, second memory 42). An image evaluation value of each image signal thus calculated is calculated. Edge detection processing is used to calculate the image evaluation value. Specifically, the edge detection process is a count process for counting the number of pixels corresponding to a clear (strong) edge.
  • the image evaluation processing unit 45 performs a count process on the first image signal of each frame stored in the first memory 41. In the counting process, for each frame, the number of pixel values of the first image signal that are larger than a predetermined threshold is counted. The counted number of pixels becomes the image evaluation value of the first image signal. The higher the image evaluation value, the smaller the blur and blur of the normal light observation image.
  • the image evaluation processing unit 45 performs the above-described calculation of the image evaluation value performed on the first image signal also on the second image signal of each frame stored in the second memory 42. The higher the image evaluation value of the second image signal, the smaller the blur and blur of the narrowband light observation image.
  • the image evaluation processing unit 45 operates as image signal selection means. Specifically, when a freeze instruction is input to the input device 125, the image evaluation processing unit 45 displays the image signal (first image signal) stored in each memory (first memory 41, second memory 42). , Second image signal), a still image signal is selected based on the calculated image evaluation value.
  • the image evaluation value is based only on blurring and blurring.
  • freeze timing the time when the freeze instruction is input
  • image the time when the image of the still image signal selected based on the image evaluation value is captured
  • image the image is captured.
  • a large time difference will occur between the time and the “image capturing timing”. If this time difference is large, a still image at a timing desired by the operator may not be displayed on the monitor 130.
  • the still image displayed on the monitor 130 is more suitable as it is captured at a time close to the freeze timing. Therefore, the image evaluation processing unit 45 weights the image evaluation value according to the image capturing timing. Specifically, the image evaluation processing unit 45 multiplies an addition process for adding a large addend to the image evaluation value or a large multiplier as the time difference between the freeze timing and the image capturing timing of each image signal is small. Multiplication processing is performed. The image evaluation processing unit 45 performs addition processing or multiplication processing on the image evaluation value of each image signal, and then the image signal of the frame having the highest image evaluation value among the image signals of a plurality of frames (that is, the still image signal). ) Is selected. The process of selecting the still image signal from the first image signal of a plurality of frames and the process of selecting the still image signal from the second image signal of the plurality of frames by the image evaluation processing unit 45 are performed independently.
  • the image composition unit 43 and the post processing unit 44 operate as display means.
  • Each still image signal is processed by the image compositing unit 43 and the post-processing unit 44 and transmitted to the monitor 130, so that the normal light observation image (still image) and the narrow-band light observation image ( Still images) are displayed side by side.
  • the wavelength band and the light intensity are different between normal light and narrowband light.
  • the conditions for blurring and blurring of the image change. For this reason, even in the same frame, the size of blur and blur between the normal light observation image and the narrow-band light observation image are not necessarily the same.
  • the selection of the still image signal is performed separately for the first image signal and the second image signal. Therefore, even when the first image signal and the second image signal have different blurs or blurs, or when the image pickup timing (frame) with small blurs or blurs is different, the first image signal and the second image signal. In both cases, an image signal based on an image signal with small blurring and blurring is selected as a still image signal.
  • the image evaluation processing unit 45 calculates image evaluation values for both the first image signal and the second image signal, but the present invention is not limited to this.
  • the image evaluation value may be calculated only for either the first image signal or the second image signal.
  • the image evaluation processing unit 45 calculates an image evaluation value only for the first image signal of each frame stored in the first memory 41.
  • the image evaluation processing unit 45 selects a still image signal from the first image signals of a plurality of frames based on the calculated image evaluation value.
  • the image evaluation processing unit 45 selects a second image signal of the same frame as the selected first image signal as a still image signal.
  • the frame of the second image signal selected as the still image signal does not have to be the same as the frame of the selected first image signal.
  • a second image signal that is one frame before or after one frame of the selected first image signal may be selected as the still image signal.
  • the image evaluation value may be calculated based on the difference value between the image signals of two consecutive frames. For example, when the blurring of the observation image increases due to a large amount of movement of the subject (the movement is fast), a low image evaluation value is calculated because the difference value between the image signals of two consecutive frames increases. Also, when the blurring of the observed image is small because the amount of motion of the subject is small, the difference value between the image signals of two consecutive frames is small, so a high image evaluation value is calculated.
  • the interlace method has been described as an example. However, in another embodiment, the interlace method may be replaced with a progressive method.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

内視鏡システムを、第１照明光と第２照明光とを交互に射出する光源ユニットと、第１照明光で照明された被写体の第１画像信号を生成し、第２照明光で照明された被写体の第２画像信号を生成する撮像手段と、第１画像信号を記憶する第１画像信号記憶手段と、第２画像信号を記憶する第２画像信号記憶手段と、第１画像信号に基づく画像評価値と第２画像信号に基づく画像評価値の少なくとも一方を算出する画像評価値算出手段と、画像評価値に基づいて第１表示用画像信号を選択し且つ第２表示用画像信号を選択する画像信号選択手段と、第１表示用画像信号、第２表示用画像信号にそれぞれ基づく第１画像、第２画像を表示する表示手段と、から構成する。

Description

内視鏡システム
　本発明は、撮像した動画像の静止（フリーズ）処理を行う内視鏡システムに関する。
　人の食道や腸などの体腔内の被写体を観察するための内視鏡システムとして、スコープ部、プロセッサ部およびモニタを備える内視鏡システムが知られている。プロセッサ部から射出された照明光は、スコープ部内に設けられたライトガイドファイバ内を導波されてスコープ部先端に設けられた配光窓から射出される。配光窓から射出された照明光は体腔内の被写体で反射され、物体光としてスコープ部先端に設けられた観察窓に取り込まれる。観察窓から取り込まれた物体光は、撮像素子によって所定のフレームレートで電気信号に変換され、プロセッサ部に出力される。プロセッサ部は信号処理回路を備え、受信した電気信号を信号処理回路によって映像信号に変換しモニタに送信する。モニタはプロセッサ部より受信した映像信号に基づいて動画像を表示する。これにより、内視鏡システムを使用するユーザ（術者）は、モニタに表示された動画像を見ることで被写体を観察することができる。また、術者によりプロセッサ部に対して動画像を一時停止（フリーズ）させるフリーズ指示が入力されると、モニタには被写体の静止画像が表示される。これにより、術者は被写体の精察を行うことができる。しかし、術者がフリーズ指示を入力するタイミングによっては、モニタに表示される静止画像にブレやボケが生じる場合があった。
　上記課題に関連し、静止画像の色ズレを抑制する内視鏡システムが特許第３８８７４５３号公報（以下、「特許文献１」と記す。）に開示されている。特許文献１に記載の内視鏡用光源装置は、所定のフレームレートで表示される動画像の中から画像の色ズレが所定の値よりも小さいフレームの画像を静止画像として記憶する。ここで、記憶される複数の静止画像の枚数は有限であり、古い画像から順次更新される。内視鏡システムは、フリーズ指示が入力されると、記憶されている複数の静止画像のうち、最も色ズレの少ないフレームの静止画像を表示する。これにより、フリーズ指示が入力された場合に、モニタには色ズレの少ない静止画像が表示される。
　内視鏡システムには、波長帯域の異なる２種類の照明光を所定のフレームレートで交互に射出し、各照明光により照明された被写体の画像を生成してモニタの同一画面上に同時に表示させるものが知られている。この種の内視鏡システムに対して特許文献１に記載の処理方法を適用する場合を考える。この場合、静止画像に生じるブレやボケの発生の仕方が被写体を照明する照明光の波長帯域や明るさに応じて変化することから、波長帯域の異なる各照明光に対応する２種類の被写体画像間でブレやボケの程度が異なる。そのため、静止画像として表示するのに適したフレームを選択することが難しく、２種類の被写体画像の両方にブレやボケが生じる虞がある。
　本発明は、上記の事情を鑑みてなされたものであり、波長帯域の異なる２種類の照明光により照明された被写体の画像を表示する内視鏡システムにおいて、ブレやボケの発生が抑えられた静止画像を表示するのに有利なものを提供することを目的とする。
　上記の目的を達成するために、本発明の実施形態の内視鏡システムは、互いに異なる波長帯域を有する第１照明光と第２照明光とを所定の周期で交互に射出する光源ユニットと、第１照明光で照明されている被写体を撮像して第１画像信号を生成し、第２照明光で照明されている被写体を撮像して第２画像信号を生成する撮像手段と、生成された第１画像信号を順次記憶する第１画像信号記憶手段と、生成された第２画像信号を順次記憶する第２画像信号記憶手段と、記憶された第１画像信号に基づく第１画像の画像評価値と記憶された第２画像信号に基づく第２画像の画像評価値の少なくとも一方を算出する画像評価値算出手段と、算出された画像評価値に基づいて複数の記憶された第１画像信号の中から第１表示用画像信号を選択し且つ複数の記憶された第２画像信号の中から第２表示用画像信号を選択する画像信号選択手段と、第１表示用画像信号に基づく第１画像および第２表示用画像信号に基づく第２画像を同時に表示する表示手段と、を備える。
　このような構成によれば、第１画像の画像評価の結果と第２画像の画像評価の結果の少なくとも一方に基づいて、第１表示用画像信号と第２表示用画像信号とがそれぞれ独立に選択される。これにより、第１表示用画像信号と第２表示用画像信号の少なくとも一方は、静止画像を表示するために適した画像信号が選択される。
　また、内視鏡システムは、ユーザからのフリーズ指示を受付ける指示受付手段を更に備えてもよい。この場合、画像評価値算出手段は、算出された画像評価値に対して、画像評価値が算出された画像が撮像された時間と指示受付手段がフリーズ指示を受付けた時間との時間差に応じた重み付けを行う。
　また、画像評価値算出手段は、画像評価値に対して、時間差が小さいほど大きな加数を加算または大きな乗数を乗算することにより、重み付けを行ってもよい。
　また、画像信号選択手段は、画像評価値に基づいて複数の記憶された第１画像信号の中から第１表示用画像信号を選択し、第１表示用画像信号のフレームと同じフレームの第２画像信号、または、第１表示用画像信号のフレームよりも所定フレーム数前もしくは所定フレーム数後のフレームの第２画像信号を第２表示用画像信号として選択してもよい。
　また、第１画像信号記憶手段は、所定数の第１画像信号を記憶している場合に撮像手段によって第１画像信号が新たに生成されると、記憶されている第１画像信号のうち記憶された時間が最も古い第１画像信号に、新たに生成された第１画像信号を上書きして記憶し、第２画像信号記憶手段は、所定数の第２画像信号を記憶している場合に撮像手段によって第２画像信号が新たに生成されると、記憶されている第２画像信号のうち記憶された時間が最も古い第２画像信号に、新たに生成された第２画像信号を上書きして記憶してもよい。
　本発明によれば、波長帯域の異なる２種類の照明光により照明された被写体の画像を表示する内視鏡システムにおいて、ブレやボケの発生が抑えられた静止画像を表示するのに有利なものが提供される。
本発明の実施形態における内視鏡システムのブロック図である。 本発明の実施形態における光源ユニットのブロック図である。 本発明の実施形態におけるフィルタターレットの正面図である。 本発明の実施形態における光学フィルタの分光特性を示す図である。 本発明の実施形態におけるフィールド同期信号、フィールド信号および照明光の時間変化と、撮像信号から画像信号が出力されるタイミング、メモリの画像信号の記憶処理及び読出処理が行われるタイミングを説明するための図である。 本発明の実施形態におけるモニタの表示画面例を示す図である。
　以下、図面を参照して、本発明の実施の形態について説明する。
　図１は、本発明の実施形態における内視鏡システム１００の構成を示すブロック図である。本実施形態の内視鏡システム１００は、人の体腔内の被写体を観察するために用いられる医療用の撮像システムである。図１に示されるように、内視鏡システム１００は、スコープ部１１０、プロセッサ部１２０およびモニタ１３０を備えている。
　スコープ部１１０は、コネクタ部１１１および挿入管１１２を有している。挿入管１１２の先端部には、撮像手段として動作する撮像ユニット１０および配光レンズ１１が設けられている。また、スコープ部１１０内には、コネクタ部１１１から先端部にかけて、ライトガイドファイバ１３および複数の配線１４が設けられている。
　プロセッサ部１２０は、光源ユニット１２１、光源駆動回路１２２、画像処理ユニット１２３、コントローラ１２４、入力デバイス１２５および撮像素子ドライバ１２６を備えている。
　図２に、光源ユニット１２１のブロック図を示す。光源ユニット１２１は、光源２０、フィルタユニット２１、調光部２２および集光レンズ２３を備えている。光源２０は光源駆動回路１２２によって駆動され、白色の照明光を射出する。光源２０から射出された照明光は、フィルタユニット２１に入射される。フィルタユニット２１は、ＩＲ（赤外線）カットフィルタ２５およびフィルタターレット２６を有する。フィルタユニット２１に入射された照明光は、ＩＲカットフィルタ２５、フィルタターレット２６を順に介して調光部２２に入射される。
　図３に、フィルタターレット２６を光源２０側から見た正面図を示す。フィルタターレット２６は円盤形状を有している。図３に示されるように、フィルタターレット２６には、分光特性の異なる第１光学フィルタ２６ａと第２光学フィルタ２６ｂとが円周方向に並べて配置されている。各光学フィルタは、所定のフィールドレート（本実施形態では１／６０秒）に応じた角度範囲（ここでは約１８０°の角度範囲）に広がる扇形状を有している。
　フィルタターレット２６は、モータ２７によって回転動作することにより、光源２０より入射された白色の照明光（図３中、点線にて示される領域Ｌ参照）から、スペクトルの異なる２種類の照明光の一方を、後述する撮像ユニット１０による撮像と同期したタイミングで取り出す。ここで、図４に、第１光学フィルタ２６ａおよび第２光学フィルタ２６ｂの分光特性を示す。図４の横軸は波長（単位：ｎｍ）を示し、縦軸は透過率（単位：％）を示す。図４に示されるように、第１光学フィルタ２６ａの透過率Ｔａは、波長が約４００ｎｍから約７００ｎｍまでの可視光帯域の光に対してほぼ１００％である。そのため、第１光学フィルタ２６ａを透過した照明光は白色光となる。一方、第２光学フィルタ２６ｂは、波長が４５０ｎｍ近傍の光（青色光）および５５０ｎｍ近傍の光（緑色光）に対する透過率Ｔｂが高く、それ以外の波長の光に対する透過率Ｔｂが低い。そのため、第２光学フィルタ２６ｂを透過した光は、青色光と緑色光とが混ざったシアン色となる。以下、説明の便宜上、第１光学フィルタ２６ａを透過した照明光を「通常光」と記し、第２光学フィルタ２６ｂを透過した照明光を「狭帯域光」と記す。
　このように、フィルタターレット２６は、回転動作中、第１光学フィルタ２６ａより通常光を、第２光学フィルタ２６ｂより狭帯域光を、所定のフィールドレートで交互に取り出す。なお、フィルタターレット２６の回転位置や回転の位相は、フィルタターレット２６の外周付近に形成された開口（不図示）をフォトインタラプタ２８によって検出することにより制御される。
　調光部２２は可変絞りを有している。フィルタターレット２６から調光部２２に入射された照明光の光量は、可変絞りの開度によって調節される。調光部２２で調光された照明光は、集光レンズ２３によってライトガイドファイバ１３の端面に集光され、ライトガイドファイバ１３内へ入射される。ライトガイドファイバ１３内に入射された照明光は、挿入管１１２の先端部まで導波される。挿入管１１２の先端部まで導波された照明光は、ライトガイドファイバ１３の射出端から射出され、体腔内の被写体を照明する。被写体を照明した照明光は、被写体で反射され、物体光として撮像ユニット１０に入射される。
　撮像ユニット１０は、対物レンズ１０ａおよび撮像素子１０ｂを備えている。撮像素子１０ｂは、例えば、インターレース方式の単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。撮像ユニット１０に入射された物体光は、対物レンズ１０ａを介して撮像素子１０ｂで受光される。撮像素子１０ｂで受光された物体光は、所定のフィールドレートで画像信号に変換され、配線１４の一つを介してプロセッサ部１２０の画像処理ユニット１２３に送信される。なお、説明の便宜上、撮像素子１０ｂより出力されるＥＶＥＮフィールドの画像信号を「第１画像信号」と記し、ＯＤＤフィールドの画像信号を「第２画像信号」と記す。また、フィルタターレット２６による通常光と狭帯域光との切り換えのタイミング、及び、撮像素子１０ｂにおける撮像期間（フィールド期間）の切り換えのタイミングは、撮像素子ドライバ１２６から出力されるフィールド同期信号と同期している。ＥＶＥＮフィールドの第１画像信号は、通常光によって照明されている被写体を撮像し生成された画像信号であり、ＯＤＤフィールドの第２画像信号は、狭帯域光によって照明されている被写体を撮像し生成された画像信号である。
　また、撮像素子ドライバ１２６は、第１画像信号または第２画像信号と共に、フィールド信号を画像処理ユニット１２３へ送信する。フィールド信号は、第１画像信号と第２画像信号のどちらが撮像素子１０ｂから画像処理ユニット１２３へ送信されているかを示す信号である。
　画像処理ユニット１２３は、プリプロセス部４０、第１メモリ４１、第２メモリ４２、画像合成部４３、ポストプロセス部４４および画像評価処理部４５を備える。
　プリプロセス部４０は、撮像素子１０ｂから受信した第１画像信号および第２画像信号に対してＡＤ変換やガンマ補正などの信号処理を行う。プリプロセス部４０によって信号処理が行われた画像信号のうち、第１画像信号は第１メモリ４１へ送信され、第２画像信号は第２メモリ４２へ送信される。
　第１画像信号記憶手段として動作する第１メモリ４１、第２画像信号記憶手段として動作する第２メモリ４２はそれぞれ、受信した画像信号を順次記憶する。なお、第１メモリ４１および第２メモリ４２に記憶される画像信号の数（フレーム数）には上限がある。そのため、第１メモリ、第２メモリは、上限まで画像信号が記憶されている場合に新たに画像信号を受信すると、新たな画像信号を、記憶されている画像信号の中で最も古い画像信号に上書きして記憶する。
　図５は、フィールド同期信号、フィールド信号および照明光の時間変化と、撮像素子１０ｂから画像信号が出力されるタイミング、第１メモリ４１および第２メモリ４２において画像信号の記憶処理、読出処理が行われるタイミングを示す図である。図５中、左側から右側に向かって時間が進んでいる。フィールド同期信号は、矩形波形状を有する２値の電圧信号であり、所定のフィールドレート（本実施形態では１／６０秒）で電圧が変化する。フィールド信号は矩形波形状を有する２値の電圧信号である。図５に示されるように、「フィールド信号」の２つの値はそれぞれ「ＥＶＥＮ」、「ＯＤＤ」を表している。フィールド信号の電圧が変化するタイミングは、フィールド同期信号の電圧が立ち上がるタイミングに同期している。図５に示される「照明光」は、被写体を照明している照明光の種類を示している。図５に示されるように、「フィールド信号」が「ＥＶＥＮ」の時は、被写体は通常光によって照明されており、「ＯＤＤ」の時は、被写体は狭帯域光によって照明されている。
　第１メモリ４１には、通常光によって照明されている被写体の第１画像信号が撮像素子１０ｂのフレームレート（本実施形態では１／３０秒）で順次記憶される。また、第２メモリ４２には、狭帯域光によって照明されている被写体の第２画像信号が撮像素子１０ｂのフレームレートで順次記憶される。図５では、順次記憶される各第１画像信号および各第２画像信号に対して、異なる番号が付されている。なお、プリプロセス部４０における信号処理や、第１メモリおよび第２メモリにおける画像信号の書込み処理など、プロセッサ部１２０やスコープ部１１０を構成する各回路の電気信号の処理には処理時間がかかる。そのため、撮像素子１０ｂが露光するタイミングと画像信号（第１画像信号又は第２画像信号）を出力するタイミングの間にはズレが生じる。図５では、このタイミングのズレが１フィールド分であるとして記載されている。例えば、図５において、撮像素子１０ｂから「ＯＤＤ」のフィールド信号及び「第１画像信号１」が出力され、且つ被写体が狭帯域光によって照明されている間、第１メモリ４１では、「第１画像信号１」の記憶処理が行われ、第２メモリ４２では、一つ前のフィールドで記憶された「第２画像信号０」の読出処理が行われる。また、撮像素子１０ｂから「ＥＶＥＮ」のフィールド信号及び「第２画像信号１」が出力され、且つ被写体が通常光によって照明されている間、第１メモリ４１では、一つ前のフィールドで記憶された「第１画像信号１」の読出処理が行われ、第２メモリ４２では、「第２画像信号１」の記憶処理が行われる。なお、この撮像素子１０ｂが各照明光によって露光されるタイミングと画像信号を出力するタイミングの間のズレは、ちょうど１フィールド分であることに限定されず、各回路の処理時間に応じて変化する。
　第１メモリ４１、第２メモリ４２から読み出された画像信号はそれぞれ、画像合成部４３に送信される。画像合成部４３は、同じフレームの第１画像信号と第２画像信号とを合成してポストプロセス部４４に送信する。ポストプロセス部４４は、画像合成部４３より受信される合成後の画像信号を処理してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ１３０に出力される。
　図６に、モニタ１３０の表示画面例を示す。図６に示されるように、モニタ１３０には、第１画像信号に基づく画像（以下、「通常光観察画像」と記す。）１３１と第２画像信号に基づく画像（以下、「狭帯域光観察画像」と記す。）１３２とが一画面内に並べて表示される。
　次に、本実施形態における動画像のフリーズ処理について説明する。
　モニタ１３０に動画像が表示されている場合に、内視鏡システム１００のユーザ（術者）により入力デバイス１２５に対してフリーズ指示が入力されると、指示受付手段として動作するコントローラ１２４の制御により、表示されている動画像が一時停止（フリーズ）される。フリーズされた動画像は、静止画像としてモニタ１３０に表示される。静止画像として表示するための第１画像信号、第２画像信号はそれぞれ、第１メモリ４１、第２メモリ４２に記憶されている複数フレームの画像信号の中から画像評価処理部４５によって選択される。以下、説明の便宜上、画像評価処理部４５によって選択される画像信号を「静止画像信号」と記す。
　画像評価処理部４５は、画像評価値算出手段として動作する。具体的には、画像評価処理部４５は、各メモリ（第１メモリ４１、第２メモリ４２）に各フレームの各画像信号（第１画像信号、第２画像信号）が記憶されると、記憶された各画像信号の画像評価値を算出する。画像評価値の算出には、エッジ検出処理が用いられる。エッジ検出処理は、具体的には、鮮明な（強い）エッジに対応する画素の数をカウントするカウント処理である。
　画像評価処理部４５は、第１メモリ４１に記憶されている各フレームの第１画像信号に対してカウント処理を行う。カウント処理では、各フレームについて、第１画像信号の各画素値の中で所定の閾値よりも大きいものの数がカウントされる。カウントされた画素の数が第１画像信号の画像評価値となる。画像評価値が高いほど通常光観察画像のブレやボケが小さい。
　また、画像評価処理部４５は、第１画像信号に対して行った上記の画像評価値の算出を、第２メモリ４２に記憶された各フレームの第２画像信号に対しても行う。第２画像信号の画像評価値が高いほど狭帯域光観察画像のブレやボケが小さい。
　画像評価処理部４５は、画像信号選択手段として動作する。具体的には、入力デバイス１２５に対してフリーズ指示が入力されると、画像評価処理部４５は、各メモリ（第１メモリ４１、第２メモリ４２）に記憶された画像信号（第１画像信号、第２画像信号）の中から、算出された画像評価値に基づいて静止画像信号を選択する。
　ここで、画像評価値がブレやボケにのみ基づく場合を考える。この場合、フリーズ指示が入力された時間（以下、「フリーズタイミング」と記す。）と、画像評価値に基づいて選択される静止画像信号の画像が撮像された時間（以下、画像が撮像された時間を「画像撮像タイミング」と記す。）との間に大きな時間差が生じる虞がある。この時間差が大きいと、術者の所望するタイミングの静止画像がモニタ１３０に表示されない場合がある。
　モニタ１３０に表示される静止画像は、フリーズタイミングと近い時間に撮像されたものほど適している。そのため、画像評価処理部４５は、画像評価値に対してその画像撮像タイミングに応じた重み付けを行う。具体的には、画像評価処理部４５は、フリーズタイミングと各画像信号の画像撮像タイミングとの間の時間差が小さいほど、画像評価値に対して大きな加数を加算する加算処理または大きな乗数を乗算する乗算処理を行う。画像評価処理部４５は、各画像信号の画像評価値に対して加算処理または乗算処理を行った後、複数フレームの画像信号の中から画像評価値が最も高いフレームの画像信号（すなわち静止画像信号）を選択する。画像評価処理部４５による、複数フレームの第１画像信号から静止画像信号を選択する処理と、複数フレームの第２画像信号から静止画像信号を選択する処理とは、それぞれ独立に行われる。
　これにより、ブレやボケが小さく且つフリーズタイミングと画像撮像タイミングとの時間差が小さい第１画像信号と第２画像信号がそれぞれ独立に、静止画像信号として選択される。画像合成部４３及びポストプロセス部４４は、表示手段として動作する。各静止画像信号が画像合成部４３及びポストプロセス部４４にて処理されてモニタ１３０に送信されることにより、モニタ１３０の表示画面内に通常光観察画像（静止画像）と狭帯域光観察画像（静止画像）とが並べて表示される。
　ここで、通常光と狭帯域光とは、波長帯域および光強度が異なる。照明光の波長帯域や光強度が異なると、画像に対するブレやボケが生じる条件が変化する。そのため、同一フレーム内であっても通常光観察画像と狭帯域光観察画像とのブレやボケの大きさは必ずしも同じではない。しかし、本実施形態によれば、静止画像信号の選択は、第１画像信号と第２画像信号に対してそれぞれ別々に行われる。そのため、第１画像信号と第２画像信号とでブレやボケの大きさが異なる場合や、ブレやボケの小さい画像撮像タイミング（フレーム）が異なる場合においても、第１画像信号と第２画像信号との両方について、画像信号に基づく画像のブレやボケの小さいものが静止画像信号として選択される。
　以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。
　本実施形態では、画像評価処理部４５は、第１画像信号と第２画像信号との両方に対して画像評価値の算出を行っているが、本発明はこれに限定されない。画像評価値の算出は、第１画像信号又は第２画像信号のいずれかに対してのみ行われてもよい。
　以下では、画像評価処理部４５が第１画像信号に対してのみ画像評価値の算出を行う場合について説明する。画像評価処理部４５は、第１メモリ４１に記憶されている各フレームの第１画像信号に対してのみ画像評価値の算出を行う。入力デバイス１２５に対してフリーズ指示が入力されると、画像評価処理部４５は、算出された画像評価値に基づいて複数フレームの第１画像信号から静止画像信号を選択する。次に、画像評価処理部４５は、選択された第１画像信号と同じフレームの第２画像信号を静止画像信号として選択する。これにより、通常光観察画像のブレやボケの大きさを小さくでき、かつ、画像評価処理部４５による画像評価値の算出を行う際の負荷を低減することができる。なお、静止画像信号として選択される第２画像信号のフレームは、選択された第１画像信号のフレームと同じである必要は無い。例えば、選択された第１画像信号のフレームよりも１フレーム前または１フレーム後の第２画像信号が、静止画像信号として選択されてもよい。
　また、画像評価値は、連続する２フレームの画像信号の差分値に基づいて算出されてもよい。例えば、被写体の動き量が大きい（動きが速い）ために観察画像のブレが大きくなる場合は、連続する２フレームの画像信号の差分値が大きくなるため、低い画像評価値が算出される。また、被写体の動き量が小さいために観察画像のブレが小さくなる場合は、連続する２フレームの画像信号の差分値が小さくなるため、高い画像評価値が算出される。
　また、本実施形態では、インターレース方式を例に取り説明したが、別の実施形態では、インターレース方式をプログレッシブ方式に置き換えてもよい。

Claims (5)

  1. 　互いに異なる波長帯域を有する第１照明光と第２照明光とを所定の周期で交互に射出する光源ユニットと、
    　前記第１照明光で照明されている被写体を撮像して第１画像信号を生成し、前記第２照明光で照明されている被写体を撮像して第２画像信号を生成する撮像手段と、
    　前記生成された第１画像信号を順次記憶する第１画像信号記憶手段と、
    　前記生成された第２画像信号を順次記憶する第２画像信号記憶手段と、
    　前記記憶された第１画像信号に基づく第１画像の画像評価値と前記記憶された第２画像信号に基づく第２画像の画像評価値の少なくとも一方を算出する画像評価値算出手段と、
    　前記算出された画像評価値に基づいて複数の前記記憶された第１画像信号の中から第１表示用画像信号を選択し且つ複数の前記記憶された第２画像信号の中から第２表示用画像信号を選択する画像信号選択手段と、
    　前記第１表示用画像信号に基づく第１画像および前記第２表示用画像信号に基づく第２画像を同時に表示する表示手段と、を備える、
    内視鏡システム。
  2. 　ユーザからのフリーズ指示を受付ける指示受付手段を更に備え、
    　前記画像評価値算出手段は、
    　　前記算出された画像評価値に対して、該画像評価値が算出された画像が撮像された時間と前記指示受付手段が前記フリーズ指示を受付けた時間との時間差に応じた重み付けを行う、
    請求項１に記載の内視鏡システム。
  3. 　前記画像評価値算出手段は、
    　　前記画像評価値に対して、前記時間差が小さいほど大きな加数を加算または大きな乗数を乗算することにより、前記重み付けを行う、
    請求項２に記載の内視鏡システム。
  4. 　前記画像信号選択手段は、
    　　前記画像評価値に基づいて複数の前記記憶された第１画像信号の中から前記第１表示用画像信号を選択し、
    　　前記第１表示用画像信号のフレームと同じフレームの前記第２画像信号、または、該第１表示用画像信号のフレームよりも所定フレーム数前もしくは所定フレーム数後のフレームの前記第２画像信号を前記第２表示用画像信号として選択する、
    請求項１から請求項３のいずれか一項に記載の内視鏡システム。
  5. 　前記第１画像信号記憶手段は、
    　　所定数の前記第１画像信号を記憶している場合に前記撮像手段によって前記第１画像信号が新たに生成されると、前記記憶されている第１画像信号のうち記憶された時間が最も古い前記第１画像信号に、前記新たに生成された第１画像信号を上書きして記憶し、
    　前記第２画像信号記憶手段は、
    　　所定数の前記第２画像信号を記憶している場合に前記撮像手段によって前記第２画像信号が新たに生成されると、前記記憶されている第２画像信号のうち記憶された時間が最も古い前記第２画像信号に、前記新たに生成された第２画像信号を上書きして記憶する、
    請求項１から請求項４のいずれか一項に記載の内視鏡システム。
PCT/JP2016/080232 2015-10-23 2016-10-12 内視鏡システム WO2017069024A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112016000142.8T DE112016000142T5 (de) 2015-10-23 2016-10-12 Endoskopsystem
US15/513,618 US10646110B2 (en) 2015-10-23 2016-10-12 Endoscope system that displays two still images of a subject illuminated by two types of lights having different wavelength bands
CN201680002893.0A CN107072511B (zh) 2015-10-23 2016-10-12 内窥镜系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015209068A JP6660707B2 (ja) 2015-10-23 2015-10-23 内視鏡システム
JP2015-209068 2015-10-23

Publications (1)

Publication Number Publication Date
WO2017069024A1 true WO2017069024A1 (ja) 2017-04-27

Family

ID=58557417

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/080232 WO2017069024A1 (ja) 2015-10-23 2016-10-12 内視鏡システム

Country Status (5)

Country Link
US (1) US10646110B2 (ja)
JP (1) JP6660707B2 (ja)
CN (1) CN107072511B (ja)
DE (1) DE112016000142T5 (ja)
WO (1) WO2017069024A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6522539B2 (ja) * 2016-03-18 2019-05-29 富士フイルム株式会社 内視鏡システム及びその作動方法
JP6724173B2 (ja) * 2017-02-01 2020-07-15 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2019162371A (ja) * 2018-03-20 2019-09-26 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置及び内視鏡装置
JP6941233B2 (ja) * 2018-06-04 2021-09-29 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
JP7136933B2 (ja) * 2019-01-30 2022-09-13 富士フイルム株式会社 内視鏡システム
WO2021146904A1 (zh) * 2020-01-21 2021-07-29 云象科技股份有限公司 内视镜检测系统及其方法
JP2021126153A (ja) * 2020-02-10 2021-09-02 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム
EP4111936A4 (en) * 2020-02-28 2023-08-09 FUJIFILM Corporation ENDOSCOPE SYSTEM AND METHOD OF ENDOSCOPE SYSTEM OPERATION

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0530460A (ja) * 1991-07-24 1993-02-05 Olympus Optical Co Ltd 画像フリーズ処理装置
JP2012239757A (ja) * 2011-05-23 2012-12-10 Olympus Medical Systems Corp 医療機器及び医療用プロセッサ
JP2014220690A (ja) * 2013-05-09 2014-11-20 オリンパスメディカルシステムズ株式会社 信号処理装置、信号処理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4901143A (en) * 1988-02-16 1990-02-13 Olympus Optical Co., Ltd. Electronic endoscope system provided with a means of imaging frozen pictures having few picture image smears
US5164824A (en) * 1990-10-12 1992-11-17 Olympus Optical Co., Ltd. Image freezing signal-processing apparatus
JP3497231B2 (ja) * 1994-04-22 2004-02-16 オリンパス株式会社 フリーズ装置
JP3887453B2 (ja) * 1997-05-23 2007-02-28 オリンパス株式会社 内視鏡装置
JP2002051969A (ja) * 2000-08-08 2002-02-19 Asahi Optical Co Ltd 電子内視鏡装置
JP2003334162A (ja) * 2002-03-14 2003-11-25 Olympus Optical Co Ltd 内視鏡画像処理装置
JP4723281B2 (ja) * 2005-05-16 2011-07-13 Ｈｏｙａ株式会社 電子内視鏡システム
JP2007020727A (ja) * 2005-07-13 2007-02-01 Olympus Medical Systems Corp 画像処理装置
JP5127639B2 (ja) * 2008-09-10 2013-01-23 富士フイルム株式会社 内視鏡システム、およびその作動方法
JP5203861B2 (ja) * 2008-09-10 2013-06-05 富士フイルム株式会社 内視鏡システム、およびその作動方法
JP2011176671A (ja) * 2010-02-25 2011-09-08 Hoya Corp 撮像システム
JP5123443B2 (ja) * 2010-06-07 2013-01-23 オリンパスメディカルシステムズ株式会社 信号処理装置及び静止画生成方法
JP5133386B2 (ja) * 2010-10-12 2013-01-30 富士フイルム株式会社 内視鏡装置
EP2649929B1 (en) * 2011-05-17 2015-07-01 Olympus Medical Systems Corp. Medical apparatus, method for controlling marker display in a medical image, and medical processor
JP6013020B2 (ja) * 2012-05-02 2016-10-25 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
CN105555180A (zh) * 2013-09-24 2016-05-04 奥林巴斯株式会社 内窥镜装置和内窥镜装置的控制方法
JP5820960B1 (ja) * 2013-12-06 2015-11-24 オリンパス株式会社 撮像装置、撮像装置の作動方法
US10602917B2 (en) * 2013-12-31 2020-03-31 Karl Storz Imaging, Inc. Switching between white light imaging and excitation light imaging leaving last video frame displayed
JP6242552B1 (ja) * 2016-04-19 2017-12-06 オリンパス株式会社 画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0530460A (ja) * 1991-07-24 1993-02-05 Olympus Optical Co Ltd 画像フリーズ処理装置
JP2012239757A (ja) * 2011-05-23 2012-12-10 Olympus Medical Systems Corp 医療機器及び医療用プロセッサ
JP2014220690A (ja) * 2013-05-09 2014-11-20 オリンパスメディカルシステムズ株式会社 信号処理装置、信号処理方法

Also Published As

Publication number Publication date
JP6660707B2 (ja) 2020-03-11
CN107072511A (zh) 2017-08-18
US10646110B2 (en) 2020-05-12
DE112016000142T5 (de) 2017-06-22
JP2017079870A (ja) 2017-05-18
CN107072511B (zh) 2020-07-03
US20170290496A1 (en) 2017-10-12

Similar Documents

Publication Publication Date Title
WO2017069024A1 (ja) 内視鏡システム
US9498153B2 (en) Endoscope apparatus and shake correction processing method
US8823789B2 (en) Imaging apparatus
US20160128545A1 (en) Endoscope apparatus and method for controlling endoscope apparatus
JP5698476B2 (ja) 内視鏡システム、内視鏡システムの作動方法及び撮像装置
US9635343B2 (en) Stereoscopic endoscopic image processing apparatus
US20200077869A1 (en) 3d endoscope apparatus and 3d video processing apparatus
CN113271838B (zh) 内窥镜系统、图像处理装置、总处理时间检测方法及处理装置
WO2017086091A1 (ja) 画像処理装置、画像処理方法およびプログラム
US10729309B2 (en) Endoscope system
US20180242827A1 (en) Medical imaging apparatus and medical observation system
JP6430880B2 (ja) 内視鏡システム、及び、内視鏡システムの作動方法
JP6489644B2 (ja) 撮像システム
WO2016088628A1 (ja) 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム
JP2000197604A (ja) 内視鏡装置
US20180249139A1 (en) Medical signal processing device and medical observation system
US20200037865A1 (en) Image processing device, image processing system, and image processing method
JP6650969B2 (ja) 内視鏡システム
EP3131286A1 (en) Image processing device
JP4632761B2 (ja) 電子内視鏡装置及び色ずれ補正装置
JP4388182B2 (ja) 内視鏡装置
JP6042798B2 (ja) 画像処理装置及び内視鏡システム
JP6896053B2 (ja) 特に顕微鏡および内視鏡のための、蛍光発光性蛍光体のｈｄｒモノクローム画像を作成するためのシステムおよび方法
JP6726541B2 (ja) 内視鏡システム
JP2014014022A (ja) Ｃｃｄ画像補正装置およびｃｃｄ画像補正方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 15513618

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112016000142

Country of ref document: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16857339

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16857339

Country of ref document: EP

Kind code of ref document: A1