WO2016117277A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
WO2016117277A1
WO2016117277A1 PCT/JP2015/086395 JP2015086395W WO2016117277A1 WO 2016117277 A1 WO2016117277 A1 WO 2016117277A1 JP 2015086395 W JP2015086395 W JP 2015086395W WO 2016117277 A1 WO2016117277 A1 WO 2016117277A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
spectral
observation
image processing
line
Prior art date
Application number
PCT/JP2015/086395
Other languages
English (en)
French (fr)
Inventor
孝明 東海林
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Priority to EP15868672.5A priority Critical patent/EP3248528A4/en
Priority to JP2016536253A priority patent/JP6581984B2/ja
Priority to CN201580003276.8A priority patent/CN105992546B/zh
Priority to US15/188,237 priority patent/US10517472B2/en
Publication of WO2016117277A1 publication Critical patent/WO2016117277A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Definitions

  • the present invention relates to an endoscope system for performing treatment, surgery, and the like by imaging a subject such as a body organ, and more particularly to extraction of a lesioned part in a spectral image.
  • a narrow band filter having a discrete peak spectral characteristic (no overlap portion) in which the light transmission bands of R, G, and B are narrowed is disposed on the optical path (see, for example, Patent Document 1).
  • the spectral characteristics of the reflected light when the lesioned part is irradiated with narrow-band light are different from the spectral characteristics when the healthy part is irradiated. This is because the oxygenated hemoglobin and reduced hemoglobin concentrations contained in the blood vessels and the substances contained in the living tissue of the lesioned part are different from the healthy part.
  • the endoscope system of the present invention displays an observation image based on a pixel signal for one frame / field read out at a predetermined time interval from an illumination unit that irradiates normal light to an observation target and an image sensor at the distal end of the scope.
  • the illumination unit can separately irradiate a plurality of narrowband lights having different peaks with normal light. For example, it is possible to switch between normal light irradiation and continuous irradiation of a plurality of narrow band lights according to switching of the observation mode.
  • the image processing unit can generate a plurality of observation images (hereinafter referred to as spectral images) from image signals generated in response to a plurality of narrow-band light irradiations.
  • the endoscope system of the present invention provides a detection unit that detects an operator aiming point for at least a plurality of spectral images, a setting unit that determines a diagnosis target area including the detected aiming point, and a plurality of spectral images. And a spectral image processing unit for extracting a lesion part having a spectral characteristic different from that of the other among the plurality of diagnosis target areas determined as described above.
  • the “operator aiming location” indicates a location to be a diagnosis target, which is a location where the endoscope operator pays attention and attention in the subject to be observed.
  • a site or tissue that appears to be a lesion is the aiming site.
  • the operator's aiming location is various, such as the operator's line-of-sight position in the observation image, and the dye attached to the specific location with respect to the observation target.
  • diagnosis target area it is possible to set a part of the observation image as an arbitrary area. For example, a diagnosis target area centered on the operator aiming point is set, and the diagnosis target area of the same size is set in each spectral image. It is possible to set.
  • the spectral image processing unit can extract a lesioned part by appropriately performing spectral analysis or the like. For example, multiple regression analysis can be used.
  • the image processing unit generates a diagnostic image in which the extracted lesion is identified.
  • the image processing unit can be displayed so as to be distinguished from the lesioned part in the observation image based on the normal light, and generate an image obtained by synthesizing the spectral image as a diagnostic image. Is also possible.
  • the diagnosis target area determined in the observation image is determined with the operator aiming point as a reference, so that the diagnosis target area of each spectral image becomes the image area of the same portion of the subject to be observed. Therefore, even if the imaging range is shifted during the period when the narrow-band light is irradiated, a spectral image of the same area is generated, and an appropriate lesion portion can be extracted.
  • the image processing unit can superimpose an image indicating the operator aiming position on the observation image, and the operator can visually recognize the line-of-sight position and the aiming position simultaneously in the spectral image displayed on the screen. Further, the image processing unit can superimpose an image indicating the diagnosis target area on the observation image, and can visually recognize the diagnosis target area in each spectral image.
  • the detection unit can detect a dye-attached portion in each spectral image as an operator aiming point, and the dye-attached portion can be easily detected by image analysis of the observation image.
  • the detection unit can detect the dye-attached portion not only in the spectral image but also in the observation image based on the normal light before switching the observation mode. By displaying an image showing the dye-attached portion, the operator can confirm whether the dye-attached portion can be accurately detected before switching to the spectral image. For example, the detection unit detects a dye-attached portion in accordance with the operation of the operator before switching the observation mode.
  • the detection unit when generating a diagnostic image using an observation image based on normal light, the detection unit only needs to detect a dye-attached portion in an observation image based on normal light generated after irradiation with a plurality of narrow-band lights. .
  • the detection unit detects the line-of-sight position with respect to the displayed spectral image as the operator aiming location based on the imaging unit and the operator's face image generated by the imaging unit.
  • a line-of-sight position detection unit It is also possible to detect the line-of-sight position from the observation image display screen, and it is also possible to attach an index near the eyes of the operator and detect it.
  • the detection unit can detect an image of an index located away from both eyes of the operator from the face image, and can detect the line-of-sight position based on the position of the index and the position of both eyes.
  • the illumination unit can switch between normal light irradiation and multiple narrow-band light irradiations according to switching of the observation mode.
  • the detection unit is not only a spectral image but before the observation mode switching. It is desirable to detect the line-of-sight position of the observation image or the observation image based on the normal light after irradiation with a plurality of narrow-band lights.
  • An image processing apparatus provides a detection unit for detecting an operator aiming position for a plurality of spectral images obtained based on a plurality of narrowband lights having different peaks, and a plurality of spectral images.
  • a setting unit for determining a diagnosis target area including a detected aiming point, and a lesion having a different spectral characteristic from other diagnosis target areas determined for a plurality of spectral images
  • a spectral image processing unit for generating a diagnostic image.
  • the spectral image processing method of the endoscope system of the present invention detects an operator aiming point for a plurality of spectral images obtained when a plurality of narrowband lights having different peaks are sequentially emitted, and a plurality of spectral images are obtained.
  • Set the diagnosis target area including the detected aiming point for the spectroscopic image, and identify lesions with different spectral characteristics from the other diagnosis target areas determined for the spectroscopic images Generate a diagnostic image.
  • a step of detecting an operator aiming position for a plurality of spectral images obtained based on a plurality of narrowband lights having different peaks, and a detected aiming for the plurality of spectral images A step of determining a diagnosis target area including a location, and a step of generating a diagnostic image in which a lesion portion having a spectral characteristic different from the others among a plurality of diagnosis target areas determined for a plurality of spectral images is identified It is also possible to provide a program that executes
  • an endoscope apparatus includes an illumination unit capable of illuminating an observation target with a plurality of narrowband lights having different peaks together with normal light, and an image sensor provided at the distal end of the scope.
  • An image processing unit that generates an observation image based on pixel signals for one field or one frame that are sequentially read out from the image, and a line-of-sight detection unit that detects an operator's line-of-sight position on the screen of the display device on which the observation image is displayed
  • a diagnostic target area including a detected line-of-sight position is defined, and a lesion part having a spectral characteristic different from that of others is extracted.
  • a spectral image processing unit that executes image processing, and the image processing unit generates a diagnostic image for display in which a lesion is identified.
  • the spectral image processing unit can temporarily store pixel data corresponding to a diagnosis target area in each spectral image in a memory, and execute spectral image processing on the stored pixel data.
  • the spectral image processing unit can determine an area around the line-of-sight position as a diagnosis target area.
  • the processor of the endoscope apparatus includes an illumination unit capable of illuminating an observation target with a plurality of narrowband lights having different peaks together with normal light, and an image sensor provided at the distal end of the scope Observation images are displayed in an image processing unit that generates an observation image and a plurality of spectral images that are generated based on a plurality of narrowband lights based on pixel signals for one field / frame sequentially read from Spectral image processing that defines a diagnosis target area including a line-of-sight position detected by a line-of-sight detection unit that detects an operator's line-of-sight position on the screen of the display device, and extracts a lesion part having a spectral characteristic different from that of other areas
  • the image processing unit generates a diagnostic image for display in which the lesion is identified.
  • a lesion part can be accurately extracted in a lesion part diagnosis using a spectral image in an endoscope system.
  • FIG. 1 is a block diagram of an electronic endoscope system according to the first embodiment.
  • the electronic endoscope system includes an electronic endoscope apparatus including a video scope 10 and a processor 20, and a line-of-sight detection apparatus 70 including a camera 71.
  • the video scope 10 can be detachably connected to the processor 20, and a monitor 60 is connected to the processor 20.
  • the processor 20 includes a lamp 48 such as a xenon lamp, and the lamp 48 is driven by a lamp driving circuit (not shown).
  • the broadband white light (ordinary light) emitted from the lamp 48 enters the incident end 11 ⁇ / b> A of the light guide 11 provided in the video scope 10 via the condenser lens 45.
  • the light that has passed through the light guide 11 is irradiated from the scope distal end portion 10T toward the subject (observation target) via the light distribution lens 13.
  • a diaphragm (not shown) is provided between the lamp 48 and the light guide 11, and the amount of illumination light is adjusted by opening and closing the diaphragm.
  • the light reflected from the subject is focused on the image sensor 12 by the objective lens 14 provided at the scope tip 10T, and a subject image is formed on the light receiving surface of the image sensor 12.
  • the image sensor 12 is driven by the drive circuit 17, and pixel signals for one field or one frame are read from the image sensor 12 at a predetermined time interval (for example, 1/60 second or 1/30 second interval). .
  • the image sensor 12 is constituted by an image sensor such as a CCD or a CMOS.
  • a color element such as Cy, Ye, G, Mg, or R, G, B is matrixed.
  • An arranged color filter array (not shown) is provided.
  • the pixel signal for one field / frame read from the image sensor 12 is amplified and digitized in an initial circuit (not shown), and then sent to the processor 20.
  • the pre-stage image signal processing circuit 26 of the processor 20 performs image signal processing such as white balance processing and gamma correction processing on a series of digital pixel signals. Thereby, a color image signal based on normal light, that is, an observation image is generated.
  • the generated color image signal is sent to the subsequent image signal processing circuit 28 via the spectral image processing circuit 27.
  • outline enhancement processing, superimposition processing, and the like are performed on the image signal.
  • the image signal is output from the subsequent image signal processing circuit 28 to the monitor 60, whereby the observation image is displayed on the monitor 60.
  • a system control circuit 40 including a CPU, a ROM (not shown) and the like outputs a control signal to the timing controller 38, the previous image signal processing circuit 26, etc., and the operation of the processor 20 while the processor 20 is in the power-on state. To control.
  • the operation control program is stored in advance in the ROM.
  • the timing controller 38 provided in the processor 20 outputs a clock pulse signal to the processor 20 and the circuits provided in the video scope 10 such as the pre-stage image signal processing circuit 26 and the drive circuit 17 and controls the input / output timing of each circuit. ,adjust.
  • a disc-shaped spectral filter 50 is provided between the lamp 48 and the light guide 11.
  • the spectral filter 50 passes only light in a narrow band, which has a peak apart from each other and has no overlap portion, among the light emitted from the lamp 48.
  • the spectral filter 50 is configured by a disk in which color filters having peaks of 540 nm, 555 nm, and 570 nm are arranged at equal intervals.
  • the spectral filter 50 can be moved from the optical path to the outside of the optical path or in the opposite direction by a filter driving unit (not shown).
  • the motor 54 rotates the spectral filter 50 by a predetermined angle based on a control signal from the driver 52.
  • the spectral filter 50 selectively makes white light or specific narrow band light incident on the light guide 11 according to the rotation angle.
  • the system control circuit 40 drives and controls the motor 54 via the driver 52, and adjusts the rotational angle and rotational movement timing of the spectral filter 50.
  • the front panel 22 of the processor 20 has a normal image observation mode in which normal broadband white light is set as illumination light, and a spectral image observation mode in which a narrow band light is switched to illumination light and a diagnostic image in which a lesion is specified is displayed. And a mode setting button (not shown) for switching between the two. Furthermore, it is possible to set a line-of-sight tracking mode in which the line-of-sight position on the monitor screen of the operator is detected and displayed. When performing the lesion diagnosis based on the line-of-sight tracking, the operator sets the line-of-sight tracking mode and then switches to the spectral image observation mode. Note that mode switching may be performed by an operation button (not shown) provided in the video scope 10.
  • the spectral filter 50 arranged at the retracted position outside the optical path is moved onto the optical path by a filter driving unit (not shown). Then, the spectral filter 50 is rotated by a predetermined angle by the motor 54 in accordance with the synchronization signal from the timing controller 38. As a result, the three narrow-band lights sequentially enter the light guide 11.
  • the pre-stage image signal processing circuit 26 performs image processing on the pixel signal for one field / frame based on each narrowband light, and generates an observation image based on the narrowband light (hereinafter referred to as a spectral image). To do.
  • the spectral image processing circuit 27 executes spectral image processing for extracting a lesion part based on the spectral image. That is, the spectral characteristics of each pixel data are analyzed based on the three spectral images. A portion having a spectral characteristic different from that of other pixels is extracted as a lesioned portion.
  • a lesion is identified by performing multiple regression analysis on each pixel.
  • the spectral filter 50 is retracted out of the optical path so that the normal light is again irradiated.
  • the post-stage image signal processing circuit 28 performs image processing on the color image signal so that the lesioned part specified in the observation image generated based on the normal light is identified.
  • the line-of-sight detection device 70 detects the line-of-sight position of the operator holding the video scope 10 and transmits position coordinate data on the monitor screen to the system control circuit 40 of the processor 20.
  • the position coordinate data is transmitted in synchronization with the frame period of the pixel signal read from the image sensor 12.
  • the camera 71 provided at the upper part of the screen of the monitor 60 captures the face of the operator, and the line-of-sight detection position 70 detects the line-of-sight position based on the generated face image.
  • Detecting the line-of-sight position can employ various known line-of-sight detection methods.
  • the line-of-sight position can be specified by detecting the position of the pupil part that is a feature point of the eye and the direction in which the eye faces.
  • a head-mounted line-of-sight detector may be attached to the operator's head.
  • the timing controller 38 of the processor 20 outputs a synchronization signal to the line-of-sight detection device 70 via the system control circuit 40.
  • the line-of-sight detection device 70 transmits the synchronization signal, that is, the position coordinate data of the line-of-sight position in accordance with one field / frame period.
  • FIG. 2 is a flowchart of spectral image processing executed in the spectral image observation mode.
  • FIG. 3 is a diagram illustrating switching of illumination light and a display image when the line-of-sight tracking mode is set. In the following description, it is assumed that an observation image using normal light and a spectral image using narrowband light are generated in accordance with one frame period.
  • the spectral filter 50 In the normal observation mode, the spectral filter 50 is retracted out of the optical path so as to irradiate the observation target with normal light (S101).
  • normal spectral image processing is executed (S113, S114).
  • the system control circuit 40 controls the rotation by moving the spectral filter 50 on the optical path, and sequentially illuminates three narrow-band lights every frame period.
  • the spectral image processing circuit 27 performs spectral analysis based on the spectral image data for three frames generated by the pre-stage image signal processing circuit 26, and executes spectral image processing for extracting a lesioned part.
  • spectral image processing will be described in detail.
  • the biological tissue to be observed has a plurality of substances each having different light absorption characteristics, and oxygenation is caused by differences in light absorption characteristics (particularly, 540 nm to 570 nm) between the lesioned part and the healthy part.
  • the composition ratio of hemoglobin and reduced hemoglobin is different. Therefore, if the pixel value (luminance value) of each spectral image is the objective variable, and the light absorption characteristics for each wavelength region of oxygenated hemoglobin and reduced hemoglobin are explanatory variables, and the pixel value is the sum of the explanatory variables, multiple regression analysis is performed. By calculating the value of the coefficient of each explanatory variable (identifying parameters), the constituent ratio of oxygenated hemoglobin and reduced hemoglobin can be obtained for each pixel.
  • the spectral image obtained by the irradiation of the three narrow-band lights includes not only the reflected light from the living tissue but also pixel information of the light scattered in the living tissue.
  • noise specific to the apparatus due to signal characteristics of the image sensor 12, brightness around the observation target, and the like are also included in the spectral image. For this reason, the following equation is determined by further adding the scattered light component and the device-specific offset component as explanatory variables.
  • X 1 to X 3 are data of one pixel of a spectral image respectively obtained by narrowband light having peaks of 540 nm, 555 nm, and 570 nm, and the luminance value is expressed logarithmically.
  • a1 to a3 indicate the light absorption characteristics of oxygenated hemoglobin at wavelengths of 540 nm, 555 nm, and 570 nm
  • b1 to b3 indicate the light absorption characteristics of reduced hemoglobin at wavelengths of 540 nm, 555 nm, and 570 nm.
  • C1 to c3 represent Rayleigh scattering at wavelengths of 540 nm, 555 nm, and 570 nm
  • d1 to d3 represent scattering coefficients of Mie scattering at wavelengths of 540 nm, 555 nm, and 570 nm.
  • the values of these coefficients are conventionally known.
  • the value of the device-specific offset coefficient P5 is a correction value determined in advance as a unique value of the endoscope system.
  • the pixel data is decomposed into an absorption characteristic spectrum, a scattering coefficient spectrum, and an intrinsic offset value.
  • the coefficients P1 to P4 indicate the contribution ratio of each spectral component, that is, the composition ratio of the pixel value. Therefore, if the multiple regression analysis for calculating the coefficients P1 to P4 is performed for each pixel, the contribution ratio of oxygenated hemoglobin and reduced hemoglobin Can be obtained.
  • the ratio of the coefficients P1 and P2 obtained by the multiple regression analysis that is, the coefficients P1 and P2 If the relative value of can be obtained, the lesioned part can be specified. Accordingly, by calculating a relative value for each coefficient based on any one of the coefficients P1 to P4 from the above equation 1, the component ratio of the coefficients P1 and P2 can be obtained.
  • a variety of methods can be used to determine the lesion based on the coefficient ratio of each pixel. For example, a histogram of coefficient ratios of all pixels can be obtained, and pixels that are equal to or greater than the threshold can be identified as a lesion.
  • a threshold value a threshold value obtained from the spectral distribution characteristics of spectral image data obtained by photographing a normal part and a lesion part in advance may be stored in a memory such as a ROM.
  • the post-stage image signal processing circuit 28 executes image editing processing so that the lesioned part can be identified. Specifically, image processing is performed on an observation image generated after switching from narrowband light to normal light so that pixels corresponding to the lesioned part are displayed in a specific color different from that of the healthy part. .
  • the pixel corresponding to the lesion is displayed in red.
  • the line-of-sight tracking mode is set before switching to the spectral image observation mode
  • the line-of-sight position is detected from the observation image of each frame, and the diagnostic target area surrounding the line-of-sight position is set.
  • a process of superimposing the area is executed (S103).
  • the system control circuit 40 receives gaze position coordinate data on the monitor screen received every frame period, and sets a diagnosis target area centered on the gaze position.
  • the post-stage image signal processing circuit 28 performs superimpose processing for displaying the line-of-sight position and the diagnosis target area on the screen of the monitor 60 under the control of the system control circuit 40.
  • the position of the line of sight C on the screen represents the position of the point where the line of sight intersects the screen while the operator is gazing at the part suspected of being a lesion (hereinafter, the line of sight position is denoted by the symbol C). May also be represented).
  • the diagnosis target area BR has a size corresponding to a region surrounding the line-of-sight position C, that is, a region including a lesioned portion, and represents a region to be diagnosed by a spectral image.
  • the diagnosis target area BR is defined by a rectangular area centered on the position of the line of sight C.
  • diagnosis target area BR is set in a partial region of the observation image.
  • the diagnosis target area BR is determined to be less than half of the observation image (screen) size, 1/4 or less.
  • the system control circuit 40 updates the line-of-sight position C and the display position of the diagnosis target area BR every frame period. Note that the size or shape of the diagnosis target area BR may be arbitrarily set.
  • the system control circuit 40 controls the spectral filter 50 to rotate and sequentially irradiates the observation target with narrowband light (S105). ).
  • the generated spectral image data is sequentially sent to the subsequent image signal processing circuit 28 via the spectral image processing circuit 27. As a result, three spectral images are displayed in order on the monitor 60 (see FIG. 3).
  • the position detection of the line of sight C, the setting of the diagnosis target area BR, and the superimpose process indicating the image R indicating the line of sight C and the frame image FB of the diagnosis target area BR are performed. It is executed for each spectral image. Then, pixel data of pixels located in the diagnosis target area BR determined for each spectral image is output from the previous-stage image signal processing circuit 26 and stored in the image memory 29 (S106 to S109).
  • the imaging area captured by the scope distal end portion 10T is not always the same area, and the imaging area varies even if the operator's attitude holding the video scope 10 changes slightly (however, In FIG. 3, the fluctuation is exaggerated).
  • the imaging region changes while the operator is gazing at the lesion, the gaze position moves with the change.
  • the position of the operator's line of sight C and the position of the diagnosis target area BR also move in accordance with the movement of the line of sight C.
  • the diagnosis when the spectral image (A) based on the first narrowband light, the spectral image (B) based on the next narrowband light, and the spectral image (C) based on the last narrowband light are displayed.
  • the display position of the target area BR is shown.
  • the image in the diagnosis target area BR centered on the line-of-sight position C is substantially the same as each spectral image. It can be regarded as an image of a place.
  • data of pixels having the same relative position among the three diagnosis target areas BR determined for the three spectral images can be regarded as data based on the same subject.
  • the position of the lesioned part can be accurately specified to some extent if it is considered that the lesioned part occurs over a certain area.
  • the spectral image processing circuit 27 executes multiple regression analysis processing on the pixel data corresponding to the diagnosis target area BR ( S110, S111). By executing the multiple regression analysis process, a pixel that is regarded as a lesion in the diagnosis target area BR is specified. On the other hand, pixel data other than the diagnosis target area BR is sent to the subsequent image signal processing circuit 28 as it is without performing spectral image processing.
  • the spectral filter 50 When the lesion is identified, the spectral filter 50 is retracted out of the optical path, and normal white light is irradiated. Accordingly, a normal color image signal is generated in the pre-stage image signal processing circuit 26.
  • the post-stage image signal processing circuit 28 performs superimpose processing based on the line-of-sight position coordinate data sent from the line-of-sight detection device 70, and generates an image R of the line of sight C and a frame image FB of the diagnosis target area BR. It is superimposed on the observation image based on light.
  • the post-stage image signal processing circuit 28 performs image processing so that the lesioned part is identified in the diagnosis target area BR based on the pixel position information of the lesioned part sent from the system control circuit 40 (S112).
  • image processing is performed so that the pixels corresponding to the lesion are displayed in red.
  • the red image portion corresponding to the lesioned portion ST is indicated by hatching.
  • the image processing that identifies the lesion is continued for a predetermined period (for example, several seconds). Steps S101 to S115 are repeatedly executed until the power is turned off.
  • the spectral filter 50 causes the narrowband light having different peaks to be emitted from the scope distal end portion 10T.
  • the position of the line of sight C is detected with respect to the observation image (including the spectral image) of each frame generated based on the normal light and the narrow band light, and the diagnosis target area BR is determined.
  • multiple regression analysis is performed on the pixel data in the diagnosis target area BR to identify a lesioned part, and image processing is performed so that the pixels of the lesioned part are identified.
  • the diagnosis target area BR By determining the diagnosis target area BR according to the position of the line of sight C, it is possible to match the image portion of the same portion of the subject even if the imaging region changes during the spectroscopic observation mode, and to prevent erroneous lesion part specification. it can. Further, since the line-of-sight position coordinate data is detected at an interval of 1 field / frame, the diagnosis target area BR in each spectral image can be always grasped. Furthermore, since only the image of the diagnosis target area BR is subjected to the spectral image processing, the calculation processing speed can be increased.
  • the operator can easily fix the imaging region immediately after switching the spectral observation mode.
  • the operator can adjust the line-of-sight position in an instant.
  • an observation image with a natural hue is obtained by performing lesion-specific image processing on an observation image based on normal light instead of a spectral image.
  • the lesion can be diagnosed above.
  • an image indicating the area may be displayed only before the mode is switched, or the display may be deleted when the normal image observation mode is restored. Further, only the image indicating the line-of-sight position may be displayed without displaying before and after the mode switching.
  • the display of the line-of-sight position may be started after the mode switching operation is performed, or may be configured to display until the narrow-band light irradiation period and not during the diagnostic image display.
  • the pixel value is decomposed for each of the absorption characteristic and scattering characteristic components according to Equation 1, and then the spectral image is synthesized using only the absorption characteristic components.
  • the composite image may be displayed in the diagnosis target area. Also in this diagnostic image, the value of each pixel is a combination of spectral values, so the operator can identify the lesion on the screen.
  • the spectral images may be sequentially displayed over a period longer than one frame period, and the line-of-sight position detection timing may be adjusted according to the spectral image display period.
  • the diagnostic image which notifies a diagnostic result it is also possible to display as a still image (freeze image).
  • a composite image of the above-described diagnosis target area may be displayed on the screen as a still image together with the observation image that is a moving image.
  • the normal light and the narrow band light may be alternately irradiated during the irradiation period, and only the normal observation image may be displayed during the intermittent sequential irradiation period of the narrow band light.
  • the lesioned part may be specified by a method other than the multiple regression analysis described above.
  • a linear regression analysis such as a multiple regression analysis of a non-load high-speed value or a least square method, or a Newton method, a quasi-Newton method, a conjugate gradient method, or a damped least square method.
  • the spectral filter provided with the opening may be rotated on the optical path so as to correspond to the mode switching. It is also possible to use a configuration other than the spectral filter. For example, a Fabry-Perot optical element can be used, and a narrow band light can be illuminated using a laser.
  • a gaze position detection index is attached to the operator's head instead of directly detecting the gaze position.
  • FIG. 4 is a diagram showing the mounting position of the imaging unit.
  • FIG. 5 is a view showing an index attached to the head of the operator.
  • the camera 71 is attached to the upper center of the monitor 60 so that the screen center position SC and the position of the optical axis OX of the camera 71 are along the same line.
  • the fluorescent material RM is applied to the band BD wound around the operator's head.
  • the application range of the fluorescent material RM corresponds to the binocular width of the operator and is applied in parallel along both eyes.
  • the line-of-sight detection device 70 detects the position of the fluorescent material RM from the face image obtained by imaging the operator's face, and calculates the line-of-sight position.
  • the position of the fluorescent material RM is detected from the face image obtained when the operator stops the specific position on the screen, and the line-of-sight position is calculated from the distance interval between the fluorescent material RM and both eyes. Therefore, the calibration process is performed before the lesion diagnosis by the spectral image.
  • FIG. 6 is a diagram showing a calibration process executed by the line-of-sight detection device.
  • FIG. 7 is a diagram showing a display screen in the calibration process.
  • FIG. 8 is a flowchart of spectral image processing in the second embodiment.
  • the line-of-sight tracking is automatically set in the spectral image observation mode.
  • the process is started.
  • the calibration process shown in FIG. 6 is executed (S301, S302).
  • the spectral image process is executed as in the first embodiment.
  • the superimpose process is executed so that only the reference point (line-of-sight position) is displayed on the screen.
  • steps S303 to S310 is the same as the execution of steps S105 to S112 in FIG.
  • the line-of-sight position can be easily detected by using the fluorescent material RM. Further, the line-of-sight position can be detected by a simple image processing circuit. In particular, by performing a calibration process before mode switching, an accurate line-of-sight position can be detected. In addition, it is good also considering an index other than a fluorescent substance.
  • the line-of-sight detection apparatus is configured as a device independent of the processor, but the line-of-sight position may be detected within the endoscope apparatus processor.
  • the camera that images the operator's face in the endoscope system is connected to the processor.
  • FIG. 9 is a block diagram of an endoscope system according to the third embodiment.
  • the endoscope system includes a video scope 10 and a processor 20, and the video scope 10 has a water jet water supply function, and a water supply pipe 19 is provided from the scope operation unit 10P to the scope distal end 10T.
  • the operator can inject the liquid onto the observation target at a specific location by inserting the syringe 80 into which the water or other liquid can be injected into the connection port 19T and pressing the pusher of the syringe 80.
  • the operator when performing lesion diagnosis using a spectral image, the operator injects a bluish indigo dye or other easily identifiable dye used for gastric mucosa diagnosis into the syringe 80 to the diagnosis target portion. Spray.
  • the system control circuit 40 detects a blue dye-attached portion in the observation image generated by the pre-stage image signal processing circuit 26, and sets a diagnosis target area according to the attached portion.
  • a lesion diagnosis based on the diagnosis target area is performed.
  • FIG. 10 is a flowchart showing the process of specifying the dye ejection location.
  • FIG. 11 is a diagram showing a screen in which the pigment ejection position is specified.
  • step S401 a message prompting the spraying of the pigment is displayed on the monitor 60.
  • the operator uses the water jet nozzle function to eject the dye to the diagnosis target portion.
  • the force for depressing the syringe 80 is adjusted so that the dye is attached only to the diagnosis target portion.
  • step S402 it is determined whether or not the operator has ejected the pigment, that is, whether or not a blue pigment is included in the observation image. If it is determined that the dye ejection has been performed, the pixel of the dye adhesion portion in the observation image is specified as the reference point BC (S403). Since the range of the image (blue image) of the dye ejection location often covers an area of a plurality of pixels, the pixel at the center or the center of gravity of the area may be specified as the reference point. Then, a diagnosis target area BR centered on the reference point BC is set.
  • the image WC indicating the reference point BC and the frame image FB indicating the diagnosis target area BR are displayed superimposed on the observation image (S404). After performing the display process for a predetermined period, the display of the images WC and FB is erased. If no pigment is detected in step S402, an error message is displayed and the process ends (S405).
  • FIG. 12 is a flowchart of spectral image processing in the third embodiment.
  • the processing for specifying the reference point shown in FIG. 10 is executed. (S501, S502).
  • the reference point is specified, as in the first and second embodiments, three spectral images are generated by sequential irradiation of narrowband light, the reference point is specified for each spectral image, and the diagnosis target area BR is set (S503 to S507).
  • the blue-tinged pigment can be distinguished from others in the spectroscopic image, so that the pixel data of the reference point BD obtains pixel data at the same location.
  • the method of specifying the reference point may be performed in the same manner as before the mode switching, but spectral image processing considering dye ejection is performed.
  • the reference point and the images WC and FB of the diagnosis target area are not displayed before and after the spectral image mode switching.
  • spectral image processing is executed.
  • a diagnostic image identifying the lesion part is displayed (S508 to S511).
  • the image of the dye attachment point is specified as the reference point according to the work performed before the mode switching, the center diagnosis target area is determined, and the reference point is similarly applied to the spectral image. Specify specific and diagnosis target area. This makes it possible to make the diagnosis target area an image of the same location more reliably than the line-of-sight detection.
  • the method for specifying the line-of-sight position or the reference point can also be specified without using a pigment, and it is only necessary to detect the position (aiming position) at which the operator is gazing and paying attention in the observation image from the observation image. .
  • the lesion is diagnosed during the endoscopic operation, but the image data of the diagnosis target area is stored in the nonvolatile memory, and the spectral image processing is executed after the endoscopic operation is completed. You may let them.
  • an image processing apparatus for diagnosing a spectral image may be prepared as a part of or separately from the endoscope processor.
  • Videoscope 20 Processor 26 Pre-stage image signal processing circuit (image processing unit) 27 Spectral Image Processing Circuit (Spectral Image Processing Unit, Setting Unit) 28 Subsequent image signal processing circuit (image processing unit, spectral image processing unit) 29 Image memory 40 System control circuit 50 Spectral filter 70 Gaze detection device (detection unit, gaze position detection unit) 71 Camera (imaging part) BR Diagnosis area C Gaze position

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本発明の内視鏡システムは、観察対象に対し、通常光を照射する照明部であって、互いに異なるピークをもつ複数の狭帯域光を別々に照射可能な照明部と、スコープ先端部のイメージセンサから所定時間間隔で読み出される１フレーム／フィールド分の画素信号に基づいて観察画像を生成する画像処理部であって、複数の狭帯域光照射に従って複数の分光画像を生成する画像処理部と、少なくとも複数の分光画像に対し、オペレータ照準箇所を検出する検出部と、検出された照準箇所を含む診断対象エリアを定める設定部と、複数の分光画像に対して定められた複数の診断対象エリアの中で、スペクトル特性が他と比べて異なる病変部を抽出する分光画像処理部とを備え、画像処理部が、病変部を識別化させた診断画像を生成する。

Description

内視鏡システム
　本発明は、体内器官等の被写体を撮像して処置、手術などを行う内視鏡システムに関し、特に、分光画像における病変部抽出に関する。
　分光画像表示機能を備えた内視鏡システムでは、ピークの異なる狭帯域の光を観察対象に向けて照射し、観察目的に応じたイメージを分光画像として表示することが可能である。例えば、Ｒ、Ｇ、Ｂの光透過帯域を狭めた離散的ピーク分光特性をもつ（オーバラップ部分のない）狭帯域フィルタが、光路上に配置される（例えば、特許文献１参照）。
　病変部に狭帯域光を照射したときの反射光の分光特性は、健常部に照射したときの分光特性と相違する。これは、血管中に含まれる酸素化ヘモグロビン、還元ヘモグロビン濃度や病変部の生体組織に含まれる物質が、健常部と異なるためである。
　そこで、異なる狭帯域の光を観察対象に順次照射して複数の分光画像データを生成し、ある波長域の光に対して分光特性の異なるエリアを検出することができれば、病変部を特定することができる。これは、重回帰分析などの統計解析を使うことで可能である。
　例えば、酸素化ヘモグロビン、還元ヘモグロビンの病変部と健常部の分光特性の違いがあることを考慮し、５ｎｍ～８００ｎｍの範囲にある狭帯域の光を順次照射し、得られる複数の分光画像を重回帰分析する。重回帰分析によって酸素化ヘモグロビン、還元ヘモグロビンの成分割合（寄与率）を画素ごとに特定することによって、病変部の強調された観察画像を表示することができる（特許文献２参照）。
特許第３６０７８５７号公報 特開２０１３－２４０４０１号公報
　複数の分光画像データを取得して病変部を特定する場合、撮影領域を同一箇所に留めておかなければ、各画素における分光特性の相違を正確に検出することができない。しかしながら、オペレータがスコープを保持し続ける内視鏡作業では、同一箇所を常に撮影することが難しく、分光画像間で撮影領域にずれが生じる。そのため、誤って病変部を抽出する恐れがある。
　したがって、内視鏡作業中に撮影領域が変動しても、複数の分光画像に基づいて病変部を精度よく抽出することが求められる。
　本発明の内視鏡システムは、観察対象に対し、通常光を照射する照明部と、スコープ先端部のイメージセンサから所定時間間隔で読み出される１フレーム／フィールド分の画素信号に基づいて観察画像を生成する画像処理部とを備える。照明部は、通常光とともに、互いに異なるピークをもつ複数の狭帯域光を別々に照射可能である。例えば、観察モードの切替に応じて、通常光照射と複数の狭帯域光の連続照射とを切り替え可能である。また、画像処理部は、複数の狭帯域光照射に応じて生成される画像信号から複数の観察画像（以下では、分光画像という）を生成することができる。
　さらに本発明の内視鏡システムは、少なくとも複数の分光画像に対し、オペレータ照準箇所を検出する検出部と、検出された照準箇所を含む診断対象エリアを定める設定部と、複数の分光画像に対して定められた複数の診断対象エリアの中で、スペクトル特性が他と比べて異なる病変部を抽出する分光画像処理部とを備える。
　ここで、「オペレータ照準箇所」とは、内視鏡作業者が観察対象である被写体の中で注意、注目する箇所であって、診断対象となる場所を示す。例えば、病変部と思われる部位、組織が照準箇所となる。オペレータ照準箇所は、観察画像におけるオペレータの視線位置、観察対象に対して特定箇所に付着させた色素など、様々である。
　診断対象エリアについては、観察画像の一部任意のエリアを設定することが可能であり、例えば、オペレータ照準箇所を中心とした診断対象エリアを設定し、各分光画像において同一サイズの診断対象エリアを設定することが可能である。
　分光画像処理部は、スペクトル解析などを適宜行って病変部を抽出することが可能である。例えば、重回帰分析などを用いることができる。画像処理部は、抽出された病変部を識別化させた診断画像を生成する。例えば、画像処理部は、通常光に基づいた観察画像の中で病変部と他と識別化させるように表示することが可能であり、また、分光画像を合成した画像を診断画像として生成することも可能である。
　本発明では、観察画像に定めた診断対象エリアを、オペレータ照準箇所を基準として定めることにより、各分光画像の診断対象エリアが観察対象である被写体の同一部分の画像エリアになる。したがって、狭帯域光が照射している期間に撮影範囲がずれても、同一エリアの分光画像が生成されることになり、適正な病変部抽出が可能となる。
　画像処理部は、観察画像に対してオペレータ照準箇所を示す像を重ねることが可能であり、オペレータは、画面に表示される分光画像において視線位置および照準箇所を同時に視認することができる。また、画像処理部は、観察画像に対して診断対象エリアを示す像を重ねることが可能であり、各分光画像における診断対象エリアを視認することができる。
　検出部が、各分光画像における色素付着箇所を、オペレータ照準箇所として検出することが可能であり、観察画像の画像解析によって色素付着箇所は容易に検出可能である。検出部は、分光画像だけでなく、観察モード切替前の通常光に基づいた観察画像に対しても、色素付着箇所を検出することが可能である。色素付着箇所を示す像を表示することによって、分光画像への切り替え前に色素付着箇所を正確に検出できているかオペレータが確認することができる。例えば検出部は、観察モード切替前のオペレータの操作に従い、色素付着箇所を検出する。また、通常光に基づいた観察画像を用いて診断画像を生成する場合、検出部は、複数の狭帯域光照射後に生成される通常光に基づいた観察画像についても色素付着箇所を検出すればよい。
　一方、視線位置をオペレータ照準箇所として検出する場合、検出部は、撮像部と、撮像部によって生成されるオペレータの顔画像に基づいて、表示される分光画像に対する視線位置を、オペレータ照準箇所として検出する視線位置検出部とを備える。視線位置を観察画像の表示画面上から検出することも可能であり、また、オペレータの両眼付近に指標を取り付け、それを検出することも可能である。例えば、検出部は、オペレータの両眼から離れた場所にある指標の像を顔画像から検出し、指標の位置と両眼位置とに基づいて視線位置を検出することができる。
　照明部は、観察モードの切替に応じて、通常光照射と複数の狭帯域光照射とを切り替え可能であるが、視線位置検出の場合、検出部は、分光画像だけでなく、観察モード切替前の観察画像、あるいは、複数の狭帯域光照射後の通常光に基づいた観察画像についても視線位置を検出することが望ましい。
　本発明の他の態様における画像処理装置は、互いに異なるピークをもつ複数の狭帯域光に基づいて得られる複数の分光画像に対し、オペレータ照準箇所を検出する検出部と、複数の分光画像に対し、検出された照準箇所を含む診断対象エリアを定める設定部と、複数の分光画像に対して定められた複数の診断対象エリアの中でスペクトル特性が他と比べて異なる病変部を識別化させた診断画像を生成する分光画像処理部とを備える。
　また、本発明の内視鏡システムの分光画像処理方法は、互いに異なるピークをもつ複数の狭帯域光を順次放射したときに得られる複数の分光画像に対し、オペレータ照準箇所を検出し、複数の分光画像に対し、検出された照準箇所を含む診断対象エリアを定める設定し、複数の分光画像に対して定められた複数の診断対象エリアの中でスペクトル特性が他と比べて異なる病変部を識別化させた診断画像を生成する。さらに、内視鏡システムにおいて、互いに異なるピークをもつ複数の狭帯域光に基づいて得られる複数の分光画像に対し、オペレータ照準箇所を検出するステップと、複数の分光画像に対し、検出された照準箇所を含む診断対象エリアを定めるステップと、複数の分光画像に対して定められた複数の診断対象エリアの中でスペクトル特性が他と比べて異なる病変部を識別化させた診断画像を生成するステップとを実行させるプログラムを提供することも可能である。
　一方、本発明の他の態様における内視鏡装置は、通常光とともに、異なるピークをもつ複数の狭帯域光を観察対象に対して照明可能な照明部と、スコープ先端部に設けられたイメージセンサから順次読み出される１フィールドもしくは１フレーム分の画素信号に基づいて、観察画像を生成する画像処理部と、観察画像が表示された表示装置の画面上でのオペレータの視線位置を検出する視線検出部と、複数の狭帯域光に基づいて生成される複数の分光画像それぞれにおいて、検出された視線位置を含む診断対象エリアを定め、その中でスペクトル特性が他と比べて異なる病変部を抽出する分光画像処理を実行する分光画像処理部とを備え、画像処理部が、病変部を識別化させた表示用診断画像を生成する。
　分光画像処理部は、各分光画像の中で診断対象エリアに応じた画素データを一時的にメモリに保存し、保存した画素データに対して分光画像処理を実行することが可能である。分光画像処理部は、視線位置周辺のエリアを、診断対象エリアとして定めることができる。
　本発明の他の態様における内視鏡装置のプロセッサは、通常光とともに、異なるピークをもつ複数の狭帯域光を観察対象に対して照明可能な照明部と、スコープ先端部に設けられたイメージセンサから順次読み出される１フィールド／フレーム分の画素信号に基づいて、観察画像を生成する画像処理部と、複数の狭帯域光に基づいて生成される複数の分光画像それぞれにおいて、観察画像が表示された表示装置の画面上でのオペレータの視線位置を検出する視線検出部によって検出された視線位置を含む診断対象エリアを定め、その中でスペクトル特性が他と比べて異なる病変部を抽出する分光画像処理を実行する分光画像処理部とを備え、画像処理部が、病変部を識別化させた表示用診断画像を生成する。
　このように本発明によれば、内視鏡システムにおける分光画像を利用した病変部診断において、正確に病変部を抽出することができる。
本実施形態である電子内視鏡システムのブロック図である。 分光画像モードにおいて実行される分光画像処理のフローチャートである。 視線追従した場合の分光画像の画面表示を示した図である。 撮像部の装着位置を示した図である。 オペレータの頭部に取り付けた指標を示した図である。 視線検出装置によって実行されるキャリブレーション処理を示したフローチャートである。 キャリブレーション処理過程における表示画面を示した図である。 第２の実施形態における分光画像処理のフローチャートである。 第３の実施形態である内視鏡システムのブロック図である。 色素噴出箇所を特定する処理を示すフローチャートである。 色素噴出位置を特定した画面を示した図である。 第３の実施形態における分光画像処理のフローチャートである。
　以下では、図面を参照して本実施形態である電子内視鏡装置について説明する。
　図１は、第１の実施形態である電子内視鏡システムのブロック図である。
　電子内視鏡システムは、ビデオスコープ１０とプロセッサ２０とを備えた電子内視鏡装置を備えるとともに、カメラ７１を具備する視線検出装置７０を備えている。ビデオスコープ１０は、プロセッサ２０に着脱自在に接続可能であり、また、モニタ６０がプロセッサ２０に接続されている。
　プロセッサ２０は、キセノンランプなどのランプ４８を備え、ランプ４８はランプ駆動回路（図示せず）によって駆動される。ランプ４８から放射された広帯域の白色光（通常光）は、集光レンズ４５を介してビデオスコープ１０内に設けられたライトガイド１１の入射端１１Ａに入射する。ライトガイド１１を通った光は、配光レンズ１３を介してスコープ先端部１０Ｔから被写体（観察対象）に向けて照射される。ランプ４８とライトガイド１１との間には、絞り（図示せず）が設けられており、絞りの開閉によって照明光量が調整される。
　被写体において反射した光は、スコープ先端部１０Ｔに設けられた対物レンズ１４によってイメージセンサ１２に結像し、被写体像がイメージセンサ１２の受光面に形成される。イメージセンサ１２は、駆動回路１７によって駆動されており、１フィールド分もしくは１フレーム分の画素信号がイメージセンサ１２から所定の時間間隔（例えば、１／６０秒あるいは１／３０秒間隔）で読み出される。
　イメージセンサ１２は、ここではＣＣＤ、ＣＭＯＳなどの撮像素子によって構成されており、イメージセンサ１２の受光面上には、Ｃｙ、Ｙｅ、Ｇ、Ｍｇ、あるいはＲ、Ｇ、Ｂなどの色要素をマトリクス配列させた色フィルタアレイ（図示せず）が配設されている。
　イメージセンサ１２から読み出された１フィールド／フレーム分の画素信号は、初期回路（図示せず）において増幅、デジタル化された後、プロセッサ２０へ送られる。プロセッサ２０の前段画像信号処理回路２６では、一連のデジタル画素信号に対し、ホワイトバランス処理、ガンマ補正処理などの画像信号処理が施される。これにより、通常光に基づいたカラー画像信号、すなわち観察画像が生成される。
　生成されたカラー画像信号は、分光画像処理回路２７を経由して後段画像信号処理回路２８へ送られる。後段画像信号処理回路２８では、輪郭強調処理、スーパーインポーズ処理などが画像信号に対して施される。画像信号が後段画像信号処理回路２８からモニタ６０に出力されることによって、観察画像がモニタ６０に表示される。
　ＣＰＵ、ＲＯＭ（いずれも図示せず）などを含むシステムコントロール回路４０は、タイミングコントローラ３８、前段画像信号処理回路２６などへ制御信号を出力し、プロセッサ２０が電源ＯＮ状態の間、プロセッサ２０の動作を制御する。動作制御プログラムは、あらかじめＲＯＭに記憶されている。
　プロセッサ２０に設けられたタイミングコントローラ３８は、前段画像信号処理回路２６、駆動回路１７などプロセッサ２０、およびビデオスコープ１０に設けられた回路へクロックパルス信号を出力し、各回路の入出力タイミングを制御、調整する。
　ランプ４８とライトガイド１１との間には、ディスク状の分光フィルタ５０が設けられている。分光フィルタ５０は、ランプ４８から放射される光の中で、互いにピークが離間していてオーバラップ部分のない狭帯域の光のみ通過させる。ここでは、それぞれピークが５４０ｎｍ、５５５ｎｍ、５７０ｎｍの色フィルタを等間隔で配置させたディスクによって分光フィルタ５０が構成されている。分光フィルタ５０は、フィルタ駆動部（図示せず）によって光路上から光路外、またはその逆方向に移動可能である。
　モータ５４は、ドライバ５２からの制御信号に基づいて分光フィルタ５０を所定角度回転させる。分光フィルタ５０は、回転角度に応じて、白色光あるいは特定の狭帯域光を、ライトガイド１１に対して選択的に入射させる。システムコントロール回路４０は、ドライバ５２を経由してモータ５４を駆動制御し、分光フィルタ５０の回転角度および回転移動するタイミングを調整する。
　プロセッサ２０のフロントパネル２２には、通常の広帯域の白色光を照明光として設定する通常画像観察モードと、狭帯域光を照明光に切り替えて病変部を特定した診断画像を表示する分光画像観察モードとを切り替えるモード設定ボタン（図示せず）が設けられている。さらに、オペレータのモニタ画面における視線位置を検出し、視線位置を表示する視線追従モードが設定可能である。視線追従に基づく病変部診断を行う場合、オペレータは視線追従モードを設定した後、分光画像観察モードに切り替える。なお、ビデオスコープ１０に設けられた操作ボタン（図示せず）によってモード切替を行ってもよい。
　オペレータあるいは共同作業者によって分光画像観察モードに切り替えられると、光路外の退避位置に配置された分光フィルタ５０が、フィルタ駆動部（図示せず）によって光路上に移動する。そして、タイミングコントローラ３８からの同期信号に従い、分光フィルタ５０がモータ５４によって所定角度ずつ回転する。これにより、３つの狭帯域光が、ライトガイド１１に対して順次入射する。
　前段画像信号処理回路２６は、各狭帯域の光に基づいた１フィールド／フレーム分の画素信号に対して画像処理を施し、狭帯域光に基づいた観察画像（以下では、分光画像という）を生成する。分光画像観察モードが設定されている場合、分光画像処理回路２７は、分光画像に基づいて病変部を抽出する分光画像処理を実行する。すなわち、３つの分光画像に基づいて各画素データのスペクトル特性を解析する。そして、スペクトル特性が他の画素と異なる部分を病変部として抽出する。ここでは、重回帰分析を各画素に対し行うことによって病変部を特定する。
　３つの狭帯域光を順次照射させた後、再び通常光を照射するように分光フィルタ５０が光路外に退避する。後段画像信号処理回路２８は、通常光に基づいて生成される観察画像の中で特定された病変部が識別化されるように、カラー画像信号に対して画像処理を実行する。
　視線検出装置７０は、ビデオスコープ１０を保持しているオペレータの視線位置を検出し、プロセッサ２０のシステムコントロール回路４０へモニタ画面上の位置座標データを送信する。ここでは、イメージセンサ１２から読み出される画素信号のフレーム期間に同期しながら位置座標データを送信する。モニタ６０の画面上部に設けられたカメラ７１はオペレータの顔を撮像し、視線検出位置７０は生成される顔画像に基づいて視線位置を検出する。
　視線位置の検出は、様々な周知の視線検出方式を適用することが可能である。例えば、目の特徴点となる瞳部分の位置、および目の向く方向を検出することによって、視線位置を特定することができる。あるいは、ヘッドマウントタイプの視線検出器をオペレータの頭部に装着させてもよい。
　プロセッサ２０のタイミングコントローラ３８は、システムコントロール回路４０を経由して同期信号を視線検出装置７０へ出力する。視線検出装置７０は、分光画像モードが設定されると、その同期信号、すなわち１フィールド／フレーム期間に合わせて視線位置の位置座標データを送信する。
　以下、図２、３を用いて、分光画像に基づいた病変部診断処理について説明する。
　図２は、分光画像観察モードのとき実行される分光画像処理のフローチャートである。図３は、視線追従モード設定時における照明光の切替および表示画像を示した図である。なお、以下では１フレーム期間に合わせて通常光による観察画像、狭帯域光による分光画像が生成されるものとして説明する。
　通常観察モードにおいては、通常光を観察対象へ照射するように分光フィルタ５０は光路外に退避されている（Ｓ１０１）。視線追従モードが設定されていない状態で分光観察モードに切り替えられると、通常の分光画像処理が実行される（Ｓ１１３、Ｓ１１４）。システムコントロール回路４０は、分光フィルタ５０を光路上に移動させて回転制御し、１フレーム期間ごとに３つの狭帯域光を順次照明させる。
　分光画像処理回路２７は、前段画像信号処理回路２６において生成された３フレーム分の分光画像データに基づいてスペクトル解析を行い、病変部を抽出する分光画像処理を実行する。以下、分光画像処理について詳述する。
　観察対象となる生体組織は、それぞれ光の吸収特性の異なる複数の物質を有し、また、病変部と健常部との間では、光の吸収特性の違い（特に、５４０ｎｍ～５７０ｎｍ）によって酸素化ヘモグロビンと還元ヘモグロビンの構成比率が相違する。そこで、各分光画像の画素値（輝度値）を目的変数、酸素化ヘモグロビン、還元ヘモグロビンの波長域ごとの光の吸収特性を説明変数とし、画素値が説明変数の総和とすれば、重回帰分析によって各説明変数の係数の値を算出し（パラメータを同定し）、酸素化ヘモグロビン、還元ヘモグロビンの構成比率を各画素について求めることができる。
　しかしながら、３つの狭帯域光の照射によって得られる分光画像には、生体組織での反射光のみならず、生体組織内で散乱した光の画素情報も含まれる。また、イメージセンサ１２の信号特性、観察対象の周囲の明るさなどに起因する装置固有のノイズも分光画像に含まれている。そのため、さらに散乱光成分および装置固有のオフセット成分を説明変数として加えた以下の式を定める。
　　　　　
 ［数１］
Figure JPOXMLDOC01-appb-I000001
　上記数式１において、Ｘ1～Ｘ3は、５４０ｎｍ、５５５ｎｍ、５７０ｎｍのピークをもつ狭帯域光によってそれぞれ得られる分光画像の１画素のデータであり、輝度値を対数で表している。また、ａ１～ａ３は、波長５４０ｎｍ、５５５ｎｍ、５７０ｎｍにおける酸素化ヘモグロビンの光吸収特性を示し、ｂ１～ｂ３は、波長５４０ｎｍ、５５５ｎｍ、５７０ｎｍにおける還元ヘモグロビンの光吸収特性を示す。
　また、ｃ１～ｃ３は、波長５４０ｎｍ、５５５ｎｍ、５７０ｎｍにおけるレイリー散乱、ｄ１～ｄ３は、波長５４０ｎｍ、５５５ｎｍ、５７０ｎｍにおけるミー散乱の散乱係数を表す。これら係数の値は、従来公知である。なお、装置固有オフセットの係数Ｐ５の値は、内視鏡システムの固有値としてあらかじめ定められた補正値である。
　上記数式１に分光画像の画素値を代入することにより、画素データは、吸収特性のスペクトルと、散乱係数のスペクトルと、固有オフセット値に分解される。係数Ｐ１～Ｐ４は、各スペクトル成分の寄与率、すなわち画素値の構成割合を示すことから、係数Ｐ１～Ｐ４を算出する重回帰分析を画素ごとに行えば、酸素化ヘモグロビン、還元ヘモグロビンの寄与率を示す係数Ｐ１、Ｐ２を求めることができる。
　上述したように、病変部では、酸素化ヘモグロビンと還元ヘモグロビンの構成比率（寄与率）が健常部とは異なることから、重回帰分析によって求められた係数Ｐ１、Ｐ２の比、すなわち係数Ｐ１、Ｐ２の相対的な値を求めることができれば、病変部を特定することができる。したがって、上記数式１から係数Ｐ１～Ｐ４のいずれか１つの係数を基準とした相対値を各係数に対して算出することで、係数Ｐ１、Ｐ２の構成比率を求めることができる。
　各画素の係数比に基づく病変部の判断には、様々な手法を用いることが可能である。例えば、全画素の係数比のヒストグラムを求め、閾値以上の画素を病変部として特定することができる。閾値については、あらかじめ健常部と病変部を撮影することで得られる分光画像データのスペクトル分布特性から求められる閾値をＲＯＭなどのメモリに記憶させればよい。
　分光画像の中で病変部の画素が特定されると、後段画像信号処理回路２８において、病変部を識別化できるように画像編集処理を実行する。具体的には、狭帯域光から通常光に切り替わった後に生成される観察画像に対し、病変部に該当する画素を健常部とは異なる特定の色で表示するように、画像処理が実行される。ここでは、病変部に応じた画素が赤色で表示される。
　一方、分光画像観察モードへの切替前に視線追従モードが設定されると、各フレームの観察画像に対して視線位置を検出するとともに視線位置を囲む診断対象エリアを設定し、視線位置および診断対象エリアをスーパーインポーズ表示する処理が実行される（Ｓ１０３）。
　具体的に説明すると、システムコントロール回路４０は、１フレーム期間ごとに受信するモニタ画面上における視線位置座標データを受信し、視線位置を中心とする診断対象エリアを設定する。後段画像信号処理回路２８では、システムコントロール回路４０の制御の下、視線位置および診断対象エリアをモニタ６０の画面において表示するスーパーインポーズ処理が施される。
　図３に示すように、画面上における視線Ｃの位置は、オペレータが病変部と疑う部分を注視している状態で視線が画面と交差する点の位置を表す（以下では、視線位置を符号Ｃで表すこともある）。一方、診断対象エリアＢＲは、視線位置Ｃを囲む領域、すなわち病変部が含まれる領域相応のサイズを有し、分光画像によって診断処理を行うべき領域を表す。ここでは、診断対象エリアＢＲが視線Ｃの位置を中心とする矩形エリアによって規定される。
　そしてスーパーインポーズ処理により、視線Ｃの位置を示す微小円の像Ｒと、診断対象エリアＢＲを示す破線状フレームの像ＦＢとを、観察画像に重ねて表示する。診断対象エリアＢＲは、観察画像の一部領域に設定される。例えば、診断対象エリアＢＲは、観察画像（画面）サイズの半分以下、１／４以下などに定められる。オペレータがモニタ６０の画面を見ている間、システムコントロール回路４０は、１フレーム期間ごとに視線位置Ｃおよび診断対象エリアＢＲの表示位置を更新する。なお、診断対象エリアＢＲのサイズあるいは形状を任意に設定できるようにしてもよい。
　このように視線追従モードが設定された状態で分光画像観察モードに切り替えられると（Ｓ１０４）、システムコントロール回路４０は、分光フィルタ５０を回転制御し、狭帯域光を観察対象に順次照射する（Ｓ１０５）。生成された分光画像データは、分光画像処理回路２７を経由して後段画像信号処理回路２８へ順次送られる。これにより、３つの分光画像がモニタ６０上で順に表示される（図３参照）。
　狭帯域光を順次照射している間についても、視線Ｃの位置検出と診断対象エリアＢＲの設定、そして視線Ｃを示す像Ｒと診断対象エリアＢＲのフレーム像ＦＢを示すスーパーインポーズ処理が、各分光画像に対して実行される。そして、各分光画像に対して定められた診断対象エリアＢＲ内に位置する画素の画素データが、前段画像信号処理回路２６から出力されて画像メモリ２９に保存される（Ｓ１０６～Ｓ１０９）。
　帯域光を順次照射する間、スコープ先端部１０Ｔによって捉えられる撮像領域は常に同じ領域とはならず、オペレータのビデオスコープ１０を保持する姿勢がわずかに変化するだけでも、撮像領域が変動する（ただし、図３ではその変動を誇張して描いている）。一方、オペレータが病変部を注視している間に撮像領域が変動すると、注視位置はその変動に伴って移動する。その結果、オペレータの視線Ｃの位置および診断対象エリアＢＲの位置も、視線Ｃの動きに合わせて移動する。
　図３では、最初の狭帯域光に基づく分光画像（Ａ）、次の狭帯域光に基づく分光画像（Ｂ）、最後の狭帯域光に基づく分光画像（Ｃ）が表示されているときの診断対象エリアＢＲの表示位置を示している。視線位置を示す像Ｒを表示した状態でオペレータが診断対象のスポットを注視し続けることを踏まえれば、視線位置Ｃを中心とする診断対象エリアＢＲ内の画像は、各分光画像とも実質的に同一箇所の画像とみなすことができる。
　すなわち、３つの分光画像に対して定められた３つの診断対象エリアＢＲ間でその相対的位置が同じ画素のデータは、同一の被写体に基づいたデータとみなすことができる。また、多少の画素間の相違があったとしても、病変部はある程度のエリアに渡って発生することを考えれば、病変部の位置はある程度正確に特定される。
　３フレーム分の診断対象エリアＢＲに応じた画素データが画像メモリ２９に保存されると、分光画像処理回路２７では、診断対象エリアＢＲに応じた画素データに対し、重回帰分析処理を実行する（Ｓ１１０、Ｓ１１１）。重回帰分析処理が実行されることにより、診断対象エリアＢＲ内で病変部とみなされる画素が特定される。一方、診断対象エリアＢＲ以外の画素データは、分光画像処理を行わずにそのまま後段画像信号処理回路２８へ送られる。
　病変部が特定されると、分光フィルタ５０が光路外に退避し、通常の白色光が照射される。これに伴い、前段画像信号処理回路２６では、通常のカラー画像信号が生成される。後段画像信号処理回路２８は、視線検出装置７０から送られてくる視線位置座標のデータに基づいてスーパーインポーズ処理を実行し、視線Ｃの像Ｒおよび診断対象エリアＢＲのフレーム像ＦＢを、通常光に基づいた観察画像に重畳表示させる。
　さらに後段画像信号処理回路２８は、システムコントロール回路４０から送られてくる病変部の画素位置情報に基づき、診断対象エリアＢＲ内において病変部が識別化されるように画像処理を施す（Ｓ１１２）。ここでは、病変部に応じた画素を赤色で表示するように画像処理が施される。図３では、病変部ＳＴに該当する赤色画像部分をハッチングで示している。病変部を識別化した画像処理は、所定期間（例えば数秒）続けられる。電源がＯＦＦになるまで、ステップＳ１０１～Ｓ１１５が繰り返し実行される。
　このように本実施形態によれば、視線検出装置７０を備えた内視鏡システムにおいて、分光フィルタ５０によってピークの異なる狭帯域光をスコープ先端部１０Ｔから射出させる。一方、視線追従モードが設定されると、通常光、狭帯域光に基づいて生成される各フレームの観察画像（分光画像を含む）に対し視線Ｃの位置を検出し、診断対象エリアＢＲを定める。そして、診断対象エリアＢＲ内の画素データに対して重回帰分析を行って病変部を特定し、病変部の画素が識別化されるように画像処理を施す。
　視線Ｃの位置に従って診断対象エリアＢＲを定めることにより、分光観察モード期間中に撮影領域が変動しても被写体の同一箇所の画像部分をマッチングさせることができ、誤った病変部特定を防ぐことができる。また、視線位置座標データを１フィールド／フレーム間隔で検出するため、各分光画像における診断対象エリアＢＲを常に把握することができる。さらに、診断対象エリアＢＲのイメージのみ分光画像処理を行うため、計算処理スピードを上げることができる。
　通常画像観察モードから分光画像観察モードの切り替え前後において視線Ｃの像Ｒと診断対象エリアＢＲの像ＦＢを継続して表示するため、分光観察モード切替直後においてオペレータは撮影領域を固定しやすくなり、また、狭帯域光の照射中に撮影領域がわずかにずれても、オペレータが瞬時に対応して視線位置を調整させることができる。
　一方、分光画像観察モードから自動的に通常観察モードへ切り替わった場合においても、分光画像ではなく通常光に基づいた観察画像に対して病変部特定画像処理を施すことにより、自然な色合いの観察画像上で病変部を診断することができる。
　診断対象エリアＢＲの表示ついては、モード切替前だけエリアを示す像を表示してもよく、あるいは、通常画像観察モードに戻ると表示を消去させるようにしてもよい。また、モード切替前後いずれも表示せず、視線位置を示す像のみ表示する構成にしてもよい。視線位置の表示についても、モード切替操作が行われてから表示開始するようにしてもよく、あるいは、狭帯域光の照射期間まで表示し、診断画像表示時には表示しないように構成してもよい。
　病変部に該当する画素をスペクトル解析によって求める画像処理を実行しなくても、上記数式１によって画素値を吸収特性、散乱特性成分ごとに分解した後、吸収特性の成分だけで分光画像を合成し、診断対象エリアにその合成画像を表示してもよい。この診断画像においても、各画素の値はスペクトル値の合成となることから、オペレータは病変部を画面上において識別することができる。
　分光画像については、１フレーム期間よりも長い期間に渡って順次表示してもよく、視線位置検出タイミングも分光画像表示期間に合わせて調整してよい。診断結果を通知する診断画像については、静止画像（フリーズ画像）として表示することも可能である。例えば、動画である観察画像とともに、上述した診断対象エリアの合成画像を静止画像として画面に同時表示するようにしてもよい。さらに、照射期間中に通常光と狭帯域光を交互に照射し、狭帯域光の間欠的な順次照射期間中において通常観察画像だけ表示するようにしてもよい。
　分光画像処理については、上述した重回帰分析以外の手法によって病変部を特定してもよい。例えば、非負荷高速値の重回帰分析、最小二乗法などの線形回帰分析、あるいは、ニュートン法、準ニュートン法、共役勾配法、減衰最小二乗法などを適用することが可能である。
　観察部位に対する狭帯域光の照明に関しては、開口部を設けた分光フィルタを光路上で回転させてモード切替に対応する構成にしてもよい。また、分光フィルタ以外の構成によっても可能である。例えば、ファブリ・ペロー型光学素子を用いることも可能であり、レーザを使用して狭帯域光を照明することも可能である。
　次に、図４～図８を用いて、第２の実施形態である内視鏡システムについて説明する。第２の実施形態では、視線位置を直接検出する代わりに、視線位置検出の指標をオペレータ頭部に取り付ける。
　図４は、撮像部の装着位置を示した図である。図５は、オペレータの頭部に取り付けた指標を示した図である。
　第１の実施形態と同様、カメラ７１は、スクリーン中心位置ＳＣとカメラ７１の光軸ＯＸの位置が同一ラインに沿うように、モニタ６０の上部中央に取り付けられている。一方、オペレータの頭部に巻かれたバンドＢＤには、蛍光物質ＲＭが塗られている。蛍光物質ＲＭの塗布範囲は、オペレータの両眼幅に対応し、また両眼に沿って平行に塗布している。
　視線検出装置７０は、オペレータの顔を撮像して得られる顔画像からこの蛍光物質ＲＭの位置を検出し、視線位置を演算する。ここでは、オペレータに画面上の特定位置を中止させたときに得られる顔画像から蛍光物質ＲＭの位置を検出し、蛍光物質ＲＭと両眼との距離間隔から視線位置を算出する。そのため、分光画像による病変部診断前にキャリブレーション処理を行う。
　図６は、視線検出装置によって実行されるキャリブレーション処理を示した図である。図７は、キャリブレーション処理過程における表示画面を示した図である。
　プロセッサ２０が電源ＯＮ状態になると、図７（Ａ）に示すように、オペレータにキャリブレーション処理の実行を促すメッセージ表示を行う（Ｓ２０１）。バンドＢＤを装着していない他の作業者がプロセッサ２０のフロントパネル２２に設けられたキャリブレーション用ボタン（図示せず）を操作すると、図７（Ｂ）に示すように、システムコントロール回路４０は、後段画像信号処理回路２８を制御し、画面上にグリッドＧおよび画面中心点Ｂをスーパーインポーズ表示させる（Ｓ２０２、Ｓ２０３）。
　バンドＢＤを装着したオペレータの顔の向きを確認してからフロントパネル２２の実行ボタンが操作されると（Ｓ２０４）、そのときの蛍光物質ＲＭの画面上に基づいて視線Ｃの位置を算出し、これを基準点として定める（Ｓ２０５）。そして、図７（Ｃ）に示すように、この基準点を示す像Ｃをスーパーインポーズ表示させる（Ｓ２０６）。
　一方、ステップＳ２０２、Ｓ２０４においてオペレータによる入力操作が所定時間経過しても検出されない場合、エラーメッセージを表示して処理を終了させる（Ｓ２０７）。一度基準点が検出されると、視線検出装置７０は１フレーム期間ごとに基準位置の検出を継続して行う。
　図８は、第２の実施形態における分光画像処理のフローチャートである。第２の実施形態では、分光画像観察モードにおいて自動的に視線追従を行う設定される構成になっている。分光画像観察モードが設定されると、処理が開始される。
　キャリブレーション処理が行われていない場合、図６に示すキャリブレーション処理が実行される（Ｓ３０１、Ｓ３０２）。すでにキャリブレーション処理が行われた場合、第１の実施形態と同様、分光画像処理が実行される。ただし、第２の実施形態では、基準点（視線位置）のみが画面表示されるようにスーパーインポーズ処理が実行される。
　したがって、通常観察モードから分光画像観察モードへの切り替え、狭帯域光の順次照射後の通常光照射に至る期間、基準点の像Ｒのみ表示される。視線位置および診断対象エリアの表示以外については、ステップＳ３０３～Ｓ３１０の実行は、図２のステップＳ１０５～Ｓ１１２の実行と同じである。
　このように第２の実施形態によれば、蛍光物質ＲＭを用いることで視線位置を容易に検出することができる。また、簡易な画像処理回路によって視線位置を検出することができる。特に、モード切替前にキャリブレーション処理を行うことにより、正確な視線位置を検出することができる。なお、蛍光物質以外を指標としてもよい。
　第１、第２の実施形態では、視線検出装置をプロセッサとは独立した機器として構成しているが、内視鏡装置プロセッサ内で視線位置を検出してもよい。この場合、内視鏡システムにオペレータの顔を撮像するカメラはプロセッサに接続される。
　次に、図９～図１２を用いて、第３の実施形態である電子内視鏡システムについて説明する。第３の実施形態では、視線位置を検出する代わりに、色素付着位置を検出する。
　図９は、第３の実施形態である内視鏡システムのブロック図である。
　内視鏡システムは、ビデオスコープ１０とプロセッサ２０とを備え、ビデオスコープ１０は、ウォータージェット送水機能を備え、送水管路１９がスコープ操作部１０Ｐからスコープ先端部１０Ｔに渡って設けられている。オペレータは、水その他液体を注入可能な注射器８０を接続口１９Ｔに挿入し、注射器８０の押し子を押下することで、観察対象に液体を特定箇所に噴射することができる。
　本実施形態では、分光画像による病変部診断を行う場合、オペレータは、胃粘膜診断などに使用される青味を帯びたインディゴ色素あるいはその他識別しやすい色素を注射器８０に注入し、診断対象部分へ噴射する。システムコントロール回路４０は、前段画像信号処理回路２６で生成される観察画像の中で青色の色素付着部分を検出し、その付着部分に応じて診断対象エリアを設定する。そして、通常画像観察モードから分光画像観察モードへ切り替えられると、診断対象エリアに基づいた病変部診断が行われる。
　図１０は、色素噴出箇所を特定する処理を示すフローチャートである。図１１は、色素噴出位置を特定した画面を示した図である。
　ステップＳ４０１では、色素噴霧を促すメッセージがモニタ６０に表示される。オペレータは、メッセージに従い、ウォータジェットノズル機能を使用して色素を診断対象箇所へ色素を噴出する。このとき、診断対象箇所のみ色素を付着させるように注射器８０を押下する力を調整する。
　ステップＳ４０２では、オペレータによって色素噴出が行われたか、すなわち、青色の色素が観察画像に含まれているか否かが判断される。色素噴出が行われたと判断すると、観察画像における色素付着箇所の画素を基準点ＢＣとして特定する（Ｓ４０３）。色素噴出箇所の像（青色像）の範囲は複数の画素のエリアに渡ることが多いことから、そのエリア中心や重心位置にある画素を基準点として特定すればよい。そして、基準点ＢＣを中心とする診断対象エリアＢＲを設定する。
　そして、基準点ＢＣを示す像ＷＣおよび診断対象エリアＢＲを示すフレーム像ＦＢが観察画像に重ねて表示される（Ｓ４０４）。表示処理を所定期間行ったあと、像ＷＣ、ＦＢの表示を消去する。ステップＳ４０２において色素を検出しない場合、エラーメッセージを表示して終了する（Ｓ４０５）。
　図１２は、第３の実施形態における分光画像処理のフローチャートである。
　通常観察モードから分光画像モードに切り替えられたときに基準点（色素付着位置）が特定されていない場合、すなわちまだ色素が噴出されていない場合、図１０に示した基準点を特定する処理が実行される（Ｓ５０１、Ｓ５０２）。基準点が特定されている場合、第１、第２の実施形態と同様、狭帯域光の順次照射によって３つの分光画像を生成し、各分光画像に対して基準点を特定し、診断対象エリアＢＲを設定する（Ｓ５０３～Ｓ５０７）。
　青味を帯びた色素は、分光画像においても他と識別可能であるため、基準点ＢＤの画素は同一箇所の画素データを得ることになる。基準点特定の仕方は、モード切替前と同様に行えばよいが、色素噴出を考慮した分光画像処理を行う。なお、第３の実施形態では、分光画像モード切替前後において基準点、診断対象エリアの像ＷＣ、ＦＢは表示されない。基準点の特定および診断対象エリアを設定すると、分光画像処理を実行する。病変部が抽出されると、病変部を識別した診断画像を表示する（Ｓ５０８～Ｓ５１１）。
　このように第３の実施形態によれば、モード切替前に行われた作業に従って色素付着箇所の像を基準点として特定し、中心診断対象エリアを定め、分光画像に対しても同様に基準点特定、診断対象エリア設定を行う。これによって、視線検出と比べ、より確実に診断対象エリアを同一箇所の像にすることができる。
　視線位置あるいは基準点の特定手法については、色素を使わないで特定することも可能であり、観察画像の中でオペレータが注視、着目している位置（照準位置）を観察画像から検出すればよい。例えば、光強度が相対的に高い部分、観察画像の中心位置、スコープ先端部との距離が最も短い箇所などを基準点として検出することが可能である。
　第１～第３の実施形態では、内視鏡作業中に病変部診断を行っているが、診断対象エリアの画像データを不揮発性メモリに記憶させ、内視鏡作業終了後に分光画像処理を実行させてもよい。また、分光画像を診断する画像処理装置を内視鏡プロセッサの一部あるいは別に用意してもよい。
　１０　ビデオスコープ
　２０　プロセッサ
　２６　前段画像信号処理回路　（画像処理部）
　２７　分光画像処理回路　（分光画像処理部、設定部）
　２８　後段画像信号処理回路（画像処理部、分光画像処理部）
　２９　画像メモリ
　４０　システムコントロール回路
　５０　分光フィルタ
　７０　視線検出装置（検出部、視線位置検出部）
　７１　カメラ（撮像部）
　ＢＲ　診断対象エリア
　Ｃ　視線位置

Claims (18)

  1. 　観察対象に対し、通常光を照射する照明部であって、互いに異なるピークをもつ複数の狭帯域光を別々に照射可能な照明部と、
    　スコープ先端部のイメージセンサから所定時間間隔で読み出される１フレーム／フィールド分の画素信号に基づいて観察画像を生成する画像処理部であって、複数の狭帯域光照射に従って複数の分光画像を生成する画像処理部と、
    　少なくとも複数の分光画像に対し、オペレータ照準箇所を検出する検出部と、
    　検出された照準箇所を含む診断対象エリアを定める設定部と、
    　複数の分光画像に対して定められた複数の診断対象エリアの中で、スペクトル特性が他と比べて異なる病変部を抽出する分光画像処理部とを備え、
    　前記画像処理部が、病変部を識別化させた診断画像を生成することを特徴とする内視鏡システム。
  2. 　前記検出部が、各分光画像における色素付着箇所を、オペレータ照準箇所として検出することを特徴とする請求項１に記載の内視鏡システム。
  3. 　前記照明部が、観察モードの切替に応じて、通常光照射と複数の狭帯域光照射とを切り替え可能であり、
    　前記検出部が、観察モード切替前および複数の狭帯域光照射後の少なくともいずれか一方において生成される観察画像に対し、色素付着箇所を検出することを特徴とする請求項２に記載の内視鏡システム。
  4. 　前記検出部が、観察モード切替前のオペレータの操作に従い、色素付着箇所を検出することを特徴とする請求項３に記載の内視鏡システム。
  5. 　前記検出部が、
    　撮像部と、
    　前記撮像部によって生成されるオペレータの顔画像に基づいて、表示される分光画像に対する視線位置を、オペレータ照準箇所として検出する視線位置検出部と
    　を備えることを特徴とする請求項１に記載の内視鏡システム。
  6. 　前記検出部が、オペレータの両眼から離れた場所にある指標の像を前記顔画像から検出し、指標の位置と両眼位置とに基づいて視線位置を検出することを特徴とする請求項５に記載の内視鏡システム。
  7. 　前記照明部が、観察モードの切替に応じて、通常光照射と複数の狭帯域光照射とを切り替え可能であり、
    　前記検出部が、観察モード切替前の観察画像および複数の狭帯域光照射後の観察画像の少なくともいずれか一方に対し、視線位置を検出することを特徴とする請求項５乃至６のいずれかに記載の内視鏡システム。
  8. 　前記画像処理部が、観察画像に対してオペレータ照準箇所を示す像を重ねることを特徴とする請求項１乃至７のいずれかに記載の内視鏡システム。
  9. 　前記画像処理部が、観察画像に対して診断対象エリアを示す像を重ねることを特徴とする請求項１乃至８のいずれかに記載の内視鏡システム。
  10. 　前記設定部が、オペレータ照準箇所を中心とした診断対象エリアを設定することを特徴とする請求項１乃至９のいずれかに記載の内視鏡システム。
  11. 　互いに異なるピークをもつ複数の狭帯域光に基づいて得られる複数の分光画像に対し、オペレータ照準箇所を検出する検出部と、
    　複数の分光画像に対し、検出された照準箇所を含む診断対象エリアを定める設定部と、
    　複数の分光画像に対して定められた複数の診断対象エリアの中でスペクトル特性が他と比べて異なる病変部を識別化させた診断画像を生成する分光画像処理部と
    　を備えたことを特徴とする画像処理装置。
  12. 　互いに異なるピークをもつ複数の狭帯域光を順次放射したときに得られる複数の分光画像に対し、オペレータ照準箇所を検出し、
    　複数の分光画像に対し、検出された照準箇所を含む診断対象エリアを定める設定し、
    　複数の分光画像に対して定められた複数の診断対象エリアの中でスペクトル特性が他と比べて異なる病変部を識別化させた診断画像を生成することを特徴とする内視鏡システムの分光画像処理方法。
  13. 　通常光の照射による観察画像の中で、色素の付着箇所をオペレータ照準箇所として検出することを特徴とする請求項１２に記載の内視鏡システムの分光画像処理方法。
  14. 　通常光とともに、異なるピークをもつ複数の狭帯域光を観察対象に対して照明可能な照明部と、
    　スコープ先端部に設けられたイメージセンサから順次読み出される１フィールド／フレーム分の画素信号に基づいて、観察画像を生成する画像処理部と、
    　観察画像が表示された表示装置の画面上でのオペレータの視線位置を検出する視線検出部と、
    　複数の狭帯域光に基づいて生成される複数の分光画像それぞれにおいて、検出された視線位置を含む診断対象エリアを定め、その中でスペクトル特性が他と比べて異なる病変部を抽出する分光画像処理を実行する分光画像処理部とを備え、
    　前記画像処理部が、病変部を識別化させた表示用診断画像を生成することを特徴とする内視鏡システム。
  15. 　前記分光画像処理部が、各分光画像の中で診断対象エリアに応じた画素データを一時的にメモリに保存し、保存した画素データに対して分光画像処理を実行することを特徴とする請求項１４に記載の内視鏡システム。
  16. 　前記分光画像処理部が、視線位置を中心としたその周辺のエリアを、診断対象エリアとして定めることを特徴とする請求項１５に記載の内視鏡システム。
  17. 　前記視線検出部が、１フィールド／フレーム期間に同期して視線位置を検出することを特徴とすることを特徴とする請求項１４乃至１６のいずれかに記載の内視鏡システム。
  18. 　通常光とともに、異なるピークをもつ複数の狭帯域光を観察対象に対して照明可能な照明部と、
    　スコープ先端部に設けられたイメージセンサから順次読み出される１フィールド／フレーム分の画素信号に基づいて、観察画像を生成する画像処理部と、
    　複数の狭帯域光に基づいて生成される複数の分光画像それぞれにおいて、観察画像が表示された表示装置の画面上でのオペレータの視線位置を検出する視線検出部によって検出された視線位置を含む診断対象エリアを定め、その中でスペクトル特性が他と比べて異なる病変部を抽出する分光画像処理を実行する分光画像処理部とを備え、
    　前記画像処理部が、病変部を識別化させた表示用診断画像を生成することを特徴とする内視鏡装置のプロセッサ。
PCT/JP2015/086395 2015-01-21 2015-12-25 内視鏡システム WO2016117277A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15868672.5A EP3248528A4 (en) 2015-01-21 2015-12-25 Endoscope system
JP2016536253A JP6581984B2 (ja) 2015-01-21 2015-12-25 内視鏡システム
CN201580003276.8A CN105992546B (zh) 2015-01-21 2015-12-25 内窥镜系统
US15/188,237 US10517472B2 (en) 2015-01-21 2016-06-21 Endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-009425 2015-01-21
JP2015009425 2015-01-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/188,237 Continuation US10517472B2 (en) 2015-01-21 2016-06-21 Endoscope system

Publications (1)

Publication Number Publication Date
WO2016117277A1 true WO2016117277A1 (ja) 2016-07-28

Family

ID=56416834

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/086395 WO2016117277A1 (ja) 2015-01-21 2015-12-25 内視鏡システム

Country Status (5)

Country Link
US (1) US10517472B2 (ja)
EP (1) EP3248528A4 (ja)
JP (1) JP6581984B2 (ja)
CN (1) CN105992546B (ja)
WO (1) WO2016117277A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087790A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6626783B2 (ja) 2016-06-02 2019-12-25 Hoya株式会社 画像処理装置および電子内視鏡システム
JP6850871B2 (ja) * 2017-03-31 2021-03-31 Hoya株式会社 電子内視鏡システム
CN110831487B (zh) * 2017-07-14 2022-06-10 富士胶片株式会社 医疗图像处理装置、内窥镜系统、诊断支持装置及医疗服务支持装置
JPWO2019078237A1 (ja) * 2017-10-18 2020-10-22 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
EP3711652A4 (en) 2017-11-13 2021-01-06 Fujifilm Corporation ENDOSCOPIC SYSTEM AND METHOD OF OPERATING IT
WO2019187049A1 (ja) * 2018-03-30 2019-10-03 オリンパス株式会社 診断支援装置、診断支援方法及び診断支援プログラム
JP2021180446A (ja) * 2020-05-15 2021-11-18 キヤノン株式会社 撮像制御装置、撮像装置、撮像装置の制御方法、プログラム
CN112717282B (zh) * 2021-01-14 2023-01-10 重庆翰恒医疗科技有限公司 一种光诊疗装置及全自动光诊疗系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10290392A (ja) * 1997-04-14 1998-10-27 Olympus Optical Co Ltd 画像処理装置
JP2001037718A (ja) * 1999-05-26 2001-02-13 Olympus Optical Co Ltd 画像診断装置及び内視鏡装置
JP3607857B2 (ja) 2000-07-27 2005-01-05 オリンパス株式会社 内視鏡装置
JP2011005002A (ja) * 2009-06-26 2011-01-13 Hoya Corp 内視鏡装置
JP2013202189A (ja) * 2012-03-28 2013-10-07 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡動画表示方法、及び画像処理プログラム
JP2013240401A (ja) 2012-05-18 2013-12-05 Hoya Corp 電子内視鏡装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016282A (en) 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
JPH02224637A (ja) 1988-11-16 1990-09-06 A T R Tsushin Syst Kenkyusho:Kk 視線検出方法
JP3050569B2 (ja) 1990-05-10 2000-06-12 オリンパス光学工業株式会社 内視鏡用画像処理装置
US5367315A (en) * 1990-11-15 1994-11-22 Eyetech Corporation Method and apparatus for controlling cursor movement
US5836869A (en) * 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
WO2002007588A1 (fr) 2000-07-21 2002-01-31 Olympus Optical Co., Ltd. Endoscope
JP3579638B2 (ja) * 2000-08-08 2004-10-20 ペンタックス株式会社 内視鏡装置
US20060074307A1 (en) * 2004-05-10 2006-04-06 Tatsuo Igarashi Body cavity diagnostic system
JP5467754B2 (ja) 2008-07-08 2014-04-09 Ｈｏｙａ株式会社 電子内視鏡用信号処理装置および電子内視鏡装置
JP5658873B2 (ja) 2009-11-13 2015-01-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
JP5405373B2 (ja) 2010-03-26 2014-02-05 富士フイルム株式会社 電子内視鏡システム
JP5438635B2 (ja) 2010-08-31 2014-03-12 富士フイルム株式会社 電子内視鏡システム
JP5438634B2 (ja) 2010-08-31 2014-03-12 富士フイルム株式会社 電子内視鏡システム
JP5576782B2 (ja) 2010-12-16 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5139606B2 (ja) * 2011-02-01 2013-02-06 オリンパスメディカルシステムズ株式会社 診断支援装置及び診断支援装置の制御方法
JP5771442B2 (ja) 2011-05-09 2015-08-26 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
DE112012004064B4 (de) * 2011-09-29 2016-12-15 Hoya Corp. Diagnosesystem
JP5973771B2 (ja) 2012-04-18 2016-08-23 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
WO2013133368A1 (ja) 2012-03-07 2013-09-12 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
EP2839770A4 (en) 2012-04-18 2015-12-30 Olympus Corp Image processing device, program and image processing method
JP6103827B2 (ja) * 2012-06-14 2017-03-29 オリンパス株式会社 画像処理装置および立体画像観察システム
JP6176978B2 (ja) 2013-01-31 2017-08-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム
JP6196922B2 (ja) 2014-03-17 2017-09-13 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR101599129B1 (ko) * 2014-05-20 2016-03-02 박현준 내시경 상 보이는 병변의 크기 측정 방법 및 컴퓨터 판독 가능한 기록매체

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10290392A (ja) * 1997-04-14 1998-10-27 Olympus Optical Co Ltd 画像処理装置
JP2001037718A (ja) * 1999-05-26 2001-02-13 Olympus Optical Co Ltd 画像診断装置及び内視鏡装置
JP3607857B2 (ja) 2000-07-27 2005-01-05 オリンパス株式会社 内視鏡装置
JP2011005002A (ja) * 2009-06-26 2011-01-13 Hoya Corp 内視鏡装置
JP2013202189A (ja) * 2012-03-28 2013-10-07 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡動画表示方法、及び画像処理プログラム
JP2013240401A (ja) 2012-05-18 2013-12-05 Hoya Corp 電子内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3248528A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087790A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
JPWO2019087790A1 (ja) * 2017-10-31 2020-11-12 富士フイルム株式会社 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
US11302092B2 (en) 2017-10-31 2022-04-12 Fujifilm Corporation Inspection support device, endoscope device, inspection support method, and inspection support program

Also Published As

Publication number Publication date
JPWO2016117277A1 (ja) 2017-11-02
EP3248528A1 (en) 2017-11-29
US20160296106A1 (en) 2016-10-13
CN105992546B (zh) 2018-08-28
US10517472B2 (en) 2019-12-31
EP3248528A4 (en) 2018-09-12
CN105992546A (zh) 2016-10-05
JP6581984B2 (ja) 2019-09-25

Similar Documents

Publication Publication Date Title
JP6581984B2 (ja) 内視鏡システム
US9906739B2 (en) Image pickup device and image pickup method
JP5502812B2 (ja) 生体情報取得システムおよび生体情報取得システムの作動方法
JP5496852B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
US9900484B2 (en) White balance adjustment method and imaging device for medical instrument
JP5466182B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
US8996087B2 (en) Blood information measuring method and apparatus
JP5358368B2 (ja) 内視鏡システム
JP6188992B1 (ja) 画像解析装置、画像解析システム、画像解析装置の作動方法
JP2010005056A (ja) 画像取得方法および装置
JPWO2018211885A1 (ja) 画像取得システム、制御装置及び画像取得方法
US10856805B2 (en) Image processing device, living-body observation device, and image processing method
JP5539840B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5752423B2 (ja) 分光計測システムおよび分光計測システムの作動方法
US9788709B2 (en) Endoscope system and image generation method to generate images associated with irregularities of a subject
JP2010094153A (ja) 電子内視鏡システム及び観察画像生成方法
WO2019176253A1 (ja) 医療用観察システム
JP2010094152A (ja) 電子内視鏡システム
JP2006346196A (ja) 内視鏡撮像システム
JP2008272507A (ja) 内視鏡装置
WO2016151675A1 (ja) 生体観察装置および生体観察方法
JP5525991B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
WO2016157998A1 (ja) 内視鏡診断装置、画像処理方法、プログラムおよび記録媒体
JP2012100733A (ja) 内視鏡診断装置
JP5320233B2 (ja) 蛍光画像撮像装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016536253

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015868672

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015868672

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15868672

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE