WO2016139768A1 - 画像処理装置、生体観察装置および画像処理方法 - Google Patents

画像処理装置、生体観察装置および画像処理方法 Download PDF

Info

Publication number
WO2016139768A1
WO2016139768A1 PCT/JP2015/056297 JP2015056297W WO2016139768A1 WO 2016139768 A1 WO2016139768 A1 WO 2016139768A1 JP 2015056297 W JP2015056297 W JP 2015056297W WO 2016139768 A1 WO2016139768 A1 WO 2016139768A1
Authority
WO
WIPO (PCT)
Prior art keywords
fat
image
unit
color component
amount
Prior art date
Application number
PCT/JP2015/056297
Other languages
English (en)
French (fr)
Inventor
恵仁 森田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2017503267A priority Critical patent/JP6473222B2/ja
Priority to PCT/JP2015/056297 priority patent/WO2016139768A1/ja
Publication of WO2016139768A1 publication Critical patent/WO2016139768A1/ja
Priority to US15/680,725 priority patent/US10856805B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4869—Determining body composition
    • A61B5/4872—Body fat
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Definitions

  • the present invention relates to an image processing apparatus, a living body observation apparatus, and an image processing method.
  • NBI narrow band light observation
  • This narrow-band light observation is expected as an alternative observation method of pigment dispersion widely performed for detailed diagnosis of the esophagus region and pit pattern (ductal structure) observation of the large intestine, and the examination time and unnecessary biopsy The reduction is expected to contribute to the efficiency of inspections.
  • a living body observation apparatus that makes it easy to see the structure of the tissue on the surface of the target organ such as the extraction target to prevent damage to the nerve surrounding the target organ (for example, See Patent Document 2).
  • the nerve surrounding the target organ is present in the fat layer, and since ⁇ -carotene contained in fat and hemoglobin in the blood have absorption characteristics in different wavelength bands. Irradiating light in the corresponding wavelength band can be used to obtain an image that is easy to identify fat, and surgery can be performed so as not to damage nerves distributed in the fat layer.
  • An object of the present invention is to provide an apparatus, a living body observation apparatus and an image processing method.
  • a fat image area extraction unit for extracting a fat image area indicating a region in which fat exists in a living tissue image, and fat from the fat image area extracted by the fat image area extraction unit.
  • a fat color component detection unit that detects a fat color component amount that determines a color, and a fat image area extracted by the fat image region extraction unit based on the fat color component amount detected by the fat color component detection unit It is an image processing apparatus provided with the correction
  • the fat image area extraction unit extracts the fat image area from the input living tissue image
  • the fat color component detection unit detects the amount of fat color component that determines the color of fat.
  • the correction unit corrects the signal intensity of the fat image area based on the detected amount of fat color component, so that fat can be identified stably regardless of individual differences, and nerves surrounding the target organ Can be prevented in advance.
  • a fat image area extraction unit for extracting a fat image area indicating a region where fat is present in a body tissue image, and fat in the body tissue image covering other tissues.
  • the amount of fat color component for determining the color of fat is detected from the exposed fat area designation part which makes the operator designate the exposed fat area which is exposed without being touched and the exposed fat area designated by the exposed fat area designation part
  • An image comprising: a fat color component detection unit; and a correction unit that corrects the signal intensity of the fat image area extracted by the fat image area extraction unit based on the amount of fat color component detected by the fat color component detection unit. It is a processing device.
  • the fat image area extraction unit extracts the fat image area from the input biological tissue image, and the exposed fat area specification unit specifies the exposed fat area in the input biological tissue image by the operator. Be done. Then, the fat color component detection unit detects the amount of fat color component that determines the color of fat from the designated exposed fat area. The correction unit corrects the signal intensity of the fat image area based on the detected amount of fat color component, so that fat can be identified stably regardless of individual differences, and damage to the nerve surrounding the target organ Can be prevented in advance. Since the amount of fat color component is detected from the exposed fat area, the amount of fat color component can be detected stably without being affected by other tissues, and fat can be identified stably.
  • the component detection unit may detect the amount of fat color component based on the exposed fat area detected by the exposed fat detection unit.
  • the exposed fat area is automatically detected from the fat image area extracted by the fat image area extraction unit, and the amount of fat color component can be stably detected without being affected by other tissues. You can distinguish fats stably.
  • the fat color component detection unit extracts pixels of the appropriate exposure from the exposed fat area detected by the exposed fat detection unit, and the amount of the fat color component based on the extracted pixels of the proper exposure May be detected.
  • the pixels of the appropriate exposure are detected as the amount of fat color component, so that the exposure in which the dark part and the bright part in the living body image are removed
  • the amount of fat color component can be accurately detected based on the fat area.
  • the storage unit is configured to store the reference value of the amount of fat color component
  • the fat color component detection unit is configured to set the amount of fat component and the reference value for each pixel in the fat image region. While outputting an average value, the reference value stored in the storage unit may be updated by the average value.
  • the amount of fat color component detected for each pixel from the fat image area consisting of a plurality of pixels is averaged and output together with the reference value stored in the storage unit.
  • the amount of fat color components By averaging the amount of fat color components, noise components can be removed and a stable amount of fat color components can be calculated, and by averaging with the reference value, fat color components can be obtained using accumulated data in the past. The detection accuracy of the quantity can be improved.
  • the storage unit stores an appropriate reference value or an experimentally or empirically obtained reference value as an initial value, and is updated each time a new fat color component amount is detected. Can be accumulated.
  • the storage unit is configured to store the reference value of the amount of fat color component
  • the fat color component detection unit is configured such that the exposed fat area detected by the exposed fat detection unit is a predetermined number or more of pixels.
  • the reference value stored in the storage unit according to the average value, while outputting the average value of the fat color component amount for each pixel in the fat image area and the reference value when existing over the range May be updated.
  • the body tissue image includes a plurality of frame images arranged in the time axis direction
  • the fat color component detection unit further calculates an average value of the amounts of fat color components in a plurality of frame images. May be output.
  • the fat color component detection unit when the difference between the amount of fat color component detected by the fat color component detection unit and the reference value stored in the storage unit is larger than a predetermined threshold value, the fat color component The amount may be excluded from the calculation of the average value.
  • the difference with the reference value stored in the storage unit when the difference with the reference value stored in the storage unit is large, the average value with the reference value is largely fluctuated, and therefore the amount of fat component is repelled as an error value. It can be detected stably.
  • the predetermined threshold may be set to be gradually smaller according to the number of calculations of the average value.
  • the fat color component detection unit may detect the amount of carotenes contained in fat. In this way, the amount of carotenes is detected as a fat color component that determines the color of fat, and fat can be identified stably regardless of individual differences, and it is possible to detect the nerve surrounding the target organ. Damage can be prevented in advance.
  • the body tissue image may be a special light image obtained by photographing reflected light in a wavelength band included in 450 to 500 nm.
  • the absorption by ⁇ -carotene is larger than the absorption by hemoglobin as compared with other blue wavelength bands.
  • the special light image obtained by photographing the reflected light in this wavelength band the influence of blood vessel absorption is small, and the absorption by fat tissue is large. Therefore, the amount of carotenes can be accurately detected from this special light image.
  • a white light image and a special light image obtained by photographing reflected light in a wavelength band included in 450 to 500 nm are input as the body tissue image, and the fat image area extraction unit
  • the fat image area may be extracted based on a light image, and the fat color component detection unit may detect the amount of fat color component based on the special light image.
  • the fat emphasizing unit is configured to perform an emphasizing process distinguishable from the surrounding tissue on the fat image area whose signal intensity has been corrected by the correction unit to generate an image in which the fat image area is emphasized. You may have. By doing this, it is possible to distinguish the fat image area from the surrounding tissue by the fat emphasizing unit, and acquire a stable emphasis image regardless of the color of fat.
  • an irradiation unit for irradiating illumination light to a living tissue, and absorption light of ⁇ -carotene among the reflected light of the illumination light irradiated by the irradiation unit reflected by the living tissue is hemoglobin
  • An imaging unit configured to capture reflected light in a wavelength band higher than the absorption characteristic of the imaging unit to acquire the biological tissue image; the image processing apparatus described above processing the biological tissue image acquired by the imaging unit; And a display unit that displays an image formed by the unit.
  • the illumination light is irradiated from the irradiation unit to the living tissue, and the reflected light reflected by the living tissue is imaged by the imaging unit. Since the imaging unit captures reflected light in a wavelength band where the absorption characteristic of ⁇ -carotene is higher than the absorption characteristic of hemoglobin, the influence of the presence of blood vessels is small, and a biological tissue image influenced by the presence of fat is acquired Can. Then, the amount of carotenes can be accurately detected from the fat image area extracted from the biological tissue image thus acquired, and the signal intensity of the fat image area is corrected based on the detected amount of carotenes Can. As a result, fat can be stably identified regardless of individual differences, and damage to nerves surrounding the target organ can be prevented in advance.
  • an irradiation unit that irradiates illumination light to a living tissue, and imaging light reflected by the illumination light irradiated by the irradiation unit by the living tissue to obtain the living tissue image It is a living body observation apparatus provided with the imaging part to perform, and the said image processing apparatus.
  • the imaging unit acquires a white light image of a living tissue and a special light image obtained by photographing reflected light in a wavelength band included in 450 to 500 nm
  • the exposed fat region designation unit includes the white light
  • the operator may specify the exposed fat area in an image
  • the fat color component detection unit may detect the amount of fat color component based on the special light image.
  • a fat image area extracting step of extracting a fat image area indicating a fat existing area in a body tissue image, and a fat image area extracted by the fat image area extracting step.
  • a fat color component detection step of detecting a fat color component amount for determining a color of fat from the fat, and a fat color extracted in the fat image area extraction step based on the fat color component amount detected in the fat color component detection step
  • a correction step of correcting the signal strength of the image area.
  • fat can be stably identified regardless of individual differences, and it is possible to prevent damage to nerves surrounding a target organ in advance.
  • FIG. 1 It is a block diagram which shows the image processing apparatus with which the biological body observation apparatus of FIG. 1 is equipped. It is a flowchart which shows the image processing method using the biological body observation apparatus of FIG. It is a flowchart which shows in detail the fat emphasis process of the image processing method of FIG. It is a typical whole block diagram which shows the biological body observation apparatus which concerns on the 2nd Embodiment of this invention. It is a front view which shows arrangement
  • FIG. 1 It is a typical whole block diagram which shows the 2nd modification of the biological body observation apparatus of FIG. It is a figure which shows the absorption characteristic of beta-carotene, and the absorption characteristic of hemoglobin. It is a figure which shows the spectral transmission factor characteristic of the color separation prism of the biological body observation apparatus of FIG. It is a figure which shows the light intensity characteristic of the xenon lamp of the biological body observation apparatus of FIG. It is a figure which shows the transmittance
  • the living body observation apparatus 1 is an endoscope, and as shown in FIG. 1, an insertion unit 2 to be inserted into a living body, and a light source unit connected to the insertion unit 2 (
  • the insertion unit 2 includes an illumination optical system 7 for irradiating the light input from the light source unit 3 toward the subject and a photographing optical system (imaging unit) 8 for photographing reflected light from the subject.
  • the illumination optical system 7 is a light guide cable which is disposed along the entire length in the longitudinal direction of the insertion portion 2 and guides the light incident from the light source unit 3 on the proximal side to the tip.
  • the photographing optical system 8 includes an objective lens 9 for condensing reflected light of the light emitted by the illumination optical system 7 from the subject, and an imaging device 10 for photographing the light condensed by the objective lens 9.
  • the imaging device 10 is, for example, a color CCD.
  • the light source unit 3 includes a xenon lamp 11 for emitting white light in a wide wavelength band, and an optical axis of light from the xenon lamp 11 to cut out light of a predetermined wavelength from the white light emitted from the xenon lamp 11.
  • the short wavelength cut filter 21 which can be inserted and removed, and the linear movement mechanism 22 which is controlled by the control unit 17 to be described later and which inserts and removes the short wavelength cut filter 21 on the optical axis. As shown in FIG. 2D, the short wavelength cut filter 21 blocks light in a wavelength band shorter than 450 nm and transmits light in a wavelength band longer than 450 nm.
  • the imaging device 10 includes a color filter (not shown) having transmittance for each color.
  • the xenon lamp 11 also has an intensity spectrum as shown in FIGS. 2C and 12C.
  • ⁇ -carotene contained in living tissue has high absorption characteristics in the region of 400 to 500 nm.
  • hemoglobin (HbO 2 , HbO) which is a component in blood, has high absorption characteristics in a wavelength band of 450 nm or less and a wavelength band of 500 to 600 nm.
  • the blue wavelength band of the color filter of the imaging device 10 includes a wavelength band in which absorption by hemoglobin is larger than absorption by ⁇ -carotene and a wavelength band in which absorption by ⁇ -carotene is larger than absorption by hemoglobin It is. Then, by inserting the short wavelength cut filter 21 on the optical axis, in the blue wavelength band, only light in a wavelength band in which absorption by ⁇ -carotene is larger than absorption by hemoglobin passes, and the subject is irradiated. It has become so.
  • the image obtained by irradiating this light has little influence of the absorption by a blood vessel (hemoglobin), and there is much absorption by fat tissue (beta-carotene).
  • the short wavelength cut filter 21 is separated from the optical axis, the light of the entire wavelength band of blue is irradiated to the subject, so that the white light image can be acquired together with the red and green lights irradiated simultaneously. It can be done.
  • the green wavelength band there is no absorption by ⁇ -carotene, and since it is a region where absorption by hemoglobin is present, a region with low intensity in the image obtained by irradiating this light is a region where blood is present, , Indicates that it is a blood vessel. Furthermore, in the red wavelength band, absorption of ⁇ -carotene and hemoglobin is not present at the same time, so the image obtained by irradiating this light represents the morphological features of the surface of the living tissue.
  • the signal processing unit 4 includes an interpolation unit 15 that processes an image signal acquired by the imaging device 10, and an image processing unit (image processing apparatus) 16 that processes an image signal processed by the interpolation unit 15. . Further, the signal processing unit 4 is provided with a control unit 17. Based on the instruction signal from the external I / F unit 13, the control unit 17 synchronizes the imaging timing by the imaging device 10, the insertion / removal of the short wavelength cut filter 21 and the image processing by the image processing unit 16. ing.
  • the interpolation unit 15 is configured to convert the color image acquired by the pixels corresponding to each color of the imaging device 10 into three channels by a known demosaicing process.
  • the image processing unit 16 includes a preprocessing unit 14, a fat image generation unit (fat image area extraction unit) 18, an exposed fat detection unit 19, a storage unit 20, and a carotene amount calculation unit (Fat color component detection unit) 23, a correction unit 24, a post-processing unit 25, and a fat emphasizing unit 26.
  • the preprocessing unit 14 performs OB (Optical Black) clamp values, gain correction values, and WB (White Balance) coefficient values stored in advance in the control unit 17 on the image signals of three channels input from the interpolation unit 15. OB clamp processing, gain correction processing, and WB correction processing are performed using OB (Optical Black) clamp values, gain correction values, and WB (White Balance) coefficient values stored in advance in the control unit 17 on the image signals of three channels input from the interpolation unit 15. OB clamp processing, gain correction processing, and WB correction processing are performed using OB (Optical Black) clamp values, gain correction values, and WB (White Balance) coefficient values stored in advance in the control unit 17 on the image signals of three channels input from the interpolation unit 15. OB clamp processing, gain correction processing, and WB correction processing are performed using OB (Optical Black) clamp values, gain correction values, and WB (White Balance) coefficient values stored in advance in the control unit 17 on the image signals of three channels input from the interpolation unit 15. OB clamp processing, gain correction processing, and W
  • the fat image generation unit 18 is configured to generate a fat image signal based on the image signal processed by the pre-processing unit 14.
  • the image signal includes image signals for three types of illumination light of blue, green and red.
  • the fat image generation unit 18 is configured to generate a fat image signal of one channel from the image signals of these three channels.
  • the fat image signal is a signal that has a higher signal value as the amount of ⁇ -carotene contained in the subject increases.
  • the exposed fat detection unit 19 detects an exposed fat area from the fat image signal sent from the fat image generation unit 18.
  • exposed fat refers to fat in which blood (hemoglobin) or living tissue (fascia) is not placed on fat.
  • the detection method of the exposed fat area is to detect a pixel having a signal value exceeding a preset reference value as the exposed fat area.
  • the exposed fat detection unit 19 detects the maximum value from the fat image signal.
  • the detected maximum value is compared with the exposed fat value stored in advance in the internal memory (not shown).
  • the exposed fat value in the internal memory is rewritten to the detected maximum value and stored.
  • the exposed fat detection unit 19 detects a pixel having a signal value larger than the reference value as an exposed fat area, using as a reference value a value obtained by subtracting a predetermined threshold value from the exposed fat value from the fat image signal Is supposed to be output.
  • the exposed fat detection process is performed by inputting an on / off instruction signal of the detection process from the external I / F unit 13 described later via the control unit 17.
  • the exposed fat detection process is performed when the on / off instruction signal is on, and the exposed fat detection unit 19 is not performed when the on / off instruction signal is off.
  • the storage unit 20 is configured to store the amount of carotenes of exposed fat.
  • the storage unit 20 stores the known amount of carotenes stored in advance in the control unit 17 as an initial value.
  • the known amount of carotenes may be the average amount of fat carotenes or may be read out from the patient information database on the server.
  • the carotene amount calculation unit 23 first calculates an average value of fat image signals at the coordinates of the pixels detected as the exposed fat area sent from the exposed fat detection unit 19. Here, only the pixel of the appropriate exposure is used as the pixel for which the average value is obtained. Specifically, the carotene amount calculation unit 23 calculates a luminance signal from the image signal after image processing by the pre-processing unit 14, and extracts a pixel that is neither too dark nor too bright as a proper exposure pixel. .
  • the carotene amount calculation unit 23 reads the amount of carotenes stored in the storage unit 20, and further averages the calculated amount with the calculated average value of fat image signals. The calculated average value of the amount of carotenes is sent to the storage unit 20.
  • the carotene amount calculation unit 23 calculates the average value of the calculated fat image signals Are excluded from objects to be averaged with the amount of carotenes read out from the storage unit 20.
  • the average value is excluded from the calculation target, the calculation of the average value is not performed, so the update of the amount of carotenes in the storage unit 20 is not performed.
  • the predetermined value is set to be large at the start of the operation and to be gradually reduced as the number of times of detection of the exposed fat increases.
  • the carotene amount calculation unit 23 also calculates the average value of the calculated fat image signals from the target that takes the average with the amount of carotenes read from the storage unit 20 The carotenes amount in the storage unit 20 is not updated.
  • the correction unit 24 is configured to correct the fat image signal generated by the fat image generation unit 18 based on the amount of carotenes stored in the storage unit 20.
  • the correction unit 24 holds the correspondence map between the carotene value and the gain, and the signal value of the fat image signal is multiplied by the smaller gain as the amount of carotenes increases, and the signal of the fat image signal as the amount of carotenes decreases. The value is to be multiplied by a large gain.
  • the post-processing unit 25 performs tone conversion processing on the image signal input from the pre-processing unit 14 using the tone conversion coefficient, color conversion coefficient, and edge enhancement coefficient stored in advance in the control unit 17. Color processing and outline enhancement processing are performed to generate a color image to be displayed on the image display unit 6.
  • the fat emphasizing unit 26 emphasizes the fat image signal input from the post-processing unit 25 based on the exposed fat image corrected by the correcting unit 24. Color enhancement of the image signal is performed in a region where the signal value of the fat image signal after correction is higher than a predetermined threshold value.
  • fat emphasis processing on / off instruction signal input from external I / F unit 13 via control unit 17 is off, fat emphasis unit 26 does not perform the emphasis processing, and post-processing unit 25 does not perform the emphasis processing.
  • the image display unit 6 are sent to the image display unit 6 as they are.
  • the on / off instruction signal is on, the image signal after the fat emphasis processing is sent to the image display unit 6.
  • the image display unit 6 is a display device capable of displaying moving images, and is configured of, for example, a CRT, a liquid crystal monitor, or the like.
  • the external I / F unit 13 is an interface for inputting from the operator, and includes an emphasizing processing button (not shown) capable of instructing on / off of fat emphasizing processing. The operator can input an on / off instruction signal of fat emphasis processing to the control unit 17 by operating the emphasis processing button.
  • the external I / F unit 13 is provided with a power switch for turning on / off the power, and a mode switching button for switching the shooting mode and other various modes.
  • the insertion portion 2 is inserted into a body cavity, and the tip of the insertion portion 2 is an observation target
  • the linear motion mechanism 22 is operated by the operation of the control unit 17 to retract the short wavelength cut filter 21 from the optical axis.
  • white light in a wide wavelength band emitted from the xenon lamp 11 is guided to the tip of the insertion portion 2 through the light guide cable 7 and irradiated to the living tissue (illumination light irradiation step S1).
  • the irradiated white light is reflected on the surface of the living tissue, condensed by the objective lens 9, and photographed by the imaging element 10 (image signal acquisition step S2). Since the imaging device 10 formed of a color CCD includes a color filter having transmittance for each color, an image signal is obtained by each pixel corresponding to each color.
  • the acquired image signal is subjected to a demosaicing process in the interpolation unit 15 and converted into an image signal of three channels, and then, as a white light image through the pre-processing unit 14, the post-processing unit 25 and the fat emphasizing unit 26 It is generated and displayed on the image display unit 6.
  • the preprocessing unit 14 performs preprocessing (for example, using the OB clamp value, the gain correction value, and the WB coefficient value stored in advance in the control unit 17 on the image signals of three channels input from the interpolation unit 15) , OB clamp processing, gain correction processing, WB correction processing, etc., and pre-processing step S3) is performed. Further, in the post-processing unit 25, the tone conversion coefficient, the color conversion coefficient, and the edge enhancement coefficient stored in advance in the control unit 17 are applied to the image signal after the pre-processing input from the pre-processing unit 14.
  • Post-processing for example, post-processing step S4 such as tone conversion processing, color processing, edge enhancement processing, etc.
  • post-processing step S4 such as tone conversion processing, color processing, edge enhancement processing, etc.
  • the on / off instruction signal of fat enhancement processing from external I / F section 13 is determined.
  • Fat emphasis determination step S5 A white light image to be displayed on the image display unit 6 (display step S7) is generated.
  • This observation mode is called a white light observation mode.
  • the operator can observe the form of the living tissue from the white light image displayed on the image display unit 6.
  • the control unit 17 When the operator switches on / off instruction signal of fat emphasis processing from the external I / F unit 13, the control unit 17 operates the linear motion mechanism 22 to insert the short wavelength cut filter 21 on the optical axis. .
  • the white light emitted from the xenon lamp 11 is cut through the short wavelength cut filter 21 to cut a wavelength band of 450 nm or less, and is guided to the tip of the insertion portion 2 through the light guide cable 7 and the biological tissue (Illumination light irradiation step S1).
  • the irradiated illumination light is reflected on the surface of the living tissue, condensed by the objective lens 9, and photographed by the imaging device 10 (image signal acquisition step S2).
  • This observation mode is called a special light observation mode.
  • the image signal acquired by the pixels corresponding to green and red of the imaging device 10 is the same as in the white light observation mode, but the image signal acquired by the pixel corresponding to blue has a cut off wavelength band of 450 nm or less And become a signal of a wavelength band included in 450 to 500 nm.
  • the acquired image signal is subjected to demosaicing processing in the interpolation unit 15 and converted into an image signal of three channels, and then image processing is performed in the image processing unit 16.
  • the three-channel image signal input from the interpolation unit 15 to the image processing unit 16 is subjected to pre-processing (pre-processing step S3) in the pre-processing unit 14, and then the post-processing unit 25, fat image generating unit 18 and the carotene amount calculation unit 23 are input.
  • Post-processing (post-processing step S4) in the post-processing unit 25 is the same as in the white light observation mode.
  • the fat image generation unit 18 generates a fat image signal of one channel from the image signals of three channels processed by the pre-processing unit 14.
  • the blue 450 to 500 nm wavelength band B1 in this special light observation mode is a wavelength band in which the absorption of ⁇ -carotene is larger than the absorption of hemoglobin as compared to the 400 to 450 nm wavelength band B0 cut by the short wavelength cut filter 21. It is. Therefore, the image obtained by irradiating the light in the wavelength band B1 is less affected by the absorption by blood and the influence of the absorption by fat than the image obtained by irradiating the light in the wavelength band B0, that is, It is possible to obtain an image more reflecting the distribution of fat.
  • the green wavelength band is a wavelength band in which there is no absorption of ⁇ -carotene and large absorption of hemoglobin. Therefore, it can be said that, in the image obtained by irradiating light in this wavelength band, the region where the luminance is low indicates the region where blood is present regardless of the presence of fat. That is, it is possible to clearly display a tissue rich in hemoglobin, such as blood and blood vessels.
  • the red wavelength band is a wavelength band in which neither ⁇ -carotene nor hemoglobin is absorbed. Therefore, it can be said that an image obtained by irradiating light in this wavelength band exhibits a luminance distribution based on the morphological features of the living body surface.
  • the on / off instruction signal of the processing fat emphasis processing is judged (fat emphasis determination step S5).
  • the processing is executed (image enhancement processing step S6).
  • the fat image generation unit 18 generates a fat image signal of one channel, which increases as the amount of carotenes increases, based on the image signals of three channels acquired in the special light observation mode (fat image area extraction step S601). .
  • the fat image signal generated by the fat image generation unit 18 is sent to the exposed fat detection unit 19, the carotene amount calculation unit 23, and the correction unit 24.
  • a pixel having a fat image signal having a value equal to or higher than a predetermined threshold value SH1 is extracted to detect an exposed fat area in which fat is exposed without being covered by another tissue.
  • Exposed fat area extraction step S602 The coordinates of each pixel constituting the exposed fat area detected by the exposed fat detection unit 19 are sent to the carotene amount calculation unit 23.
  • the carotene amount calculation unit 23 first, it is determined whether the number of pixels constituting the exposed fat area sent from the exposed fat detection unit 19 is larger than a predetermined threshold value SH1 (pixel number determination step S603). The calculation of the average value is not performed if the threshold value SH1 of the threshold value SH1 is equal to or less than the threshold value SH1. If the number of pixels constituting the exposed fat area is larger than the predetermined threshold value SH1, the luminance signal is calculated from the three-channel image signal sent from the pre-processing unit 14 (luminance signal calculation step S604). And a pixel which is not too bright is extracted as a proper exposure pixel (proper exposure pixel extraction step S605).
  • the carotene amount calculation unit 23 detects the exposed fat area in the exposed fat detection unit 19 among the fat image signals generated in the fat image generation unit 18 and at the coordinates of the pixel extracted as a properly exposed pixel.
  • An average value (first average value) of fat image signals is calculated (first average value calculation step S606).
  • the carotene amount calculation unit 23 reads the value of the carotene amount stored in the storage unit 20 (carotene amount read step S 607), and further averages with the first average value (second average value) Is calculated (second average value calculation step S610, fat color component detection step). Then, the carotene amount calculation unit 23 sends the calculated second average value to the storage unit 20, and the value of the carotene amount stored in the storage unit 20 is updated (carotene amount update step S611).
  • the carotene amount calculation unit 23 calculates a difference value between the calculated first average value and the amount of carotenes stored in the storage unit 20 (difference value calculation step S608), and the difference value is predetermined. It is determined whether the threshold value SH2 is larger than the threshold value SH2 (difference value determination step S609). When the difference value is larger than the predetermined threshold value SH2, the calculation of the second average value (the second average value calculation step S610) is not performed, and the update of the carotenes amount in the storage unit 20 (carotenes amount update step S611) ), And proceeds to a fat image area extracting step S612 described later. This makes it possible to prevent the problem that the amount of carotenes in the storage unit 20 is updated by the amount of carotenes calculated based on low-reliability data.
  • the threshold value SH2 is set large at the start of observation and gradually decreases as the number of calculations increases, the second average value is calculated even if the difference value is small as the observation progresses. It is excluded from the object, and the fluctuation of the amount of carotenes stored in the storage unit 20 can be suppressed.
  • the fat image signal (fat image region extraction step S612) detected in the fat image generation unit 18 is corrected based on the amount of carotenes stored in the storage unit 20 (fat image signal correction step S614, correction step).
  • the amount of carotenes stored in the storage unit 20 is read out, the gain stored corresponding to the amount of carotenes is read out (gain read step S613), and the fat image signal is multiplied. .
  • gain read step S613 the fat image signal is multiplied.
  • the gain the smaller the value of the amount of carotene, the larger the value, and the larger the value of the amount of carotene, the smaller the value is stored. Therefore, even if the amount of carotenes contained in fat varies among individuals, the same fat An image signal can be output.
  • the three-channel image signals output from the post-processing unit 25 are enhanced based on the corrected fat image signal output from the correcting unit 24 (emphasis processing step S615) .
  • a special light image in which the color enhancement of the image signal is performed is generated in a region where the signal value of the corrected fat image signal is higher than a predetermined threshold value SH1, and sent to the image display unit 6. It is displayed (display step S7).
  • the same fat image signal as the same fat can be obtained even if there is individual difference in the amount of carotenes contained in fat.
  • similar color emphasis can be performed to the area having, and stability of fat visibility can be stabilized.
  • correction is performed in the correction unit 24 to suppress the degree of emphasis in the fat emphasizing portion 26. If the amount of carotenes is small and the fat is whitish The correction unit 24 performs correction to increase the degree of emphasis in the image. This makes it possible to acquire a stable enhanced image regardless of the color of fat, and has the advantage of not damaging nerves in the fat layer when performing surgery.
  • the exposure fat is detected from the image signal acquired in the special light observation mode, but instead, the exposure fat is detected from the image signal acquired in the white light observation mode. May be Exposed fat is observed as a highly saturated yellow object in a white light image due to the absorption characteristics of ⁇ -carotene.
  • the exposed fat detection unit 19 performs a process of detecting exposed fat using this.
  • the control unit 17 switches between the white light observation mode and the special light observation mode at a predetermined timing.
  • the exposed fat detection unit 19 starts an exposed fat area detection process.
  • the image signal is converted to chromaticity coordinates, and a pixel whose hue is yellow and whose saturation is higher than a predetermined threshold SH1 is detected as an exposed fat area.
  • the carotene amount calculation unit 23 determines, from the fat image signal generated based on the image signal acquired in the special light observation mode, the immediately preceding white. The amount of carotenes of the exposed fat area detected in the light observation mode is calculated. Then, the fat image signal is corrected by the correction unit 24, and fat emphasis processing is performed in the fat emphasizing unit 26.
  • the present invention can also be applied to image processing of a plurality of frame images.
  • a plurality of frame images are arranged in the time axis direction, and the carotene amount calculation unit 23 further averages the average value of the carotenes amount in each frame image and outputs the average value of the carotenes amount in a plurality of frame images .
  • the amount of carotenes detected in a plurality of frame images acquired in chronological order can be averaged, noise components can be removed more reliably, and reliability can be improved.
  • the exposed fat detection unit 19 automatically detects the exposed fat in the image signal, but instead of this, the operator is exposed to the white light image displayed on the image display unit 6 You may provide the exposed fat area
  • the emphasizing process in the fat emphasizing unit 26 has been described as color emphasizing. However, instead of this, brightness and structure emphasizing process may be performed.
  • an image processing apparatus 16, a living body observation apparatus 30, and an image processing method according to a second embodiment of the present invention will be described below with reference to the drawings.
  • parts having the same configuration as the image processing apparatus 16, the living body observation apparatus 1, and the image processing method according to the first embodiment described above are assigned the same reference numerals and explanation thereof is omitted.
  • a color CCD is adopted as the image pickup device 10, and image signals of three channels are simultaneously obtained.
  • FIG. 6 it is shown in FIG. 6 instead.
  • a monochrome CCD is adopted as the image pickup device 27 and the filter turret 12 for cutting out light of a predetermined wavelength from white light emitted from the xenon lamp 11 and passing sequentially in time division is used instead of the short wavelength cut filter 21. It is arranged.
  • the filter turret 12 includes two types of filters arranged concentrically in the radial direction around the rotation center A.
  • reference numeral 29 is a motor.
  • the filter turret 12 is provided so as to be movable in a direction intersecting the optical axis of the xenon lamp 11 by the linear movement mechanism 22. Thereby, the filter turret 12 arranges any of the filter groups F1 and F2 on the optical axis of the white light from the xenon lamp 11 to make the light selected by the filter groups F1 and F2 to the insertion portion 2 side. It can be injected.
  • the first filter group F1 is, as shown in FIG. 8C, blue (B1: 450 to 480 nm), green (G1: 550 to 570 nm) and red (R1: 620) within the blue, green and red wavelength bands. To 650 nm), and the filters B1, G1, and R1 having high transmittance are arranged in the circumferential direction.
  • the second filter group F2 is, as shown in FIG. 8B, light of a substantially continuous wavelength band of blue (B2: 400 to 490 nm), green (G2: 500 to 570 nm) and red (R2: 590 to 650 nm).
  • B2 blue
  • G2 green
  • R2 red
  • the absorption by ⁇ -carotene is a wavelength band in which the absorption by hemoglobin is larger than the absorption by hemoglobin.
  • the image obtained by light irradiation is less affected by blood vessel absorption and is more absorbed by fat tissue.
  • the reflected light of the light transmitted through the filters B2, G2 and R2 of the second filter group F2 is individually photographed, and an image combined with a corresponding color is a white light image.
  • the wavelength band of green G1 of the first filter group F1 there is no absorption by ⁇ -carotene, and this is a region where absorption by hemoglobin is present, so a region with low intensity in the image obtained by irradiating this light Indicates an area where blood is present, for example, a blood vessel.
  • the absorption of ⁇ -carotene and hemoglobin is not present at the same time, so the image obtained by irradiating this light shows the morphological features of the surface of the living tissue. It will be done.
  • the signal processing unit 4 includes a memory 28 for storing the wavelength of the illumination light irradiated with the image signal acquired by the imaging device 27.
  • the image processing unit 16 is configured to perform image processing for combining the image signals stored in the memory 28 with different colors. Further, the control unit 17 synchronizes the imaging timing by the imaging device 27, the rotation of the filter turret 12, and the timing of the image processing by the image processing unit 16.
  • the second filter group F2 of the filter turret 12 is moved to a position arranged on the optical axis of the light from the xenon lamp 11.
  • the illumination light of blue B 2, green G 2 and red R 2 is sequentially irradiated, and the reflected light of the subject when each illumination light is irradiated is sequentially photographed by the imaging device 27.
  • the image information corresponding to the illumination light of each color is sequentially stored in the memory 28, and when the image information corresponding to the three types of illumination light of blue B2, green G2 and red R2 is acquired, the image processing unit 16 Sent to In the image processing unit 16, each image processing is performed in the pre-processing unit 14 and the post-processing unit 25, and in the post-processing unit 25, each image information is irradiated when the image information is photographed.
  • the color of the illumination light is given and synthesized. Thereby, a white light image is generated, and the generated white light image is sent to the image display unit 6 via the fat emphasis unit 26 and displayed.
  • the blood vessels are displayed in red since absorption is present in the blue B2 and green G2 wavelength bands.
  • fat is displayed in yellow because absorption is present in blue B2.
  • the color of the blood vessels in the organ behind the fat tissue permeates, and the presence of the fat tissue becomes unclear.
  • the first filter group F1 of the filter turret 12 is moved to a position arranged on the optical axis of the light from the xenon lamp 11, and blue B1, green G1 and red R1 are selected.
  • the illumination light is sequentially irradiated, and the reflected light of the subject when the illumination light is irradiated is sequentially photographed by the imaging device 27.
  • the image information corresponding to the illumination light of each color is sequentially stored in the memory 28, and the image information corresponding to the three illumination lights of blue B1, green G1 and red R1 is obtained At this point, the image signals of three channels are sent to the image processing unit 16.
  • Image processing in the image processing unit 16 is the same as that of the first embodiment.
  • the fat image signal is corrected according to the amount of carotenes, there is an advantage that even when the color of fat differs depending on individual differences, it can be displayed so that fat can be easily identified.
  • the light source unit 3 sequentially emits light in different wavelength bands by the xenon lamp 11 and the filter turret 12, but instead, as shown in FIG.
  • Light from a plurality of light emitting diodes (LEDs) 31a, 31b, 31c, 31d for emitting light in the wavelength band may be arranged to be incident on the same light guide cable 7 by the mirror 32 and the dichroic mirror 33.
  • LEDs light emitting diodes
  • each light emitting diodes 31a, 31b, 31c, and 31d in wavelength bands of 400 to 450 nm, 450 to 500 nm, 520 to 570 nm, and 600 to 650 nm are prepared.
  • the white light observation mode as shown in FIG. 10B
  • 600 of red illumination light The light from the light emitting diode 31d may be used.
  • a light emitting diode 31b of 450 to 500 nm may be used as blue illumination light.
  • a 3CCD system comprising a color separation prism 34 for separating the reflected light returning from the subject for each wavelength band, and three monochrome CCDs 35a, 35b, 35c for photographing light of each wavelength band It may be adopted.
  • the color separation prism 34 disperses the reflected light from the subject for each wavelength band in accordance with the transmittance characteristic shown in FIG. 12B.
  • the filter turret 12 may be replaced by a filter 36 which can be inserted and removed on the optical axis of the light from the xenon lamp 11 by the linear movement mechanism 22. As shown in FIG. 12D, the filter 36 transmits light in the desired three wavelength bands and blocks light in the other wavelength bands.
  • the filter 36 is retracted from the optical axis, and in the special light observation mode, the filter 36 is inserted on the optical axis. Then, the image acquired by each of the monochrome CCDs 35 a, 35 b and 35 c is converted into three channels in the combining unit 37 and input to the image processing unit 16. By doing so, similarly to the living body observation device 30, in the special light observation mode, fats thinly present on the surface of another tissue such as an organ or a connective tissue can also be displayed in a distinctive manner.
  • a magnification switching unit (not shown) for switching the observation magnification is provided, and when the observation magnification is switched to the high magnification, switching to the special light observation mode is performed, and when switched to the low magnification, the white light observation mode is switched. May be By setting the special light observation mode during high magnification observation, precise processing can be performed while confirming the boundaries between other tissues and fat, and treatment is performed by using the white light observation mode during low magnification observation. A rough observation of the whole part can be made.
  • the living body observation devices 1 and 30 according to the present invention are not limited to the endoscope, and can be applied to a device for observing a living body widely, such as a living body observation device used in robot surgery.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)

Abstract

個人差に関わらず脂肪を安定して見分けることを可能とし、対象臓器を取り囲んでいる神経の損傷を未然に防止することを目的として、生体組織画像中における脂肪が存在している領域を示す脂肪画像領域を抽出する脂肪画像領域抽出部１８と、該脂肪画像領域抽出部１８により抽出された脂肪画像領域から脂肪の色を決定する脂肪色成分量を検出する脂肪色成分検出部２３と、該脂肪色成分検出部２３により検出された脂肪色成分量に基づいて、脂肪画像領域抽出部１８により抽出された脂肪画像領域の信号強度を補正する補正部２４とを備える画像処理装置１６である。

Description

画像処理装置、生体観察装置および画像処理方法
　本発明は、画像処理装置、生体観察装置および画像処理方法に関するものである。
　血液に含まれるヘモグロビンに吸収されやすい狭帯域化された波長の照明光を照射し、粘膜表面の毛細血管等を強調表示する狭帯域光観察（ＮＢＩ）が知られている（例えば、特許文献１参照。）。
　この狭帯域光観察は、食道領域の詳細診断や大腸のピットパターン（腺管構造）観察のために広く行われている色素散布の代替観察法として期待され、検査時間や不必要な生検の減少によって、検査の効率化への貢献が期待されている。
　しかしながら、狭帯域光観察は、血管の強調表示を行うことはできるが、神経を強調表示することは困難である。
　例えば、直腸全摘出手術や前立腺全摘出手術において神経の温存を行う場合は、対象臓器を摘出する際に、対象臓器を取り囲むように分布している神経を傷つけないように対象臓器を露出させて摘出する必要がある。しかし、直径５０から３００μｍの細い神経は、白色あるいは透明であるため、腹腔鏡による拡大観察でも観察することが困難である。このため、医師が経験や勘に頼って手術せざるを得ず、神経を損傷してしまう可能性が高いという不都合がある。
　この不都合を解消するために、摘出対象等の対象臓器の表面の組織の構造を見やすくして、対象臓器を取り囲んでいる神経の損傷を未然に防止する生体観察装置が提案されている（例えば、特許文献２参照。）。この特許文献２では、対象臓器を取り囲む神経が脂肪層内に存在していることに着目し、脂肪に含まれるβカロテンと、血液中のヘモグロビンとが、それぞれ異なる波長帯域の吸収特性であるため、対応する波長帯域の照射光を照射して、脂肪を見分け易い画像を取得し、脂肪層内に分布する神経に損傷を与えないように手術を行うことができる。
特開２０１１－２２４０３８号公報 国際公開第２０１３／１１５３５３号パンフレット
　ところで、生体内に存在する脂肪の色には、人種や食生活等の違いによる個人差がある。例えば、脂肪に含まれるβカロテンの量が多い人は脂肪の黄色みが強く見え、逆に脂肪に含まれるβカロテンの量が少ない人は脂肪が白っぽく見える。すなわち、手術の際の脂肪の見分け易さは患者毎に相違するため、医師が脂肪を安定して見分けることが困難となる場合がある。
　本発明は上述した事情に鑑みてなされたものであって、個人差に関わらず脂肪を安定して見分けることができ、対象臓器を取り囲んでいる神経の損傷を未然に防止することができる画像処理装置、生体観察装置および画像処理方法を提供することを目的としている。
　本発明の一態様は、生体組織画像中における脂肪が存在している領域を示す脂肪画像領域を抽出する脂肪画像領域抽出部と、該脂肪画像領域抽出部により抽出された脂肪画像領域から脂肪の色を決定する脂肪色成分量を検出する脂肪色成分検出部と、該脂肪色成分検出部により検出された脂肪色成分量に基づいて、前記脂肪画像領域抽出部により抽出された脂肪画像領域の信号強度を補正する補正部とを備える画像処理装置である。
　本態様によれば、脂肪画像領域抽出部により、入力された生体組織画像から脂肪画像領域が抽出され、脂肪色成分検出部により、脂肪の色を決定する脂肪色成分量が検出される。生体内に存在する脂肪の色には、人種や食生活等の違いによる個人差がある。例えば、脂肪に含まれるβカロテンの量が多い人は脂肪の黄色みが強く見え、逆に脂肪に含まれるβカロテンの量が少ない人は脂肪が白っぽく見える。したがって、補正部が、検出された脂肪色成分量に基づいて脂肪画像領域の信号強度を補正することにより、個人差に関わらず脂肪を安定して見分けることができ、対象臓器を取り囲んでいる神経の損傷を未然に防止することができる。
　また、本発明の他の態様は、生体組織画像中における脂肪が存在している領域を示す脂肪画像領域を抽出する脂肪画像領域抽出部と、前記生体組織画像中における脂肪が他の組織に覆われることなく露出している露出脂肪領域を操作者に指定させる露出脂肪領域指定部と、該露出脂肪領域指定部により指定された露出脂肪領域から脂肪の色を決定する脂肪色成分量を検出する脂肪色成分検出部と、該脂肪色成分検出部により検出された脂肪色成分量に基づいて、前記脂肪画像領域抽出部により抽出された脂肪画像領域の信号強度を補正する補正部とを備える画像処理装置である。
　本態様によれば、脂肪画像領域抽出部により、入力された生体組織画像から脂肪画像領域が抽出され、露出脂肪領域指定部により、入力された生体組織画像中における露出脂肪領域が操作者により指定される。そして、脂肪色成分検出部により、指定された露出脂肪領域から、脂肪の色を決定する脂肪色成分量が検出される。補正部が、検出された脂肪色成分量に基づいて脂肪画像領域の信号強度を補正することにより、個人差に関わらず脂肪を安定して見分けることができ、対象臓器を取り囲んでいる神経の損傷を未然に防止することができる。脂肪色成分量を露出脂肪領域から検出するので、他の組織の影響を受けることなく安定して脂肪色成分量を検出でき、脂肪を安定して見分けることができる。
　上記態様においては、前記脂肪画像領域抽出部により抽出された脂肪画像領域から、脂肪が他の組織に覆われることなく露出している露出脂肪領域を検出する露出脂肪検出部を備え、前記脂肪色成分検出部が、前記露出脂肪検出部により検出された露出脂肪領域に基づいて脂肪色成分量を検出してもよい。
　このようにすることで、脂肪画像領域抽出部により抽出された脂肪画像領域から露出脂肪領域が自動的に検出され、他の組織の影響を受けることなく安定して脂肪色成分量を検出でき、脂肪を安定して見分けることができる。
　また、上記態様においては、前記脂肪色成分検出部が、前記露出脂肪検出部により検出された露出脂肪領域から適正露光の画素を抽出し、抽出された適正露光の画素に基づいて脂肪色成分量を検出してもよい。
　このようにすることで、露出脂肪検出部により検出された露出脂肪領域の内、適正露光の画素を脂肪色成分量の検出対象とするので、生体画像中の暗部や明部が除かれた露出脂肪領域に基づいて脂肪色成分量を精度よく検出することができる。
　また、上記態様においては、前記脂肪色成分量の基準値を記憶する記憶部を備え、前記脂肪色成分検出部が、前記脂肪画像領域における画素毎の前記脂肪色成分量と前記基準値との平均値を出力するとともに、前記平均値によって前記記憶部に記憶されている前記基準値を更新してもよい。
　このようにすることで、複数画素からなる脂肪画像領域から画素毎に検出された脂肪色成分量が記憶部に記憶されている基準値とともに平均されて出力される。脂肪色成分量を平均することで、ノイズ成分を除去して安定した脂肪色成分量を算出できるとともに、基準値とともに平均されることで、蓄積された過去のデータを利用して、脂肪色成分量の検出精度を向上することができる。記憶部には、適当な基準値あるいは実験的にあるいは経験的に求められた基準値が初期値として記憶されており、新たな脂肪色成分量が検出される毎に更新されることで、データを蓄積することができる。
　また、上記態様においては、前記脂肪色成分量の基準値を記憶する記憶部を備え、前記脂肪色成分検出部が、前記露出脂肪検出部により検出された露出脂肪領域が所定の画素数以上の範囲にわたって存在している場合に、前記脂肪画像領域における画素毎の前記脂肪色成分量と前記基準値との平均値を出力するとともに、該平均値によって前記記憶部に記憶されている前記基準値を更新してもよい。
　このようにすることで、生体組織画像中に露出脂肪が少ない場合には、検出される脂肪色成分の信頼性が低くなる可能性が高いので、これを除外することにより、信頼性の高い脂肪色成分量を検出することができ、かつ、そのようにして検出された信頼性の高い脂肪色成分量を、次の画像処理時にも利用することができる。
　また、上記態様においては、前記生体組織画像が、時間軸方向に配列された複数枚のフレーム画像を備え、前記脂肪色成分検出部が、さらに複数のフレーム画像における前記脂肪色成分量の平均値を出力してもよい。
　このようにすることで、時系列に取得された複数のフレーム画像において検出された脂肪色成分量が平均されるので、ノイズ成分をより確実に除去することができる。
　また、上記態様においては、前記脂肪色成分検出部により検出された前記脂肪色成分量と前記記憶部に記憶されている基準値との差が所定の閾値より大きい場合には、当該脂肪色成分量を平均値の算出対象から除外してもよい。
　このようにすることで、記憶部に記憶されている基準値との差が大きい場合には、基準値との平均値を大きく変動させることになるのでエラー値としてはじくことにより、脂肪成分量を安定的に検出することができる。
　また、上記態様においては、前記所定の閾値が、前記平均値の算出回数に応じて漸次小さく設定されてもよい。
　このようにすることで、脂肪色成分量を検出する回数が増加するにしたがって、基準値との差が小さくなってもエラー値としてはじかれるものが増加するので、検出される脂肪色成分量の変動を低減して、より安定した検出を行うことができる。
　また、上記態様においては、前記脂肪色成分検出部が、脂肪に含まれるカロテン量を検出してもよい。
　このようにすることで、脂肪の色を決定する脂肪色成分としてカロテン量が検出され、より確実に、個人差に関わらず脂肪を安定して見分けることができ、対象臓器を取り囲んでいる神経の損傷を未然に防止することができる。
　また、上記態様においては、前記生体組織画像が、４５０から５００ｎｍに含まれる波長帯域の反射光を撮影した特殊光画像であってもよい。
　このようにすることで、４５０から５００ｎｍに含まれる青色の波長帯域においては、他の青色の波長帯域と比較して、βカロテンによる吸収の方がヘモグロビンによる吸収より大きくなる波長帯域である。このため、この波長帯域の反射光を撮影した特殊光画像では、血管による吸収の影響が小さく、脂肪組織による吸収が大きい。したがって、この特殊光画像からカロテン量を精度よく検出することができる。
　また、上記態様においては、前記生体組織画像として、白色光画像と、４５０から５００ｎｍに含まれる波長帯域の反射光を撮影した特殊光画像とが入力され、前記脂肪画像領域抽出部が、前記白色光画像に基づいて前記脂肪画像領域を抽出し、前記脂肪色成分検出部が、前記特殊光画像に基づいて、前記脂肪色成分量を検出してもよい。
　このようにすることで、生体観察に使用される白色光画像によって、簡易に露出脂肪領域を抽出でき、抽出された露出脂肪領域における脂肪色成分量を特殊光画像に基づいて精度よく検出することができる。
　また、上記態様においては、前記補正部により信号強度が補正された脂肪画像領域に対し、周辺組織から区別可能な強調処理を行って前記脂肪画像領域が強調された画像を生成する脂肪強調部を備えていてもよい。
　このようにすることで、脂肪強調部により周辺組織から脂肪画像領域を区別し、脂肪の色によらず安定した強調画像を取得することができる。
　また、本発明の他の態様は、生体組織に照明光を照射する照射部と、該照射部により照射された照明光が生体組織により反射された反射光の内、βカロテンの吸収特性がヘモグロビンの吸収特性よりも高い波長帯域の反射光を撮影して前記生体組織画像を取得する撮像部と、該撮像部により取得された前記生体組織画像を処理する上記の画像処理装置と、前記脂肪強調部により形成された画像を表示する表示部とを備える生体観察装置である。
　本態様によれば、照明光が照射部から生体組織に照射され、生体組織において反射された反射光が撮像部により撮影される。撮像部は、βカロテンの吸収特性がヘモグロビンの吸収特性よりも高い波長帯域の反射光を撮影するので、血管の存在による影響が少なく、脂肪の存在により影響を受けた生体組織画像を取得することができる。そして、このようにして取得された生体組織画像から抽出された脂肪画像領域からカロテン量を精度よく検出することができ、検出されたカロテン量に基づいて、脂肪画像領域の信号強度を補正することができる。これにより、個人差に関わらず脂肪を安定して見分けることができ、対象臓器を取り囲んでいる神経の損傷を未然に防止することができる。
　また、本発明の他の態様は、生体組織に照明光を照射する照射部と、該照射部により照射された照明光が生体組織により反射された反射光を撮影して前記生体組織画像を取得する撮像部と、上記画像処理装置とを備える生体観察装置である。
　上記態様においては、前記撮像部が、生体組織の白色光画像と４５０から５００ｎｍに含まれる波長帯域の反射光を撮影した特殊光画像とを取得し、前記露出脂肪領域指定部が、前記白色光画像内において前記露出脂肪領域を操作者に指定させ、前記脂肪色成分検出部が、前記特殊光画像に基づいて、前記脂肪色成分量を検出してもよい。
　また、本発明の他の態様は、生体組織画像中における脂肪が存在している領域を示す脂肪画像領域を抽出する脂肪画像領域抽出ステップと、該脂肪画像領域抽出ステップにより抽出された脂肪画像領域から脂肪の色を決定する脂肪色成分量を検出する脂肪色成分検出ステップと、該脂肪色成分検出ステップにより検出された脂肪色成分量に基づいて、前記脂肪画像領域抽出ステップにより抽出された脂肪画像領域の信号強度を補正する補正ステップとを含む画像処理方法である。
　本発明によれば、個人差に関わらず脂肪を安定して見分けることができ、対象臓器を取り囲んでいる神経の損傷を未然に防止することができるという効果を奏する。
本発明の第１の実施形態に係る生体観察装置を示す模式的な全体構成図である。 βカロテンの吸収特性およびヘモグロビンの吸収特性を示す図である。 図１の生体観察装置のカラーＣＣＤに備えられたカラーフィルタの透過率特性を示す図である。 図１の生体観察装置のキセノンランプの光強度特性を示す図である。 図１の生体観察装置の特殊光観察モードにおいて使用されるフィルタの透過率特性を示す図である。 図１の生体観察装置に備えられる画像処理装置を示すブロック図である。 図１の生体観察装置を用いた画像処理方法を示すフローチャートである。 図４の画像処理方法の脂肪強調処理を詳細に示すフローチャートである。 本発明の第２の実施形態に係る生体観察装置を示す模式的な全体構成図である。 図６の生体観察装置に備えられたフィルタターレットにおける各フィルタの配置を示す正面図である。 βカロテンの吸収特性およびヘモグロビンの吸収特性を示す図である。 図７の生体観察装置の白色光観察モードにおけるフィルタの透過率特性を示す図である。 図７の生体観察装置の特殊光観察モードにおけるフィルタの透過率特性を示す図である。 図６の生体観察装置の第１の変形例を示す模式的な全体構成図である。 βカロテンの吸収特性およびヘモグロビンの吸収特性を示す図である。 図９の生体観察装置の白色光観察モードにおいて使用されるＬＥＤの光強度特性を示す図である。 図９の生体観察装置の特殊光観察モードにおいて使用されるＬＥＤの光強度特性を示す図である。 図６の生体観察装置の第２の変形例を示す模式的な全体構成図である。 βカロテンの吸収特性およびヘモグロビンの吸収特性を示す図である。 図１１の生体観察装置の色分解プリズムの分光透過率特性を示す図である。 図１１の生体観察装置のキセノンランプの光強度特性を示す図である。 図１１の生体観察装置の特殊光観察モードにおいて使用されるフィルタの透過率特性を示す図である。
　本発明の第１の実施形態に係る画像処理装置（画像処理部）１６およびこれを備える生体観察装置１について、図面を参照して以下に説明する。
　まず、本実施形態に係る生体観察装置１は、内視鏡であって、図１に示されるように、生体内に挿入される挿入部２と、該挿入部２に接続された光源部（照射部）３および信号処理部４を備える本体部５と、該信号処理部４により生成された画像を表示する画像表示部（表示部）６と、外部Ｉ／Ｆ部１３とを備えている。
　挿入部２は、光源部３から入力された光を被写体に向けて照射する照明光学系７と、被写体からの反射光を撮影する撮影光学系（撮像部）８とを備えている。照明光学系７は、挿入部２の長手方向の全長にわたって配置され、基端側の光源部３から入射されてきた光を先端まで導光するライトガイドケーブルである。
　撮影光学系８は、照明光学系７により照射された光の被写体からの反射光を集光する対物レンズ９と、該対物レンズ９により集光された光を撮影する撮像素子１０とを備えている。
　撮像素子１０は、例えば、カラーＣＣＤである。
　光源部３は、広い波長帯域の白色光を射出するキセノンランプ１１と、該キセノンランプ１１から発せられた白色光から所定の波長の光を切り出すために、キセノンランプ１１からの光の光軸上に挿脱可能な短波長カットフィルタ２１と、後述する制御部１７によって制御され該短波長カットフィルタ２１を光軸に挿脱する直動機構２２とを備えている。
　短波長カットフィルタ２１は、図２Ｄに示されるように、４５０ｎｍより短い波長帯域の光を遮断し４５０ｎｍ以上の波長帯域の光を透過するようになっている。
　撮像素子１０は、図２Ｂに示されるように、色毎の透過率を有するカラーフィルタ（図示略）を備えている。
　また、キセノンランプ１１は、図２Ｃおよび図１２Ｃに示されるような強度スペクトルを有している。
　ここで、図２Ａ、図８Ａ、図１０Ａおよび図１２Ａに示されるように、生体組織に含まれるβカロテンは、４００から５００ｎｍの領域に高い吸収特性を有している。また、血液中の成分であるヘモグロビン（ＨｂＯ２、ＨｂＯ）は、４５０ｎｍ以下の波長帯域および、５００から６００ｎｍの波長帯域において高い吸収特性を有している。
　すなわち、撮像素子１０のカラーフィルタの青色の波長帯域は、ヘモグロビンによる吸収の方がβカロテンによる吸収より大きくなる波長帯域と、βカロテンによる吸収の方がヘモグロビンによる吸収より大きくなる波長帯域とを含んでいる。そして、短波長カットフィルタ２１を光軸上に挿入することにより、青色の波長帯域においてはβカロテンによる吸収の方がヘモグロビンによる吸収より大きくなる波長帯域の光のみが通過して、被写体に照射されるようになっている。
　そして、この光を照射して得られる画像は、血管（ヘモグロビン）による吸収の影響が少なく、脂肪組織（βカロテン）による吸収が多い。一方、短波長カットフィルタ２１を光軸上から離脱させることにより、青色の全波長帯域の光が被写体に照射されるので、同時に照射される赤色および緑色の光とともに白色光画像を取得することができるようになっている。
　また、緑色の波長帯域においては、βカロテンによる吸収はなく、ヘモグロビンによる吸収が存在する領域であるため、この光を照射して得られる画像中において強度の低い領域は血液の存在する領域、例えば、血管であることを示すものとなる。
　さらに、赤色の波長帯域においては、βカロテンおよびヘモグロビンの吸収は共に存在しないので、この光を照射して得られた画像は、生体組織表面の形態的特徴を表したものとなる。
　信号処理部４は、撮像素子１０により取得された画像信号を処理する補間部１５と、該補間部１５により処理された画像信号を処理する画像処理部（画像処理装置）１６とを備えている。また、信号処理部４には制御部１７が設けられている。制御部１７は、外部Ｉ／Ｆ部１３からの指示信号に基づいて、撮像素子１０による撮影タイミング、短波長カットフィルタ２１の挿脱および画像処理部１６による画像処理のタイミングを同期させるようになっている。
　補間部１５は、撮像素子１０の各色に対応する画素により取得されたカラー画像を、公知のデモザイキング処理により３チャネル化するようになっている。
　画像処理部１６は、図３に示されるように、前処理部１４と、脂肪画像生成部（脂肪画像領域抽出部）１８と、露出脂肪検出部１９と、記憶部２０と、カロテン量算出部（脂肪色成分検出部）２３と、補正部２４と、後処理部２５と、脂肪強調部２６とを備えている。
　前処理部１４は、補間部１５から入力されてきた３チャネルの画像信号に対し、制御部１７に予め保存されているＯＢ（Ｏｐｔｉｃａｌ　Ｂｌａｃｋ）クランプ値、ゲイン補正値、ＷＢ（Ｗｈｉｔｅ　Ｂａｌａｎｃｅ）係数値を用いてＯＢクランプ処理、ゲイン補正処理、ＷＢ補正処理を行うようになっている。
　脂肪画像生成部１８は、前処理部１４により処理された画像信号に基づいて、脂肪画像信号を生成するようになっている。画像信号は、青色、緑色および赤色の３種類の照明光に対する画像信号を含んでいる。脂肪画像生成部１８は、この３チャネルの画像信号から１チャネルの脂肪画像信号を生成するようになっている。脂肪画像信号は被写体に含まれるβカロテン量が多いほど、高い信号値になる信号である。
　露出脂肪検出部１９は、脂肪画像生成部１８から送られてきた脂肪画像信号から露出脂肪領域を検出するようになっている。ここで、露出脂肪とは、脂肪の上に血液（ヘモグロビン）や生体組織（筋膜）が載っていない状態のものを指す。露出脂肪領域の検出方法は、予め設定された基準値を超える信号値を有する画素を露出脂肪領域として検出するものである。
　具体的には、露出脂肪検出部１９は、脂肪画像信号から最大値を検出する。検出された最大値は、予め内部メモリ（図示略）に記憶しておいた露出脂肪値と比較される。比較の結果、最大値が露出脂肪値より大きい場合には、内部メモリ内の露出脂肪値を検出された最大値に書き換えて記憶するようになっている。次に、露出脂肪検出部１９は、脂肪画像信号から露出脂肪値より所定の閾値分を減算した値を基準値として、基準値より大きい信号値を有する画素を露出脂肪領域として検出し、その座標を出力するようになっている。
　ここで、露出脂肪検出処理は、後述する外部Ｉ／Ｆ部１３から検出処理のオン／オフ指示信号が制御部１７を介して入力されることにより実施されるようになっている。オン／オフ指示信号がオンである場合に、露出脂肪検出処理を行い、オン／オフ指示信号がオフの場合には、露出脂肪検出部１９は検出処理を行わないようになっている。
　記憶部２０は、露出脂肪のカロテン量を記憶するようになっている。記憶部２０は、制御部１７に予め保存されている既知のカロテン量を初期値として保存している。既知のカロテン量は、平均的な脂肪のカロテン量であってもよいし、サーバ上の患者情報データベースから読み出すことにしてもよい。
　カロテン量算出部２３は、まず、露出脂肪検出部１９から送られてきた露出脂肪領域として検出された画素の座標における脂肪画像信号の平均値を算出するようになっている。ここで、平均値を求める画素には、適正露光の画素のみが使用されるようになっている。具体的には、カロテン量算出部２３は、前処理部１４による画像処理後の画像信号から輝度信号を算出し、暗過ぎずかつ明る過ぎない画素を適正露光画素として抽出するようになっている。
　次いで、カロテン量算出部２３は、記憶部２０に記憶されているカロテン量を読み出し、算出された脂肪画像信号の平均値との間でさらに平均をとるようなっている。そして、算出されたカロテン量の平均値は、記憶部２０に送られるようになっている。
　ここで、カロテン量算出部２３は、記憶部２０から読み出したカロテン量と、算出された脂肪画像信号の平均値との差が所定値より大きい場合には、算出された脂肪画像信号の平均値を、記憶部２０から読み出したカロテン量との間で平均をとる対象から除外するようになっている。平均値の算出対象から除外された場合には、平均値の算出は行われないので、記憶部２０におけるカロテン量の更新も行われない。
　所定値は、手術開始時には大きくしておき、露出脂肪の検出回数が増えるに従って緩やかに小さくしていくようになっている。
　また、カロテン量算出部２３は、平均値の算出に用いる画素数が少ない場合も、算出された脂肪画像信号の平均値を、記憶部２０から読み出したカロテン量との間で平均をとる対象から除外するようになっており、記憶部２０におけるカロテン量の更新は行われない。
　補正部２４は、脂肪画像生成部１８において生成された脂肪画像信号を記憶部２０に記憶されているカロテン量に基づいて補正するようになっている。ここでは、補正部２４は、カロテン値とゲインとの対応マップを保持していて、カロテン量が大きいほど脂肪画像信号の信号値に小さいゲインを乗算し、カロテン量が小さいほど脂肪画像信号の信号値に大きいゲインを乗算するようになっている。
　後処理部２５は、前処理部１４から入力されてきた画像信号に対して、制御部１７に予め保存されている階調変換係数や色変換係数、輪郭強調係数を用いて、階調変換処理や色処理、輪郭強調処理を行い、画像表示部６に表示するためのカラー画像を生成するようになっている。
　脂肪強調部２６は、補正部２４により補正された露出脂肪画像に基づいて、後処理部２５から入力されてきた脂肪画像信号の強調処理を行うようになっている。補正後の脂肪画像信号の信号値が所定の閾値より高い領域に対しては画像信号の色強調を行うようになっている。また、外部Ｉ／Ｆ部１３から制御部１７を介して入力された脂肪強調処理のオン／オフ指示信号がオフの場合には、脂肪強調部２６は強調処理を行わずに、後処理部２５から入力されてきた画像信号をそのまま画像表示部６に送るようになっている。オン／オフ指示信号がオンの場合には、脂肪強調処理後の画像信号を画像表示部６に送るようになっている。
　画像表示部６は、動画表示可能な表示装置であり、例えば、ＣＲＴや液晶モニタ等により構成されている。
　外部Ｉ／Ｆ部１３は、操作者からの入力を行うためのインタフェースであり、脂肪強調処理のオン／オフ指示を行うことができる強調処理ボタン（図示略）を備えている。操作者は、強調処理ボタンを操作することにより、制御部１７に対して脂肪強調処理のオン／オフ指示信号を入力することができるようになっている。外部Ｉ／Ｆ部１３には、電源のオン／オフを行う電源スイッチや、撮影モードやその他の各種モードを切り替えるためのモード切替ボタンが備えられている。
　このように構成された本実施形態に係る生体観察装置１および画像処理装置１６を用いた画像処理方法について、以下に説明する。
　本実施形態に係る生体観察装置１を用いて生体を観察するには、図４および図５に示されるように、まず、挿入部２を体腔内に挿入し、挿入部２の先端を観察対象部位に対向させた状態で、制御部１７の作動により直動機構２２を作動させて短波長カットフィルタ２１を光軸上から退避させる。この状態で、キセノンランプ１１から発せられた広い波長帯域の白色光を、ライトガイドケーブル７を介して挿入部２の先端に導光し、生体組織に照射させる（照明光照射ステップＳ１）。
　照射された白色光は、生体組織の表面において反射され、対物レンズ９によって集光され、撮像素子１０によって撮影される（画像信号取得ステップＳ２）。カラーＣＣＤからなる撮像素子１０は、色毎の透過率を有するカラーフィルタを備えているので、各色に対応する画素により、それぞれ画像信号が取得される。取得された画像信号は、補間部１５においてデモザイキング処理を施されて３チャネルの画像信号に変換された後、前処理部１４、後処理部２５および脂肪強調部２６を介して白色光画像として生成され画像表示部６に表示される。
　前処理部１４においては、補間部１５から入力されてきた３チャネルの画像信号に対し、制御部１７に予め保存されているＯＢクランプ値、ゲイン補正値、ＷＢ係数値を用いた前処理（例えば、ＯＢクランプ処理、ゲイン補正処理およびＷＢ補正処理等、前処理ステップＳ３）が行われる。また、後処理部２５においては、前処理部１４から入力されてきた前処理後の画像信号に対して、制御部１７に予め保存されている階調変換係数や色変換係数、輪郭強調係数を用いて、後処理（例えば、階調変換処理や色処理、輪郭強調処理等、後処理ステップＳ４）が行われ、外部Ｉ／Ｆ部１３からの脂肪強調処理のオン／オフ指示信号を判定し（脂肪強調判定ステップＳ５）、画像表示部６に表示する（表示ステップＳ７）ための白色光画像が生成される。
　外部Ｉ／Ｆ部１３からの脂肪強調処理のオン／オフ指示信号はオフなので、脂肪強調部２６では処理は行われない。この観察モードを白色光観察モードという。
　この白色光観察モードにおいては、操作者は、画像表示部６に表示される白色光画像により生体組織の形態を観察することができる。
　操作者が、外部Ｉ／Ｆ部１３から脂肪強調処理のオン／オフ指示信号をオンに切り替えると、制御部１７が直動機構２２を作動させて短波長カットフィルタ２１を光軸上に挿入する。
　キセノンランプ１１から発せられた白色光は、短波長カットフィルタ２１を透過することにより、４５０ｎｍ以下の波長帯域がカットされ、ライトガイドケーブル７を介して挿入部２の先端に導光され、生体組織に照射される（照明光照射ステップＳ１）。照射された照明光は生体組織の表面において反射され、対物レンズ９によって集光され、撮像素子１０によって撮影される（画像信号取得ステップＳ２）。この観察モードを特殊光観察モードという。
　撮像素子１０の緑色および赤色に対応する画素により取得される画像信号は、白色光観察モードの場合と変わらないが、青色に対応する画素により取得される画像信号は、４５０ｎｍ以下の波長帯域がカットされ、４５０から５００ｎｍに含まれる波長帯域の信号となる。
　取得された画像信号は、補間部１５においてデモザイキング処理を施されて３チャネルの画像信号に変換された後、画像処理部１６において画像処理される。
　具体的には、補間部１５から画像処理部１６に入力された３チャネルの画像信号は、前処理部１４において前処理（前処理ステップＳ３）された後に、後処理部２５、脂肪画像生成部１８およびカロテン量算出部２３に入力される。後処理部２５における後処理（後処理ステップＳ４）は白色光観察モードにおける場合と同様である。脂肪画像生成部１８においては、前処理部１４において処理された３チャネルの画像信号から１チャネルの脂肪画像信号が生成される。
　この特殊光観察モードにおける青色の４５０から５００ｎｍの波長帯域Ｂ１は、短波長カットフィルタ２１によってカットされた４００から４５０ｎｍの波長帯域Ｂ０と比較して、βカロテンの吸収がヘモグロビンの吸収より大きい波長帯域である。したがって、この波長帯域Ｂ１の光を照射して得られる画像は、波長帯域Ｂ０の光を照射して得られる画像と比べ、血液による吸収の影響が小さく、脂肪による吸収の影響が大きい、つまり、脂肪の分布をより反映した画像を得ることができる。
　また、緑色の波長帯域は、βカロテンの吸収はなく、ヘモグロビンの吸収が大きい波長帯域である。したがって、この波長帯域の光を照射して得られる画像において輝度が小さい領域は、脂肪の存在に拘わらず、血液が存在している領域が示されているということができる。つまり、血液や血管など、ヘモグロビンを多く含む組織を明確に表示することができる。
　さらに、赤色の波長帯域は、βカロテンにもヘモグロビンにも吸収がない波長帯域である。したがって、この波長帯域の光を照射して得られる画像は、生体表面の形態的特徴に基づく輝度分布が示されているということができる。
　そして、後処理部２５における後処理（後処理ステップＳ４）後、処理脂肪強調処理のオン／オフ指示信号を判定し（脂肪強調判定ステップＳ５）、このとき、指示信号がオンであるため画像強調処理を実行する（画像強調処理ステップＳ６）。
　脂肪画像生成部１８においては、特殊光観察モードにおいて取得された３チャネルの画像信号に基づいて、カロテン量が多いほど高くなる１チャネルの脂肪画像信号が生成される（脂肪画像領域抽出ステップＳ６０１）。
　脂肪画像生成部１８において生成された脂肪画像信号は、露出脂肪検出部１９、カロテン量算出部２３および補正部２４に送られる。
　露出脂肪検出部１９においては、所定の閾値ＳＨ１以上の値の脂肪画像信号を有する画素が抽出されることにより、脂肪が他の組織に覆われることなく露出している露出脂肪領域が検出される（露出脂肪領域抽出ステップＳ６０２）。
　露出脂肪検出部１９において検出された露出脂肪領域を構成する各画素の座標は、カロテン量算出部２３に送られる。
　カロテン量算出部２３においては、まず、露出脂肪検出部１９から送られてきた露出脂肪領域を構成する画素数が所定の閾値ＳＨ１より大きいか否かが判定され（画素数判定ステップＳ６０３）、所定の閾値ＳＨ１以下の場合には平均値の算出は行われない。露出脂肪領域を構成する画素数が所定の閾値ＳＨ１より大きい場合には、前処理部１４から送られてきた３チャネルの画像信号から輝度信号が算出され（輝度信号算出ステップＳ６０４）、暗過ぎずかつ明る過ぎない画素が適正露光画素として抽出される（適正露光画素抽出ステップＳ６０５）。そして、カロテン量算出部２３は、脂肪画像生成部１８において生成された脂肪画像信号の内、露出脂肪検出部１９において露出脂肪領域として検出され、かつ、適正露光画素として抽出された画素の座標における脂肪画像信号の平均値（第１の平均値）を算出する（第１の平均値算出ステップＳ６０６）。
　これにより、露出脂肪領域が狭くデータ数が少ない場合や、適正露光ではない画素を含む場合に、信頼性の低い第１の平均値が算出されてしまうことを防止して、カロテン量の算出精度を向上することができる。
　また、カロテン量算出部２３は、記憶部２０に記憶されているカロテン量の値を読み出し（カロテン量読出ステップＳ６０７）、第１の平均値との間でさらに平均値（第２の平均値）を算出する（第２の平均値算出ステップＳ６１０、脂肪色成分検出ステップ）。そして、カロテン量算出部２３は、算出された第２の平均値を記憶部２０に送り、記憶部２０において、記憶されているカロテン量の値が更新される（カロテン量更新ステップＳ６１１）。
　この場合において、カロテン量算出部２３においては、算出された第１の平均値と記憶部２０に記憶されているカロテン量との差分値が算出され（差分値算出ステップＳ６０８）、差分値が所定の閾値ＳＨ２より大きいか否かが判定される（差分値判定ステップＳ６０９）。差分値が所定の閾値ＳＨ２より大きい場合には、第２の平均値の算出（第２の平均値算出ステップＳ６１０）を行わず、また、記憶部２０におけるカロテン量の更新（カロテン量更新ステップＳ６１１）も行わず、後述する脂肪画像領域抽出ステップＳ６１２に移行する。これにより、信頼性の低いデータに基づいて算出されたカロテン量により記憶部２０におけるカロテン量が更新されてしまう不都合を防止することができる。
　また、上記閾値ＳＨ２は、観察開始時には大きく設定されており、算出回数が増加するとともに緩やかに減少させられていくので、観察が進行するに従って、差分値が小さい場合でも第２の平均値の算出対象から除外されることになり、記憶部２０に記憶されているカロテン量の変動を抑えることができる。
　補正部２４においては、脂肪画像生成部１８において検出された脂肪画像信号（脂肪画像領域抽出ステップＳ６１２）が、記憶部２０に記憶されているカロテン量に基づいて補正される（脂肪画像信号補正ステップＳ６１４、補正ステップ）。補正部２４においては、記憶部２０に記憶されているカロテン量が読み出され、カロテン量に対応して記憶されているゲインが読み出され（ゲイン読出ステップＳ６１３）、脂肪画像信号に乗算される。
　ゲインとしては、カロテン量の値が小さいほど大きく、カロテン量の値が大きいほど小さい値が記憶されているので、脂肪に含有されるカロテン量に個人差があっても、同じ脂肪として同様の脂肪画像信号を出力することができる。
　そして、脂肪強調部２６においては、後処理部２５から出力された３チャネルの画像信号が、補正部２４から出力される補正された脂肪画像信号に基づいて強調処理される（強調処理ステップＳ６１５）。具体的には、補正された脂肪画像信号の信号値が所定の閾値ＳＨ１より高い領域に対して、画像信号の色強調が行われた特殊光画像が生成され、画像表示部６に送られて表示される（表示ステップＳ７）。
　このように、本実施形態に係る画像処理装置１６、生体観察装置１および画像処理方法によれば、脂肪に含有されるカロテン量に個人差があっても、同じ脂肪として同様の脂肪画像信号を有する領域に同様の色強調を行うことができ、脂肪の見分けやすさを安定させることができるという利点がある。
　すなわち、カロテン量が多く脂肪の黄色みが強い場合には、脂肪強調部２６における強調度合いが抑えられる補正が補正部２４において行われ、カロテン量が少なく脂肪が白っぽい場合には、脂肪強調部２６における強調度合いを高める補正が補正部２４において行われる。これにより、脂肪の色によらず安定した強調画像を取得することができ、手術を行う場合には、脂肪層内の神経を損傷せずに済むという利点がある。
　なお、本実施形態においては、特殊光観察モードにおいて取得された画像信号から露出脂肪を検出することとしたが、これに変えて、白色光観察モードにおいて取得された画像信号から露出脂肪を検出してもよい。
　露出脂肪はβカロテンの吸収特性により、白色光画像において彩度の高い黄色い被写体として観察される。これを利用して露出脂肪検出部１９は、露出脂肪の検出処理を行う。
　この場合、制御部１７は、白色光観察モードと特殊光観察モードとを所定のタイミングで切り替える。制御部１７から、前処理後の画像信号が白色光画像であるという指示信号が入力されると、露出脂肪検出部１９は、露出脂肪領域の検出処理を開始する。検出処理が開始されると、画像信号が色度座標に変換され、色相が黄色で彩度が所定の閾値ＳＨ１より高い画素が露出脂肪領域として検出される。
　制御部１７から特殊光観察モードであるという指示信号が入力されると、カロテン量算出部２３は、特殊光観察モードにおいて取得された画像信号に基づいて生成された脂肪画像信号から、直前の白色光観察モードにおいて検出された露出脂肪領域のカロテン量を算出する。そして、補正部２４により脂肪画像信号が補正され、脂肪強調部２６において脂肪強調処理が行われる。
　また、本実施形態においては、単一のフレーム画像の場合について説明したが、複数枚のフレーム画像の画像処理にも採用することができる。
　この場合、フレーム画像が時間軸方向に複数枚配列され、カロテン量算出部２３により、各フレーム画像におけるカロテン量の平均値をさらに平均して複数枚のフレーム画像におけるカロテン量の平均値を出力する。
　このようにすることで、時系列順に取得された複数枚のフレーム画像において検出されたカロテン量が平均され、ノイズ成分をより確実に除去して信頼性を向上することができる。
　また、本実施形態においては露出脂肪検出部１９により画像信号中の露出脂肪を自動検出することとしたが、これに代えて、画像表示部６に表示された白色光画像において、操作者が露出脂肪領域を指定する露出脂肪領域指定部（図示略）を備えていてもよい。
　また、本実施形態においては、脂肪強調部２６における強調処理を色強調として説明したが、これに代えて、明るさや構造の強調処理を行ってもよい。
　次に、本発明の第２の実施形態に係る画像処理装置１６、生体観察装置３０および画像処理方法について、図面を参照して以下に説明する。
　本実施形態の説明において、上述した第１の実施形態に係る画像処理装置１６、生体観察装置１および画像処理方法と構成を共通とする箇所には同一符号を付して説明を省略する。
　第１の実施形態においては、撮像素子１０としてカラーＣＣＤを採用し、３チャネルの画像信号を同時に取得することとしたが、本実施形態にこいては、これに代えて、図６に示されるように、撮像素子２７としてモノクロＣＣＤを採用し、短波長カットフィルタ２１に代えて、キセノンランプ１１から発せられた白色光から所定の波長の光を切り出して時分割で順次通過させるフィルタターレット１２を配置している。
　フィルタターレット１２は、例えば、図７に示されるように、回転中心Ａを中心として半径方向に同心円状に配置された２種類のフィルタ群を備えている。図中、符号２９はモータである。
　また、フィルタターレット１２は、直動機構２２によってキセノンランプ１１の光軸に交差する方向に移動可能に設けられている。
　これにより、フィルタターレット１２は、キセノンランプ１１からの白色光の光軸上にいずれかのフィルタ群Ｆ１，Ｆ２を配置することにより、フィルタ群Ｆ１，Ｆ２によって選択された光を挿入部２側に射出することができるようになっている。
　第１のフィルタ群Ｆ１は、図８Ｃに示されるように、青色、緑色および赤色の波長帯域の内、青色（Ｂ１：４５０から４８０ｎｍ）、緑色（Ｇ１：５５０から５７０ｎｍ）および赤色（Ｒ１：６２０から６５０ｎｍ）に透過率の高いフィルタＢ１，Ｇ１，Ｒ１を周方向に配列することにより構成されている。
　第２のフィルタ群Ｆ２は、図８Ｂに示されるように、青色（Ｂ２：４００から４９０ｎｍ）、緑色（Ｇ２：５００から５７０ｎｍ）および赤色（Ｒ２：５９０から６５０ｎｍ）のほぼ連続する波長帯域の光をそれぞれ透過させるフィルタＢ２，Ｇ２，Ｒ２を周方向に配列することにより構成されている。
　第１のフィルタ群Ｆ１の青色の波長帯域においては、第２のフィルタ群Ｆ２の青色の波長帯域と比較して、βカロテンによる吸収の方がヘモグロビンによる吸収より大きくなる波長帯域であるため、この光を照射して得られる画像は、血管による吸収の影響が小さく、脂肪組織による吸収が多い。一方、第２のフィルタ群Ｆ２の各フィルタＢ２，Ｇ２，Ｒ２を透過した光の反射光を個別に撮影し、対応する色を付して合成した画像は白色光画像となる。
　また、第１のフィルタ群Ｆ１の緑色Ｇ１の波長帯域においては、βカロテンによる吸収はなく、ヘモグロビンによる吸収が存在する領域であるため、この光を照射して得られる画像中において強度の低い領域は血液の存在する領域、例えば、血管であることを示すものとなる。
　さらに、第１のフィルタ群Ｆ１の赤色Ｒ１の波長帯域においては、βカロテンおよびヘモグロビンの吸収は共に存在しないので、この光を照射して得られた画像は、生体組織表面の形態的特徴を表したものとなる。
　信号処理部４は、撮像素子２７により取得された画像信号を照射した照明光の波長ごとに記憶するメモリ２８を備えている。画像処理部１６は、該メモリ２８に記憶された画像信号に異なる色を付して合成する画像処理を行うようになっている。
　また、制御部１７は、撮像素子２７による撮影タイミング、フィルタターレット１２の回転および画像処理部１６による画像処理のタイミングを同期させるようになっている。
　このように構成された本実施形態に係る生体観察装置３０においては、まず、フィルタターレット１２の第２のフィルタ群Ｆ２を、キセノンランプ１１からの光の光軸上に配置される位置に移動して、青色Ｂ２、緑色Ｇ２および赤色Ｒ２の照明光を順次照射し、各照明光を照射したときの被写体における反射光を撮像素子２７で順次撮影する。
　各色の照明光に対応する画像情報はメモリ２８に順次記憶され、青色Ｂ２、緑色Ｇ２および赤色Ｒ２の３種類の照明光に対応する画像情報が取得された時点で、メモリ２８から画像処理部１６に送られる。画像処理部１６においては、前処理部１４および後処理部２５において各画像処理が施されるとともに、後処理部２５において、各画像情報に対して、該画像情報を撮影した際に照射された照明光の色が付与されて合成される。これにより白色光画像が生成され、生成された白色光画像は、脂肪強調部２６を介して画像表示部６に送られて表示される。
　白色光画像においては、例えば、血管が存在する領域においては、青色Ｂ２および緑色Ｇ２の波長帯域において吸収が存在するので、血管は赤色に表示される。また、脂肪が存在する領域においては、青色Ｂ２において吸収が存在するので、脂肪は黄色に表示される。しかしながら、脂肪組織が極めて薄い場合には、脂肪組織の裏側にある臓器における血管の色が透過し、脂肪組織の存在がわかりにくくなる。
　そこで、このような場合には、フィルタターレット１２の第１のフィルタ群Ｆ１を、キセノンランプ１１からの光の光軸上に配置される位置に移動して、青色Ｂ１、緑色Ｇ１および赤色Ｒ１の照明光を順次照射し、各照明光を照射したときの被写体における反射光を撮像素子２７で順次撮影する。
　そして、白色光画像撮影時と同様にして、各色の照明光に対応する画像情報がメモリ２８に順次記憶され、青色Ｂ１、緑色Ｇ１および赤色Ｒ１の３種類の照明光に対応する画像情報が取得された時点で、３チャネルの画像信号が画像処理部１６に送られる。
　画像処理部１６における画像処理は第１の実施形態と同様である。
　このように、モノクロＣＣＤ２７を用いて３チャネルの画像信号を順次取得する方式であっても、カラーＣＣＤ１０を用いて３チャネルの画像信号を同時に取得する方式と同様にして、特殊光画像から求めたカロテン量に応じて脂肪画像信号を補正するので、脂肪の色が個人差によって異なる場合でも、脂肪を見分けやすいように表示することができるという利点がある。
　なお、本実施形態においては、光源部３が、キセノンランプ１１とフィルタターレット１２とにより異なる波長帯域の光を順次射出することとしたが、これに代えて、図９に示されるように、異なる波長帯域の光を射出する複数の発光ダイオード（ＬＥＤ）３１ａ，３１ｂ，３１ｃ，３１ｄからの光をミラー３２およびダイクロイックミラー３３によって同一のライトガイドケーブル７に入射可能に配置してもよい。
　図９に示す例では、４００から４５０ｎｍ、４５０から５００ｎｍ、５２０から５７０ｎｍ、６００から６５０ｎｍの波長帯域の４個の発光ダイオード３１ａ，３１ｂ，３１ｃ，３１ｄを用意している。そして、白色光観察モードでは、図１０Ｂに示されるように青色の照明光として４００から５００ｎｍの発光ダイオード３１ａ，３１ｂ、緑色の照明光として、５２０から５７０ｎｍの発光ダイオード３１ｃ、赤色の照明光として６００から６５０ｎｍの発行ダイオード３１ｄからの光を使用すればよい。一方、特殊光観察モードでは、図１０Ｃに示されるように、青色の照明光として、４５０から５００ｎｍの発光ダイオード３１ｂを使用すればよい。
　また、図１１に示されるように、被写体から戻る反射光を波長帯域毎に分光する色分解プリズム３４と、各波長帯域の光を撮影する３つのモノクロＣＣＤ３５ａ，３５ｂ，３５ｃとを備える３ＣＣＤ方式を採用してもよい。
　色分解プリズム３４は、被写体からの反射光を図１２Ｂに示される透過率特性に従って波長帯域毎に分光するようになっている。
　この場合にも、フィルタターレット１２に代えて、直動機構２２によりキセノンランプ１１からの光の光軸上に挿脱可能なフィルタ３６を備えればよい。フィルタ３６は図１２Ｄに示されるように、所望の３つの波長帯域の光を透過させ他の波長帯域の光を遮断するようになっている。
　そして、白色光観察モードではフィルタ３６が光軸上から退避させられ、特殊光観察モードでは、フィルタ３６が光軸上に挿入されるようになっている。そして、各モノクロＣＣＤ３５ａ，３５ｂ，３５ｃにより取得された画像は合成部３７において３チャネル化され画像処理部１６に入力される。このようにすることで、上記生体観察装置３０と同様にして特殊光観察モードでは臓器や結合組織等の他の組織の表面に薄く存在する脂肪も際立たせて表示することができる。
　また、観察倍率を切り替える倍率切替部（図示略）を備えていて、観察倍率が高倍率に切り替えられたときには、特殊光観察モードに、低倍率に切り替えられたときには白色光観察モードに切り替えることにしてもよい。高倍率観察時に特殊光観察モードとすることで、他の組織と脂肪との境界を確認しながら精密な処理を行うことができ、低倍率観察時には、白色光観察モードとすることで、処置する部位全体の大まかな観察を行うことができる。
　また、本発明に係る生体観察装置１，３０は、内視鏡に限定されるものではなく、ロボット手術において用いられる生体観察装置等、広く生体を観察する装置に適用することができる。
　１，３０　生体観察装置
　３　光源部（照射部）
　６　画像表示部（表示部）
　８　撮影光学系（撮像部）
　１６　画像処理装置（画像処理部）
　１８　脂肪画像生成部（脂肪画像領域抽出部）
　１９　露出脂肪検出部
　２０　記憶部
　２３　カロテン量算出部（脂肪色成分検出部）
　２４　補正部
　２６　脂肪強調部
　Ｓ６０１　脂肪画像領域抽出ステップ
　Ｓ６１０　第２の平均値算出ステップ（脂肪色成分検出ステップ）
　Ｓ６１４　脂肪画像信号補正ステップ（補正ステップ）
 

Claims (17)

  1. 　生体組織画像中における脂肪が存在している領域を示す脂肪画像領域を抽出する脂肪画像領域抽出部と、
    　該脂肪画像領域抽出部により抽出された脂肪画像領域から脂肪の色を決定する脂肪色成分量を検出する脂肪色成分検出部と、
    　該脂肪色成分検出部により検出された脂肪色成分量に基づいて、前記脂肪画像領域抽出部により抽出された脂肪画像領域の信号強度を補正する補正部とを備える画像処理装置。
  2. 　生体組織画像中における脂肪が存在している領域を示す脂肪画像領域を抽出する脂肪画像領域抽出部と、
    　生体組織画像中における脂肪が他の組織に覆われることなく露出している露出脂肪領域を操作者に指定させる露出脂肪領域指定部と、
    　該露出脂肪領域指定部により指定された露出脂肪領域から脂肪の色を決定する脂肪色成分量を検出する脂肪色成分検出部と、
    　該脂肪色成分検出部により検出された脂肪色成分量に基づいて、前記脂肪画像領域抽出部により抽出された脂肪画像領域の信号強度を補正する補正部とを備える画像処理装置。
  3. 　前記脂肪画像領域抽出部により抽出された脂肪画像領域から、脂肪が他の組織に覆われることなく露出している露出脂肪領域を検出する露出脂肪検出部を備え、
    　前記脂肪色成分検出部が、前記露出脂肪検出部により検出された露出脂肪領域に基づいて脂肪色成分量を検出する請求項１に記載の画像処理装置。
  4. 　前記脂肪色成分検出部が、前記露出脂肪検出部により検出された露出脂肪領域から適正露光の画素を抽出し、抽出された適正露光の画素に基づいて脂肪色成分量を検出する請求項３に記載の画像処理装置。
  5. 　前記脂肪色成分量の基準値を記憶する記憶部を備え、
    　前記脂肪色成分検出部が、前記脂肪画像領域における画素毎の前記脂肪色成分量と前記基準値との平均値を出力するとともに、前記平均値によって前記記憶部に記憶されている前記基準値を更新する請求項１から請求項４のいずれかに記載の画像処理装置。
  6. 　前記脂肪色成分量の基準値を記憶する記憶部を備え、
    　前記脂肪色成分検出部が、前記露出脂肪検出部により検出された露出脂肪領域が所定の画素数以上の範囲にわたって存在している場合に、前記脂肪画像領域における画素毎の前記脂肪色成分量と前記基準値との平均値を出力するとともに、該平均値によって前記記憶部に記憶されている前記基準値を更新する請求項２から請求項４のいずれかに記載の画像処理装置。
  7. 　前記生体組織画像が、時間軸方向に配列された複数枚のフレーム画像を備え、
    　前記脂肪色成分検出部が、さらに複数のフレーム画像における前記脂肪色成分量の平均値を出力する請求項５または請求項６に記載の画像処理装置。
  8. 　前記脂肪色成分検出部により検出された前記脂肪色成分量と前記記憶部に記憶されている基準値との差が所定の閾値より大きい場合には、当該脂肪色成分量を平均値の算出対象から除外する請求項５から請求項７のいずれかに記載の画像処理装置。
  9. 　前記所定の閾値が、前記平均値の算出回数に応じて漸次小さく設定される請求項８に記載の画像処理装置。
  10. 　前記脂肪色成分検出部が、脂肪に含まれるカロテン量を検出する請求項１から請求項９のいずれかに記載の画像処理装置。
  11. 　前記生体組織画像が、４５０から５００ｎｍに含まれる波長帯域の反射光を撮影した特殊光画像である請求項１から請求項９のいずれかに記載の画像処理装置。
  12. 　前記生体組織画像として、白色光画像と、４５０から５００ｎｍに含まれる波長帯域の反射光を撮影した特殊光画像とが入力され、
    　前記脂肪画像領域抽出部が、前記白色光画像に基づいて前記脂肪画像領域を抽出し、
    　前記脂肪色成分検出部が、前記特殊光画像に基づいて、前記脂肪色成分量を検出する請求項１から請求項１１のいずれかに記載の画像処理装置。
  13. 　前記補正部により信号強度が補正された脂肪画像領域に対し、周辺組織から区別可能な強調処理を行って前記脂肪画像領域が強調された画像を生成する脂肪強調部を備える請求項１から請求項１２のいずれかに記載の画像処理装置。
  14. 　生体組織に照明光を照射する照射部と、
    　該照射部により照射された照明光が生体組織により反射された反射光の内、βカロテンの吸収特性がヘモグロビンの吸収特性よりも高い波長帯域の反射光を撮影して前記生体組織画像を取得する撮像部と、
    　該撮像部により取得された前記生体組織画像を処理する請求項１３に記載の画像処理装置と、
    　前記脂肪強調部により形成された画像を表示する表示部とを備える生体観察装置。
  15. 　生体組織に照明光を照射する照射部と、
    　該照射部により照射された照明光が生体組織により反射された反射光を撮影して前記生体組織画像を取得する撮像部と、
    　請求項２に記載の画像処理装置とを備える生体観察装置。
  16. 　前記撮像部が、生体組織の白色光画像と４５０から５００ｎｍに含まれる波長帯域の反射光を撮影した特殊光画像とを取得し、
    　前記露出脂肪領域指定部が、前記白色光画像内において前記露出脂肪領域を操作者に指定させ、
    　前記脂肪色成分検出部が、前記特殊光画像に基づいて、前記脂肪色成分量を検出する請求項１５に記載の生体観察装置。
  17. 　生体組織画像中における脂肪が存在している領域を示す脂肪画像領域を抽出する脂肪画像領域抽出ステップと、
    　該脂肪画像領域抽出ステップにより抽出された脂肪画像領域から脂肪の色を決定する脂肪色成分量を検出する脂肪色成分検出ステップと、
    　該脂肪色成分検出ステップにより検出された脂肪色成分量に基づいて、前記脂肪画像領域抽出ステップにより抽出された脂肪画像領域の信号強度を補正する補正ステップとを含む画像処理方法。
PCT/JP2015/056297 2015-03-04 2015-03-04 画像処理装置、生体観察装置および画像処理方法 WO2016139768A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017503267A JP6473222B2 (ja) 2015-03-04 2015-03-04 画像処理装置、生体観察装置および画像処理装置の制御方法
PCT/JP2015/056297 WO2016139768A1 (ja) 2015-03-04 2015-03-04 画像処理装置、生体観察装置および画像処理方法
US15/680,725 US10856805B2 (en) 2015-03-04 2017-08-18 Image processing device, living-body observation device, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/056297 WO2016139768A1 (ja) 2015-03-04 2015-03-04 画像処理装置、生体観察装置および画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/680,725 Continuation US10856805B2 (en) 2015-03-04 2017-08-18 Image processing device, living-body observation device, and image processing method

Publications (1)

Publication Number Publication Date
WO2016139768A1 true WO2016139768A1 (ja) 2016-09-09

Family

ID=56849224

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/056297 WO2016139768A1 (ja) 2015-03-04 2015-03-04 画像処理装置、生体観察装置および画像処理方法

Country Status (3)

Country Link
US (1) US10856805B2 (ja)
JP (1) JP6473222B2 (ja)
WO (1) WO2016139768A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020166697A1 (ja) * 2019-02-14 2021-12-16 大日本印刷株式会社 医療機器用色修正装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146079A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
CN110089992A (zh) * 2018-01-30 2019-08-06 北京威斯顿亚太光电仪器有限公司 一种成像光谱内窥镜系统
KR102544670B1 (ko) * 2018-07-27 2023-06-16 삼성전자주식회사 항산화 센서, 항산화 신호 측정 방법 및 항산화 레벨 판단 방법
WO2020188727A1 (ja) * 2019-03-19 2020-09-24 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013100030A1 (ja) * 2011-12-28 2013-07-04 オリンパス株式会社 蛍光観察装置、蛍光観察方法および蛍光観察装置の作動方法
WO2013115323A1 (ja) * 2012-01-31 2013-08-08 オリンパス株式会社 生体観察装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK282085D0 (da) 1985-06-21 1985-06-21 Radiometer As Fremgangsmaade og apparat til bestemmelse af blodkomponenter
US4983019A (en) 1987-05-06 1991-01-08 Olympus Optical Co., Ltd. Endoscope light source apparatus
JP2686089B2 (ja) 1988-02-26 1997-12-08 オリンパス光学工業株式会社 内視鏡用光源装置
US20030216795A1 (en) 1999-07-07 2003-11-20 Yoram Harth Apparatus and method for high energy photodynamic therapy of acne vulgaris, seborrhea and other skin disorders
US6452188B1 (en) 1999-08-25 2002-09-17 Charles R. Chubb Spectral reflectance scale method and apparatus
US20070038124A1 (en) 2005-06-02 2007-02-15 Newton Laboratories, Inc. Optical probe for arterial tissue analysis
US20120302892A1 (en) 2005-07-25 2012-11-29 Niyom Lue Portable optical fiber probe-based spectroscopic scanner for rapid cancer diagnosis
WO2007087374A2 (en) 2006-01-24 2007-08-02 Nomir Medical Technologies, Inc. Optical method and device for modulation of biochemical processes in adipose tissue
JP5148071B2 (ja) 2006-04-19 2013-02-20 オリンパスメディカルシステムズ株式会社 内視鏡観察装置
JP5019866B2 (ja) * 2006-12-25 2012-09-05 オリンパス株式会社 蛍光内視鏡及び蛍光内視鏡の作動方法
US8523926B2 (en) 2007-01-19 2013-09-03 Joseph Neev Devices and methods for generation of subsurface microdisruptions for biomedical applications
JP5190944B2 (ja) 2008-06-26 2013-04-24 富士フイルム株式会社 内視鏡装置および内視鏡装置の作動方法
JP2010115341A (ja) 2008-11-13 2010-05-27 Fujifilm Corp 電子内視鏡装置
EP2417897A4 (en) 2009-04-09 2012-11-07 Olympus Medical Systems Corp ENDOSCOPIC DEVICE
JP2011218090A (ja) 2010-04-14 2011-11-04 Olympus Corp 画像処理装置、内視鏡システム及びプログラム
JP5597021B2 (ja) 2010-04-15 2014-10-01 オリンパス株式会社 画像処理装置及びプログラム
EP2606274B1 (en) 2010-08-17 2018-03-28 Philips Lighting Holding B.V. Surgical lamp for broadband and narrowband illumination
JP5802440B2 (ja) * 2011-06-02 2015-10-28 オリンパス株式会社 蛍光観察装置
JP5926909B2 (ja) * 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013100030A1 (ja) * 2011-12-28 2013-07-04 オリンパス株式会社 蛍光観察装置、蛍光観察方法および蛍光観察装置の作動方法
WO2013115323A1 (ja) * 2012-01-31 2013-08-08 オリンパス株式会社 生体観察装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020166697A1 (ja) * 2019-02-14 2021-12-16 大日本印刷株式会社 医療機器用色修正装置
JP7447821B2 (ja) 2019-02-14 2024-03-12 大日本印刷株式会社 医療機器用色修正装置

Also Published As

Publication number Publication date
JP6473222B2 (ja) 2019-02-20
US20170340273A1 (en) 2017-11-30
US10856805B2 (en) 2020-12-08
JPWO2016139768A1 (ja) 2017-12-14

Similar Documents

Publication Publication Date Title
JP6184571B2 (ja) 蛍光観察内視鏡システム
JP6533358B2 (ja) 撮像装置
JP5294723B2 (ja) 画像取得装置
JP6057921B2 (ja) 生体観察装置
JP5190944B2 (ja) 内視鏡装置および内視鏡装置の作動方法
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP5634755B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP6581984B2 (ja) 内視鏡システム
EP2384686B1 (en) Fluorescence image device and operation method
JP5887367B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
US10856805B2 (en) Image processing device, living-body observation device, and image processing method
JP7021183B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6490196B2 (ja) 画像処理装置、生体観察装置および画像処理方法
JP6092792B2 (ja) 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法
JP5385188B2 (ja) 電子内視鏡システム
WO2013164962A1 (ja) 内視鏡装置
JP6437943B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6629639B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN110337259B (zh) 内窥镜系统、处理器装置及内窥镜系统的工作方法
JP6774550B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP5539841B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5829568B2 (ja) 内視鏡システム、画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
WO2016151675A1 (ja) 生体観察装置および生体観察方法
JP7163386B2 (ja) 内視鏡装置、内視鏡装置の作動方法及び内視鏡装置の作動プログラム
JP2015042274A (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15883936

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017503267

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15883936

Country of ref document: EP

Kind code of ref document: A1