WO2016162925A1 - 画像処理装置、生体観察装置および画像処理方法 - Google Patents

画像処理装置、生体観察装置および画像処理方法 Download PDF

Info

Publication number
WO2016162925A1
WO2016162925A1 PCT/JP2015/060748 JP2015060748W WO2016162925A1 WO 2016162925 A1 WO2016162925 A1 WO 2016162925A1 JP 2015060748 W JP2015060748 W JP 2015060748W WO 2016162925 A1 WO2016162925 A1 WO 2016162925A1
Authority
WO
WIPO (PCT)
Prior art keywords
fat
reliability
unit
image
fat area
Prior art date
Application number
PCT/JP2015/060748
Other languages
English (en)
French (fr)
Inventor
恵仁 森田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to DE112015006295.5T priority Critical patent/DE112015006295T5/de
Priority to JP2017510813A priority patent/JP6490196B2/ja
Priority to CN201580078515.6A priority patent/CN107427198B/zh
Priority to PCT/JP2015/060748 priority patent/WO2016162925A1/ja
Publication of WO2016162925A1 publication Critical patent/WO2016162925A1/ja
Priority to US15/723,255 priority patent/US20180033142A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4869—Determining body composition
    • A61B5/4872—Body fat
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221—Determining signal validity, reliability or quality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to an image processing apparatus, a living body observation apparatus, and an image processing method.
  • NBI narrow band light observation
  • This narrow-band light observation is expected as an alternative observation method of pigment dispersion widely performed for detailed diagnosis of the esophagus region and pit pattern (ductal structure) observation of the large intestine, and the examination time and unnecessary biopsy The reduction is expected to contribute to the efficiency of inspections.
  • a living body observation apparatus that makes it easy to view the structure of the tissue on the surface of the target organ such as the extraction target and prevents damage to the nerve surrounding the target organ (for example, See Patent Document 2).
  • This patent document 2 focuses on the fact that the nerve surrounding the target organ is present in the fat layer, and since ⁇ -carotene contained in fat and hemoglobin in the blood have absorption characteristics in different wavelength bands, Irradiated light in a specific wavelength band can be applied to the subject to obtain an image that is easy to identify fat, and surgery can be performed so as not to damage nerves distributed in the fat layer.
  • JP 2011-224038 A International Publication No. 2013/115323
  • the present invention has been made in view of the above-described circumstances, and allows an operator to grasp a region where fat detection is inhibited due to the influence of blood or other disturbances and fat can not be detected accurately, thereby reducing the risk of nerve damage. It is an object of the present invention to provide an image processing apparatus, a living body observation apparatus, and an image processing method that can be performed.
  • a fat area information detection unit for detecting fat area information indicating a fat area where fat is present in a body tissue image, and fat area information detected by the fat area information detection unit.
  • a reliability calculation unit that calculates reliability, and the fat region indicated by the fat region information whose calculation reliability calculated by the reliability calculation unit is lower than a reference reliability that is a reference can be distinguished from the peripheral region It is an image processing device provided with the display mode processing part which processes to a simple display mode.
  • the fat area information detection unit detects fat area information from the input biological tissue image, and the reliability calculation unit determines the reliability (calculation reliability) of the fat area information. It is calculated.
  • the reliability calculation unit determines the reliability (calculation reliability) of the fat area information. It is calculated.
  • the display mode processing unit processes the fat area indicated by the fat area information of the calculation reliability lower than the reference reference reliability in the biological tissue image into a display mode distinguishable from the peripheral area.
  • the operator can be made to grasp the fat area indicated by the fat area information which can not be accurately detected because fat detection is inhibited by the influence of blood or disturbance. Thereby, the operator can perform treatment such as removing blood and disturbance in the fat area to reduce the risk of nerve injury.
  • the calculated reliability may increase as the SN ratio of the fat region information increases, and may decrease as the SN ratio decreases.
  • the reliability calculation unit can calculate the correct reliability of the fat area information based on the SN ratio of the fat area information.
  • the blood region information detection unit is configured to detect blood region information indicating a blood region in which blood is present in the body tissue image, and the calculation reliability is determined based on the blood region information with respect to the fat region information. The smaller the ratio, the higher, and the larger the ratio, the lower the value.
  • the reliability calculation unit can obtain more accurate reliability of fat area information based on the ratio of blood area information to fat area information.
  • the display mode processing unit may highlight the fat area indicated by the fat area information whose calculation reliability is lower than the reference reliability in comparison with the peripheral area.
  • the display mode processing unit may highlight the peripheral area in comparison with the fat area indicated by the fat area information whose calculation reliability is lower than the reference reliability.
  • the display mode processing unit may notify the operator of the fat area indicated by the fat area information whose calculation reliability is lower than the reference reliability.
  • an irradiation unit capable of irradiating a living tissue with illumination light, and a reflection of a specific wavelength band among reflected light of the illumination light irradiated by the irradiation unit reflected by the living tissue.
  • An imaging unit configured to capture light to obtain the biological tissue image; any image processing apparatus described above that processes the biological tissue image acquired by the imaging unit; and the biological tissue processed by the image processing apparatus It is a living body observation apparatus provided with the display part which displays an image.
  • the irradiation unit irradiates the living tissue with the illumination light, and of the reflected light reflected by the living tissue, the reflected light in a specific wavelength band is captured by the imaging unit. For example, among reflected light reflected in a living tissue, if imaging light reflects light in a specific wavelength band that is less affected by the presence of blood vessels and is more affected by the presence of fat, the effect is affected by the presence of fat.
  • the received body tissue image can be acquired.
  • the fat region information is detected by the image processing apparatus from the biological tissue image acquired in this manner, and the fat region indicated by the fat region information with low reliability can be distinguished from the peripheral region. Processing is performed and displayed by the display unit. Therefore, even if fat detection is inhibited due to the influence of blood or disturbance and accurate detection can not be performed, the operator is made to grasp the fat area indicated by fat area information with low reliability, and the nerve of the operator is treated. The risk of damage can be reduced.
  • the irradiating unit when the calculated reliability is lower than the reference reliability, the irradiating unit generates white light as illumination light to be applied to the living tissue, and the white light itself reflected by the living tissue is generated.
  • the control unit may be configured to cause the imaging unit to capture the reflected light of
  • the white light is brighter than the illumination light of the specific wavelength band, and therefore the image pickup section can obtain a bright image as compared to the illumination light of the specific wavelength band. Therefore, the operator performs a treatment such as flushing the blood, and it becomes easy to remove an inhibiting factor that reduces the fat detection accuracy. When switching to white light, it is difficult to visually recognize fat, so the fat detection process may be stopped.
  • a display mode capable of distinguishing the fat area indicated by the fat area information whose reliability calculation step calculated reliability degree calculating step calculated reliability degree calculation step is lower than reference reliability degree from surrounding area It is an image processing method including the display mode processing step to process.
  • fat detection is inhibited and detection is accurately performed when blood is present on the subject, or when the exposure amount is insufficient, the influence of disturbances such as bright spots, mist, and forceps occurs.
  • the body tissue image can be easily processed so that the operator can distinguish the non-fat area from the surrounding area.
  • ADVANTAGE OF THE INVENTION According to this invention, it is effective in the ability of an operator to grasp
  • FIG. 11 is a diagram showing an example of a display mode in which a fat area indicated by fat area information having a calculated reliability lower than a reference reliability in the image shown in FIG. 10C is processed into a color distinguishable from peripheral areas.
  • FIG. 10C is a view showing an example of a display mode in which a fat area indicated by fat area information having a calculation reliability lower than the reference reliability is surrounded by an arbitrary target color so as to be distinguishable from peripheral areas in the image shown in FIG.
  • a display mode in which processing is performed to change the brightness of the peripheral area not included in the fat area, with respect to the fat area indicated by the fat area information of the calculation reliability lower than the reference reliability Is a diagram illustrating an example of It is a figure which shows an example of the state which divided
  • FIG. 1 It is a figure which shows the light intensity characteristic of LED used in the special light observation mode of the biological body observation apparatus of FIG. It is a typical whole block diagram which shows the biological body observation apparatus which concerns on the 2nd modification of 2nd Embodiment of this invention. It is a figure which shows the absorption characteristic of beta-carotene, and the absorption characteristic of hemoglobin. It is a figure which shows the spectral transmission factor characteristic of the color separation prism of the biological body observation apparatus of FIG. It is a figure which shows the light intensity characteristic of the xenon lamp of the biological body observation apparatus of FIG. It is a figure which shows the transmittance
  • the living body observation apparatus 1 is an endoscope, and as illustrated in FIG. 1, an insertion unit 2 inserted into a living body and a light source unit (irradiation unit) connected to the insertion unit 2 3 and an image display unit (display unit) 6 for displaying an image generated by the signal processing unit 4, an external interface unit (hereinafter referred to as “ And an external I / F section 7).
  • the insertion unit 2 includes an illumination optical system 8 for irradiating the light input from the light source unit 3 toward the subject and an imaging optical system (imaging unit) 9 for imaging reflected light from the subject.
  • the illumination optical system 8 is a light guide cable which is disposed along the entire length in the longitudinal direction of the insertion portion 2 and guides the light incident from the light source unit 3 on the proximal side to the tip.
  • the photographing optical system 9 includes an objective lens 10 for condensing the reflected light from the object of the light irradiated to the object by the illumination optical system 8 and an imaging element 11 for photographing the light collected by the objective lens 10. ing.
  • the imaging device 11 is, for example, a color CCD.
  • the light source unit 3 includes a xenon lamp 12 for emitting white light in a wide wavelength band, and an optical axis of light from the xenon lamp 12 to cut out light of a predetermined wavelength from the white light emitted from the xenon lamp 12. It has a short wavelength cut filter 13 which can be inserted and removed, and a linear movement mechanism 14 which is controlled by a control unit 18 described later and which inserts and removes the short wavelength cut filter 13 with respect to the optical axis.
  • the short wavelength cut filter 13 blocks light in a wavelength band smaller than 450 nm, and transmits light in a wavelength band greater than 450 nm.
  • the imaging device 55 includes a color filter (not shown) having transmittance for each color as shown in FIG. 2B.
  • the xenon lamp 12 also has an intensity spectrum as shown in FIG. 2C.
  • ⁇ -carotene contained in living tissue has high absorption characteristics in the region of 400 to 500 nm.
  • hemoglobin (HbO 2 , HbO) which is a component in blood, has high absorption characteristics in a wavelength band of 450 nm or less and a wavelength band of 500 to 600 nm.
  • FIGS. 15A, 17A and 19A The same applies to FIGS. 15A, 17A and 19A.
  • the blue wavelength band of the color filter of the imaging device 11 includes a wavelength band in which absorption by hemoglobin is larger than absorption by ⁇ -carotene, and a wavelength band in which absorption by ⁇ -carotene is larger than absorption by hemoglobin It is. Then, by inserting the short wavelength cut filter 13 on the optical axis, in the blue wavelength band, only light in a wavelength band in which absorption by ⁇ -carotene is larger than absorption by hemoglobin passes, and the subject is irradiated. It has become so.
  • the image acquired by irradiating the light of a blue wavelength range has little influence of the absorption by a blood vessel (hemoglobin), and there is much absorption by a fat tissue ((beta) carotene).
  • the short wavelength cut filter 13 is separated from the optical axis, the light of the full wavelength band of blue is irradiated to the subject, so that the white light image can be acquired together with the red and green lights irradiated simultaneously. It can be done.
  • the presence of blood in the area of low intensity in the image obtained by irradiating the light in the green wavelength band To indicate that it is a blood vessel, for example.
  • absorption of ⁇ -carotene and hemoglobin is not present at the same time, so the image obtained by irradiating this light represents the morphological features of the surface of the living tissue.
  • the signal processing unit 4 interpolates the image signal (body tissue image) acquired by the imaging device 11 by the demosaicing process, and the image processing unit (the image processing apparatus) processes the image signal processed by the interpolation unit 16 And a control unit 18 that controls the imaging device 11, the linear motion mechanism 14, and the image processing unit 17.
  • the control unit 18 synchronizes the imaging timing by the imaging device 11, the insertion and removal of the short wavelength cut filter 13, and the timing of the image processing by the image processing unit 17 based on the instruction signal from the external I / F unit 7. It is supposed to be. Further, the control unit 18 stores an OB clamp value, a gain correction value, a WB coefficient value, a gradation conversion coefficient, a color conversion coefficient, an edge enhancement coefficient, and the like used for image processing by the image processing unit 17.
  • the image processing unit 17 includes a preprocessing unit 21, a post-processing unit 22, a fat detection unit 23, a blood detection unit 24, a reliability calculation unit 25, and a display mode setting unit (display Aspect processing unit 26). These are connected to the control unit 18, and are controlled by the control unit 18, respectively.
  • the preprocessing unit 21 performs OB clamp processing and gain correction processing on the image signal sent from the interpolation unit 16 using the OB clamp value, the gain correction value, and the WB coefficient value stored in the control unit 18.
  • the pre-processing such as WB correction processing is performed. Further, the preprocessing unit 21 sends the image signal after the preprocessing to the post-processing unit 22, the fat detection unit 23 and the blood detection unit 24.
  • the post-processing unit 22 uses the tone conversion coefficient, the color conversion coefficient, and the edge enhancement coefficient stored in the control unit 18 for the image signal after the pre-processing sent from the pre-processing unit 21.
  • Post processing such as tone conversion processing, color processing, and edge enhancement processing is performed to generate a color image to be displayed on the image display unit 6. Further, the post-processing unit 22 sends the image signal after the post-processing to the display mode setting unit 26.
  • the fat detection unit 23 generates a fat image signal based on the pre-processed image signal sent from the pre-processing unit 21.
  • the preprocessed image signal includes image signals corresponding to three types of illumination light of blue, green and red.
  • the fat detection unit 23 is configured to generate a fat image signal of one channel from the image signals of these three types (three channels).
  • the fat image signal has a higher signal value as the amount of ⁇ -carotene contained in the subject increases.
  • the fat detection unit 23 sends the generated fat image signal to the reliability calculation unit 25.
  • the blood detection unit 24 generates a blood image signal based on the pre-processed image signal sent from the pre-processing unit 21.
  • the image signal after pre-processing includes image signals corresponding to three types of illumination light of blue, green and red
  • the blood detection unit 24 is an image of two types (two channels) of green and red. It is adapted to generate a blood image signal of one channel from the signal.
  • the blood image signal has a higher signal value as the amount of hemoglobin contained in the subject increases. Further, the blood detection unit 24 sends the generated blood image signal to the reliability calculation unit 25.
  • the reliability calculation unit 25 includes a local region setting unit 31, a fat region setting unit (fat region information detection unit) 32, a local region setting unit 33, and a blood region setting unit (blood region information A detection unit 34, an SN calculation unit 35, a blood distribution calculation unit 36, and a fat area reliability calculation unit (reliability calculation unit) 37 are provided. These are connected to the control unit 18, and are controlled by the control unit 18, respectively.
  • the local region setting unit 31 sets a plurality of local regions (blocks in a narrow sense) for the fat image signal sent from the fat detection unit 23. For example, the local region setting unit 31 divides the fat image into rectangular regions, and sets each of the divided regions as local regions.
  • the size of the rectangular area can be set as appropriate, but in the present embodiment, for example, as shown in FIG. 5, 16 ⁇ 16 pixels are taken as one local area.
  • the fat image is composed of M ⁇ N local regions, and the coordinates of each local region are indicated by (m, n). Further, a local region of coordinates (m, n) is indicated as a (m, n).
  • FIG. 5 shows the coordinates of the local region located at the upper left of the image as (0, 0), the right direction as the positive direction of m, and the lower direction as the positive direction of n.
  • the local region does not necessarily have to be rectangular, and it goes without saying that the fat image can be divided into arbitrary polygons, and each divided region can be set as the local region. Also, the local region may be set arbitrarily according to the instruction of the operator. In the present embodiment, a region consisting of a plurality of adjacent pixel groups is regarded as one local region in order to reduce the amount of calculation later and to remove noise, but it is also possible to use one pixel as one local region. It is. Also in this case, the subsequent processing is exactly the same.
  • the fat area setting unit 32 sets a fat area in which fat is present on the fat image.
  • the fat area setting unit 32 sets an area having a large amount of ⁇ -carotene as a fat area.
  • the fat region setting unit 32 first performs threshold processing on all the local regions set by the local region setting unit 31 and extracts local regions in which the value of the fat image signal is sufficiently large.
  • the fat area setting unit 32 performs a process of integrating adjacent ones of the extracted local areas, and sets each area obtained as a result of the integration process as a fat area. Even when there is one local region, it is considered as a fat region. Further, the fat area setting unit 32 calculates the positions of all the pixels included in the fat area from the coordinates a (m, n) of the local area included in the fat area and the information of the pixels included in each local area. It is sent to the SN calculating unit 35 and the blood distribution calculating unit 36 as fat area information indicating a fat area.
  • the local region setting unit 33 is configured to set a plurality of local regions (blocks in a narrow sense) for the blood image signal sent from the blood detection unit 24.
  • the method of setting the local region by the local region setting unit 33 is the same as the method of setting the local region by the local region setting unit 31, so the description will be omitted.
  • the blood region setting unit 34 is configured to set a blood region in which blood is present on the blood image.
  • the blood region setting unit 34 sets a region having a large amount of hemoglobin as a blood region.
  • the method of setting the blood region by the blood region setting unit 34 is the same as the method of setting the fat region by the fat region setting unit 32.
  • the blood region setting unit 34 performs threshold processing on all the local regions set by the local region setting unit 33 to extract local regions where the value of the blood image signal is sufficiently large, and adjacent local regions are extracted. Each region obtained by integrating processing is set as a blood region. Also, the blood region setting unit 34 calculates the positions of all the pixels included in the blood region from the coordinates a (m, n) of the local region included in the blood region and the information of the pixels included in each local region. The information is sent to the blood distribution calculation unit 36 as blood area information indicating a blood area.
  • the SN calculating unit 35 is configured to calculate the SN ratio of the fat area information sent from the fat area setting unit 32. For example, the ratio of the signal level of the fat area information to the noise may be obtained as the SN ratio. Specifically, the SN calculating unit 35 calculates an average value (Ave) of the signal level of fat area information, and performs noise reduction processing on fat area information to sufficiently reduce noise, thereby reducing fat area before noise reduction. A difference value between the information and the fat area information after noise reduction is calculated. The standard deviation of this difference value is calculated to be the noise amount (Noise).
  • the SN ratio is calculated by the following equation (1).
  • SN ratio 20 ⁇ log 10 (Ave / Noise) (1)
  • the SN ratio indicates the degree to which the detection accuracy of the fat region decreases due to disturbance during operation (blood, forceps, mist, etc.), and the smaller the SN ratio, the lower the reliability of fat region information.
  • the SN calculating unit 35 sends the calculated SN ratio of the fat area information to the fat area reliability calculating unit 37.
  • the blood distribution calculating unit 36 determines the fat based on the fat area indicated by the fat area information sent from the fat area setting unit 32 and the blood area indicated by the blood area information sent from the blood area setting unit 34.
  • a blood distribution degree signal indicating the proportion of the blood area in the area is calculated. For example, it may be understood how wide (blood) blood exists on the fat area.
  • the blood distribution calculation unit 36 counts the number of pixels in the fat area (BkNum), and counts the number of pixels in the blood area (HbNum) present in the fat area, according to the following equation (2) , Blood distribution degree signal (HbDist) is calculated.
  • the blood distribution degree signal indicates the degree to which blood is present in the fat area, and increases as blood is present. Further, the larger the blood distribution degree signal, the lower the reliability of fat area information.
  • the blood distribution calculating unit 36 sends the calculated blood distribution degree signal to the fat area reliability calculating unit 37.
  • the fat area reliability calculation unit 37 determines the reliability of the fat area information. The degree is calculated. Specifically, the fat area reliability calculation unit 37 calculates the reliability of fat area information according to the following equation (3) as a linear sum of the SN ratio (SN) of the fat area information and the blood distribution degree signal (HbDist) Calculate (BkTrust).
  • BkTrust ⁇ ⁇ SN + ⁇ ⁇ (1 / HbDist) (3)
  • ⁇ and ⁇ are constant terms, and can be adjusted depending on whether to emphasize the influence of disturbance (including blood) or the influence of blood (only) in calculating the reliability of fat area information I assume.
  • the parameter can be set by the operator from the external I / F unit 7 via the control unit 18.
  • the fat area reliability calculation unit 37 sends fat area information and its reliability to the display mode setting unit 26.
  • the reliability of the fat area information calculated by the fat area reliability calculation unit 37 is referred to as the calculation reliability.
  • the processing unit 41 includes a region selection unit 43 and a region processing unit 44, as shown in FIG.
  • the region selector 43 selects fat region information of a region of interest from among the fat region information sent from the reliability calculation unit 25. Specifically, the region selection unit 43 selects, from the fat region information, one having a calculation reliability smaller than a reference reliability serving as a reference set in advance. By performing such processing, fat area information with high reliability (less disturbance) can be excluded, and fat area information with low reliability (more disturbance) can be selected.
  • the region selection unit 43 focuses attention on the region indicated by fat region information whose calculation reliability selected earlier is lower than the reference reliability. It sets as an area
  • the area processing unit 44 performs color conversion processing on pixels indicated by corresponding focused area information in the image signal after post processing sent from the area selection unit 43 using the following formulas (4) to (6) Is supposed to do.
  • r (x, y), g (x, y), b (x, y) are signal values of R, G, B channels at coordinates (x, y) of the image signal before color conversion
  • g_out (x, y) b_out (x, y) are signal values of R, G, B channels of the image after color conversion.
  • T_r, T_g, and T_b are R, G, B signal values of arbitrary target colors, and gain is an arbitrary coefficient of 0 to 1.
  • a fat area indicated by fat area information whose calculated reliability is lower than the reference reliability is processed into a different color as compared with the surrounding area.
  • the area processing unit 44 sends the processed image signal to the selection unit 42.
  • the region processing unit 44 may perform processing to give priority to the fat region, such as in order of decreasing reliability of calculation of fat region information, for example.
  • the selection unit 42 selects one of the post-processing image signal sent from the post-processing unit 22 and the processed image signal sent from the processing unit 41 and sends it to the image display unit 6. ing. For example, when fat area information is not detected, the post-processing image signal sent from the post-processing unit 22 is selected as a display image, and when fat area information is detected, the image signal is sent from the processing unit 41. The processed image signal is selected as a display image. Also, when it is desired to turn on / off processing of the image signal, the operator makes settings from the external I / F unit 7 and controls based on the control signal input from the control unit 18 to the selection unit 42. do it.
  • the image display unit 6 is a display device capable of displaying a moving image, and is configured of, for example, a CRT, a liquid crystal monitor, or the like.
  • the image display unit 6 is configured to display an image sent from the selection unit 42.
  • the external I / F unit 7 is an interface for performing input from the operator to the endoscope apparatus.
  • the external I / F unit 7 has a processing button (not shown) capable of turning on / off the image signal processing, and the operator turns on / off the processing of the image signal from the external I / F unit 7.
  • An off instruction can be given.
  • the on / off instruction signal of the image signal processing from the external I / F unit 7 is output to the control unit 18.
  • the external I / F unit 7 includes a power switch for turning on / off the power, a mode switching button for switching the photographing mode and other various modes, and the like.
  • the insertion portion 2 is inserted into a body cavity, and the tip of the insertion portion 2 is made to face the observation target site.
  • the operator turns off the on / off instruction signal of the image signal processing process of the external I / F unit 7 and operates the linear motion mechanism 14 by the control unit 18 to retract the short wavelength cut filter 13 from the optical axis.
  • white light in a wide wavelength band generated from the xenon lamp 12 is guided to the tip of the insertion portion 2 through the light guide cable 7, and each illumination light is observed ) (Illumination light irradiation step SA1).
  • the white light irradiated to the observation target site is reflected on the surface of the observation target site, and then condensed by the objective lens 10 and photographed by the imaging element 11 (image signal acquisition step SA2).
  • the imaging device 11 formed of a color CCD includes a color filter having transmittance for each color, an image signal is obtained by each pixel corresponding to each color.
  • the image signal acquired by the imaging element 11 is subjected to a demosaicing process by the interpolation unit 16, converted into an image signal of three channels, and sent to the image processing unit 17.
  • the preprocessing unit 21 uses the OB clamp value, the gain correction value, and the WB coefficient value stored in the control unit 18 to the image signal sent from the interpolation unit 16. Preprocessing such as clamp processing, gain correction processing, and WB correction processing is performed (preprocessing step SA3), and is sent to the post-processing unit 22.
  • the post-processing unit 22 uses the tone conversion coefficient, the color conversion coefficient, and the edge enhancement coefficient stored in the control unit 18 on the pre-processed image signal sent from the pre-processing unit 21.
  • Post processing such as tone conversion processing, color processing, and edge enhancement processing is performed to generate a white light image to be displayed on the image display unit 6 (post processing step SA4).
  • control unit 18 determines an on / off instruction signal of the image signal processing process from the external I / F unit 7 (processing process determination step SA5). Since the on / off instruction signal of the image signal processing process is off, the white light image generated by the post-processing unit 22 is displayed by the image display unit 6 via the display mode setting unit 26 (display step SA7). This observation mode is called a white light observation mode.
  • the operator can observe the form of the living tissue from the white light image displayed on the image display unit 6.
  • the white light image for example, in the region where blood vessels are present, blood vessels are displayed in red since absorption is present in the blue B2 and green G2 wavelength bands.
  • fat is displayed in yellow because absorption is present in blue B2.
  • FIG. 10A shows an image of a region to be observed obtained in the white light observation mode. The image is bright on the whole and easy to see, but it is difficult to visually recognize the fat present in the fascia.
  • the operator turns on the on / off instruction signal of the image signal processing process from the external I / F unit 7 and causes the control unit 18 to operate the linear motion mechanism 14, thereby the xenon lamp 12
  • the short wavelength cut filter 13 is inserted on the optical axis of the light from.
  • the white light emitted from the xenon lamp 12 is cut through the short wavelength cut filter 13 so that the wavelength band of 450 nm or less is cut and the observation target site is irradiated from the tip of the insertion portion 2 through the light guide cable 7 (Illumination light irradiation step SA1).
  • the reflected light reflected on the surface of the observation target part by being irradiated with the white light is collected by the objective lens 9 and photographed by the imaging element 11 (image signal acquisition step SA2).
  • the image signal acquired by the pixels corresponding to green and red of the imaging device 11 is the same as in the white light observation mode, but the image signal acquired by the pixel corresponding to blue has a cut off wavelength band of 450 nm or less And become a signal of a wavelength band included in 450 to 500 nm.
  • the image signal acquired by the imaging element 11 is subjected to a demosaicing process by the interpolation unit 16 and converted into an image signal of three channels, and then sent to the image processing unit 17.
  • the blue 450 to 500 nm wavelength band B1 in the special light observation mode is compared with the 400 to 450 nm wavelength band B0 cut by the short wavelength cut filter 13, and the absorption of ⁇ -carotene is larger than the absorption of hemoglobin is there. Therefore, the image obtained by irradiating the light in the wavelength band B1 is less affected by the absorption by blood and the influence of the absorption by fat than the image obtained by irradiating the light in the wavelength band B0. That is, it is possible to obtain an image more reflecting the distribution of fat.
  • the green wavelength band is a wavelength band in which the absorption of ⁇ -carotene is extremely small and the absorption of hemoglobin is large. Therefore, in the image obtained by irradiating the light in the green wavelength band, the region with low brightness indicates the region in which blood is present regardless of the presence of fat. That is, it is possible to clearly indicate that the tissue is rich in hemoglobin, such as blood and blood vessels.
  • the red wavelength band is a wavelength band in which absorption is extremely small for both ⁇ -carotene and hemoglobin. Therefore, the image obtained by irradiating the light in the red wavelength band has a luminance distribution based on the shape of the object (concave, convex, lumen, etc.).
  • the image signal sent from the interpolation unit 16 is preprocessed by the preprocessing unit 21 (preprocessing step SA3), and is sent to the postprocessing unit 22, the fat detection unit 23, and the blood detection unit 24.
  • the post-processing unit 22 performs post-processing on the pre-processed image signal sent from the pre-processing unit 21 (post-processing step SA4), and sends it to the display mode setting unit 26.
  • control unit 18 determines the on / off instruction signal of the processed fat emphasizing process (processing process determination step SA5), and the on / off instruction signal of the image signal processing process is on. Image signal processing step SA6).
  • the fat detection unit 23 In the processing of the image signal, as shown in FIG. 9, the fat detection unit 23 generates a subject based on the three types (three channels) of blue, green and red (six channels) sent from the preprocessing unit 21. A fat image signal of one channel which is a signal value which is higher as the amount of ⁇ -carotene contained in the image is higher (fat image signal generating step SB1) is sent to the reliability calculation unit 25.
  • the signal value increases as the amount of hemoglobin contained in the subject increases.
  • a blood image signal of one channel to be obtained is generated (blood image signal generation step SB2), and is sent to the reliability calculation unit 25.
  • a fat region is set in the fat image signal sent from the fat detection unit 23 by the local region setting unit 31 and the fat region setting unit 32, and fat region information indicating a fat region is calculated.
  • Fat area information detection step SB3 The calculated fat area information is sent to the SN ratio calculator 35 and the blood distribution calculator 36. Then, the SN calculating unit 35 calculates the SN ratio of the fat area information (SN ratio calculating step SB4).
  • the blood region is set in the blood image signal sent from the blood detection unit 24 by the local region setting unit 33 and the fat region setting unit 32, and blood region information indicating the blood region is calculated (blood region information detection Step SB5).
  • the calculated blood area information is sent to the blood distribution calculation unit 36.
  • the blood distribution calculation unit 36 calculates a blood distribution degree signal indicating the proportion of the blood area in the fat area (blood distribution degree signal calculation step SB6).
  • the fat area reliability calculation unit 37 calculates the reliability of the fat area information based on the SN ratio of the fat area information and the blood distribution degree signal (reliability calculation step SB7), and the calculated fat area information The calculation reliability of is transmitted to the display mode setting unit 26.
  • the display mode setting unit 26 in the image signal after post processing sent from the post processing unit 22 by the area selection unit 43, there is a corresponding attention area indicated by fat area information whose calculation reliability is lower than the reference reliability.
  • the corresponding attention area information indicating the pixels of the corresponding attention area is sent to the area processing unit 44, which is set (corresponding attention area setting step SB8).
  • the fat region indicated by the corresponding attention region information in the image signal after post processing sent from the post processing unit 22 is processed by the region processing unit 44 into a different color as compared to the peripheral region (display mode processing Step SB9).
  • the image signal after processing sent from the processing unit 41 is selected as a display image by the selection unit 42, and displayed by the image display unit 6 (display step SA7 in FIG. 8).
  • This observation mode is called a special light observation mode.
  • the image post-processed by the post-processing unit 22 improves the visibility of fat compared to the image obtained in the white light observation mode shown in FIG. 10A. be able to.
  • the visibility of fat may be disturbed by disturbance during surgery represented by blood or the like, and fat may not be detected accurately.
  • the processing unit 41 processes the fat area indicated by the fat area information whose calculation reliability is lower than the reference reliability into a color distinguishable from the peripheral area.
  • the operator can easily grasp the fat area indicated by the fat area information that can not be accurately detected due to the influence of blood or disturbance, and remove the blood or disturbance in the fat area. It can be carried out. If no fat area information is detected in the fat image signal, the image processing unit 22 sends the post-processing image signal sent from the post-processing unit 22 as a display image to be displayed on the image display unit 6. Be done.
  • the living body observation apparatus 1 and the image processing unit 17 According to the living body observation apparatus 1 and the image processing unit 17 according to the present embodiment, blood is present on the subject during the operation, the exposure amount is insufficient, and the disturbance such as the bright spot, the mist, and the forceps is generated. If fat detection is inhibited and fat area information can not be detected accurately due to an influence, the fat area indicated by fat area information whose calculation reliability is lower than the reference reliability in the biological tissue image is a peripheral area By processing the display mode so as to be distinguishable from the above, it is possible to cause the operator to grasp a fat region which is not detected correctly because fat detection is inhibited. Thereby, the operator can perform treatment such as removing blood and disturbance in the fat area to reduce the risk of nerve damage.
  • the region processing unit 44 processes the fat region indicated by fat region information whose calculation reliability is lower than the reference reliability to a different color as compared with the peripheral region.
  • the following formulas (7) to (7) are applied to all the pixels constituting the boundary of the corresponding noted area indicated by the corresponding noted area information in the image signal after the post-processing
  • the color conversion processing may be performed using 9).
  • r_out (x, y) T_r (7)
  • g_out (x, y) T_g (8)
  • b_out (x, y) T_b (9)
  • a fat region indicated by fat region information whose calculation reliability is lower than the reference reliability is surrounded by an arbitrary target color, and can be distinguished as compared with the peripheral region Can be displayed in the following manner.
  • the area processing unit 44 has luminances as shown in the following formulas (10) to (12) A conversion process may be performed.
  • the peripheral region not included in the fat region indicated by the fat region information whose calculation reliability is lower than the reference reliability is darkened, and the fat region is relatively determined. It can be easy to see.
  • the region selecting unit 43 sets a fat region indicated by fat region information whose calculation reliability in the image signal after post processing is lower than the reference reliability as the corresponding attention region.
  • a fat area indicated by fat area information whose calculated reliability in the image signal after post-processing is equal to or higher than the reference reliability may be set as the corresponding noted area.
  • the visibility of the fat area indicated by the fat area information whose reliability is relatively lower than the reference reliability is improved.
  • the operator can be made to grasp a fat region that can not be accurately detected due to the influence of blood or disturbance.
  • the fat region setting unit 32 merely integrates the adjacent ones in the extracted local region, instead, the fat region setting unit 32 has many fat region information.
  • the fat area information may be reset so as to indicate an arbitrary shape such as a square or a circle.
  • FIGS. 12A and 12B show an example of a fat image, and each area surrounded by a dotted line represents a local area.
  • FIG. 12A when it is desired to make the shape of fat region A rectangular, first, based on the coordinates of local region a (m, n) belonging to fat region A and the information of the pixels included in each local region, Calculate the positions of all included pixels.
  • a quadrilateral circumscribing the calculated set of all pixels is set again as the fat region A, and the positions of all pixels included in the set quadrilateral fat region A are calculated. It may be output as fat area information indicating the area A. By doing this, the fat area A can be reset to a shape that is easy to visually recognize.
  • an image processing unit image processing apparatus
  • a living body observation apparatus including the same
  • an image processing method will be described below with reference to the drawings.
  • parts having the same configuration as the image processing unit 17, the living body observation device 1, and the image processing method according to the above-described first embodiment are given the same reference numerals, and the description is omitted.
  • the living body observation apparatus 50 adopts a monochrome CCD as the imaging device 51, and substitutes the short wavelength cut filter 13 and the linear movement mechanism 14 with a xenon lamp. 12.
  • a filter turret 52 which cuts out light of a predetermined wavelength from white light emitted from 12 and passes sequentially in time division, a motor 53 for driving the filter turret 52, and the filter turret 52 intersect the optical axis of the xenon lamp 12 And a linear movement mechanism 54 for moving in the direction.
  • the signal processing unit 4 is provided with a memory 55 for storing the image signal acquired by the imaging device 51 for each wavelength of the illumination light irradiated to the observation target site, instead of the interpolation unit 6.
  • the filter turret 52 includes two types of filter groups F1 and F2 arranged concentrically in the radial direction around the rotation center A.
  • the filter turret 52 emits the light selected by the filter groups F1 and F2 to the insertion portion 2 side by arranging one of the filter groups F1 and F2 on the optical axis of the white light from the xenon lamp 12 It can be done.
  • the first filter group F1 is, as shown in FIG. 15C, blue (B1: 450 to 480 nm), green (G1: 550 to 570 nm) and red (R1: 620) in blue, green and red wavelength bands.
  • the filters B1, G1, and R1 having high transmittance in the range of ⁇ 650 nm are arranged in the circumferential direction.
  • the second filter group F1 is, as shown in FIG. 15B, light of a substantially continuous wavelength band of blue (B2: 400 to 490 nm), green (G2: 500 to 570 nm) and red (R2: 590 to 650 nm).
  • B2 blue
  • G2 green
  • R2 red
  • FIG. 15A is the same graph as FIG. 2A.
  • the absorption by ⁇ -carotene is larger than the absorption by hemoglobin, so
  • the image obtained by irradiating the light in the blue wavelength band of the first filter group F1 is less affected by blood vessel absorption, and is more absorbed by fat tissue.
  • the reflected light of the light transmitted through the filters B2, G2 and R2 of the second filter group F2 is individually photographed, and an image combined with a corresponding color is a white light image.
  • the wavelength band of green G1 of the first filter group F1 there is no absorption by ⁇ -carotene, and in the area where absorption by hemoglobin is present, light of the wavelength band of green G1 of the first filter group F1 is used.
  • the region of low intensity in the image obtained by irradiation indicates the region where blood is present, for example, a blood vessel.
  • the wavelength band of red R1 of the first filter group F1 since absorptions of ⁇ -carotene and hemoglobin are not present at the same time, the light of the wavelength band of red R1 of the first filter group F1 is obtained.
  • the image is a representation of the morphological features of the biological tissue surface.
  • the image processing unit 17 is configured to perform image processing for combining the image signals stored in the memory 55 with different colors. Further, the control unit 18 synchronizes the imaging timing by the imaging device 51 with the rotation of the filter turret 52 and the timing of the image processing by the image processing unit 17.
  • the second filter group F2 of the filter turret 52 is moved on the optical axis of the light from the xenon lamp 12, and blue B2,.
  • the illumination light of green G2 and red R2 is sequentially irradiated, and the reflected light at the observation target site when each illumination light is irradiated is sequentially photographed by the imaging device 51.
  • the image information corresponding to the illumination light of each color is sequentially stored in the memory 55, and when the image information corresponding to the three illumination lights of blue B2, green G2 and red R2 is acquired, the image processing unit 17 Sent to In the image processing unit 17, each image processing is performed in the pre-processing unit 21 and the post-processing unit 22, and in the post-processing unit 22, each image information is irradiated when the image information is photographed.
  • the color of the illumination light is given and synthesized. Thereby, a white light image is generated, and the generated white light image is sent to the image display unit 6 via the display mode setting unit 26 and displayed.
  • the blood vessels are displayed in red since absorption is present in the blue B2 and green G2 wavelength bands.
  • fat is displayed in yellow because absorption is present in blue B2.
  • the color of the blood vessels in the organ behind the fat tissue permeates, and the presence of the fat tissue becomes unclear.
  • the first filter group F1 of the filter turret 52 is moved to a position where it is disposed on the optical axis of the light from the xenon lamp 12, and blue B1, green G1 and red R1 are selected.
  • the illumination light is sequentially irradiated, and the reflected light at the observation target site when each illumination light is irradiated is sequentially photographed by the imaging device 27.
  • image processing in the image processing unit 17 is the same as that of the first embodiment.
  • the light source unit 3 sequentially emits light of different wavelength bands by the xenon lamp 12 and the filter turret 13.
  • the light source unit 3 sequentially emits light of different wavelength bands by the xenon lamp 12 and the filter turret 13.
  • the light source unit 3 sequentially emits light of different wavelength bands by the xenon lamp 12 and the filter turret 13.
  • FIG. 16 shows that light from a plurality of light emitting diodes (LEDs) 56A, 56B, 56C, 56D for emitting light in different wavelength bands is reflected by the mirror 57 and the dichroic mirrors 58A, 58B,
  • the same light guide cable 7 may be disposed so as to be incident by 58C.
  • each light emitting diodes 56A to 56D in wavelength bands of 400 to 450 nm, 450 to 500 nm, 520 to 570 nm, and 600 to 650 nm are prepared.
  • the white light observation mode as shown in FIG. 17B, the light of the light emitting diodes 56A and 56B of 400 to 500 nm is used as blue illumination light, and the light from the light emitting diode 56C of 520 to 570 nm as green illumination light.
  • Light may be used, and light from the light emitting diode 56D of 600 to 650 nm may be used as red illumination light.
  • the special light observation mode as shown in FIG. 17C, light from the light emitting diode 56B of 450 to 500 nm may be used as blue illumination light.
  • FIG. 17A is the same graph as FIG. 2A.
  • a color separation prism 61 that splits the reflected light returning from the subject into wavelength bands, and three monochrome CCDs 62A, 62B, 62C that capture light of each wavelength band
  • the 3CCD method may be employed.
  • FIG. 19A is the same graph as FIG. 2A.
  • FIG. 19C is the same graph as FIG. 2C.
  • the filter turret 13 may be replaced by a filter 63 which can be inserted and removed on the optical axis of the light from the xenon lamp 12 by the linear movement mechanism 14.
  • the filter 63 transmits light in the desired three wavelength bands and blocks light in the other wavelength bands as shown in FIG. 19D.
  • the filter 63 is retracted from the optical axis, and in the special light observation mode, the filter 63 is inserted on the optical axis.
  • the images acquired by the monochrome CCDs 62A to 62C are converted to three channels by the combining unit 64 and output to the image processing unit 17.
  • a magnification switching unit (not shown) for switching the observation magnification is provided, and when the observation magnification is switched to the high magnification, the white light observation mode is switched to the special light observation mode. It is also possible to switch to By setting the special light observation mode at the time of high magnification observation, precise treatment can be performed while confirming the boundaries between other tissues and fat, and the site to be treated by the white light observation mode at the time of low magnification observation You can make a rough observation of the whole.
  • the reliability calculation unit 25 calculates the reliability of fat area information indicating a fat area set by extracting and setting a local area where the value of the fat image signal is sufficiently large by threshold processing. did.
  • the reliability calculation unit 25 may calculate the reliability of fat area information indicating the fat area in the entire screen.
  • the calculation reliability of the fat area information indicating the fat area in the entire screen may be an average value, an intermediate value or a maximum value of the calculation reliability for each fat area information.
  • the display mode setting unit 26 may perform processing for displaying (informing) an alert based on the calculation reliability of fat area information indicating the fat area in the entire screen. For example, when the reliability of fat detection is low throughout the screen, an alert may be displayed to notify the operator that the reliability is low.
  • the control unit 18 may switch the light source setting of the light source unit 3 to white light. Since white light is brighter than special light, a bright image can be obtained by the imaging device 11 as compared to the case of illumination light of a specific wavelength band. Therefore, a doctor (operator) can easily remove an inhibiting factor that reduces the accuracy of fat detection by performing appropriate measures such as flushing the blood. When switching to white light, it is difficult to visually recognize fat, so the fat detection process may be stopped.
  • the living body observation devices 1 and 50 according to the present invention are not limited to the endoscope, and can be applied to a device for observing a living body widely, such as a living body observation device used in robot surgery.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

　血液や他の外乱の影響により脂肪検出が阻害されて脂肪を正確に検出できない領域を術者に把握させ、神経損傷のリスクを低減する。生体組織画像中における脂肪が存在している脂肪領域を示す脂肪領域情報を検出する脂肪領域設定部（３２）と、脂肪領域設定部（３２）により検出された脂肪領域情報の信頼度を算出する脂肪領域信頼度算出部（３７）と、脂肪領域信頼度算出部（３７）により算出された算出信頼度が、基準となる基準信頼度よりも低い脂肪領域情報により示される脂肪領域を周辺領域と区別可能な表示態様に加工する表示態様設定部とを備える画像処理部を提供する。

Description

画像処理装置、生体観察装置および画像処理方法
　本発明は、画像処理装置、生体観察装置および画像処理方法に関するものである。
　従来、血液に含まれるヘモグロビンに吸収されやすい狭帯域化された波長の照明光を照射し、粘膜表面の毛細血管等を強調表示する狭帯域光観察（ＮＢＩ）が知られている（例えば、特許文献１参照。）。
　この狭帯域光観察は、食道領域の詳細診断や大腸のピットパターン（腺管構造）観察のために広く行われている色素散布の代替観察法として期待され、検査時間や不必要な生検の減少によって、検査の効率化への貢献が期待されている。
　しかしながら、狭帯域光観察は、血管の強調表示を行うことはできるが、神経を強調表示することは困難である。
　例えば、直腸全摘出手術や前立腺全摘出手術において神経の温存を行う場合は、対象臓器を摘出する際に、対象臓器を取り囲むように分布している神経を傷つけないように対象臓器を露出させて摘出する必要があるが、直径５０～３００μｍの細い神経は、白色あるいは透明であるため、腹腔鏡による拡大観察でも観察することが困難である。このため、医師が経験や勘に頼って手術せざるを得ず、神経を損傷してしまう可能性が高いという不都合がある。
　この不都合を解消するために、摘出対象等の対象臓器の表面の組織の構造を見易くして、対象臓器を取り囲んでいる神経の損傷を未然に防止する生体観察装置が提案されている（例えば、特許文献２参照。）。この特許文献２では、対象臓器を取り囲む神経が脂肪層内に存在していることに着目し、脂肪に含まれるβカロテンと血液中のヘモグロビンとがそれぞれ異なる波長帯域の吸収特性を有することから、特定の波長帯域の照射光を被写体に照射して脂肪を見分け易い画像を取得し、脂肪層内に分布する神経に損傷を与えないように手術を行うことができる。
特開２０１１－２２４０３８号公報 国際公開第２０１３／１１５３２３号
　ところで、手術中は出血などにより被写体上に多量の血液が存在する。被写体上の血液は、量が多いほど吸収する光量が増し、吸収する波長はヘモグロビンの吸収特性に依存する。脂肪の上に多量の血液が載ると、βカロテンの吸収に比べてヘモグロビンの吸収が支配的になり、脂肪を正確に検出できなくなる（脂肪検出で擬陽性、偽陰性が発生する。）という不都合がある。また、脂肪検出を阻害する要因としては、血液以外に露光量不足、輝点、ミスト、鉗子等の外乱が挙げられる。上記の阻害要因により、脂肪を正確に検出できないまま手術を行うことは、神経損傷のリスクが増すことに繋がる。
　本発明は上述した事情に鑑みてなされたものであって、血液や他の外乱の影響により脂肪検出が阻害されて脂肪を正確に検出できない領域を術者に把握させ、神経損傷のリスクを低減することができる画像処理装置、生体観察装置および画像処理方法を提供することを目的としている。
　本発明の第１態様は、生体組織画像中における脂肪が存在している脂肪領域を示す脂肪領域情報を検出する脂肪領域情報検出部と、該脂肪領域情報検出部により検出された脂肪領域情報の信頼度を算出する信頼度算出部と、該信頼度算出部により算出された算出信頼度が、基準となる基準信頼度よりも低い前記脂肪領域情報により示される前記脂肪領域を周辺領域と区別可能な表示態様に加工する表示態様加工部とを備える画像処理装置である。
　本発明の第１態様によれば、脂肪領域情報検出部により、入力された生体組織画像から脂肪領域情報が検出され、信頼度算出部により、その脂肪領域情報の信頼度（算出信頼度）が算出される。手術中は、被写体上に血液が存在したり、露光量不足、輝点、ミスト、鉗子等の外乱が影響したりすることにより、脂肪検出が阻害されて脂肪領域情報を正確に検出できなくなる場合がある。
　これに対し、表示態様加工部が、生体組織画像において、基準となる基準信頼度よりも低い算出信頼度の脂肪領域情報により示される脂肪領域を周辺領域と区別可能な表示態様に加工することで、血液や外乱の影響により脂肪検出が阻害されて正確に検出できない脂肪領域情報により示される脂肪領域を術者に把握させることができる。これにより、術者がその脂肪領域における血液や外乱を取り除くなどの処置を行い、神経損傷のリスクを低減することができる。
　上記態様においては、前記算出信頼度が、前記脂肪領域情報のＳＮ比が大きくなるほど高くなり、該ＳＮ比が小さくなるほど低くなることとしてもよい。
　血液や外乱の影響が大きいほど脂肪領域情報のＳＮ比は小さくなり、血液や外乱の影響が小さいほど脂肪領域情報のＳＮ比は大きくなる。したがって、上記のように構成することで、信頼度算出部により、脂肪領域情報のＳＮ比に基づいて、脂肪領域情報の正確な信頼度を算出することができる。
　上記態様においては、前記生体組織画像中における血液が存在している血液領域を示す血液領域情報を検出する血液領域情報検出部を備え、前記算出信頼度が、前記脂肪領域情報に対する前記血液領域情報の割合が小さいほど高くなり、該割合が大きいほど低くなることとしてもよい。
　手術中は出血などにより被写体上に多量の血液が存在し易いため、血液により脂肪領域情報の検出が阻害されることが多い。また、脂肪領域情報に対する血液領域情報の割合が大きいほど、脂肪領域上に血液が多く存在して脂肪領域情報の検出を阻害し、脂肪領域情報に対する血液領域情報の割合が小さいほど、脂肪領域上に存在する血液の量が少なく脂肪領域情報の検出を阻害しない。したがって、上記のように構成することで、信頼度算出部により、脂肪領域情報に対する血液領域情報の割合に基づいて、脂肪領域情報のより正確な信頼度を得ることができる。
　上記態様においては、前記表示態様加工部が、前記算出信頼度が前記基準信頼度よりも低い前記脂肪領域情報により示される前記脂肪領域を前記周辺領域と比較して強調表示することとしてもよい。また、前記表示態様加工部が、前記算出信頼度が前記基準信頼度よりも低い前記脂肪領域情報により示される前記脂肪領域と比較して前記周辺領域を強調表示することとしてもよい。
　このように構成することで、いずれも簡易な方法で、信頼度が低い脂肪領域情報により示される脂肪領域を周辺領域と明確に区別することができる。
　上記態様においては、前記表示態様加工部が、前記算出信頼度が前記基準信頼度よりも低い前記脂肪領域情報により示される前記脂肪領域を術者に報知することとしてもよい。
　このように構成することで、信頼度が低い脂肪領域情報により示される脂肪領域の存在を術者がより把握し易くなる。
　本発明の第２態様は、生体組織に照明光を照射可能な照射部と、該照射部により照射された前記照明光が前記生体組織において反射された反射光の内、特定の波長帯域の反射光を撮影して前記生体組織画像を取得する撮像部と、該撮像部により取得された前記生体組織画像を処理する上記いずれかの画像処理装置と、該画像処理装置により処理された前記生体組織画像を表示する表示部とを備える生体観察装置である。
　本発明の第２態様によれば、照射部により生体組織に照明光が照射され、生体組織において反射された反射光の内、特定の波長帯域の反射光が撮像部により撮影される。例えば、生体組織において反射された反射光の内、撮像部により、血管の存在による影響が少なく、脂肪の存在による影響が大きい特定の波長帯域の反射光を撮影すれば、脂肪の存在によって影響を受けた生体組織画像を取得することができる。
　このようにして取得された生体組織画像に対して、画像処理装置により、脂肪領域情報が検出されて、信頼度が低い脂肪領域情報により示される脂肪領域については周辺領域と区別可能な表示態様に加工する処理が施されて表示部により表示される。したがって、血液や外乱の影響により脂肪検出が阻害されて正確に検出できない場合であっても、信頼度が低い脂肪領域情報により示される脂肪領域を術者に把握させて、術者の処置により神経損傷のリスクを低減することができる。
　上記態様においては、前記算出信頼度が前記基準信頼度よりも低い場合に、前記照射部により前記生体組織に照射する照明光として白色光を発生させ、前記生体組織において反射された前記白色光自体の反射光を前記撮像部により撮影させる制御部を備えることとしてもよい。
　このように構成することで、白色光は特定の波長帯域の照明光に比べて明るいため、特定の波長帯域の照明光の場合と比較して撮像部により明るい画像が得られる。したがって、術者が血液を洗い流すなどの処置を施して、脂肪検出精度を低下させる阻害要因を取り除きやすくなる。白色光に切り替えた場合は、脂肪の視認が困難なため、脂肪検出処理は停止することとすればよい。
　本発明の第３態様は、生体組織画像中における脂肪が存在している脂肪領域を示す脂肪領域情報を検出する脂肪領域情報検出ステップと、該脂肪領域情報検出ステップにより検出された脂肪領域情報の信頼度を算出する信頼度算出ステップと、該信頼度算出ステップにより算出された算出信頼度が基準信頼度よりも低い前記脂肪領域情報により示される前記脂肪領域を周辺領域と区別可能な表示態様に加工する表示態様加工ステップとを含む画像処理方法である。
　本発明の第３態様によれば、被写体上に血液が存在したり、露光量不足、輝点、ミスト、鉗子等の外乱の影響が生じたりした場合において、脂肪検出が阻害されて正確に検出できない脂肪領域を術者が周辺領域と区別可能なように、生体組織画像を容易に処理することができる。
　本発明によれば、血液や他の外乱の影響により脂肪検出が阻害されて脂肪を正確に検出できない領域を術者に把握させ、神経損傷のリスクを低減することができるという効果を奏する。
本発明の第１実施形態に係る生体観察装置を示す模式的な全体構成図である。 βカロテンの吸収特性およびヘモグロビンの吸収特性を示す図である。 図１の生体観察装置のカラーＣＣＤに備えられたカラーフィルタの透過率特性を示す図である。 図１の生体観察装置のキセノンランプの光強度特性を示す図である。 図１の生体観察装置の特殊光観察モードにおいて使用されるフィルタの透過率特性を示す図である。 図１の生体観察装置に備えられる画像処理部を示すブロック図である。 図３の信頼度算出部を示すブロック図である。 複数の局所領域に分割した脂肪画像の一例を示す図である。 図３の表示態様設定部を示すブロック図である。 図６の加工部を示すブロック図である。 図１の生体観察装置を用いた画像処理方法を示すフローチャートである。 図８の画像処理方法の画像信号加工処理を詳細に示すフローチャートである。 白色光観察モードにより得られた観察対象部位の画像の一例を示す図である。 特殊光観察モードにより得られた観察対象部位の加工前の画像の一例を示す図である。 図１０Ｂに示される観察対象部位の脂肪領域に血液が存在する状態を撮影した画像の一例を示す図である。 図１０Ｃに示される画像において、基準信頼度よりも低い算出信頼度の脂肪領域情報により示される脂肪領域を周辺領域と区別可能な色に加工した表示態様の一例を示す図である。 図１０Ｃに示される画像において、基準信頼度よりも低い算出信頼度の脂肪領域情報により示される脂肪領域を任意の目標色で囲んで周辺領域と区別可能に加工した表示態様の一例を示す図である。 図１０Ｃに示される画像において、基準信頼度よりも低い算出信頼度の脂肪領域情報により示される脂肪領域に対して、脂肪領域に含まれない周辺領域の明るさを変更する加工を施した表示態様の一例を示す図である。 脂肪画像を複数の局所領域に分割した状態の一例を示す図である。 図１２Ａの脂肪画像において脂肪領域を四角形状に設定し直した様子の一例を示す図である。 本発明の第２実施形態に係る生体観察装置を示す模式的な全体構成図である。 図１３の生体観察装置に備えられたフィルタターレットにおける各フィルタの配置を示す正面図である。 βカロテンの吸収特性およびヘモグロビンの吸収特性を示す図である。 図１３の生体観察装置の白色光観察モードにおけるフィルタの透過率特性を示す図である。 図１３の生体観察装置の特殊光観察モードにおけるフィルタの透過率特性を示す図である。 本発明の第２実施形態の第１変形例に係る生体観察装置を示す模式的な全体構成図である。 βカロテンの吸収特性およびヘモグロビンの吸収特性を示す図である。 図１６の生体観察装置の白色光観察モードにおいて使用されるＬＥＤの光強度特性を示す図である。 図１６の生体観察装置の特殊光観察モードにおいて使用されるＬＥＤの光強度特性を示す図である。 本発明の第２実施形態の第２変形例に係る生体観察装置を示す模式的な全体構成図である。 βカロテンの吸収特性およびヘモグロビンの吸収特性を示す図である。 図１８の生体観察装置の色分解プリズムの分光透過率特性を示す図である。 図１８の生体観察装置のキセノンランプの光強度特性を示す図である。 図１８の生体観察装置の特殊光観察モードにおいて使用されるフィルタの透過率特性を示す図である。
〔第１実施形態〕
　本発明の第１実施形態に係る画像処理部（画像処理装置）とこれを備える生体観察装置およびこれらを用いた画像処理方法について、図面を参照して以下に説明する。
　本実施形態に係る生体観察装置１は、内視鏡であって、図１に示されるように、生体内に挿入される挿入部２と、挿入部２に接続された光源部（照射部）３および信号処理部４を備える本体部５と、信号処理部４により生成された画像を表示する画像表示部（表示部）６と、操作者からの入力を行うための外部インターフェース部（以下「外部Ｉ／Ｆ部」という。）７とを備えている。
　挿入部２は、光源部３から入力された光を被写体に向けて照射する照明光学系８と、被写体からの反射光を撮影する撮影光学系（撮像部）９とを備えている。
　照明光学系８は、挿入部２の長手方向の全長にわたって配置され、基端側の光源部３から入射されてきた光を先端まで導光するライトガイドケーブルである。
　撮影光学系９は、照明光学系８により被写体に照射された光の被写体からの反射光を集光する対物レンズ１０と、対物レンズ１０により集光された光を撮影する撮像素子１１とを備えている。
　撮像素子１１は、例えば、カラーＣＣＤである。
　光源部３は、広い波長帯域の白色光を射出するキセノンランプ１２と、キセノンランプ１２から発せられた白色光から所定の波長の光を切り出すために、キセノンランプ１２からの光の光軸上に挿脱可能な短波長カットフィルタ１３と、後述する制御部１８によって制御され、短波長カットフィルタ１３を光軸に挿脱する直動機構１４とを備えている。
　短波長カットフィルタ１３は、図２Ｄに示されるように、４５０ｎｍよりも小さい波長帯域の光を遮断し、４５０ｎｍ以上の波長帯域の光を透過するようになっている。
　撮像素子５５は、図２Ｂに示されるように、色毎の透過率を有するカラーフィルタ（図示略）を備えている。
　また、キセノンランプ１２は、図２Ｃに示されるような強度スペクトルを有している。
　ここで、図２Ａに示されるように、生体組織に含まれるβカロテンは、４００～５００ｎｍの領域に高い吸収特性を有している。また、血液中の成分であるヘモグロビン（ＨｂＯ２、ＨｂＯ）は、４５０ｎｍ以下の波長帯域および、５００～６００ｎｍの波長帯域において高い吸収特性を有している。図１５Ａ、図１７Ａおよび図１９Ａにおいて同様である。
　すなわち、撮像素子１１のカラーフィルタの青色の波長帯域は、ヘモグロビンによる吸収の方がβカロテンによる吸収より大きくなる波長帯域と、βカロテンによる吸収の方がヘモグロビンによる吸収より大きくなる波長帯域とを含んでいる。そして、短波長カットフィルタ１３を光軸上に挿入することにより、青色の波長帯域においてはβカロテンによる吸収の方がヘモグロビンによる吸収より大きくなる波長帯域の光のみが通過して、被写体に照射されるようになっている。
　そして、青色の波長帯域の光を照射して得られる画像は、血管（ヘモグロビン）による吸収の影響が少なく、脂肪組織（βカロテン）による吸収が多い。一方、短波長カットフィルタ１３を光軸上から離脱させることにより、青色の全波長帯域の光が被写体に照射されるので、同時に照射される赤色および緑色の光とともに白色光画像を取得することができるようになっている。
　また、緑色の波長帯域においては、βカロテンによる吸収はなく、ヘモグロビンによる吸収が存在する領域であるため、緑色の波長帯域の光を照射して得られる画像中において強度の低い領域は血液の存在する領域、例えば、血管であることを示すものとなる。
　さらに、赤色の波長帯域においては、βカロテンおよびヘモグロビンの吸収は共に存在しないので、この光を照射して得られた画像は、生体組織表面の形態的特徴を表したものとなる。
　信号処理部４は、撮像素子１１により取得された画像信号（生体組織画像）をデモザイキング処理する補間部１６と、補間部１６により処理された画像信号を処理する画像処理部（画像処理装置）１７と、撮像素子１１、直動機構１４および画像処理部１７を制御する制御部１８とを備えている。
　制御部１８は、外部Ｉ／Ｆ部７からの指示信号に基づいて、撮像素子１１による撮影タイミングと、短波長カットフィルタ１３の挿脱と、画像処理部１７による画像処理のタイミングとを同期させるようになっている。また、制御部１８には、画像処理部１７による画像処理に用いるＯＢクランプ値、ゲイン補正値、ＷＢ係数値、階調変換係数、色変換係数、輪郭強調係数等が保存されている。
　画像処理部１７は、図３に示すように、前処理部２１と、後処理部２２と、脂肪検出部２３と、血液検出部２４と、信頼度算出部２５と、表示態様設定部（表示態様加工部）２６とを備えている。これらは制御部１８に接続されており、それぞれ制御部１８により制御されるようになっている。
　前処理部２１は、補間部１６から送られてくる画像信号に対して、制御部１８に保存されているＯＢクランプ値、ゲイン補正値、ＷＢ係数値を用いて、ＯＢクランプ処理、ゲイン補正処理、ＷＢ補正処理といった前処理を行うようになっている。また、前処理部２１は、前処理後の画像信号を後処理部２２、脂肪検出部２３および血液検出部２４に送るようになっている。
　後処理部２２は、前処理部２１から送られてくる前処理後の画像信号に対して、制御部１８に保存されている階調変換係数や色変換係数、輪郭強調係数を用いて、階調変換処理や色処理、輪郭強調処理といった後処理を行い、画像表示部６に表示するカラー画像を生成するようになっている。また、後処理部２２は、後処理後の画像信号を表示態様設定部２６へ送るようになっている。
　脂肪検出部２３は、前処理部２１から送られてくる前処理後の画像信号に基づいて、脂肪画像信号を生成するようになっている。前処理後の画像信号は青色、緑色および赤色の３種類の照明光に対応する画像信号を含んでいる。脂肪検出部２３は、これら３種類（３チャンネル）の画像信号から１チャンネルの脂肪画像信号を生成するようになっている。脂肪画像信号は、被写体に含まれるβカロテン量が多いほど高い信号値になる。また、脂肪検出部２３は、生成した脂肪画像信号を信頼度算出部２５へ送るようになっている。
　血液検出部２４は、前処理部２１から送られてくる前処理後の画像信号に基づいて、血液画像信号を生成するようになっている。前述の通り、前処理後の画像信号は青色、緑色および赤色の３種類の照明光に対応する画像信号を含んでおり、血液検出部２４は、緑色および赤色の２種類（２チャンネル）の画像信号から１チャンネルの血液画像信号を生成するようになっている。血液画像信号は、被写体に含まれるヘモグロビン量が多いほど高い信号値になる。また、血液検出部２４は、生成した血液画像信号を信頼度算出部２５へ送るようになっている。
　信頼度算出部２５は、図４に示すように、局所領域設定部３１と、脂肪領域設定部（脂肪領域情報検出部）３２と、局所領域設定部３３と、血液領域設定部（血液領域情報検出部）３４と、ＳＮ算出部３５と、血液分布算出部３６と、脂肪領域信頼度算出部（信頼度算出部）３７とを備えている。これらは制御部１８に接続されており、それぞれ制御部１８により制御されるようになっている。
　局所領域設定部３１は、脂肪検出部２３から送られてくる脂肪画像信号に対して、複数の局所領域（狭義にはブロック）を設定するようになっている。例えば、局所領域設定部３１は、脂肪画像を矩形領域に分割し、分割した各領域を局所領域として設定するようになっている。
　矩形領域のサイズは適宜設定することができるが、本実施形態においては、例えば、図５示すように、１６×１６画素を１つの局所領域とする。脂肪画像はＭ×Ｎ個の局所領域で構成されていることとし、各局所領域の座標を（ｍ，ｎ）で示すこととする。また、座標（ｍ，ｎ）の局所領域はａ（ｍ，ｎ）として示すこととする。図５は、画像の左上に位置する局所領域の座標を（０，０）とし、右方向をｍの正方向、下方向をｎの正方向として表している。
　局所領域は、必ずしも矩形である必要はなく、脂肪画像を任意の多角形に分割し、分割したそれぞれの領域を局所領域に設定できることは言うまでもない。また、局所領域を操作者の指示に応じて任意に設定できるようにしてもよい。本実施形態においては、後の計算量の削減およびノイズの除去のために、複数の隣接する画素群からなる領域を１つの局所領域としているが、１画素を１つの局所領域とすることも可能である。この場合も後の処理は全く同様である。
　脂肪領域設定部３２は、脂肪画像上で脂肪が存在している脂肪領域を設定するようになっている。本実施形態においては、脂肪領域設定部３２は、βカロテン量の多い領域を脂肪領域として設定するようになっている。具体的には、脂肪領域設定部３２は、まず、局所領域設定部３１により設定された全ての局所領域に対して閾値処理を行い、脂肪画像信号の値が十分に大きい局所領域を抽出する。
　そして、脂肪領域設定部３２は、抽出した局所領域の内で隣接するものどうしを統合する処理を行い、統合処理の結果得られた各領域を脂肪領域として設定する。局所領域が１つの場合も脂肪領域とする。また、脂肪領域設定部３２は、脂肪領域に含まれる局所領域の座標ａ（ｍ，ｎ）と各局所領域に含まれる画素の情報とから、脂肪領域に含まれる全ての画素の位置を算出し、脂肪領域を示す脂肪領域情報としてＳＮ算出部３５および血液分布算出部３６に送るようになっている。
　局所領域設定部３３は、血液検出部２４から送られてくる血液画像信号に対して、複数の局所領域（狭義にはブロック）を設定するようになっている。局所領域設定部３３による局所領域の設定の仕方は、局所領域設定部３１による局所領域の設定の仕方と同様であるので、説明を省略する。
　血液領域設定部３４は、血液画像上で血液が存在している血液領域を設定するようになっている。本実施形態においては、血液領域設定部３４は、ヘモグロビン量の多い領域を血液領域として設定するようになっている。血液領域設定部３４による血液領域の設定の仕方は、脂肪領域設定部３２による脂肪領域の設定の仕方と同様である。
　すなわち、血液領域設定部３４は、局所領域設定部３３により設定された全ての局所領域に対して閾値処理を行って血液画像信号の値が十分に大きい局所領域を抽出し、隣接する局所領域どうしを統合処理して得られた各領域を血液領域として設定する。また、血液領域設定部３４は、血液領域に含まれる局所領域の座標ａ（ｍ，ｎ）と各局所領域に含まれる画素の情報とから、血液領域に含まれる全ての画素の位置を算出し、血液領域を示す血液領域情報として血液分布算出部３６に送るようになっている。
　ＳＮ算出部３５は、脂肪領域設定部３２から送られてくる脂肪領域情報のＳＮ比を算出するようになっている。例えば、ＳＮ比として、脂肪領域情報の信号レベルとノイズの比を求めればよい。具体的には、ＳＮ算出部３５は、脂肪領域情報の信号レベルの平均値（Ａｖｅ）を算出するとともに、脂肪領域情報にノイズ低減処理をかけて十分にノイズを落とし、ノイズ低減前の脂肪領域情報とノイズ低減後の脂肪領域情報との差分値を算出する。この差分値の標準偏差を算出してノイズ量（Ｎｏｉｓｅ）とする。
　ＳＮ比は以下の式（１）で算出する。
　　ＳＮ比＝２０×ｌｏｇ１０（Ａｖｅ／Ｎｏｉｓｅ）・・・（１）
　ここで、ＳＮ比は、手術中の外乱（血液、鉗子、ミストなど）により脂肪領域の検出精度が低下する度合いを示し、ＳＮ比が小さいほど脂肪領域情報の信頼度が低いことを示す。また、ＳＮ算出部３５は、算出した脂肪領域情報のＳＮ比を脂肪領域信頼度算出部３７に送るようになっている。
　血液分布算出部３６は、脂肪領域設定部３２から送られてくる脂肪領域情報により示される脂肪領域と、血液領域設定部３４から送られてくる血液領域情報により示される血液領域とに基づき、脂肪領域における血液領域の占める割合を示す血液分布度信号を算出するようになっている。例えば、脂肪領域の上に血液がどの程度（範囲）の広さで存在するのかが分かればよい。
　具体的には、血液分布算出部３６は、脂肪領域の画素数（ＢｋＮｕｍ）をカウントするとともに、脂肪領域内に存在する血液領域の画素数（ＨｂＮｕｍ）をカウントし、以下の式（２）により、血液分布度信号（ＨｂＤｉｓｔ）を算出する。
　　ＨｂＤｉｓｔ＝ＨｂＮｕｍ／ＢｋＮｕｍ・・・（２）
　ここで、血液分布度信号は、脂肪領域に血液が存在している度合いを示し、血液が存在しているほど大きくなる。また、血液分布度信号が大きいほど脂肪領域情報の信頼度が低いことを示す。血液分布算出部３６は、算出した血液分布度信号を脂肪領域信頼度算出部３７に送るようになっている。
　脂肪領域信頼度算出部３７は、ＳＮ算出部３５から送られてくる脂肪領域情報のＳＮ比と、血液分布算出部３６から送られてくる血液分布度信号とに基づいて、脂肪領域情報の信頼度を算出するようになっている。具体的には、脂肪領域信頼度算出部３７は、脂肪領域情報のＳＮ比（ＳＮ）と血液分布度信号（ＨｂＤｉｓｔ）との線形和として、以下の式（３）により脂肪領域情報の信頼度（ＢｋＴｒｕｓｔ）を算出する。
　　ＢｋＴｒｕｓｔ＝α×ＳＮ＋β×（１／ＨｂＤｉｓｔ）・・・（３）
　ここで、脂肪領域情報の信頼度は脂肪領域の検出精度が高いほど大きな値になる。また、α，βは定数項であり、脂肪領域情報の信頼度を算出するうえで（血液を含む）外乱の影響を重視するか、血液の影響（のみ）を重視するかによって調整可能なパラメータとする。パラメータは、制御部１８を介した外部Ｉ／Ｆ部７から操作者が設定することができる。脂肪領域信頼度算出部３７は、脂肪領域情報とその信頼度を表示態様設定部２６に送るようになっている。以下、脂肪領域信頼度算出部３７により算出された脂肪領域情報の信頼度を算出信頼度という。
　表示態様設定部２６は、図６に示すように、信頼度算出部２５から送られてくる脂肪領域情報とその算出信頼度に基づき、後処理部２２から送られてくる後処理後の画像信号を加工する加工部４１と、画像表示部６に表示する画像を選択する選択部４２とを備えている。これらは制御部１８に接続されており、それぞれ制御部１８により制御されるようになっている。
　加工部４１は、図７に示すように、領域選出部４３と、領域加工部４４とを備えている。
　領域選出部４３は、信頼度算出部２５から送られてくる脂肪領域情報の内、注目する領域の脂肪領域情報を選出するようになっている。具体的には、領域選出部４３は、脂肪領域情報の中から、予め設定された基準となる基準信頼度よりも小さい算出信頼度を有するものを選出する。このような処理を行うことで、信頼度が高い（外乱が少ない）脂肪領域情報を排除して、信頼度が低い（外乱が多い）脂肪領域情報を選出することができる。
　次に、領域選出部４３は、後処理部２２から送られてくる後処理後の画像信号において、先に選出した算出信頼度が基準信頼度よりも低い脂肪領域情報により示される領域を対応注目領域として設定し、設定した対応注目領域の画素の情報を対応注目領域情報として領域加工部４４に送るようになっている。
　領域加工部４４は、領域選出部４３から送られてくる後処理後の画像信号中の対応注目領域情報が示す画素に対して、以下の式（４）～（６）を用いて色変換処理を行うようになっている。
　　ｒ＿ｏｕｔ（ｘ，ｙ）＝ｇａｉｎ×ｒ（ｘ，ｙ）＋（１－ｇａｉｎ）×Ｔ＿ｒ・・（４）
　　ｇ＿ｏｕｔ（ｘ，ｙ）＝ｇａｉｎ×ｇ（ｘ，ｙ）＋（１－ｇａｉｎ）×Ｔ＿ｇ・・（５）
　　ｂ＿ｏｕｔ（ｘ，ｙ）＝ｇａｉｎ×ｂ（ｘ，ｙ）＋（１－ｇａｉｎ）×Ｔ＿ｂ・・（６）
　ここでｒ（ｘ，ｙ），ｇ（ｘ，ｙ），ｂ（ｘ，ｙ）は色変換前の画像信号の座標（ｘ，ｙ）におけるＲ，Ｇ，Ｂチャンネルの信号値であり、ｒ＿ｏｕｔ（ｘ，ｙ），ｇ＿ｏｕｔ（ｘ，ｙ），ｂ＿ｏｕｔ（ｘ，ｙ）は色変換後の画像のＲ，Ｇ，Ｂチャンネルの信号値である。また、Ｔ＿ｒ，Ｔ＿ｇ，Ｔ＿ｂは任意のターゲット色のＲ，Ｇ，Ｂ信号値であり、ｇａｉｎは０～１の任意の係数である。
　この処理により、算出信頼度が基準信頼度よりも低い脂肪領域情報により示される脂肪領域が周辺領域と比較して異なる色に加工される。領域加工部４４は、加工後の画像信号を選択部４２に送るようになっている。なお、領域加工部４４は、例えば、脂肪領域情報の算出信頼度が低い順など、脂肪領域に優先度を付ける加工を施すこととしてもよい。
　選択部４２は、後処理部２２から送られてくる後処理後の画像信号と、加工部４１から送られてくる加工した画像信号のどちらかを選択して画像表示部６に送るようになっている。例えば、脂肪領域情報が検出されない場合は、後処理部２２から送られてきた後処理後の画像信号を表示画像として選択し、脂肪領域情報が検出された場合は、加工部４１から送られてきた加工処理後の画像信号を表示画像として選択する。また、画像信号の加工処理をオン／オフにしたい場合は、外部Ｉ／Ｆ部７から操作者が設定を行い、制御部１８から選択部４２に入力される制御信号に基づいて制御するようにすればよい。
　画像表示部６は、動画表示可能な表示装置であり、例えばＣＲＴや液晶モニター等により構成される。この画像表示部６は、選択部４２から送られてくる画像を表示するようになっている。
　外部Ｉ／Ｆ部７は、内視鏡装置に対する操作者からの入力等を行うためのインターフェースである。外部Ｉ／Ｆ部７は、画像信号加工処理のオン／オフ指示を行うことができる不図示の加工処理ボタンを有し、操作者は外部Ｉ／Ｆ部７から画像信号の加工処理のオン／オフ指示を行うことができる。外部Ｉ／Ｆ部７からの画像信号加工処理のオン／オフ指示信号は、制御部１８に出力される。外部Ｉ／Ｆ部７は、電源のオン／オフを行うための電源スイッチや、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含む。
　このように構成された本実施形態に係る生体観察装置１および画像処理部１７を用いた画像処理方法について、図８および図９のフローチャートを参照して説明する。
　本実施形態に係る生体観察装置１を用いて生体を観察するには、まず、体腔内に挿入部２を挿入して、挿入部２の先端を観察対象部位に対向させる。操作者は外部Ｉ／Ｆ部７の画像信号加工処理のオン／オフ指示信号をオフにし、制御部１８により直動機構１４を作動させて短波長カットフィルタ１３を光軸上から退避させる。
　次いで、図８に示されるように、キセノンランプ１２から発生させた広い波長帯域の白色光をライトガイドケーブル７を介して挿入部２の先端に導光し、各照明光を観察対象部位（被写体）に照射させる（照明光照射ステップＳＡ１）。観察対象部位に照射された白色光は、観察対象部位の表面において反射され後、対物レンズ１０により集光されて撮像素子１１により撮影される（画像信号取得ステップＳＡ２）。
　カラーＣＣＤからなる撮像素子１１は、色毎の透過率を有するカラーフィルタを備えているので、各色に対応する画素により、それぞれ画像信号が取得される。撮像素子１１により取得された画像信号は補間部１６によりデモザイキング処理を施され、３チャンネルの画像信号に変換されて画像処理部１７に送られる。
　画像処理部１７においては、補間部１６から送られてくる画像信号に対して、前処理部２１により、制御部１８に保存されているＯＢクランプ値、ゲイン補正値、ＷＢ係数値を用いたＯＢクランプ処理、ゲイン補正処理、ＷＢ補正処理といった前処理が行われて（前処理ステップＳＡ３）、後処理部２２に送られる。
　次いで、後処理部２２により、前処理部２１から送られてくる前処理後の画像信号に対して、制御部１８に保存されている階調変換係数や色変換係数、輪郭強調係数を用いて、階調変換処理や色処理、輪郭強調処理といった後処理が行われて、画像表示部６に表示する白色光画像が生成される（後処理ステップＳＡ４）。
　続いて、制御部１８により、外部Ｉ／Ｆ部７からの画像信号加工処理のオン／オフ指示信号が判定される（加工処理判定ステップＳＡ５）。画像信号加工処理のオン／オフ指示信号はオフなので、後処理部２２により生成された白色光画像が表示態様設定部２６を介して画像表示部６により表示される（表示ステップＳＡ７）。この観察モードを白色光観察モードという。
　白色光観察モードにおいては、操作者は、画像表示部６に表示される白色光画像により生体組織の形態を観察することができる。白色光画像は、例えば、血管が存在する領域においては、青色Ｂ２および緑色Ｇ２の波長帯域において吸収が存在するので、血管は赤色に表示される。また、脂肪が存在する領域においては、青色Ｂ２において吸収が存在するので、脂肪は黄色に表示される。
　しかしながら、白色光画像では、脂肪組織が極めて薄い場合は、脂肪組織の裏側にある臓器における血管の色が透過し、脂肪組織の存在がわかりにくくなる。例えば、図１０Ａは白色光観察モードにより得られた観察対象部位の画像を示したものであり、全体に明るく、見やすいが、筋膜内に存在する脂肪については視認が困難である。
　そこで、このような場合は、操作者が、外部Ｉ／Ｆ部７から画像信号加工処理のオン／オフ指示信号をオンに切り替えて、制御部１８により直動機構１４を作動させ、キセノンランプ１２からの光の光軸上に短波長カットフィルタ１３を挿入する。
　キセノンランプ１２から発せられた白色光は、短波長カットフィルタ１３を透過することにより４５０ｎｍ以下の波長帯域がカットされ、ライトガイドケーブル７を介して挿入部２の先端から観察対象部位に照射される（照明光照射ステップＳＡ１）。白色光が照射されることにより観察対象部位の表面において反射された反射光は、対物レンズ９によって集光されて撮像素子１１により撮影される（画像信号取得ステップＳＡ２）。
　撮像素子１１の緑色および赤色に対応する画素により取得される画像信号は、白色光観察モードの場合と変わらないが、青色に対応する画素により取得される画像信号は、４５０ｎｍ以下の波長帯域がカットされ、４５０から５００ｎｍに含まれる波長帯域の信号となる。撮像素子１１により取得された画像信号は、補間部１６によりデモザイキング処理が施されて３チャネルの画像信号に変換された後、画像処理部１７に送られる。
　特殊光観察モードにおける青色の４５０から５００ｎｍの波長帯域Ｂ１は、短波長カットフィルタ１３によってカットされた４００から４５０ｎｍの波長帯域Ｂ０と比較して、βカロテンの吸収がヘモグロビンの吸収より大きい波長帯域である。したがって、この波長帯域Ｂ１の光を照射して得られる画像は、波長帯域Ｂ０の光を照射して得られる画像と比べ、血液による吸収の影響が小さく脂肪による吸収の影響が大きい。つまり、脂肪の分布をより反映した画像を得ることができる。
　また、緑色の波長帯域は、βカロテンの吸収が極めて少なく、ヘモグロビンの吸収が大きい波長帯域である。しがたって、緑色の波長帯域の光を照射して得られる画像において輝度が小さい領域は、脂肪の存在に拘わらず血液が存在している領域が示されていることになる。つまり、血液や血管など、ヘモグロビンを多く含む組織であることを明確に表示することができる。
　さらに、赤色の波長帯域は、βカロテンにもヘモグロビンにも吸収が極めて少ない波長帯域である。したがって、赤色の波長帯域の光を照射して得られる画像は、被写体の形状（凹凸、管腔、ヒダ等）に基づく輝度分布が示されていることになる。
　画像処理部１７においては、補間部１６から送られてくる画像信号が前処理部２１により前処理されて（前処理ステップＳＡ３）、後処理部２２、脂肪検出部２３、血液検出部２４に送られる。
　次いで、後処理部２２により、前処理部２１から送られてくる前処理後の画像信号が後処理されて（後処理ステップＳＡ４）、表示態様設定部２６に送られる。
　続いて、制御部１８により、処理脂肪強調処理のオン／オフ指示信号が判定され（加工処理判定ステップＳＡ５）、画像信号加工処理のオン／オフ指示信号がオンなので、画像信号の加工処理が実行される（画像信号加工処理ステップＳＡ６）。
　画像信号の加工処理においては、図９に示されるように、脂肪検出部２３により、前処理部２１から送られてくる青色、緑色および赤色の３種類（３チャンネル）の画像信号に基づき、被写体に含まれるβカロテン量が多いほど高い信号値になる１チャンネルの脂肪画像信号が生成されて（脂肪画像信号生成ステップＳＢ１）、信頼度算出部２５へ送られる。
　また、血液検出部２４により、前処理部２１から送られてくる画像信号の内、緑色および赤色の２種類（２チャンネル）の画像信号に基づき、被写体に含まれるヘモグロビン量が多いほど高い信号値になる１チャンネルの血液画像信号が生成されて（血液画像信号生成ステップＳＢ２）、信頼度算出部２５に送られる。
　次いで、信頼度算出部２５において、局所領域設定部３１および脂肪領域設定部３２により、脂肪検出部２３から送られてくる脂肪画像信号において脂肪領域が設定され、脂肪領域を示す脂肪領域情報が算出される（脂肪領域情報検出ステップＳＢ３）。算出された脂肪領域情報は、ＳＮ比算出部３５および血液分布算出部３６に送られる。そして、ＳＮ算出部３５により、脂肪領域情報のＳＮ比が算出される（ＳＮ比算出ステップＳＢ４）。
　また、局所領域設定部３３および脂肪領域設定部３２により、血液検出部２４から送られてくる血液画像信号において血液領域が設定され、血液領域を示す血液領域情報が算出される（血液領域情報検出ステップＳＢ５）。算出された血液領域情報は、血液分布算出部３６に送られる。そして、血液分布算出部３６により、脂肪領域情報と血液領域情報とに基づいて、脂肪領域における血液領域の占める割合を示す血液分布度信号が算出される（血液分布度信号算出ステップＳＢ６）。
　次いで、脂肪領域信頼度算出部３７により、脂肪領域情報のＳＮ比と血液分布度信号とに基づいて、脂肪領域情報の信頼度が算出され（信頼度算出ステップＳＢ７）、算出された脂肪領域情報の算出信頼度が表示態様設定部２６に送られる。
　表示態様設定部２６では、領域選出部４３により、後処理部２２から送られてくる後処理後の画像信号において、算出信頼度が基準信頼度よりも低い脂肪領域情報により示される対応注目領域が設定され（対応注目領域設定ステップＳＢ８）、対応注目領域の画素を示す対応注目領域情報が領域加工部４４に送られる。
　次いで、領域加工部４４により、後処理部２２から送られてくる後処理後の画像信号中の対応注目領域情報が示す脂肪領域が周辺領域と比較して異なる色に加工される（表示態様加工ステップＳＢ９）。そして、選択部４２により、加工部４１から送られてくる加工処理後の画像信号が表示画像として選択されて、画像表示部６により表示される（図８の表示ステップＳＡ７）。この観察モードを特殊光観察モードという。
　特殊光観察モードにおいて、例えば、図１０Ｂに示すように、後処理部２２により後処理された画像は、図１０Ａに示す白色光観察モードにより得られた画像と比較して脂肪の視認性を高めることができる。しかし、図１０Ｃに示すように、脂肪の視認性は血液等に代表される手術中の外乱により阻害され、脂肪を正確に検出できなくなる場合がある。
　これに対し、本実施形態においては、図１１Ａに示すように、加工部４１により、算出信頼度が基準信頼度よりも低い脂肪領域情報により示される脂肪領域が周辺領域と区別可能な色に加工されて表示されることで、操作者は、血液や外乱の影響により正確に検出できない脂肪領域情報により示される脂肪領域を容易に把握して、その脂肪領域における血液や外乱を取り除くなどの処置を行うことができる。
　なお、脂肪画像信号において脂肪領域情報が検出されなかった場合は、選択部４２により、後処理部２２から送られてきた後処理後の画像信号が表示画像として選択されて画像表示部６に表示される。
　以上説明したように、本実施形態に係る生体観察装置１および画像処理部１７によれば、手術中において、被写体上に血液が存在したり露光量不足、輝点、ミスト、鉗子等の外乱が影響したりして、脂肪検出が阻害されて脂肪領域情報を正確に検出できなくなった場合に、生体組織画像において算出信頼度が基準信頼度よりも低い脂肪領域情報により示される脂肪領域を周辺領域と区別可能な表示態様に加工することで、脂肪検出が阻害されて正確に検出できない脂肪領域を操作者に把握させることができる。これにより、操作者がその脂肪領域における血液や外乱を取り除くなどの処置を行い、神経損傷のリスクを低減することができる。
　本実施形態においては、領域加工部４４が、図１１Ａに示すように、算出信頼度が基準信頼度よりも低い脂肪領域情報により示される脂肪領域を周辺領域と比較して異なる色に加工することとした。これに代えて、例えば、領域加工部４４が、後処理後の画像信号中の対応注目領域情報が示す対応注目領域の境界を構成する全ての画素に対して、以下の式（７）～（９）を用いて色変換処理を行うこととしてもよい。
　　ｒ＿ｏｕｔ（ｘ，ｙ）＝Ｔ＿ｒ・・・・・（７）
　　ｇ＿ｏｕｔ（ｘ，ｙ）＝Ｔ＿ｇ・・・・・（８）
　　ｂ＿ｏｕｔ（ｘ，ｙ）＝Ｔ＿ｂ・・・・・（９）
　このような処理を行うことで、図１１Ｂに示すように、算出信頼度が基準信頼度よりも低い脂肪領域情報により示される脂肪領域を任意の目標色で囲み、周辺領域と比較して区別可能な態様で表示することができる。
　また、領域加工部４４が、後処理後の画像信号中の対応注目領域情報が示す脂肪領域に含まれない周辺領域の画素に対して、以下の式（１０）～（１２）のような輝度変換処理を行ってもよい。
　　ｒ＿ｏｕｔ（ｘ，ｙ）＝ｇａｉｎ×ｒ（ｘ，ｙ）・・・（１０）
　　ｇ＿ｏｕｔ（ｘ，ｙ）＝ｇａｉｎ×ｇ（ｘ，ｙ）・・・（１１）
　　ｂ＿ｏｕｔ（ｘ，ｙ）＝ｇａｉｎ×ｂ（ｘ，ｙ）・・・（１２）
　このような処理を行うことで、図１１Ｃに示すように、算出信頼度が基準信頼度よりも低い脂肪領域情報により示される脂肪領域に含まれない周辺領域を暗くして、脂肪領域を相対的に見やすくすることができる。
　また、本実施形態においては、領域選出部４３が、後処理後の画像信号中の算出信頼度が基準信頼度よりも低い脂肪領域情報により示される脂肪領域を対応注目領域として設定することとしたが、これに代えて、後処理後の画像信号中の算出信頼度が基準信頼度以上の脂肪領域情報により示される脂肪領域を対応注目領域として設定することとしてもよい。
　算出信頼度が基準信頼度以上の脂肪領域情報により示される脂肪領域を加工することで、相対的に信頼度が基準信頼度よりも低い脂肪領域情報により示される脂肪領域の視認性を向上して、血液や外乱の影響により正確に検出できない脂肪領域を術者に把握させることができる。
　また、本実施形態においては、脂肪領域設定部３２が、抽出した局所領域で隣接するものどうしを単に統合することとしたが、これに代えて、脂肪領域設定部３２が、脂肪領域情報が多角形や円形などの任意の形状を示すように脂肪領域情報を設定し直すこととしてもよい。
　例えば、図１２Ａ，１２Ｂは脂肪画像の一例を表したものであり、点線で囲まれた領域１つ１つが局所領域を表している。図１２Ａにおいて、脂肪領域Ａの形状を四角形にしたい場合は、まず脂肪領域Ａに属する局所領域ａ（ｍ，ｎ）の座標と、各局所領域に含まれる画素の情報とから、脂肪領域Ａに含まれる全ての画素の位置を算出する。
　そして、図１２Ｂに示すように、算出した全ての画素の集合に外接する四角形を脂肪領域Ａとして再度設定し、設定した四角形の脂肪領域Ａに含まれる全ての画素の位置を算出して、脂肪領域Ａを示す脂肪領域情報として出力することとしてもよい。
　このようにすることで、脂肪領域Ａを視認し易い形状に設定し直すことができる。
〔第２実施形態〕
　次に、本発明の第２実施形態に係る画像処理部（画像処理装置）とこれを備える生体観察装置および画像処理方法について、図を参照して以下に説明する。
　本実施形態の説明において、上述した第１実施形態に係る画像処理部１７、生体観察装置１および画像処理方法と構成を共通とする箇所には同一符号を付して説明を省略する。
　第１実施形態においては、撮像素子１１としてカラーＣＣＤを採用し、３チャネルの画像信号を同時に取得することとした。本実施形態に係る生体観察装置５０は、これに代えて、図１３に示されるように、撮像素子５１としてモノクロＣＣＤを採用し、短波長カットフィルタ１３および直動機構１４に代えて、キセノンランプ１２から発せられた白色光から所定の波長の光を切り出して時分割で順次通過させるフィルタターレット５２と、フィルタターレット５２を駆動するモータ５３と、フィルタターレット５２をキセノンランプ１２の光軸に交差する方向に移動させる直動機構５４とを備えている。また、信号処理部４が、補間部６に代えて、撮像素子５１により取得された画像信号を観察対象部位に照射した照明光の波長ごとに記憶するメモリ５５を備えている。
　フィルタターレット５２は、例えば、図１４に示されるように、回転中心Ａを中心として半径方向に同心円状に配置された２種類のフィルタ群Ｆ１，Ｆ２を備えている。このフィルタターレット５２は、キセノンランプ１２からの白色光の光軸上にいずれかのフィルタ群Ｆ１，Ｆ２を配置することにより、フィルタ群Ｆ１，Ｆ２によって選択された光を挿入部２側に射出することができるようになっている。
　第１のフィルタ群Ｆ１は、図１５Ｃに示されるように、青色、緑色および赤色の波長帯域の内、青色（Ｂ１：４５０～４８０ｎｍ）、緑色（Ｇ１：５５０～５７０ｎｍ）および赤色（Ｒ１：６２０～６５０ｎｍ）に透過率の高いフィルタＢ１，Ｇ１，Ｒ１を周方向に配列することにより構成されている。
　第２のフィルタ群Ｆ１は、図１５Ｂに示されるように、青色（Ｂ２：４００～４９０ｎｍ）、緑色（Ｇ２：５００～５７０ｎｍ）および赤色（Ｒ２：５９０～６５０ｎｍ）のほぼ連続する波長帯域の光をそれぞれ透過させるフィルタＢ２，Ｇ２，Ｒ２を周方向に配列することにより構成されている。図１５Ａは図２Ａと同じグラフである。
　第１のフィルタ群Ｆ１の青色の波長帯域においては、第２のフィルタ群Ｆ２の青色の波長帯域と比較して、βカロテンによる吸収の方がヘモグロビンによる吸収より大きくなる波長帯域であるため、第１のフィルタ群Ｆ１の青色の波長帯域の光を照射して得られる画像は、血管による吸収の影響が小さく、脂肪組織による吸収が多い。一方、第２のフィルタ群Ｆ２の各フィルタＢ２，Ｇ２，Ｒ２を透過した光の反射光を個別に撮影し、対応する色を付して合成した画像は白色光画像となる。
　また、第１のフィルタ群Ｆ１の緑色Ｇ１の波長帯域においては、βカロテンによる吸収はなく、ヘモグロビンによる吸収が存在する領域であるため、第１のフィルタ群Ｆ１の緑色Ｇ１の波長帯域の光を照射して得られる画像中において強度の低い領域は血液の存在する領域、例えば、血管であることを示すものとなる。
　さらに、第１のフィルタ群Ｆ１の赤色Ｒ１の波長帯域においては、βカロテンおよびヘモグロビンの吸収は共に存在しないので、第１のフィルタ群Ｆ１の赤色Ｒ１の波長帯域の光を照射して得られた画像は、生体組織表面の形態的特徴を表したものとなる。
　画像処理部１７は、メモリ５５に記憶された画像信号に異なる色を付して合成する画像処理を行うようになっている。
　また、制御部１８は、撮像素子５１による撮影タイミングと、フィルタターレット５２の回転と画像処理部１７による画像処理のタイミングとを同期させるようになっている。
　このように構成された本実施形態に係る生体観察装置５０においては、まず、フィルタターレット５２の第２のフィルタ群Ｆ２を、キセノンランプ１２からの光の光軸上に移動して、青色Ｂ２、緑色Ｇ２および赤色Ｒ２の照明光を順次照射し、各照明光を照射したときの観察対象部位における反射光を撮像素子５１で順次撮影する。
　各色の照明光に対応する画像情報はメモリ５５に順次記憶され、青色Ｂ２、緑色Ｇ２および赤色Ｒ２の３種類の照明光に対応する画像情報が取得された時点で、メモリ５５から画像処理部１７に送られる。画像処理部１７においては、前処理部２１および後処理部２２において各画像処理が施されるとともに、後処理部２２において、各画像情報に対して、該画像情報を撮影した際に照射された照明光の色が付与されて合成される。これにより白色光画像が生成され、生成された白色光画像は、表示態様設定部２６を介して画像表示部６に送られて表示される。
　白色光画像においては、例えば、血管が存在する領域においては、青色Ｂ２および緑色Ｇ２の波長帯域において吸収が存在するので、血管は赤色に表示される。また、脂肪が存在する領域においては、青色Ｂ２において吸収が存在するので、脂肪は黄色に表示される。しかしながら、脂肪組織が極めて薄い場合には、脂肪組織の裏側にある臓器における血管の色が透過し、脂肪組織の存在がわかりにくくなる。
　そこで、このような場合には、フィルタターレット５２の第１のフィルタ群Ｆ１を、キセノンランプ１２からの光の光軸上に配置される位置に移動して、青色Ｂ１、緑色Ｇ１および赤色Ｒ１の照明光を順次照射し、各照明光を照射したときの観察対象部位における反射光を撮像素子２７で順次撮影する。
　そして、白色光画像撮影時と同様にして、各色の照明光に対応する画像情報がメモリ５５に順次記憶され、青色Ｂ１、緑色Ｇ１および赤色Ｒ１の３種類の照明光に対応する画像情報が取得された時点で、３チャネルの画像信号が画像処理部１７に送られる。
　画像処理部１７における画像処理は第１の実施形態と同様である。
　このように、モノクロＣＣＤ５１を用いて３チャネルの画像信号を順次取得する方式であっても、カラーＣＣＤ１１を用いて３チャネルの画像信号を同時に取得する方式と同様にして、特殊光観察モードでは、臓器や結合組織等の他の組織の表面に薄く存在する脂肪も際だたせて表示することができる。
　上記実施形態は以下のように変形することができる。
　上記実施形態においては、光源部３が、キセノンランプ１２とフィルタターレット１３とにより、異なる波長帯域の光を順次射出することとした。第１変形例としては、図１６に示されるように、異なる波長帯域の光を射出する複数の発光ダイオード（ＬＥＤ）５６Ａ，５６Ｂ，５６Ｃ，５６Ｄからの光をミラー５７およびダイクロイックミラー５８Ａ，５８Ｂ，５８Ｃによって同一のライトガイドケーブル７に入射可能に配置してもよい。
　図１６に示す例では、４００～４５０ｎｍ、４５０～５００ｎｍ、５２０～５７０ｎｍ、６００～６５０ｎｍの波長帯域の４個の発光ダイオード５６Ａ～５６Ｄを用意している。そして、白色光観察モードでは、図１７Ｂに示されるように、青色の照明光として４００～５００ｎｍの発光ダイオード５６Ａ，５６Ｂの光を使用し、緑色の照明光として５２０～５７０ｎｍの発光ダイオード５６Ｃからの光を使用し、赤色の照明光として６００～６５０ｎｍの発光ダイオード５６Ｄからの光を使用すればよい。一方、特殊光観察モードでは、図１７Ｃに示されるように、青色の照明光として４５０～５００ｎｍの発光ダイオード５６Ｂからの光を使用すればよい。
　この結果、図１の生体観察装置１と同様にして、特殊光観察モードでは臓器の表面に薄く存在する脂肪も際だたせて表示することができる。図１７Ａは図２Ａと同じグラフである。
　第２変形例としては、図１８に示されるように、被写体から戻る反射光を波長帯域毎に分光する色分解プリズム６１と、各波長帯域の光を撮影する３つのモノクロＣＣＤ６２Ａ，６２Ｂ，６２Ｃとを備える３ＣＣＤ方式を採用してもよい。
　色分解プリズム６１は、被写体からの反射光を図１９Ｂに示される透過率特性に従って波長帯域毎に分光するようになっている。図１９Ａは図２Ａと同じグラフである。また、図１９Ｃは図２Ｃと同じグラフである。
　この場合にも、フィルタターレット１３に代えて、直動機構１４によりキセノンランプ１２からの光の光軸上に挿脱可能なフィルタ６３を備えればよい。フィルタ６３は、図１９Ｄに示されるように所望の３つの波長帯域の光を透過させ他の波長帯域の光を遮断するようになっている。
　そして、白色光観察モードではフィルタ６３が光軸上から退避させられ、特殊光観察モードではフィルタ６３が光軸上に挿入されるようになっている。そして、各モノクロＣＣＤ６２Ａ～６２Ｃにより取得された画像は、合成部６４で３チャンネル化されて画像処理部１７に出力される。このようにすることで、図１の生体観察装置１と同様にして、特殊光観察モードでは臓器や結合組織等の他の組織の表面に薄く存在する脂肪も際だたせて表示することができる。
　第３変形例としては、観察倍率を切り替える倍率切替部（図示略）を備えていて、観察倍率が高倍率に切り替えられたときには特殊光観察モードに、低倍率に切り替えられたときには白色光観察モードに切り替えることとしてもよい。高倍率観察時に特殊光観察モードとすることで、他の組織と脂肪との境界を確認しながら精密な処置を行うことができ、低倍率観察時には白色光観察モードとすることで、処置する部位全体の大まかな観察を行うことができる。
　また、上記実施形態においては、信頼度算出部２５が、閾値処理により脂肪画像信号の値が十分に大きい局所領域を抽出して設定した脂肪領域を示す脂肪領域情報の信頼度を算出することとした。第４変形例としては、信頼度算出部２５が、画面全体における脂肪領域を示す脂肪領域情報の信頼度を算出することとしてもよい。
　例えば、画面全体における脂肪領域を示す脂肪領域情報の算出信頼度は、脂肪領域情報毎の算出信頼度の平均値や中間値や最大値を用いればよい。また、表示態様設定部２６が、画面全体における脂肪領域を示す脂肪領域情報の算出信頼度を元にアラートを表示する（報知）加工処理を行うこととしてもよい。例えば、画面全体で脂肪検出の信頼度が低い場合は、信頼度が低いことを術者に知らせるアラートを表示することとしてもよい。
　また、脂肪領域情報の算出信頼度が低い場合は、制御部１８が光源部３の光源設定を白色光に切り替えてもよい。白色光は特殊光に比べて明るいため、特定の波長帯域の照明光の場合と比較して撮像素子１１により明るい画像が得られる。したがって、医師（術者）は血液を洗い流すなどの適切な処置を行うことで、脂肪検出精度を低下させる阻害要因を取り除きやすくなる。白色光に切り替えた場合は、脂肪の視認は困難なため、脂肪検出処理は停止することとすればよい。
　以上、本発明の各実施形態およびその変形例について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明に係る生体観察装置１，５０は、内視鏡に限定されるものではなく、ロボット手術において用いられる生体観察装置等、広く生体を観察する装置に適用することができる。
　１，５０　　生体観察装置
　３　　光源部（照射部）
　６　　画像表示部（表示部）
　９　　撮影光学系（撮像部）
　１７　　画像処理装置（画像処理部）
　１８　　制御部
　２６　　表示態様設定部（表示態様加工部）
　３２　　脂肪領域設定部（脂肪領域情報検出部）
　３４　　血液領域設定部（血液領域情報検出部）
　３７　　脂肪領域信頼度算出部（信頼度算出部）
　ＳＢ３　　脂肪領域情報検出ステップ
　ＳＢ７　　信頼度算出ステップ
　ＳＢ９　　表示態様加工ステップ
 

Claims (9)

  1. 　生体組織画像中における脂肪が存在している脂肪領域を示す脂肪領域情報を検出する脂肪領域情報検出部と、
    　該脂肪領域情報検出部により検出された脂肪領域情報の信頼度を算出する信頼度算出部と、
    　該信頼度算出部により算出された算出信頼度が、基準となる基準信頼度よりも低い前記脂肪領域情報により示される前記脂肪領域を周辺領域と区別可能な表示態様に加工する表示態様加工部とを備える画像処理装置。
  2. 　前記算出信頼度が、前記脂肪領域情報のＳＮ比が大きくなるほど高くなり、該ＳＮ比が小さくなるほど低くなる請求項１に記載の画像処理装置。
  3. 　前記生体組織画像中における血液が存在している血液領域を示す血液領域情報を検出する血液領域情報検出部を備え、
    　前記算出信頼度が、前記脂肪領域情報に対する前記血液領域情報の割合が小さいほど高くなり、該割合が大きいほど低くなる請求項１に記載の画像処理装置。
  4. 　前記表示態様加工部が、前記算出信頼度が前記基準信頼度よりも低い前記脂肪領域情報により示される前記脂肪領域を前記周辺領域と比較して強調表示する請求項１から請求項３のいずれかに記載の画像処理装置。
  5. 　前記表示態様加工部が、前記算出信頼度が前記基準信頼度よりも低い前記脂肪領域情報により示される前記脂肪領域と比較して前記周辺領域を強調表示する請求項１から請求項３のいずれかに記載の画像処理装置。
  6. 　前記表示態様加工部が、前記算出信頼度が前記基準信頼度よりも低い前記脂肪領域情報により示される前記脂肪領域を術者に報知する請求項１から請求項５のいずれかに記載の画像処理装置。
  7. 　生体組織に照明光を照射可能な照射部と、
    　該照射部により照射された前記照明光が前記生体組織において反射された反射光の内、特定の波長帯域の反射光を撮影して前記生体組織画像を取得する撮像部と、
    　該撮像部により取得された前記生体組織画像を処理する請求項１から請求項６のいずれかに記載の画像処理装置と、
    　該画像処理装置により処理された前記生体組織画像を表示する表示部とを備える生体観察装置。
  8. 　前記算出信頼度が前記基準信頼度よりも低い場合に、前記照射部により前記生体組織に照射する照明光として白色光を発生させ、前記生体組織において反射された前記白色光自体の反射光を前記撮像部により撮影させる制御部を備える請求項７に記載の生体観察装置。
  9. 　生体組織画像中における脂肪が存在している脂肪領域を示す脂肪領域情報を検出する脂肪領域情報検出ステップと、
    　該脂肪領域情報検出ステップにより検出された脂肪領域情報の信頼度を算出する信頼度算出ステップと、
    　該信頼度算出ステップにより算出された算出信頼度が前記基準信頼度よりも低い前記脂肪領域情報により示される前記脂肪領域を周辺領域と区別可能な表示態様に加工する表示態様加工ステップとを含む画像処理方法。
PCT/JP2015/060748 2015-04-06 2015-04-06 画像処理装置、生体観察装置および画像処理方法 WO2016162925A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112015006295.5T DE112015006295T5 (de) 2015-04-06 2015-04-06 Bildverarbeitungsvorrichtung, Vorrichtung zur biologischen Beobachtung und Bildverarbeitungsverfahren
JP2017510813A JP6490196B2 (ja) 2015-04-06 2015-04-06 画像処理装置、生体観察装置および画像処理方法
CN201580078515.6A CN107427198B (zh) 2015-04-06 2015-04-06 图像处理装置、活体观察装置和图像处理方法
PCT/JP2015/060748 WO2016162925A1 (ja) 2015-04-06 2015-04-06 画像処理装置、生体観察装置および画像処理方法
US15/723,255 US20180033142A1 (en) 2015-04-06 2017-10-03 Image-processing apparatus, biological observation apparatus, and image-processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/060748 WO2016162925A1 (ja) 2015-04-06 2015-04-06 画像処理装置、生体観察装置および画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/723,255 Continuation US20180033142A1 (en) 2015-04-06 2017-10-03 Image-processing apparatus, biological observation apparatus, and image-processing method

Publications (1)

Publication Number Publication Date
WO2016162925A1 true WO2016162925A1 (ja) 2016-10-13

Family

ID=57072218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/060748 WO2016162925A1 (ja) 2015-04-06 2015-04-06 画像処理装置、生体観察装置および画像処理方法

Country Status (5)

Country Link
US (1) US20180033142A1 (ja)
JP (1) JP6490196B2 (ja)
CN (1) CN107427198B (ja)
DE (1) DE112015006295T5 (ja)
WO (1) WO2016162925A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018235178A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
WO2018235179A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
US20190046020A1 (en) * 2015-10-30 2019-02-14 Sony Corporation Information processing apparatus, information processing method, and endoscope system
WO2019172231A1 (ja) * 2018-03-06 2019-09-12 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
JP2022503556A (ja) * 2018-08-24 2022-01-12 シーエムアール・サージカル・リミテッド 外科用内視鏡ビデオストリームの画像補正
WO2022014258A1 (ja) * 2020-07-17 2022-01-20 富士フイルム株式会社 プロセッサ装置、プロセッサ装置の作動方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6196900B2 (ja) * 2013-12-18 2017-09-13 オリンパス株式会社 内視鏡装置
EP3085301A4 (en) * 2013-12-20 2017-08-23 Olympus Corporation Endoscopic device
CN109752837B (zh) * 2019-02-02 2024-03-29 深圳市艾丽尔特科技有限公司 用于内窥镜的冷光源及采用该冷光源的内窥镜

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013115323A1 (ja) * 2012-01-31 2013-08-08 オリンパス株式会社 生体観察装置
JP2013255697A (ja) * 2012-06-13 2013-12-26 Canon Inc 被検体情報取得装置およびその制御方法
JP2014023628A (ja) * 2012-07-25 2014-02-06 Olympus Corp 蛍光観察装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5512940A (en) * 1993-03-19 1996-04-30 Olympus Optical Co., Ltd. Image processing apparatus, endoscope image sensing and processing apparatus, and image processing method for performing different displays depending upon subject quantity
US6293911B1 (en) * 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
US7179222B2 (en) * 1996-11-20 2007-02-20 Olympus Corporation Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
US5974338A (en) * 1997-04-15 1999-10-26 Toa Medical Electronics Co., Ltd. Non-invasive blood analyzer
US6983063B1 (en) * 2000-06-29 2006-01-03 Siemens Corporate Research, Inc. Computer-aided diagnosis method for aiding diagnosis of three dimensional digital image data
US7072501B2 (en) * 2000-11-22 2006-07-04 R2 Technology, Inc. Graphical user interface for display of anatomical information
US6961454B2 (en) * 2001-10-04 2005-11-01 Siemens Corporation Research, Inc. System and method for segmenting the left ventricle in a cardiac MR image
WO2003039350A2 (en) * 2001-11-09 2003-05-15 Cardio-Optics, Inc. Direct, real-time imaging guidance of cardiac catheterization
AU2002348241A1 (en) * 2001-11-24 2003-06-10 Image Analysis, Inc. Automatic detection and quantification of coronary and aortic calcium
IL162420A0 (en) * 2001-12-11 2005-11-20 C2Cure Inc Apparatus, method and system for intravascular ph otographic imaging
AU2003225508A1 (en) * 2002-05-17 2003-12-02 Pfizer Products Inc. Apparatus and method for statistical image analysis
EP1643906A2 (en) * 2003-06-12 2006-04-12 University of Utah Research Foundation Apparatus, systems and methods for diagnosing carpal tunnel syndrome
US8280482B2 (en) * 2004-04-19 2012-10-02 New York University Method and apparatus for evaluating regional changes in three-dimensional tomographic images
US7530947B2 (en) * 2004-05-28 2009-05-12 Olympus Corporation Lesion portion determining method of infrared observing system
US20070027362A1 (en) * 2005-07-27 2007-02-01 Olympus Medical Systems Corp. Infrared observation system
WO2008144766A1 (en) * 2007-05-21 2008-11-27 Board Of Regents, The University Of Texas System Porcine biliary tract imaging
WO2008154578A1 (en) * 2007-06-11 2008-12-18 Board Of Regents, The University Of Texas System Characterization of a near-infrared laparoscopic hyperspectral imaging system
JP2009153621A (ja) * 2007-12-25 2009-07-16 Olympus Corp 生体観察装置および内視鏡装置
JP5250342B2 (ja) * 2008-08-26 2013-07-31 富士フイルム株式会社 画像処理装置およびプログラム
JP2012531996A (ja) * 2009-07-06 2012-12-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 生理学的パラメータの視覚化
JP2011131002A (ja) * 2009-12-25 2011-07-07 Fujifilm Corp 蛍光画像撮像装置
US8750615B2 (en) * 2010-08-02 2014-06-10 Case Western Reserve University Segmentation and quantification for intravascular optical coherence tomography images
JP5492030B2 (ja) * 2010-08-31 2014-05-14 富士フイルム株式会社 画像撮像表示装置およびその作動方法
US9345389B2 (en) * 2010-11-12 2016-05-24 Emory University Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
US10292676B2 (en) * 2011-12-21 2019-05-21 Volcano Corporaton Method for visualizing blood and blood-likelihood in vascualar images
US10143450B2 (en) * 2012-11-02 2018-12-04 Koninklijke Philips N.V. System with photonic biopsy device for obtaining pathological information
US8977331B2 (en) * 2012-12-13 2015-03-10 General Electric Company Systems and methods for nerve imaging
US20140276014A1 (en) * 2013-03-13 2014-09-18 Cephalogics, LLC Supports for optical sensors and related apparatus and methods
JP5988907B2 (ja) * 2013-03-27 2016-09-07 オリンパス株式会社 内視鏡システム
EP3603483A4 (en) * 2017-03-30 2020-04-22 FUJIFILM Corporation ENDOSCOPIC SYSTEM AND METHOD FOR THE OPERATION THEREOF

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013115323A1 (ja) * 2012-01-31 2013-08-08 オリンパス株式会社 生体観察装置
JP2013255697A (ja) * 2012-06-13 2013-12-26 Canon Inc 被検体情報取得装置およびその制御方法
JP2014023628A (ja) * 2012-07-25 2014-02-06 Olympus Corp 蛍光観察装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190046020A1 (en) * 2015-10-30 2019-02-14 Sony Corporation Information processing apparatus, information processing method, and endoscope system
US10722106B2 (en) * 2015-10-30 2020-07-28 Sony Corporation Information processing apparatus, information processing method, and endoscope system for processing images based on surgical scenes
US11744440B2 (en) 2015-10-30 2023-09-05 Sony Corporation Information processing apparatus, information processing method, and endoscope system for processing images based on surgical scenes
CN110769738B (zh) * 2017-06-21 2022-03-08 奥林巴斯株式会社 图像处理装置、内窥镜装置、图像处理装置的工作方法及计算机可读存储介质
WO2018235179A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
WO2018235178A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
CN110769738A (zh) * 2017-06-21 2020-02-07 奥林巴斯株式会社 图像处理装置、内窥镜装置、图像处理装置的工作方法及图像处理程序
WO2019172231A1 (ja) * 2018-03-06 2019-09-12 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
US11386558B2 (en) 2018-03-06 2022-07-12 Fujifilm Corporation Medical image processing system and endoscope system
JPWO2019172231A1 (ja) * 2018-03-06 2021-02-12 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
JP2022503556A (ja) * 2018-08-24 2022-01-12 シーエムアール・サージカル・リミテッド 外科用内視鏡ビデオストリームの画像補正
US11771302B2 (en) 2018-08-24 2023-10-03 Cmr Surgical Limited Image correction of a surgical endoscope video stream
JP7471275B2 (ja) 2018-08-24 2024-04-19 シーエムアール・サージカル・リミテッド 外科用内視鏡ビデオストリームの画像補正
WO2022014258A1 (ja) * 2020-07-17 2022-01-20 富士フイルム株式会社 プロセッサ装置、プロセッサ装置の作動方法

Also Published As

Publication number Publication date
US20180033142A1 (en) 2018-02-01
JPWO2016162925A1 (ja) 2018-02-08
CN107427198B (zh) 2019-05-07
DE112015006295T5 (de) 2017-11-30
CN107427198A (zh) 2017-12-01
JP6490196B2 (ja) 2019-03-27

Similar Documents

Publication Publication Date Title
WO2016162925A1 (ja) 画像処理装置、生体観察装置および画像処理方法
JP6057921B2 (ja) 生体観察装置
JP6092792B2 (ja) 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法
WO2017057574A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
EP2384686B1 (en) Fluorescence image device and operation method
US10426318B2 (en) Image processing apparatus, endoscope system, and image processing method
JP2019081044A (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP2015029841A (ja) 撮像装置および撮像方法
JP6581984B2 (ja) 内視鏡システム
WO2017057573A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
US10856805B2 (en) Image processing device, living-body observation device, and image processing method
EP2767209B1 (en) Endoscope system and image generation method
US9788709B2 (en) Endoscope system and image generation method to generate images associated with irregularities of a subject
JP2004024656A (ja) 蛍光内視鏡装置
JP6203088B2 (ja) 生体観察システム
EP3590402A1 (en) Endoscope system, processor device, and endoscope system operation method
JP5649947B2 (ja) 光計測システムおよび光計測システムの作動方法
JP6017669B2 (ja) 画像処理装置及び内視鏡システムの作動方法
JP6054806B2 (ja) 画像処理装置及び内視鏡システムの作動方法
WO2018061620A1 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
WO2016151675A1 (ja) 生体観察装置および生体観察方法
JP2015039503A (ja) 内視鏡システム及び作動方法
JP3881143B2 (ja) 蛍光表示方法および装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15888420

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017510813

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112015006295

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15888420

Country of ref document: EP

Kind code of ref document: A1