WO2012114600A1 - 医用画像処理装置及び医用画像処理方法 - Google Patents

医用画像処理装置及び医用画像処理方法 Download PDF

Info

Publication number
WO2012114600A1
WO2012114600A1 PCT/JP2011/078141 JP2011078141W WO2012114600A1 WO 2012114600 A1 WO2012114600 A1 WO 2012114600A1 JP 2011078141 W JP2011078141 W JP 2011078141W WO 2012114600 A1 WO2012114600 A1 WO 2012114600A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
feature amount
color tone
evaluation value
linear structure
Prior art date
Application number
PCT/JP2011/078141
Other languages
English (en)
French (fr)
Inventor
田中 健一
博一 西村
佐和子 柴田
徹緒 野波
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to JP2012538536A priority Critical patent/JP5276225B2/ja
Priority to CN201180065521.XA priority patent/CN103327883B/zh
Priority to EP11859300.3A priority patent/EP2679142B1/en
Priority to US13/591,289 priority patent/US8639002B2/en
Publication of WO2012114600A1 publication Critical patent/WO2012114600A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to a medical image processing apparatus and a medical image processing method, and more particularly to a medical image processing apparatus and a medical image processing method for processing an image obtained by imaging a living tissue in a body cavity.
  • Endoscope systems that are configured to include an endoscope and a medical image processing apparatus have been widely used.
  • the endoscope system is imaged by, for example, an insertion portion that is inserted into a body cavity of a subject, an objective optical system that is disposed at a distal end portion of the insertion portion, and the objective optical system.
  • An endoscope configured to include an imaging unit that images a subject in a body cavity and outputs it as an imaging signal, and for displaying an image of the subject on a monitor as a display unit based on the imaging signal
  • a medical image processing apparatus that performs processing.
  • Kenji Yao et al. “Presence and boundary diagnosis of early gastric cancer by microvascular structure image”, Gastrointestinal endoscope Vol. 17 No. 12, the structure of microvessels or pits (gland openings) in the surface layer of the mucous membrane in the body cavity based on image data obtained by imaging the subject with an endoscope or the like, as in pp2093-2100 (2005) Research on a technology called CAD (Computer Aided Diagnosis) or Computer Aided Detection, which can assist in finding and diagnosing lesions by extracting a region to be extracted and presenting the extraction result of the region, has recently been advanced.
  • CAD Computer Aided Diagnosis
  • Computer Aided Detection which can assist in finding and diagnosing lesions by extracting a region to be extracted and presenting the extraction result of the region, has recently been advanced.
  • Toshiaki Nakagawa et al. “Automatic recognition of optic nerve head using blood vessel erased image for fundus image diagnosis support system and application to pseudo-stereoscopic image”, IEICE Journal. D Vol. J89-D No. 11, pp. 2491-2501 (2006) extracts a blood vessel candidate region as a region where a blood vessel can exist based on image data obtained by imaging a subject with an endoscope or the like, and further extracts the blood vessel candidate region.
  • a technique for obtaining a detection result of a blood vessel region as a region that can be considered that a blood vessel actually exists by performing correction processing such as expansion or reduction of the region is disclosed.
  • hemoglobin in erythrocytes has strong absorption characteristics in the G (green) light band among the wavelength bands constituting RGB light. Therefore, for example, in the image data obtained when the subject including a blood vessel is irradiated with RGB light, the density value of G (green) in the region where the blood vessel exists is G ( It tends to be relatively lower than the density value of green.
  • a technique for extracting a blood vessel candidate region by applying a bandpass filter to image data obtained by imaging a subject with an endoscope or the like is known. It has been.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to provide a medical image processing apparatus and a medical image processing method capable of accurately detecting blood vessels included in an image.
  • the medical image processing apparatus includes a pixel selection unit that selects a pixel of interest from an image obtained by imaging a biological tissue, and color tone information of a pixel group that exists in a predetermined range including the pixel of interest And a feature amount calculation unit that calculates one or more feature amounts of the target pixel based on the color tone information, and an evaluation value of the target pixel based on each feature amount calculated by the feature amount calculation unit
  • a linear structure detection unit that detects a region where the linear structure exists in the image based on a determination result of the value determination unit, and the feature amount calculation unit is continuous with the target pixel and the target pixel.
  • the linear structure is obtained based on the result of applying the filter designed to match the linear structure to the target pixel and the color information acquired in the plurality of pixels while acquiring the color information.
  • the feature amount of the pixel of interest is calculated in accordance with the change in color tone.
  • the medical image processing method includes a pixel selection step of selecting a target pixel from an image obtained by imaging a biological tissue, and color tone information of a pixel group existing in a predetermined range including the target pixel And a feature amount calculation step of calculating one or more feature amounts of the target pixel based on the color tone information, and an evaluation value of the target pixel based on each feature amount calculated by the feature amount calculation step
  • a linear structure detecting step for detecting a region where the linear structure exists in the image based on a determination result of the value determining step, and the feature amount calculating step includes
  • the tone information is acquired for each pixel of a pixel and a plurality of pixels continuous to the pixel of interest, and a filter designed to fit the linear structure is acquired in the pixel of interest and the
  • 6 is a flowchart illustrating an example of processing performed by the medical image processing apparatus according to the present exemplary embodiment.
  • FIG. 1 is a diagram illustrating a configuration of a main part of a medical system including a medical image processing apparatus according to an embodiment of the present invention.
  • the medical system 1 includes a medical observation apparatus 2 that images a biological tissue as a subject in a body cavity and outputs a video signal, a personal computer, and the like, and is output from the medical observation apparatus 2.
  • a medical image processing device 3 that performs image processing on the video signal and outputs the video signal after the image processing as an image signal, and displays an image based on the image signal output from the medical image processing device 3
  • a monitor 4 to be configured.
  • the medical observation apparatus 2 is inserted into a body cavity, and images an object in the body cavity and outputs it as an imaging signal, and an object for illuminating the object imaged by the endoscope 6
  • Various controls are performed on the light source device 7 that supplies illumination light (for example, RGB light) and the endoscope 6, and a video signal is generated by performing signal processing on the imaging signal output from the endoscope 6.
  • the endoscope 6 as a medical imaging apparatus includes an insertion portion 11 that is inserted into a body cavity and an operation portion 12 that is provided on the proximal end side of the insertion portion 11.
  • a light guide 13 for transmitting illumination light supplied from the light source device 7 is inserted into the insertion portion 11 from the proximal end side to the distal end portion 14 on the distal end side.
  • the light guide 13 is configured such that the distal end side is disposed at the distal end portion 14 of the endoscope 6 and the rear end side is connectable to the light source device 7. And according to such a structure, after the illumination light supplied from the light source device 7 is transmitted by the light guide 13, the illumination window (not shown) provided in the front-end
  • an objective optical system 16 attached to an observation window (not shown) arranged at a position adjacent to the above-described illumination window, and an imaging position of the objective optical system 16 are arranged.
  • An image pickup unit 17 having an image pickup element 15 made of a CCD or the like is provided.
  • the image sensor 15 is connected to the CCU 8 through a signal line.
  • the image sensor 15 is driven based on the drive signal output from the CCU 8 and outputs an image signal obtained by imaging the subject imaged by the objective optical system 16 to the CCU 8.
  • the imaging signal input to the CCU 8 is converted into a video signal by being subjected to signal processing in a signal processing circuit (not shown) provided in the CCU 8 and output.
  • the video signal output from the CCU 8 is input to the monitor 9 and the medical image processing apparatus 3. As a result, an image of the subject based on the video signal output from the CCU 8 is displayed on the monitor 9.
  • the medical image processing apparatus 3 includes an image input unit 21 that performs processing such as A / D conversion on the video signal output from the medical observation apparatus 2 to generate image data, a CPU, and the like.
  • An arithmetic processing unit 22 that performs various processes on image data and the like output from the unit 21, a program storage unit 23 that stores a program (and software) related to processing executed in the arithmetic processing unit 22, and the like.
  • An image storage unit 24 that can store image data output from the image input unit 21 and an information storage unit 25 that can temporarily store the processing result of the arithmetic processing unit 22 are provided.
  • the medical image processing apparatus 3 includes a storage device interface 26 connected to a data bus 30 (to be described later), a hard disk 27 capable of storing the processing results of the arithmetic processing unit 22 output via the storage device interface 26, A display processing unit 28 that generates and outputs an image signal for displaying an image of the processing result of the arithmetic processing unit 22 on the monitor 4 and an input device such as a keyboard are provided. And an input operation unit 29 capable of inputting parameters, operation instructions for the medical image processing apparatus 3, and the like.
  • the image input unit 21, the arithmetic processing unit 22, the program storage unit 23, the image storage unit 24, the information storage unit 25, the storage device interface 26, the display processing unit 28, and the input operation unit 29 of the medical image processing apparatus 3 are Are connected to each other via a data bus 30.
  • FIG. 2 is a diagram illustrating an example of a configuration of an arithmetic processing unit included in the medical image processing apparatus according to the present embodiment.
  • the arithmetic processing unit 22 includes a preprocessing unit 221 and a blood vessel flag setting unit 222 corresponding to functions realized by executing a program or software stored in the program storage unit 23.
  • FIG. 3 is a diagram illustrating an example of a configuration of an evaluation value calculation unit included in the arithmetic processing unit of the present embodiment.
  • the evaluation value calculation unit 224 of the arithmetic processing unit 22 includes a first feature amount calculation unit 224a corresponding to a function realized by execution of a program or software, and a second feature.
  • An amount calculating unit 224b, a third feature amount calculating unit 224c, a fourth feature amount calculating unit 224d, and a noise removing unit 224e are configured. The function of each unit of the arithmetic processing unit 22 will be described later.
  • the user inserts the insertion part 11 until the distal end part 14 reaches the inside of the stomach of the subject, for example.
  • a subject inside the stomach illuminated by illumination light (RGB light) emitted from the distal end portion 14 is imaged by the imaging unit 17, and an imaging signal corresponding to the photographed subject is output to the CCU 8.
  • illumination light RGB light
  • the CCU 8 performs signal processing on the imaging signal output from the imaging element 15 of the imaging unit 17 in a signal processing circuit (not shown), thereby converting the imaging signal into a video signal and medical image processing apparatus 3. And output to the monitor 9.
  • the monitor 9 displays an image of the subject imaged by the imaging unit 17 based on the video signal output from the CCU 8.
  • FIG. 4 is a flowchart showing an example of processing performed by the medical image processing apparatus of this embodiment.
  • the image input unit 21 of the medical image processing apparatus 3 generates image data by performing processing such as A / D conversion on the input video signal, and outputs the generated image data to the arithmetic processing unit 22.
  • the B (blue) component has 8-bit gradation (256 gradations).
  • the pre-processing unit 221 of the arithmetic processing unit 22 performs pre-processing such as de-gamma processing and noise removal processing using a median filter on the image data input from the image input unit 21 (step S2 in FIG. 4).
  • the blood vessel flag setting unit 222 of the arithmetic processing unit 22 performs initial setting of a blood vessel candidate region as a region where a blood vessel can exist in the image data preprocessed by the preprocessing unit 221 (step S3 in FIG. 4). . Specifically, the blood vessel flag setting unit 222 sets the flag of the blood vessel candidate region in the initial state to either on or off for each pixel included in the image data preprocessed by the preprocessing unit 221. To do.
  • the blood vessel flag setting unit 222 may be configured to uniformly turn on or off the flags of all pixels in the image data in the above-described initial setting. The on / off of the flag of each pixel may be determined at random, or the on / off of the flag may be determined according to the result of the threshold processing for the feature amount related to the color tone of each pixel in the image data. Also good.
  • the pixel selection unit 223 of the arithmetic processing unit 22 selects a target pixel P (i, j) at the pixel position (i, j) from each pixel in the image data (step S4 in FIG. 4).
  • a target pixel P (i, j) at the pixel position (i, j) from each pixel in the image data (step S4 in FIG. 4).
  • the pixel selection unit 223 may select the target pixel P (i, j) while scanning pixel by pixel from the upper left pixel to the lower right pixel of the image data, or each pixel in the image data
  • the pixel of interest P (i, j) may be randomly selected from the pixels.
  • the evaluation value calculation unit 224 of the calculation processing unit 22 performs the calculation using the following mathematical formula (1), whereby the evaluation value V (i, j) of the target pixel P (i, j) selected in step S4 of FIG. j) is calculated (step S5 in FIG. 4).
  • Equation (1) the values of w1, w2, w3, w4, and w5 on the right side of Equation (1) are the weights set for the terms f sv , f d , f w , f GR , and f n , respectively.
  • it is a coefficient.
  • the first feature value calculator 224a of the evaluation value calculator 224 calculates the feature value f sv of the target pixel P (i, j) selected in step S4 of FIG.
  • the first feature amount calculation unit 224a calculates a value obtained by dividing the G component pixel value from the R component pixel value (hereinafter referred to as a G / R value) for each pixel in the image data. To calculate.
  • the first feature amount calculation unit 224a includes the G / R value (color tone information) of the pixel of interest P (i, j) among the G / R value calculation results corresponding to the color tone information of each pixel in the image data. ), The horizontal direction, the vertical direction, the first diagonal direction (45 ° and 225 ° direction), and the second diagonal direction (135 ° and 315 ° direction) around the pixel of interest P (i, j).
  • One-dimensional filters F1, F2, and F3 having filter coefficients exemplified below are respectively applied to G / R values (tone information) of a predetermined number of pixels that are continuous (linearly) in each direction.
  • the one-dimensional filter F1 is a matched filter designed to suitably detect a blood vessel having a width of 5 pixels when applied to a G / R value calculation result, and has 9 pixels. Minute filter coefficients. That is, the first feature amount calculation unit 224a includes nine pixels including the target pixel P (i, j) and four pixels that are continuous in both directions (both sides) with the target pixel P (i, j) as the center. By performing a product-sum operation on the G / R value and each filter coefficient of the one-dimensional filter F1 in each of the above-described directions, there are four pixels that can determine the presence or absence of a blood vessel having a width of five pixels. Get the output value.
  • the one-dimensional filter F2 is a matched filter designed to suitably detect a blood vessel having a width of 7 pixels when applied to a G / R value calculation result, It has a filter coefficient for 11 pixels. That is, the first feature amount calculation unit 224a includes G for 11 pixels including the target pixel P (i, j) and five pixels continuous in both directions (both sides) with the center of the target pixel P (i, j). 4 outputs that can determine the presence / absence of a blood vessel having a width of 7 pixels by performing a sum-of-products operation of the / R value and each filter coefficient of the one-dimensional filter F2 in each direction described above. Get the value.
  • the one-dimensional filter F3 is a matched filter designed to suitably detect a blood vessel having a width of 9 pixels when applied to a G / R value calculation result, It has a filter coefficient for 15 pixels. That is, the first feature amount calculation unit 224a includes 15 pixels including the pixel of interest P (i, j) and 7 pixels that are continuous in both directions (both sides) with the pixel of interest P (i, j) as the center. By performing a product-sum operation on the G / R value and each filter coefficient of the one-dimensional filter F3 in each of the above-described directions, it is possible to determine whether or not there is a blood vessel having a width of 9 pixels. Get the output value.
  • hemoglobin in erythrocytes has strong absorption characteristics in the G (green) light band among the wavelength bands constituting RGB light. Therefore, for example, in image data obtained when RGB light is irradiated to a subject including blood vessels, the density value of the G component in the region where the blood vessel exists is changed to the concentration value of the G component in the region where the blood vessel does not exist. It tends to be relatively low. And when the fluctuation
  • the one-dimensional filters F1 to F3 are designed to have a filter coefficient that takes into account the variation of the density value of the G component as illustrated in FIG. 5, and to the calculation result of the G / R value.
  • the blood vessel is designed so that a blood vessel having a predetermined number of pixels can be detected without substantially depending on the imaging condition (the amount of illumination light, etc.).
  • the G / R value is not limited to the color tone information, and for example, the G value (G component pixel value), G / (R + G + B) value (from the G component pixel value to the R component). , A value obtained by dividing the sum of the pixel values of the G component and the B component), or other values such as a luminance value may be used as the color tone information.
  • the first feature amount calculation unit 224a determines the largest output value among the total 12 output values obtained by the calculation using the one-dimensional filters F1, F2, and F3 as described above as the target pixel P (i , J) is the feature quantity f sv .
  • the first feature amount calculation unit 224a sets the direction orthogonal to the filter application direction when the feature amount f sv of the target pixel P (i, j) is obtained, to the blood vessel travel of the target pixel P (i, j). Stored as direction information regarding the direction.
  • the first feature amount calculation unit 224a obtains information on the number of pixels of the width of the blood vessel to be detected by the filter when the feature amount f sv of the target pixel P (i, j) is obtained. i, j) is stored as width information regarding the blood vessel width.
  • the first feature amount calculation unit 224a of the present embodiment obtains the feature amount f sv of the pixel of interest P (i, j) using the output values of the one-dimensional filters F1, F2, and F3 as described above.
  • the feature value f sv of the pixel of interest P (i, j) may be obtained by using an output value of a Gabor filter or the like designed to match a blood vessel.
  • the second feature quantity calculation unit 224b of the evaluation value calculation unit 224 includes direction information regarding the blood vessel running direction of the target pixel P (i, j) selected in step S4 in FIG. 4 and the target pixel P (i, j). Based on the direction information regarding the blood vessel traveling direction of the neighboring pixel P (x, y), the feature amount f d related to the constraint condition of the blood vessel traveling direction is calculated.
  • the case of 8 neighboring pixels P (x, y) that is, the case of i ⁇ 1 ⁇ x ⁇ i + 1 and j ⁇ 1 ⁇ y ⁇ j + 1 is taken as an example.
  • the second feature amount calculation unit 224b applies, for example, the above-described one-dimensional filters F1 to F3 to the calculation result of the G / R value (tone information) in the neighboring pixel P (x, y). Any one of the left and right directions around the neighboring pixel P (x, y), the vertical direction, the first diagonal direction (45 ° and 225 ° direction), and the second diagonal direction (135 °).
  • the filter application direction when calculating the feature value f sv1 of the neighboring pixel P (x, y) is the above-described left-right direction, vertical It may be increased or decreased from each direction of the direction, the first diagonal direction (45 ° and 225 ° direction), and the second diagonal direction (135 ° and 315 ° direction).
  • the second feature quantity calculation unit 224b uses any one of the one-dimensional filters F1 to F3 described above when calculating the feature quantity f sv1 in the neighboring pixel P (x, y). For example, a band-pass filter designed to fit a blood vessel may be used.
  • the second feature amount calculation unit 224b applies the feature amount f sv1 in the neighboring pixel P (x, y) to the following formula (2), so that the target pixel P (i, j) and the neighboring pixel P ( A constraint value value_d (x, y) with respect to the direction between x and y) is calculated.
  • the second feature amount calculation unit 224b for example, the neighboring pixel P (x, y) based on the direction information regarding the blood vessel running direction of the target pixel P (i, j) and the neighboring pixel P (x, y). And the target pixel P (i, j) is positioned in the extending direction with respect to the direction of the direction information of the neighboring pixel P (x, y), and the target pixel P (i, If the direction of the direction information of j) matches the direction of the direction information of the neighboring pixel P (x, y), the value of weight1 in the above equation (2) is set to 0.2.
  • the second feature amount calculation unit 224b for example, in the neighboring pixel P (x, y) based on the direction information regarding the blood vessel running direction of the target pixel P (i, j) and the neighboring pixel P (x, y).
  • the flag of the blood vessel candidate region is on, the pixel of interest P (i, j) is located in the extending direction with respect to the direction of the direction information of the neighboring pixel P (x, y), and the pixel of interest P (i, j )
  • Direction information direction and the direction information direction of neighboring pixels P (x, y) are orthogonal to each other, the value of weight1 in the above equation (2) is set to ⁇ 0.2.
  • weight1 in the above formula (2) is not limited to the value set as described above, and may be set to another value.
  • the second feature quantity calculation unit 224b performs the following mathematical expression (3) based on the calculation result of the constraint value value_d (x, y), and thereby the feature quantity f of the target pixel P (i, j). d is calculated.
  • the constraint value value_d (x, y) of each neighboring pixel P (x, y) is all 0 due to, for example, the flag of the blood vessel candidate region of each neighboring pixel P (x, y) being off.
  • the second feature amount calculation unit 224b does not perform the calculation of Formula (3), and the target pixel P
  • the value of the feature quantity f d of (i, j) is set to 0.
  • the feature amount f d of the pixels interruption of blood vessels due to light and the like of tones it is estimated to be occurring is compared with the feature amount f d of other pixels relative Large value. Therefore, according to the feature amount f d described above, it is possible to extract a region that is estimated to have a blood vessel interruption in the image data as a blood vessel candidate region.
  • the third feature amount calculation unit 224c of the evaluation value calculation unit 224 includes width information regarding the blood vessel width of the target pixel P (i, j) selected in step S4 in FIG. 4 and the target pixel P (i, j). Based on the width information related to the blood vessel width of the neighboring pixel P (x, y), the feature quantity f w related to the constraint condition of the blood vessel width is calculated.
  • the third feature amount calculation unit 224c applies, for example, the above-described one-dimensional filters F1 to F3 to the calculation result of the G / R value (tone information) in the neighboring pixel P (x, y).
  • the neighboring pixel P (x, y) as the center, each of the horizontal direction, the vertical direction, the first diagonal direction (45 ° and 225 ° direction), and the second diagonal direction (135 ° and 315 ° direction).
  • the third feature quantity calculation unit 224c is not limited to the one using the above-described one-dimensional filters F1 to F3 when calculating the feature quantity f sv2 in the neighboring pixel P (x, y), and is a detection target.
  • a plurality of bandpass filters configured for each number of pixels of the blood vessel width may be used.
  • the third feature quantity calculation unit 224c applies the feature quantity f sv2 in the neighboring pixel P (x, y) to the following formula (4), so that the target pixel P (i, j) and the neighboring pixel P ( The constraint value value_w (x, y) related to the width between x and y) is calculated.
  • the third feature amount calculation unit 224c based on the width information regarding the blood vessel width of the target pixel P (i, j) and the neighboring pixel P (x, y), the third feature amount calculation unit 224c, for example, in the neighboring pixel P (x, y). From the number of pixels of the width of the blood vessel included in the width information of the target pixel P (i, j), the flag of the blood vessel candidate region is on, and the blood vessel candidate included in the width information of the neighboring pixel P (x, y) When the absolute value of the subtraction result obtained by subtracting the number of pixels of width is larger than 2, the value of weight2 in the above equation (4) is set to ⁇ 0.2.
  • the third feature amount calculation unit 224c based on the width information related to the blood vessel width of the target pixel P (i, j) and the neighboring pixel P (x, y), does not meet the above-described conditions.
  • a calculation result of constraint value value_w (x, y) 0 is obtained.
  • weight2 in the above formula (4) is not limited to the value set as described above, and may be set to another value.
  • the third feature quantity calculation unit 224c performs the calculation of the following formula (5) based on the calculation result of the constraint value value_w (x, y), and thereby the feature quantity f of the target pixel P (i, j). Calculate w .
  • the constraint value value_w (x, y) of each neighboring pixel P (x, y) is all 0 due to the flag of the blood vessel candidate region of each neighboring pixel P (x, y) being off.
  • the third feature amount calculation unit 224c does not perform the calculation in the above formula (5) and does not perform the calculation of the target pixel P.
  • the value of the feature f w of set to zero is the value of the feature f w of set to zero.
  • feature value f w is relatively small value as compared with the feature amount f d of the other pixels It becomes. Therefore, according to the feature value f w described above, it is possible to exclude from the blood vessel candidate region an area where it is estimated that an unnatural fluctuation in blood vessel width occurs in the image data.
  • the fourth feature amount calculation unit 224d of the evaluation value calculation unit 224 performs the color tone of the target pixel P (i, j) selected in step S4 in FIG. 4 and the color tone of the peripheral pixels of the target pixel P (i, j).
  • the feature amount f GR relating to the constraint condition of the color tone is calculated based on the color tone information indicating the correlation between the color tone and the color tone.
  • the fourth feature amount calculation unit 224d calculates the G / R values (tone information) of all the pixels included in the 51 ⁇ 51 size rectangular area centered on the target pixel P (i, j). Further, the average value GRAvg (i, j) of each G / R value is calculated.
  • the region used for calculating the average value GRAvg (i, j) is not limited to a rectangular region having a size of 51 ⁇ 51, but may be a region having another size and / or shape.
  • the fourth feature amount calculation unit 224d calculates an average value GRAvg (i, j) by extracting only a pixel group having a high possibility that a blood vessel actually exists from a predetermined region in the image data. You may do. Specifically, the fourth feature quantity calculation unit 224d determines, for example, 51 ⁇ 51 pixel groups in which the value of the feature quantity f sv is equal to or greater than a predetermined value based on the calculation result of the first feature quantity calculation unit 224a. The average value GRAvg (i, j) may be calculated based on the G / R value of each pixel belonging to the extracted pixel group.
  • the fourth feature amount calculation unit 224d calculates GR (i, j) that is the G / R value of the pixel of interest P (i, j) and the above-described average value GRAvg (i, j), Is applied to the following formula (6) to calculate the feature value f GR .
  • weight3 in the mathematical formula (6) is a constant set to an arbitrary numerical value such as 10.0, for example.
  • the fourth feature amount calculation unit 224d uses a value obtained by adding or subtracting the standard deviation to the average value GRAvg (i, j) as the above formula (6) instead of the average value GRAvg (i, j). ) To calculate the feature value f GR .
  • the value of the feature value f GR of a pixel having a high possibility that a blood vessel actually exists is a positive value, while the pixel having a low possibility of actually having a blood vessel is present.
  • the value of the feature value f GR is negative. Therefore, according to the feature amount f GR described above, it is possible to extract a region estimated to have a blood vessel branch or intersection in the image data as a blood vessel candidate region.
  • the noise removal unit 224e of the evaluation value calculation unit 224 determines whether or not the structure of the local region including the target pixel P (i, j) selected in step S4 in FIG. 4 is caused by noise ( Whether or not it is an isolated point), and a correction value f n for correcting the evaluation value V (i, j) is calculated based on the determination result.
  • the noise removing unit 224e includes the target pixel P (i, j) (M + 2) The number Cs of pixels in which the flag of the blood vessel candidate region is on in the ⁇ (M + 2) rectangular region and the flag of the blood vessel candidate region in the (M + 4) ⁇ (M + 4) rectangular region including the target pixel P (i, j) The number of pixels Ct in which is turned on is counted.
  • the noise removing unit 224e determines that the structure of the local region including the target pixel P (i, j) is caused by noise, and the first Correction of the pixel of interest P (i, j) is performed by multiplying the feature value f sv obtained by the calculation result of the feature value calculation unit 224a by a constant weight4 set to an arbitrary numerical value such as ⁇ 10.0, for example.
  • the value f n is calculated.
  • the noise removing unit 224e determines that the structure of the local region including the target pixel P (i, j) is not caused by noise, and the target pixel P
  • the correction value f n of (i, j) is set to 0.
  • the noise removal unit 224e may change the weighting of the correction value f n based on the correlation between the current processing state and the processing end condition in step S9 in FIG. Good.
  • the noise removing unit 224e subtracts the process end number from the current number of processes.
  • the correction value f n may be calculated by obtaining the value of weight_num and applying the obtained value of weight_num to the following equation (7).
  • the evaluation value calculation unit 224 of the arithmetic processing unit 22 uses the values of f sv , f d , f w , f GR , and f n obtained by the processing described above as the above formula (1). To calculate the evaluation value V (i, j) of the target pixel P (i, j) selected in step S4 in FIG.
  • the evaluation value calculation unit 224 of the arithmetic processing unit 22 calculates f sv , f d when calculating the evaluation value V (i, j) of the target pixel P (i, j) using the above formula (1).
  • F w , f GR , and f n are not limited to those applied to the numerator of the above formula (1).
  • the values applied to the numerator of the above formula (1) The calculation may be performed by selecting one or more from the above, or may be performed by adding a term other than the above-described values to the numerator of the above formula (1).
  • the evaluation value determination unit 225 of the arithmetic processing unit 22 determines whether or not the evaluation value V (i, j) calculated in step S5 of FIG. 4 is equal to or greater than a threshold value Thre (step S6 of FIG. 4).
  • the blood vessel flag setting unit 222 determines that the evaluation value V (i, j) is greater than or equal to the threshold Thre, that is, the determination result that the pixel of interest P (i, j) is a pixel constituting the blood vessel. Is obtained by the evaluation value determination unit 225, the flag of the blood vessel candidate region of the pixel of interest P (i, j) is set on (updated) (step S7 in FIG. 4). On the other hand, the blood vessel flag setting unit 222 determines that the evaluation value V (i, j) is less than the threshold value Thre, that is, a determination result that the target pixel P (i, j) is not a pixel constituting the blood vessel. Is obtained by the evaluation value determination unit 225, the flag of the blood vessel candidate region of the pixel of interest P (i, j) is set to off (updated) (step S8 in FIG. 4).
  • the process end condition determining unit 226 determines whether or not the current process status satisfies a preset process end condition (step S9 in FIG. 4). Specifically, the processing end condition determination unit 226 determines whether or not the processing according to steps S4 to S8 in FIG. 4 has been performed ten times for each pixel in the image data, or the image data It is determined whether or not the number of on / off changes (update frequency) of the flag of the blood vessel candidate region in each pixel is less than a predetermined threshold value.
  • the arithmetic processing unit 22 calculates the evaluation value. In each of the unit 224, the evaluation value determination unit 225, and the processing end condition determination unit 226, the processing from step S4 to step S9 in FIG. 4 is performed again. In addition, when the determination result that the current processing state satisfies the preset processing end condition is obtained by the processing end condition determination unit 226, the arithmetic processing unit 22 obtains the blood vessel at the time when the determination result is obtained. A region composed of each pixel for which the flag of the candidate region is on is detected as a blood vessel region that can actually be regarded as having a blood vessel (step S10 in FIG. 4).
  • the display processing unit 28 performs processing such as coloring on the pixel group corresponding to the blood vessel region detected by the series of processing in FIG. 4 among the pixels included in the image data input from the image input unit 21. To generate and output an image signal for causing the monitor 4 to display an image in which a pixel group corresponding to the blood vessel region is visualized.
  • a pixel having a high evaluation value V (i, j) is detected as a blood vessel region among pixels included in image data obtained by imaging a biological tissue in a body cavity. Can do. Therefore, according to the present embodiment described above, the blood vessels included in the image can be detected with high accuracy.
  • the embodiment described above is not limited to the detection of blood vessels, and can be widely applied to detection of tissues having a linear structure such as a colon pit or an epithelial structure.
  • the processing of the present embodiment is applied to image data obtained by imaging a large intestine pit in a state of being subjected to picotanine staining
  • the G component of the blood vessel along the cross-sectional direction of the blood vessel It is necessary to appropriately change the value used as the color tone information, the determination condition, and the like in view of the fact that the variation in density value is not a downward convex shape as illustrated in FIG. 5 but an upward convex shape.
  • the embodiments described above are not limited to those applied to image data obtained by imaging with an endoscope.
  • blood vessels included in image data obtained by imaging the fundus It can also be used when detecting the line segment.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

 本発明の医用画像処理装置は、画像の中から注目画素を選択する画素選択部と、注目画素を含む所定の範囲に存在する画素群の色調情報を取得するとともに、色調情報に基づいて注目画素の特徴量を算出する特徴量算出部と、算出された特徴量に基づき、注目画素の評価値を算出する評価値算出部と、算出された評価値に基づき、注目画素が線状構造を構成する画素であるか否かを判定する評価値判定部と、評価値判定部の判定結果に基づき、線状構造が存在する領域を検出する線状構造検出部と、を有し、特徴量算出部は、注目画素及び注目画素に連続する複数の画素の色調情報を取得するとともに、線状構造に適合するように設計されたフィルタを取得された色調情報に対して適用した結果に基づき、注目画素の特徴量を算出する。

Description

医用画像処理装置及び医用画像処理方法
 本発明は、医用画像処理装置及び医用画像処理方法に関し、特に、体腔内の生体組織を撮像して得た画像に対して処理を行う医用画像処理装置及び医用画像処理方法に関するものである。
 内視鏡及び医用画像処理装置等を具備して構成される内視鏡システムが従来広く用いられている。具体的には、内視鏡システムは、例えば、被検体の体腔内に挿入される挿入部と、前記挿入部の先端部に配置された対物光学系と、前記対物光学系により結像された体腔内の被写体を撮像して撮像信号として出力する撮像部とを有して構成される内視鏡と、前記撮像信号に基づき、表示部としてのモニタ等に前記被写体の画像を表示させるための処理を行う医用画像処理装置と、を具備して構成されている。そして、前述のような構成を具備する内視鏡システムにより、例えば、胃等の消化管粘膜における粘膜の色調、病変の形状、及び、粘膜表面の微細な構造等の様々な所見を観察することが可能となっている。
 一方、例えば八尾建史他、「早期胃癌の微小血管構築像による存在および境界診断」、消化器内視鏡 Vol.17 No.12、pp2093-2100(2005)にあるような、内視鏡等により被写体を撮像して得た画像データに基づき、体腔内の粘膜表層において微小血管またはpit(腺開口部)の構造等が存在する領域を抽出し、前記領域の抽出結果を提示することにより病変の発見及び診断を支援可能な、CAD(Computer Aided Diagnosis、または、Computer Aided Detection)と呼ばれる技術の研究が近年進められている。
 また、例えば中川俊明他、「眼底画像診断支援システムのための血管消去画像を用いた視神経乳頭の自動認識及び擬似立体視画像への応用」、電子情報通信学会誌.D Vol.J89-D No.11、pp.2491-2501(2006)には、内視鏡等により被写体を撮像して得た画像データに基づき、血管が存在し得る領域としての血管候補領域を抽出し、さらに、前記血管候補領域の抽出結果に対して領域の拡張または縮小等の補正処理を施すことにより、実際に血管が存在するとみなすことが可能な領域としての血管領域の検出結果を得る技術が開示されている。
 ところで、赤血球内のヘモグロビンは、RGB光を構成する各波長帯域のうち、G(緑色)光の帯域において強い吸収特性を有している。そのため、例えば、血管を含む被写体にRGB光が照射された際に得られた画像データにおいては、血管が存在する領域のG(緑色)の濃度値が、血管が存在しない領域の領域のG(緑色)の濃度値に比べて相対的に低くなる傾向にある。そして、このような傾向を考慮した技術として、例えば、内視鏡等により被写体を撮像して得た画像データに対してバンドパスフィルタを適用することにより、血管候補領域の抽出を行う技術が知られている。
 しかし、例えば、血管候補領域の抽出結果に対する補正処理において、画像データの全域に一様な処理を施した場合、局所的に色調の変化が生じている領域に対応できないため、血管領域の未検出箇所及び(または)誤検出箇所が生じ易くなる、という課題がある。
 また、血管を含む被写体を撮像して得た画像データに対してバンドパスフィルタを適用した場合には、バンドパスフィルタを通過する周波数帯域の領域のみが血管候補領域として抽出されるため、血管領域の未検出箇所及び(または)誤検出箇所が生じ易くなる、という課題がある。
 本発明は、前述した事情に鑑みてなされたものであり、画像に含まれる血管を精度よく検出することが可能な医用画像処理装置及び医用画像処理方法を提供することを目的としている。
 本発明の一態様の医用画像処理装置は、生体組織を撮像して得た画像の中から注目画素を選択する画素選択部と、前記注目画素を含む所定の範囲に存在する画素群の色調情報を取得するとともに、前記色調情報に基づいて前記注目画素の特徴量を1つ以上算出する特徴量算出部と、前記特徴量算出部により算出された各特徴量に基づき、前記注目画素の評価値を算出する評価値算出部と、前記評価値算出部により算出された評価値に基づき、前記注目画素が線状構造を構成する画素であるか否かを判定する評価値判定部と、前記評価値判定部の判定結果に基づき、前記画像において前記線状構造が存在する領域を検出する線状構造検出部と、を有し、前記特徴量算出部は、前記注目画素及び前記注目画素に連続する複数の画素の各画素毎に前記色調情報を取得するとともに、前記線状構造に適合するように設計されたフィルタを前記注目画素及び前記複数の画素において取得された前記色調情報に対して適用した結果に基づき、前記線状構造における色調の変動に応じた前記注目画素の特徴量を算出する。
 本発明の一態様の医用画像処理方法は、生体組織を撮像して得た画像の中から注目画素を選択する画素選択ステップと、前記注目画素を含む所定の範囲に存在する画素群の色調情報を取得するとともに、前記色調情報に基づいて前記注目画素の特徴量を1つ以上算出する特徴量算出ステップと、前記特徴量算出ステップにより算出された各特徴量に基づき、前記注目画素の評価値を算出する評価値算出ステップと、前記評価値算出ステップにより算出された評価値に基づき、前記注目画素が線状構造を構成する画素であるか否かを判定する評価値判定ステップと、前記評価値判定ステップの判定結果に基づき、前記画像において前記線状構造が存在する領域を検出する線状構造検出ステップと、を有し、前記特徴量算出ステップは、前記注目画素及び前記注目画素に連続する複数の画素の各画素毎に前記色調情報を取得するとともに、前記線状構造に適合するように設計されたフィルタを前記注目画素及び前記複数の画素において取得された前記色調情報に対して適用した結果に基づき、前記線状構造における色調の変動に応じた前記注目画素の特徴量を算出する。
本発明の実施例に係る医用画像処理装置を具備する医用システムの要部の構成を示す図。 本実施例の医用画像処理装置が具備する演算処理部の構成の一例を示す図。 本実施例の演算処理部が具備する評価値算出部の構成の一例を示す図。 本実施例の医用画像処理装置により行われる処理の一例を示すフローチャート。 血管の横断面方向に沿った場合の緑色成分の濃度値の変動を説明するための図。 第2の特徴量を算出する際の処理を説明するための図。
 以下、本発明の実施の形態について、図面を参照しつつ説明を行う。図1から図6は、本発明の実施例に係るものである。
 図1は、本発明の実施例に係る医用画像処理装置を具備する医用システムの要部の構成を示す図である。
 医用システム1は、図1に示すように、体腔内の被写体としての生体組織を撮像して映像信号を出力する医用観察装置2と、パーソナルコンピュータ等により構成され、医用観察装置2から出力される映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する医用画像処理装置3と、医用画像処理装置3から出力される画像信号に基づく画像を表示するモニタ4と、を有して構成されている。
 また、医用観察装置2は、体腔内に挿入されるとともに、該体腔内の被写体を撮像して撮像信号として出力する内視鏡6と、内視鏡6により撮像される被写体を照明するための照明光(例えばRGB光)を供給する光源装置7と、内視鏡6に対する各種制御を行うとともに、内視鏡6から出力される撮像信号に対して信号処理を施すことにより映像信号を生成して出力するカメラコントロールユニット(以降、CCUと略記する)8と、CCU8から出力される映像信号に基づき、内視鏡6により撮像された被写体の像を画像表示するモニタ9と、を有して構成されている。
 医用撮像装置としての内視鏡6は、体腔内に挿入される挿入部11と、挿入部11の基端側に設けられた操作部12と、を有して構成されている。また、挿入部11の基端側から先端側の先端部14にかけての内部には、光源装置7から供給される照明光を伝送するためのライトガイド13が挿通されている。
 ライトガイド13は、先端側が内視鏡6の先端部14に配置されるとともに、後端側が光源装置7に接続可能に構成されている。そして、このような構成によれば、光源装置7から供給される照明光は、ライトガイド13により伝送された後、挿入部11の先端部14の先端面に設けられた照明窓(図示せず)から出射される。そして、前述の照明窓から出射される照明光により、被写体としての生体組織等が照明される。
 内視鏡6の先端部14には、前述の照明窓に隣接する位置に配置された観察窓(図示せず)に取り付けられた対物光学系16と、対物光学系16の結像位置に配置されたCCD等からなる撮像素子15と、を有する撮像部17が設けられている。
 撮像素子15は、信号線を介してCCU8に接続されている。そして、撮像素子15は、CCU8から出力される駆動信号に基づいて駆動するとともに、対物光学系16により結像された被写体を撮像して得た撮像信号をCCU8へ出力する。
 CCU8に入力された撮像信号は、CCU8の内部に設けられた信号処理回路(図示せず)において信号処理されることにより、映像信号に変換されて出力される。そして、CCU8から出力された映像信号は、モニタ9及び医用画像処理装置3に入力される。これにより、モニタ9には、CCU8から出力される映像信号に基づく被写体の画像が表示される。
 医用画像処理装置3は、医用観察装置2から出力される映像信号にA/D変換等の処理を施して画像データを生成する画像入力部21と、CPU等を具備して構成され、画像入力部21から出力される画像データ等に対して種々の処理を行う演算処理部22と、演算処理部22において実施される処理に関するプログラム(及びソフトウェア)等が格納されているプログラム記憶部23と、画像入力部21から出力される画像データ等を記憶可能な画像記憶部24と、演算処理部22の処理結果を一時的に格納可能な情報記憶部25と、を有している。
 また、医用画像処理装置3は、後述のデータバス30に接続されている記憶装置インターフェース26と、記憶装置インターフェース26を介して出力される演算処理部22の処理結果を保存可能なハードディスク27と、演算処理部22の処理結果等をモニタ4に画像表示するための画像信号を生成して出力する表示処理部28と、キーボード等の入力装置を具備して構成され、演算処理部22の処理におけるパラメータ及び医用画像処理装置3に対する操作指示等を入力可能な入力操作部29と、を有している。
 なお、医用画像処理装置3の画像入力部21、演算処理部22、プログラム記憶部23、画像記憶部24、情報記憶部25、記憶装置インターフェース26、表示処理部28、及び、入力操作部29は、データバス30を介して相互に接続されている。
 図2は、本実施例の医用画像処理装置が具備する演算処理部の構成の一例を示す図である。
 一方、演算処理部22は、図2に示すように、プログラム記憶部23に格納されているプログラムまたはソフトウェア等の実行により実現される機能に相当する、前処理部221と、血管フラグ設定部222と、画素選択部223と、評価値算出部224と、評価値判定部225と、処理終了条件判定部226と、を有して構成されている。
 図3は、本実施例の演算処理部が具備する評価値算出部の構成の一例を示す図である。
 また、演算処理部22の評価値算出部224は、図3に示すように、プログラムまたはソフトウェア等の実行により実現される機能に相当する、第1の特徴量算出部224aと、第2の特徴量算出部224bと、第3の特徴量算出部224cと、第4の特徴量算出部224dと、ノイズ除去部224eと、を有して構成されている。なお、演算処理部22の各部の機能については、後程述べるものとする。
 次に、以上に述べたような構成を具備する医用システム1の作用について説明を行う。
 まず、ユーザは、医用システム1の各部の電源を投入した後、例えば、被検体の胃の内部に先端部14が達するまで挿入部11を挿入する。これに応じ、先端部14から出射される照明光(RGB光)により照明された胃の内部の被写体が撮像部17により撮像されるとともに、該撮像した被写体に応じた撮像信号がCCU8へ出力される。
 CCU8は、信号処理回路(図示せず)において撮像部17の撮像素子15から出力される撮像信号に対して信号処理を施すことにより、該撮像信号を映像信号に変換して医用画像処理装置3及びモニタ9へ出力する。そして、モニタ9は、CCU8から出力される映像信号に基づき、撮像部17により撮像された被写体を画像表示する。
 図4は、本実施例の医用画像処理装置により行われる処理の一例を示すフローチャートである。
 一方、医用画像処理装置3の画像入力部21は、入力された映像信号に対してA/D変換等の処理を施すことにより画像データを生成し、生成した画像データを演算処理部22へ出力する(図4のステップS1)。なお、本実施例の画像入力部21において生成される画像データは、縦×横=ISX×ISY=640×480のサイズを具備するとともに、各画素のR(赤)成分、G(緑)成分、及び、B(青)成分が8bitの階調(256階調)を有するものであるとする。
 演算処理部22の前処理部221は、デガンマ処理、及び、メディアンフィルタによるノイズ除去処理等の前処理を画像入力部21から入力される画像データに対して施す(図4のステップS2)。
 演算処理部22の血管フラグ設定部222は、前処理部221により前処理が施された画像データにおいて、血管が存在し得る領域としての血管候補領域の初期設定を行う(図4のステップS3)。具体的には、血管フラグ設定部222は、前処理部221により前処理が施された画像データに含まれる各画素毎に、初期状態における血管候補領域のフラグをオンまたはオフのいずれかに設定する。ここで、本実施例の血管フラグ設定部222は、前述の初期設定において、例えば、画像データ内の全画素のフラグを一様にオンまたはオフにするものであってもよく、画像データ内の各画素のフラグのオンオフをランダムに決定するものであってもよく、あるいは、画像データ内の各画素の色調等に関する特徴量に対する閾値処理の結果に応じてフラグのオンオフを決定するものであってもよい。
 演算処理部22の画素選択部223は、画像データ内の各画素の中から、画素位置(i,j)における注目画素P(i,j)を選択する(図4のステップS4)。なお、前述にて例示した画像データのサイズ(ISX×ISY=640×480)を考慮した場合には、0≦i≦639、及び、0≦j≦479となる。また、画素選択部223は、例えば、画像データの左上の画素から右下の画素にかけて1画素ずつ走査しながら注目画素P(i,j)を選択してもよく、または、画像データ内の各画素の中からランダムに注目画素P(i,j)を選択してもよい。
 演算処理部22の評価値算出部224は、下記数式(1)を用いた演算を行うことにより、図4のステップS4において選択された注目画素P(i,j)の評価値V(i,j)を算出する(図4のステップS5)。

Figure JPOXMLDOC01-appb-I000001

 なお、上記数式(1)の右辺のw1、w2、w3、w4及びw5の値は、fsv、fd、fw、fGR、及び、fnの各項に対してそれぞれ設定される重み係数であるとする。具体的には、上記数式(1)の右辺のw1、w2、w3、w4及びw5の値は、例えば、w1=3、w2=5、w3=1、w4=1及びw5=1のような値として設定される。
 ここで、上記数式(1)に示したfsv、fd、fw、fGR、及び、fnの各値の具体的な算出方法等について述べる。
 評価値算出部224の第1の特徴量算出部224aは、図4のステップS4において選択された注目画素P(i,j)の特徴量fsvを算出する。
 具体的には、まず、第1の特徴量算出部224aは、G成分の画素値からR成分の画素値を除した値(以降、G/R値と称する)を画像データ内の各画素毎に算出する。
 その後、第1の特徴量算出部224aは、画像データ内の各画素の色調情報に相当するG/R値の算出結果のうち、注目画素P(i,j)のG/R値(色調情報)と、注目画素P(i,j)を中心として左右方向、上下方向、第1の斜め方向(45°及び225°方向)、及び、第2の斜め方向(135°及び315°方向)の各方向に(直線状に)連続する所定数の画素のG/R値(色調情報)と、に対し、下記に例示するフィルタ係数を備えた一次元フィルタF1、F2及びF3をそれぞれ適用する。
 F1={0.182375、0.32356、0.1682、-0.3481、-0.652、-0.3481、0.1682、0.32356、0.18238}
 F2={0.19347、0.28177、0.24509、-0.0356、-0.4009、-0.5676、-0.4009、-0.0356、0.24509、0.28177、0.19347}
 F3={0.16261、0.18215、0.2109、0.20337、0.08723、-0.1554、-0.4214、-0.5389、-0.4214、-0.1554、0.08723、0.20337、0.2109、0.18215、0.16261}
 上記の一次元フィルタF1は、G/R値の算出結果に対して適用された場合に、5画素分の幅を有する血管を好適に検出できるように設計されたマッチドフィルタであって、9画素分のフィルタ係数を有して構成されている。すなわち、第1の特徴量算出部224aは、注目画素P(i,j)と、注目画素P(i,j)を中心として両方向(両側)に連続する4画素と、からなる9画素分のG/R値と上記の一次元フィルタF1の各フィルタ係数との積和演算を前述の各方向毎に行うことにより、5画素分の幅を有する血管の存在の有無を判別可能な4個の出力値を得る。
 また、上記の一次元フィルタF2は、G/R値の算出結果に対して適用された場合に、7画素分の幅を有する血管を好適に検出できるように設計されたマッチドフィルタであって、11画素分のフィルタ係数を有して構成されている。すなわち、第1の特徴量算出部224aは、注目画素P(i,j)と、注目画素P(i,j)中心として両方向(両側)に連続する5画素と、からなる11画素分のG/R値と上記の一次元フィルタF2の各フィルタ係数との積和演算を前述の各方向毎に行うことにより、7画素分の幅を有する血管の存在の有無を判別可能な4個の出力値を得る。
 また、上記の一次元フィルタF3は、G/R値の算出結果に対して適用された場合に、9画素分の幅を有する血管を好適に検出できるように設計されたマッチドフィルタであって、15画素分のフィルタ係数を有して構成されている。すなわち、第1の特徴量算出部224aは、注目画素P(i,j)と、注目画素P(i,j)を中心として両方向(両側)に連続する7画素と、からなる15画素分のG/R値と上記の一次元フィルタF3の各フィルタ係数との積和演算を前述の各方向毎に行うことにより、9画素分の幅を有する血管の存在の有無を判別可能な4個の出力値を得る。
 ところで、赤血球内のヘモグロビンは、RGB光を構成する各波長帯域のうち、G(緑色)光の帯域において強い吸収特性を有している。そのため、例えば、血管を含む被写体にRGB光が照射された際に得られた画像データにおいては、血管が存在する領域のG成分の濃度値が、血管が存在しない領域のG成分の濃度値に比べて相対的に低くなる傾向にある。そして、このような傾向に基づくG成分の濃度値の変動を血管の横断面方向に沿って示した場合、図5のような下に凸の形状となる。
 すなわち、上記の一次元フィルタF1~F3は、図5に例示したようなG成分の濃度値の変動を勘案したフィルタ係数を有するように設計されているとともに、G/R値の算出結果に対して適用されることにより、撮像条件(照明光の光量等)に略依存せずに所定の画素数分の幅の血管を検出できるように設計されている。なお、本実施例によれば、G/R値を色調情報として用いるものに限らず、例えば、G値(G成分の画素値)、G/(R+G+B)値(G成分の画素値からR成分、G成分及びB成分の画素値の和を除した値)、または、輝度値等の他の値を色調情報として用いてもよい。
 そして、第1の特徴量算出部224aは、以上のような一次元フィルタF1、F2及びF3を用いた演算により得られる合計12個の出力値のうち、最も大きな出力値を注目画素P(i,j)の特徴量fsvとする。また、第1の特徴量算出部224aは、注目画素P(i,j)の特徴量fsvを得た際のフィルタ適用方向に直交する方向を、注目画素P(i,j)の血管走行方向に関する方向情報として保持する。さらに、第1の特徴量算出部224aは、注目画素P(i,j)の特徴量fsvを得た際のフィルタの検出対象となる血管の幅の画素数の情報を、注目画素P(i,j)の血管幅に関する幅情報として保持する。
 なお、本実施例の第1の特徴量算出部224aは、以上のような一次元フィルタF1、F2及びF3の出力値を用いて注目画素P(i,j)の特徴量fsvを得るものに限らず、例えば、血管に適合するように設計されたGaborフィルタ等の出力値を用いて注目画素P(i,j)の特徴量fsvを得るものであってもよい。
 評価値算出部224の第2の特徴量算出部224bは、図4のステップS4において選択された注目画素P(i,j)の血管走行方向に関する方向情報と、注目画素P(i,j)の近傍画素P(x,y)の血管走行方向に関する方向情報と、に基づき、血管走行方向の拘束条件に係る特徴量fdを算出する。なお、以降においては、簡単のため、8近傍の近傍画素P(x,y)の場合、すなわち、i-1≦x≦i+1、及び、j-1≦y≦j+1の場合を例に挙げて説明を行う。また、x=y=0の場合においては、後述のvalue_d(x,y)及びvalue_w(x,y)の値を算出しないものとする。
 具体的には、まず、第2の特徴量算出部224bは、近傍画素P(x,y)におけるG/R値(色調情報)の算出結果に対し、例えば、前述の一次元フィルタF1~F3のうちのいずれか1つを、近傍画素P(x,y)を中心として左右方向、上下方向、第1の斜め方向(45°及び225°方向)、及び、第2の斜め方向(135°及び315°方向)の各方向に適用して第1の特徴量算出部224aと同様の演算を行うことにより、近傍画素P(x,y)における特徴量fsv1を算出するとともに、当該特徴量fsv1を得た際のフィルタ適用方向に直交する方向を、近傍画素P(x,y)の血管走行方向に関する方向情報として保持する。
 なお、第2の特徴量算出部224bによる特徴量fdの算出処理においては、近傍画素P(x,y)の特徴量fsv1を算出する際のフィルタ適用方向が、前述の左右方向、上下方向、第1の斜め方向(45°及び225°方向)、及び、第2の斜め方向(135°及び315°方向)の各方向から増減されるものであってもよい。また、第2の特徴量算出部224bは、近傍画素P(x,y)における特徴量fsv1を算出する際に、前述の一次元フィルタF1~F3のうちのいずれか1つを用いるものに限らず、例えば、血管に適合するように設計されたバンドパスフィルタを用いてもよい。
 その後、第2の特徴量算出部224bは、近傍画素P(x,y)における特徴量fsv1を下記数式(2)に適用することにより、注目画素P(i,j)と近傍画素P(x,y)との間における、方向に関する拘束値value_d(x,y)を算出する。

Figure JPOXMLDOC01-appb-I000002

 ここで、第2の特徴量算出部224bは、注目画素P(i,j)及び近傍画素P(x,y)の血管走行方向に関する方向情報に基づき、例えば、近傍画素P(x,y)における血管候補領域のフラグがオンであり、かつ、近傍画素P(x,y)の方向情報の方向に対する延伸方向に注目画素P(i,j)が位置し、かつ、注目画素P(i,j)の方向情報の方向と近傍画素P(x,y)の方向情報の方向とが一致した場合には、上記数式(2)におけるweight1の値を0.2に設定する。具体的には、例えば、図6の注目画素P(i,j)に対する右下の近傍画素P(x,y)の血管候補領域のフラグがオンであるとした場合には、前述の条件に合致することにより、weight1の値が0.2に設定される。そのため、図6の注目画素P(i,j)に対する右下の近傍画素P(x,y)の特徴量fsv1が3.1である場合には、拘束値value_d(x,y)=0.62となる。
 また、第2の特徴量算出部224bは、注目画素P(i,j)及び近傍画素P(x,y)の血管走行方向に関する方向情報に基づき、例えば、近傍画素P(x,y)における血管候補領域のフラグがオンであり、かつ、近傍画素P(x,y)の方向情報の方向に対する延伸方向に注目画素P(i,j)が位置し、かつ、注目画素P(i,j)の方向情報の方向と近傍画素P(x,y)の方向情報の方向とが互いに直交する場合には、上記数式(2)におけるweight1の値を-0.2に設定する。具体的には、例えば、図6の注目画素P(i,j)に対する右上の近傍画素P(x,y)の血管候補領域のフラグがオンであるとした場合には、前述の条件に合致することにより、weight1の値が-0.2に設定される。そのため、図6の注目画素P(i,j)に対する左下の近傍画素P(x,y)の特徴量fsv1が3.2である場合には、拘束値value_d(x,y)=-0.64となる。
 さらに、第2の特徴量算出部224bは、注目画素P(i,j)及び近傍画素P(x,y)の血管走行方向に関する方向情報に基づき、以上に述べた2つの条件のいずれにも合致しない場合には、上記数式(2)におけるweight1の値を0に設定することにより、拘束値value_d(x,y)=0という算出結果を得る。
 なお、上記数式(2)におけるweight1の値は、以上に述べたような値として設定されるものに限らず、他の値に設定されるものであってもよい。
 そして、第2の特徴量算出部224bは、拘束値value_d(x,y)の算出結果に基づいて下記数式(3)の演算を行うことにより、注目画素P(i,j)の特徴量fdを算出する。

Figure JPOXMLDOC01-appb-I000003

 なお、本実施例においては、注目画素P(i,j)に対する8近傍の近傍画素P(x,y)について拘束値value_d(x,y)を算出しているため、上記数式(3)の右辺のNの値が1に設定される。
 また、上記数式(3)の右辺の分母のTBは、0より大きな数値であるとともに、8近傍の近傍画素P(x,y)のうち、拘束値value_d(x,y)=0以外の算出結果を得た画素の数と同数の数値に設定されるものとする。
 さらに、例えば、各近傍画素P(x,y)の血管候補領域のフラグがオフであること等に起因し、各近傍画素P(x,y)の拘束値value_d(x,y)が全て0になるような場合(上記数式(3)のTBの値が0となるような場合)において、第2の特徴量算出部224bは、上記数式(3)の演算を行わずに、注目画素P(i,j)の特徴量fdの値を0に設定する。
 以上に述べた特徴量fdによれば、色調の淡さ等に起因した血管の途切れが生じていると推定される画素の特徴量fdが他の画素の特徴量fdに比べて相対的に大きな値となる。そのため、以上に述べた特徴量fdによれば、画像データ内において血管の途切れが生じていると推定される領域を血管候補領域として抽出することができる。
 評価値算出部224の第3の特徴量算出部224cは、図4のステップS4において選択された注目画素P(i,j)の血管幅に関する幅情報と、注目画素P(i,j)の近傍画素P(x,y)の血管幅に関する幅情報と、に基づき、血管幅の拘束条件に係る特徴量fwを算出する。
 具体的には、まず、第3の特徴量算出部224cは、近傍画素P(x,y)におけるG/R値(色調情報)の算出結果に対し、例えば、前述の一次元フィルタF1~F3を、近傍画素P(x,y)を中心として左右方向、上下方向、第1の斜め方向(45°及び225°方向)、及び、第2の斜め方向(135°及び315°方向)の各方向にそれぞれ適用して第1の特徴量算出部224aと同様の演算を行うことにより、近傍画素P(x,y)における特徴量fsv2を算出するとともに、当該特徴量fsv2を得た際のフィルタの検出対象となる血管の幅の画素数の情報を、近傍画素P(x,y)の血管幅に関する幅情報として保持する。
 なお、第3の特徴量算出部224cは、近傍画素P(x,y)における特徴量fsv2を算出する際に、前述の一次元フィルタF1~F3を用いるものに限らず、検出対象となる血管幅の画素数毎に構成された複数のバンドパスフィルタを用いてもよい。
 その後、第3の特徴量算出部224cは、近傍画素P(x,y)における特徴量fsv2を下記数式(4)に適用することにより、注目画素P(i,j)と近傍画素P(x,y)との間における、幅に関する拘束値value_w(x,y)を算出する。

Figure JPOXMLDOC01-appb-I000004

 ここで、第3の特徴量算出部224cは、注目画素P(i,j)及び近傍画素P(x,y)の血管幅に関する幅情報に基づき、例えば、近傍画素P(x,y)における血管候補領域のフラグがオンであり、かつ、注目画素P(i,j)の幅情報に含まれる血管の幅の画素数から、近傍画素P(x,y)の幅情報に含まれる血管の幅の画素数を減算した減算結果の絶対値が2より大きい場合には、上記数式(4)におけるweight2の値を-0.2に設定する。
 また、第3の特徴量算出部224cは、注目画素P(i,j)及び近傍画素P(x,y)の血管幅に関する幅情報に基づき、以上に述べた条件に合致しない場合には、上記数式(4)におけるweight2の値を0に設定することにより、拘束値value_w(x,y)=0という算出結果を得る。
 なお、上記数式(4)におけるweight2の値は、以上に述べたような値として設定されるものに限らず、他の値に設定されるものであってもよい。
 そして、第3の特徴量算出部224cは、拘束値value_w(x,y)の算出結果に基づいて下記数式(5)の演算を行うことにより、注目画素P(i,j)の特徴量fwを算出する。

Figure JPOXMLDOC01-appb-I000005

 なお、本実施例においては、注目画素P(i,j)に対する8近傍の近傍画素P(x,y)について拘束値value_w(x,y)を算出しているため、上記数式(5)の右辺のNの値が1に設定される。
 また、上記数式(5)の右辺の分母のTCは、0より大きな数値であるとともに、8近傍の近傍画素P(x,y)のうち、拘束値value_w(x,y)=0以外の算出結果を得た画素の数と同数の数値に設定されるものとする。
 さらに、例えば、各近傍画素P(x,y)の血管候補領域のフラグがオフであること等に起因し、各近傍画素P(x,y)の拘束値value_w(x,y)が全て0になるような場合(上記数式(5)のTCの値が0となるような場合)において、第3の特徴量算出部224cは、上記数式(5)の演算を行わずに、注目画素P(i,j)の特徴量fwの値を0に設定する。
 以上に述べた特徴量fwによれば、不自然な血管幅の変動が生じていると推定される画素の特徴量fwが他の画素の特徴量fdに比べて相対的に小さな値となる。そのため、以上に述べた特徴量fwによれば、画像データ内において不自然な血管幅の変動が生じていると推定される領域を血管候補領域から除外することができる。
 評価値算出部224の第4の特徴量算出部224dは、図4のステップS4において選択された注目画素P(i,j)の色調と、注目画素P(i,j)の周辺画素の色調との間の相関を示す色調情報に基づき、色調の拘束条件に係る特徴量fGRを算出する。
 具体的には、第4の特徴量算出部224dは、注目画素P(i,j)を中心とした51×51のサイズの矩形領域に含まれる全画素のG/R値(色調情報)を算出し、さらに、各G/R値の平均値GRAvg(i,j)を算出する。
 なお、平均値GRAvg(i,j)の算出に用いられる領域は、51×51のサイズの矩形領域に限らず、他のサイズ及び(または)形状を有する領域であってもよい。
 また、第4の特徴量算出部224dは、画像データ内の所定の領域の中から、実際に血管が存在する可能性が高い画素群のみを抽出して平均値GRAvg(i,j)を算出するものであってもよい。具体的には、第4の特徴量算出部224dは、例えば、第1の特徴量算出部224aの演算結果に基づき、特徴量fsvの値が所定値以上となる画素群を51×51のサイズの矩形領域から抽出し、抽出した画素群に属する各画素のG/R値に基づいて平均値GRAvg(i,j)を算出するものであってもよい。
 そして、第4の特徴量算出部224dは、注目画素P(i,j)のG/R値であるGR(i,j)と、前述の平均値GRAvg(i,j)の算出結果と、を下記数式(6)に適用することにより特徴量fGRを算出する。

Figure JPOXMLDOC01-appb-I000006

 なお、上記数式(6)におけるweight3は、例えば10.0等の任意の数値に設定される定数である。
 また、第4の特徴量算出部224dは、平均値GRAvg(i,j)に標準偏差を加算または減算して得られた値を、平均値GRAvg(i,j)の代わりに上記数式(6)に適用して特徴量fGRを算出するものであってもよい。
 以上に述べた特徴量fGRによれば、実際に血管が存在する可能性が高い画素の特徴量fGRの値が正の値になる一方で、実際に血管が存在する可能性が低い画素の特徴量fGRの値が負の値になる。そのため、以上に述べた特徴量fGRによれば、画像データ内において血管の分岐または交差が生じていると推定される領域を血管候補領域として抽出することができる。
 評価値算出部224のノイズ除去部224eは、図4のステップS4において選択された注目画素P(i,j)を含む局所領域の構造がノイズに起因して生じたものであるか否か(孤立点であるか否か)を判定し、この判定結果に基づいて評価値V(i,j)を補正するための補正値fnを算出する。
 具体的には、ノイズに起因して生じた構造(孤立点)のサイズをM×M画素未満であるとした場合、ノイズ除去部224eは、注目画素P(i,j)を含む(M+2)×(M+2)の矩形領域内において血管候補領域のフラグがオンである画素数Csと、注目画素P(i,j)を含む(M+4)×(M+4)の矩形領域内において血管候補領域のフラグがオンである画素数Ctと、をそれぞれカウントする。
 そして、ノイズ除去部224eは、Cs=Ctである場合には、注目画素P(i,j)を含む局所領域の構造がノイズに起因して生じたものであると判定するとともに、第1の特徴量算出部224aの演算結果により得られた特徴量fsvに対し、例えば-10.0等の任意の数値に設定される定数weight4を乗ずることにより、注目画素P(i,j)の補正値fnを算出する。また、ノイズ除去部224eは、Cs≠Ctである場合には、注目画素P(i,j)を含む局所領域の構造がノイズに起因して生じたものではないと判定するとともに、注目画素P(i,j)の補正値fnを0とする。
 ところで、現在の処理状況が後述の図4のステップS9における処理終了条件から大幅に離れている場合においては、血管候補領域のフラグのオンオフの信頼性が低いものと考えられる。このような事情を考慮し、ノイズ除去部224eは、現在の処理状況と図4のステップS9における処理終了条件との間の相関に基づいて補正値fnの重み付けを変化させるものであってもよい。
 具体的には、例えば、図4のステップS9における処理終了条件が処理回数により定められているとともに、Cs=Ctである場合において、ノイズ除去部224eは、現在の処理回数から処理終了回数を除することによりweight_numの値を取得するとともに、得られたweight_numの値を下記数式(7)に適用することにより補正値fnを算出してもよい。

Figure JPOXMLDOC01-appb-I000007

 そして、演算処理部22の評価値算出部224は、以上に述べたような処理により得られたfsv、fd、fw、fGR、及び、fnの各値を上記数式(1)に適用することにより、図4のステップS4において選択された注目画素P(i,j)の評価値V(i,j)を算出する。
 なお、演算処理部22の評価値算出部224は、上記数式(1)を用いて注目画素P(i,j)の評価値V(i,j)を算出する際に、fsv、fd、fw、fGR、及び、fnの各値を上記数式(1)の分子に適用するものに限らず、例えば、上記数式(1)の分子に適用する値を前述の各値の中から1つ以上選択して演算を行うものであってもよく、または、前述の各値以外の他の項を上記数式(1)の分子に加えて演算を行うものであってもよい。(但し、補正値fnの性質上、補正値fnを単独で用いて評価値V(i,j)を算出することができないため、補正値fnについては他の値と一緒に上記数式(1)に適用する必要がある。)
 演算処理部22の評価値判定部225は、図4のステップS5において算出された評価値V(i,j)が閾値Thre以上であるか否かの判定を行う(図4のステップS6)。
 そして、血管フラグ設定部222は、評価値V(i,j)が閾値Thre以上であるとの判定結果、すなわち、注目画素P(i,j)が血管を構成する画素であるとの判定結果が評価値判定部225により得られた場合には、注目画素P(i,j)の血管候補領域のフラグをオンに設定(更新)する(図4のステップS7)。一方、血管フラグ設定部222は、評価値V(i,j)が閾値Thre未満であるとの判定結果、すなわち、注目画素P(i,j)が血管を構成する画素ではないとの判定結果が評価値判定部225により得られた場合には、注目画素P(i,j)の血管候補領域のフラグをオフに設定(更新)する(図4のステップS8)。
 処理終了条件判定部226は、現在の処理状況が予め設定された処理終了条件を満たすか否かの判定を行う(図4のステップS9)。具体的には、処理終了条件判定部226は、例えば、図4のステップS4からステップS8までに係る処理が画像データ内の各画素に対して10回ずつ行われたか否か、または、画像データ内の各画素における血管候補領域のフラグのオンオフの変更回数(更新頻度)が所定の閾値未満であるか否かの判定を行う。
 そして、演算処理部22は、現在の処理状況が予め設定された処理終了条件を満たさないとの判定結果が処理終了条件判定部226により得られた場合には、画素選択部223、評価値算出部224、評価値判定部225、及び、処理終了条件判定部226の各部において、図4のステップS4からステップS9までの処理を再度実施する。また、演算処理部22は、現在の処理状況が予め設定された処理終了条件を満たすとの判定結果が処理終了条件判定部226により得られた場合には、この判定結果を得た時点において血管候補領域のフラグがオンである各画素からなる領域を、実際に血管が存在するとみなすことが可能な血管領域として検出する(図4のステップS10)。
 一方、表示処理部28は、画像入力部21から入力される画像データに含まれる各画素のうち、図4の一連の処理により検出された血管領域に相当する画素群に対して着色等の処理を施すことにより、血管領域に相当する画素群が可視化された画像をモニタ4に表示させるための画像信号を生成して出力する。
 以上に述べた本実施例によれば、体腔内の生体組織を撮像して得た画像データに含まれる各画素のうち、評価値V(i,j)の高い画素を血管領域として検出することができる。そのため、以上に述べた本実施例によれば、画像に含まれる血管を精度よく検出することができる。
 なお、以上に述べた実施例は、血管の検出に限らず、例えば、大腸pitまたは上皮構造等のような、線状構造を有する組織の検出に広く応用可能である。但し、例えば、ピオクタニン染色を施された状態の大腸pitを撮像して得た画像データに対して本実施例の処理を適用する場合においては、血管の横断面方向に沿った場合のG成分の濃度値の変動が、図5に例示したような下に凸の形状ではなく、上に凸の形状となることを鑑みて色調情報として用いる値及び判定条件等を適宜変更する必要がある。
 また、以上に述べた実施例は、内視鏡により撮像して得られた画像データに対して適用されるものに限らず、例えば、眼底を撮像して得られた画像データに含まれる血管等の線分を検出する際にも用いることができる。
 本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
 本出願は、2011年2月22日に日本国に出願された特願2011-036168号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (12)

  1.  生体組織を撮像して得た画像の中から注目画素を選択する画素選択部と、
     前記注目画素を含む所定の範囲に存在する画素群の色調情報を取得するとともに、前記色調情報に基づいて前記注目画素の特徴量を1つ以上算出する特徴量算出部と、
     前記特徴量算出部により算出された各特徴量に基づき、前記注目画素の評価値を算出する評価値算出部と、
     前記評価値算出部により算出された評価値に基づき、前記注目画素が線状構造を構成する画素であるか否かを判定する評価値判定部と、
     前記評価値判定部の判定結果に基づき、前記画像において前記線状構造が存在する領域を検出する線状構造検出部と、を有し、
     前記特徴量算出部は、前記注目画素及び前記注目画素に連続する複数の画素の各画素毎に前記色調情報を取得するとともに、前記線状構造に適合するように設計されたフィルタを前記注目画素及び前記複数の画素において取得された前記色調情報に対して適用した結果に基づき、前記線状構造における色調の変動に応じた前記注目画素の特徴量を算出する ことを特徴とする医用画像処理装置。
  2.  前記特徴量算出部は、前記注目画素の近傍領域の各画素の前記色調情報を取得するとともに、前記線状構造に適合するように設計されたフィルタを前記近傍領域の各画素において取得された前記色調情報に対して適用した結果に基づき、前記線状構造の走行方向の拘束条件に係る前記注目画素の特徴量をさらに算出することを特徴とする請求項1に記載の医用画像処理装置。
  3.  前記特徴量算出部は、前記注目画素の近傍領域の各画素の前記色調情報を取得するとともに、前記線状構造に適合するように設計されたフィルタを前記近傍領域の各画素において取得された前記色調情報に対して適用した結果に基づき、前記線状構造の幅の拘束条件に係る前記注目画素の特徴量をさらに算出することを特徴とする請求項1に記載の医用画像処理装置。
  4.  前記特徴量算出部は、前記注目画素を含む局所領域の各画素毎に前記色調情報を取得するとともに、前記局所領域の各画素において取得された前記色調情報に基づき、前記線状構造の色調の拘束条件に係る前記注目画素の特徴量をさらに算出することを特徴とする請求項1に記載の医用画像処理装置。
  5.  前記注目画素を含む局所領域の構造がノイズに起因して生じたものであるか否かを判定するとともに、この判定結果に基づいて前記注目画素の評価値を補正するための補正値を算出するノイズ除去部をさらに有することを特徴とする請求項1に記載の医用画像処理装置。
  6.  前記線状構造検出部は、所定の条件を満たすまでの間、前記画素選択部、前記特徴量算出部、前記評価値算出部、及び、前記評価値判定部による処理を繰り返し実施させるとともに、前記所定の条件を満たした際の前記評価値判定部の判定結果に基づき、前記画像において前記線状構造が存在する領域を検出することを特徴とする請求項1に記載の医用画像処理装置。
  7.  生体組織を撮像して得た画像の中から注目画素を選択する画素選択ステップと、
     前記注目画素を含む所定の範囲に存在する画素群の色調情報を取得するとともに、前記色調情報に基づいて前記注目画素の特徴量を1つ以上算出する特徴量算出ステップと、
     前記特徴量算出ステップにより算出された各特徴量に基づき、前記注目画素の評価値を算出する評価値算出ステップと、
     前記評価値算出ステップにより算出された評価値に基づき、前記注目画素が線状構造を構成する画素であるか否かを判定する評価値判定ステップと、
     前記評価値判定ステップの判定結果に基づき、前記画像において前記線状構造が存在する領域を検出する線状構造検出ステップと、を有し、
     前記特徴量算出ステップは、前記注目画素及び前記注目画素に連続する複数の画素の各画素毎に前記色調情報を取得するとともに、前記線状構造に適合するように設計されたフィルタを前記注目画素及び前記複数の画素において取得された前記色調情報に対して適用した結果に基づき、前記線状構造における色調の変動に応じた前記注目画素の特徴量を算出することを特徴とする医用画像処理方法。
  8.  前記特徴量算出ステップは、前記注目画素の近傍領域の各画素の前記色調情報を取得するとともに、前記線状構造に適合するように設計されたフィルタを前記近傍領域の各画素において取得された前記色調情報に対して適用した結果に基づき、前記線状構造の走行方向の拘束条件に係る前記注目画素の特徴量をさらに算出することを特徴とする請求項7に記載の医用画像処理方法。
  9.  前記特徴量算出ステップは、前記注目画素の近傍領域の各画素の前記色調情報を取得するとともに、前記線状構造に適合するように設計されたフィルタを前記近傍領域の各画素において取得された前記色調情報に対して適用した結果に基づき、前記線状構造の幅の拘束条件に係る前記注目画素の特徴量をさらに算出することを特徴とする請求項7に記載の医用画像処理方法。
  10.  前記特徴量算出ステップは、前記注目画素を含む局所領域の各画素毎に前記色調情報を取得するとともに、前記局所領域の各画素において取得された前記色調情報に基づき、前記線状構造の色調の拘束条件に係る前記注目画素の特徴量をさらに算出することを特徴とする請求項7に記載の医用画像処理方法。
  11.  前記注目画素を含む局所領域の構造がノイズに起因して生じたものであるか否かを判定するとともに、この判定結果に基づいて前記注目画素の評価値を補正するための補正値を算出するノイズ除去ステップをさらに有することを特徴とする請求項7に記載の医用画像処理方法。
  12.  前記線状構造検出ステップは、所定の条件を満たすまでの間、前記画素選択ステップ、前記特徴量算出ステップ、前記評価値算出ステップ、及び、前記評価値判定ステップによる処理を繰り返し実施させるとともに、前記所定の条件を満たした際の前記評価値判定ステップの判定結果に基づき、前記画像において前記線状構造が存在する領域を検出することを特徴とする請求項7に記載の医用画像処理方法。
PCT/JP2011/078141 2011-02-22 2011-12-06 医用画像処理装置及び医用画像処理方法 WO2012114600A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012538536A JP5276225B2 (ja) 2011-02-22 2011-12-06 医用画像処理装置及び医用画像処理装置の作動方法
CN201180065521.XA CN103327883B (zh) 2011-02-22 2011-12-06 医用图像处理装置和医用图像处理方法
EP11859300.3A EP2679142B1 (en) 2011-02-22 2011-12-06 Medical image processing device and medical image processing method
US13/591,289 US8639002B2 (en) 2011-02-22 2012-08-22 Medical image processing apparatus and method for controlling medical image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-036168 2011-02-22
JP2011036168 2011-02-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/591,289 Continuation US8639002B2 (en) 2011-02-22 2012-08-22 Medical image processing apparatus and method for controlling medical image processing apparatus

Publications (1)

Publication Number Publication Date
WO2012114600A1 true WO2012114600A1 (ja) 2012-08-30

Family

ID=46720403

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/078141 WO2012114600A1 (ja) 2011-02-22 2011-12-06 医用画像処理装置及び医用画像処理方法

Country Status (5)

Country Link
US (1) US8639002B2 (ja)
EP (1) EP2679142B1 (ja)
JP (1) JP5276225B2 (ja)
CN (1) CN103327883B (ja)
WO (1) WO2012114600A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015100591A (ja) * 2013-11-27 2015-06-04 株式会社ニデック 画像処理装置および画像処理プログラム
CN105072975A (zh) * 2013-02-27 2015-11-18 奥林巴斯株式会社 图像处理装置、图像处理方法和图像处理程序
EP2912988A4 (en) * 2012-12-19 2016-07-13 Olympus Corp DEVICE FOR PROCESSING MEDICAL PICTURES AND METHOD FOR PROCESSING MEDICAL PICTURES
JP2017080389A (ja) * 2015-10-27 2017-05-18 コニカミノルタ株式会社 医用画像システム及びプログラム
WO2020188825A1 (ja) * 2019-03-20 2020-09-24 Hoya株式会社 内視鏡システム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012078636A1 (en) 2010-12-07 2012-06-14 University Of Iowa Research Foundation Optimal, user-friendly, object background separation
US20150379708A1 (en) * 2010-12-07 2015-12-31 University Of Iowa Research Foundation Methods and systems for vessel bifurcation detection
CA2825169A1 (en) 2011-01-20 2012-07-26 University Of Iowa Research Foundation Automated determination of arteriovenous ratio in images of blood vessels
US9545196B2 (en) 2012-05-04 2017-01-17 University Of Iowa Research Foundation Automated assessment of glaucoma loss from optical coherence tomography
JP6086663B2 (ja) * 2012-06-19 2017-03-01 オリンパス株式会社 画像処理装置、内視鏡装置及び孤立点ノイズ補正方法
WO2014143891A1 (en) 2013-03-15 2014-09-18 University Of Iowa Research Foundation Automated separation of binary overlapping trees
CN104103039B (zh) * 2013-04-08 2015-04-15 上海联影医疗科技有限公司 一种图像噪声估计方法
WO2015092904A1 (ja) * 2013-12-19 2015-06-25 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2015143435A1 (en) 2014-03-21 2015-09-24 University Of Iowa Research Foundation Graph search using non-euclidean deformed graph
US10115194B2 (en) 2015-04-06 2018-10-30 IDx, LLC Systems and methods for feature detection in retinal images
CN113038868A (zh) * 2018-11-14 2021-06-25 富士胶片株式会社 医疗图像处理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093342A (ja) * 2001-09-27 2003-04-02 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2005157902A (ja) * 2003-11-27 2005-06-16 Olympus Corp 画像解析方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4393016B2 (ja) * 2000-06-30 2010-01-06 株式会社日立メディコ 画像診断支援装置
US6956602B2 (en) * 2001-09-27 2005-10-18 Fujinon Corporation Electronic endoscope for highlighting blood vessel
JP4409166B2 (ja) * 2002-12-05 2010-02-03 オリンパス株式会社 画像処理装置
US7022073B2 (en) * 2003-04-02 2006-04-04 Siemens Medical Solutions Usa, Inc. Border detection for medical imaging
US8055033B2 (en) * 2005-02-15 2011-11-08 Olympus Corporation Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same
JP4749732B2 (ja) * 2005-02-15 2011-08-17 オリンパス株式会社 医用画像処理装置
JP5078486B2 (ja) * 2007-07-26 2012-11-21 オリンパスメディカルシステムズ株式会社 医療用画像処理装置及び医療用画像処理装置の作動方法
JP2009172077A (ja) * 2008-01-23 2009-08-06 Panasonic Corp 血管位置取得装置および血管位置取得方法
GB0902280D0 (en) * 2009-02-12 2009-03-25 Univ Aberdeen Disease determination
JP2010184057A (ja) * 2009-02-13 2010-08-26 Fujifilm Corp 画像処理方法および装置
WO2012011303A1 (ja) * 2010-07-21 2012-01-26 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
US8553954B2 (en) * 2010-08-24 2013-10-08 Siemens Medical Solutions Usa, Inc. Automated system for anatomical vessel characteristic determination
JP5526044B2 (ja) * 2011-01-11 2014-06-18 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JPWO2012153568A1 (ja) * 2011-05-10 2014-07-31 オリンパスメディカルシステムズ株式会社 医用画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093342A (ja) * 2001-09-27 2003-04-02 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2005157902A (ja) * 2003-11-27 2005-06-16 Olympus Corp 画像解析方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A. F. FRANGI ET AL.: "Multiscale vessel enhancement filtering", MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION - MICCAI'98, vol. 1496, 1998, pages 130 - 137, XP002345875 *
KENSHI YAO ET AL.: "Sokiigan no bisyokekkankochikuzo niyoru sonzai oyobi kyokaishindan (Diagnosis of Presence and Demarcations of Early Gastric Cancers Using Microvascular Patterns", ENDOSCOPIA DIGESTIVA, vol. 17, no. 12, 2005, pages 2093 - 2100
See also references of EP2679142A4
TOSHIAKI NAKAGAWA ET AL.: "Recognition of Optic Nerve Head Using Blood-Vessel-Erased Image and Its Application to Simulated Stereogram in Computer-Aided Diagnosis System for Retinal Images", IEICE TRANS. D, vol. J89-D, no. 11, 2006, pages 2491 - 2501

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2912988A4 (en) * 2012-12-19 2016-07-13 Olympus Corp DEVICE FOR PROCESSING MEDICAL PICTURES AND METHOD FOR PROCESSING MEDICAL PICTURES
CN105072975A (zh) * 2013-02-27 2015-11-18 奥林巴斯株式会社 图像处理装置、图像处理方法和图像处理程序
JP2015100591A (ja) * 2013-11-27 2015-06-04 株式会社ニデック 画像処理装置および画像処理プログラム
JP2017080389A (ja) * 2015-10-27 2017-05-18 コニカミノルタ株式会社 医用画像システム及びプログラム
WO2020188825A1 (ja) * 2019-03-20 2020-09-24 Hoya株式会社 内視鏡システム
JPWO2020188825A1 (ja) * 2019-03-20 2021-09-13 Hoya株式会社 内視鏡システム
JP7041318B2 (ja) 2019-03-20 2022-03-23 Hoya株式会社 内視鏡システム
US11612310B2 (en) 2019-03-20 2023-03-28 Hoya Corporation Endoscope system

Also Published As

Publication number Publication date
CN103327883A (zh) 2013-09-25
EP2679142A1 (en) 2014-01-01
CN103327883B (zh) 2016-08-24
JPWO2012114600A1 (ja) 2014-07-07
EP2679142B1 (en) 2017-04-19
US8639002B2 (en) 2014-01-28
EP2679142A4 (en) 2015-04-22
JP5276225B2 (ja) 2013-08-28
US20130051641A1 (en) 2013-02-28

Similar Documents

Publication Publication Date Title
JP5276225B2 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
EP1994878B1 (en) Medical image processing device and medical image processing method
JP5800468B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP4855868B2 (ja) 医療用画像処理装置
US8055033B2 (en) Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same
JP4902735B2 (ja) 医療用画像処理装置及び医療用画像処理方法
WO2012153568A1 (ja) 医用画像処理装置及び医用画像処理方法
US20180218499A1 (en) Image processing apparatus, endoscope system, and image processing method
US8086005B2 (en) Medical image processing apparatus and medical image processing method
US8666135B2 (en) Image processing apparatus
JP4749732B2 (ja) 医用画像処理装置
JP5078486B2 (ja) 医療用画像処理装置及び医療用画像処理装置の作動方法
CN112312822A (zh) 内窥镜用图像处理装置和内窥镜用图像处理方法以及内窥镜用图像处理程序
JP4855673B2 (ja) 医用画像処理装置
EP1992273B1 (en) Medical image processing device and medical image processing method
JP5385486B2 (ja) 画像処理装置及び画像処理装置の作動方法
JP2008093213A (ja) 医療用画像処理装置及び医療用画像処理方法
JP4856275B2 (ja) 医用画像処理装置
JP5315376B2 (ja) 柵状血管検出装置および柵状血管検出装置の作動方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2012538536

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11859300

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2011859300

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011859300

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE