WO2014002744A1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2014002744A1
WO2014002744A1 PCT/JP2013/065969 JP2013065969W WO2014002744A1 WO 2014002744 A1 WO2014002744 A1 WO 2014002744A1 JP 2013065969 W JP2013065969 W JP 2013065969W WO 2014002744 A1 WO2014002744 A1 WO 2014002744A1
Authority
WO
WIPO (PCT)
Prior art keywords
spatial frequency
image
band
spectral band
local
Prior art date
Application number
PCT/JP2013/065969
Other languages
English (en)
French (fr)
Inventor
昌士 弘田
大和 神田
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP13809740.7A priority Critical patent/EP2868253B1/en
Priority to CN201380033788.XA priority patent/CN104411229B/zh
Publication of WO2014002744A1 publication Critical patent/WO2014002744A1/ja
Priority to US14/579,425 priority patent/US9743825B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program for performing alignment between a plurality of spectral band images obtained by imaging the inside of a lumen using light having different wavelength bands.
  • the plane sequential method is a method of acquiring a plurality of spectral band images by sequentially irradiating light (within different wavelength bands) onto a subject (inside the lumen) and performing imaging.
  • a positional shift (referred to as color shift) occurs between the spectral band images due to the contraction movement of the lumen. Since this color shift may affect observation in the lumen and the like, alignment between spectral band images may be performed.
  • Patent Document 1 discloses a technique for performing alignment based on blood vessel information in each spectral band image. More specifically, blood vessels having different thicknesses are emphasized by two types of spatial filters, and the emphasized blood vessels are regarded as surface blood vessels and middle blood vessels, respectively. Then, the position information of the surface layer blood vessel is used to align the short wavelength spectral band image and the medium wavelength spectral band image, and the middle layer blood vessel position information is used to match the medium wavelength spectral band image and the long wavelength spectral band image. Align with the image.
  • the present invention has been made in view of the above, and is an image processing apparatus capable of performing highly accurate alignment between a plurality of spectral band images acquired by a frame sequential endoscope.
  • An object is to provide an image processing method and an image processing program.
  • an image processing apparatus includes a plurality of spectral bands acquired by imaging a lumen using a plurality of lights having different wavelength bands.
  • spectral band image acquisition means for acquiring the plurality of spectral band images, and each pixel in at least one spectral band image of the plurality of spectral band images
  • Spatial frequency component extracting means for extracting a feature quantity for each spatial frequency band, and for each spatial frequency band given to the at least one spectral band image based on the feature quantity for each spatial frequency band extracted from each pixel.
  • Weight calculating means for calculating the weight of the spatial frequency band, and alignment means for aligning the plurality of spectral band images based on the weight for each spatial frequency band. And wherein the Rukoto.
  • the image processing method is an image processing method for performing alignment between a plurality of spectral band images respectively acquired by imaging the inside of a lumen using a plurality of lights having different wavelength bands.
  • Spectral band image acquisition step for acquiring a plurality of spectral band images, and spatial frequency component extraction for extracting feature quantities for each spatial frequency band from each pixel in at least one spectral band image of the plurality of spectral band images
  • a weight calculating step for calculating a weight for each spatial frequency band to be given to the at least one spectral band image based on a feature amount for each spatial frequency band extracted from each pixel, and the spatial frequency band
  • the image processing program executes, on a computer, image processing for performing alignment between a plurality of spectral band images respectively acquired by imaging a lumen using a plurality of lights having different wavelength bands.
  • a spectral band image acquisition step for acquiring the plurality of spectral band images, and a feature amount for each spatial frequency band from each pixel in at least one spectral band image of the plurality of spectral band images
  • a spatial frequency component extracting step for extracting the weight, and a weight calculation for calculating a weight for each spatial frequency band to be given to the at least one spectral band image based on the feature amount for each spatial frequency band extracted from each pixel
  • Alignment for performing alignment between the plurality of spectral band images based on the step and the weight for each spatial frequency band A step, characterized in that it comprises a.
  • the weight for each spatial frequency band given to the spectral band image is calculated based on the feature quantity for each spatial frequency band extracted from each pixel in at least one spectral band image.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 3 is a schematic diagram showing images for each spatial frequency band created from the template image.
  • FIG. 4 is a flowchart showing processing executed by the weight calculation unit shown in FIG.
  • FIG. 5 is a graph showing an example of a region where the pixel value profile is concave.
  • FIG. 6 is a flowchart showing processing executed by the alignment unit shown in FIG.
  • FIG. 7 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 8 is a flowchart showing processing executed by the weight calculation unit shown in FIG.
  • FIG. 1 is a block diagram showing an image processing apparatus according to Embodiment 1 of the present invention.
  • the image processing apparatus 1 according to the first embodiment is an apparatus that executes alignment between a plurality of spectral band images acquired by imaging the inside of a lumen with a frame sequential endoscope.
  • red, green, and blue spectral band images are sequentially acquired.
  • the spectral band images are not limited to the three colors of red, green, and blue, and four or more spectral band images may be acquired.
  • two narrow bands hereinafter referred to as red (1) and red (2)
  • four spectral band images of red (1), red (2), green, and blue are acquired. You may do it.
  • two narrow bands hereinafter referred to as blue (1) and blue (2)
  • red (1), red (2), green, and blue (1) are extracted.
  • the five spectral band images of blue (2) may be acquired.
  • one of the sequentially acquired red, green, and blue spectral band images is selected as a template image and is aligned with respect to the other spectral band images.
  • the spectral band image selected as the template image is not limited to one, and may be two or more.
  • a green spectral band image is aligned using a template created from a red spectral band image
  • a blue spectral band image is aligned using a template created from a green spectral band image.
  • Such processing is also possible.
  • there can be four or more spectral band images there are various combinations of spectral band images selected as template images and spectral band images to be aligned.
  • the image processing apparatus 1 includes a control unit 10 that controls the operation of the entire image processing apparatus 1, an image acquisition unit 20 that acquires image data corresponding to an image captured by an endoscope, and the like.
  • An input unit 30 that receives an input signal input from the outside, a display unit 40 that performs various displays, a recording unit 50 that stores image data acquired by the image acquisition unit 20 and various programs, and image data
  • an arithmetic unit 100 that executes predetermined image processing.
  • the control unit 10 is realized by hardware such as a CPU, and reads various programs recorded in the recording unit 50, thereby according to image data input from the image acquisition unit 20, operation signals input from the input unit 30, and the like. Then, instructions to each unit constituting the image processing apparatus 1 and data transfer are performed, and the overall operation of the image processing apparatus 1 is controlled in an integrated manner.
  • the image acquisition unit 20 is appropriately configured according to the mode of the system including the endoscope.
  • the image acquisition unit 20 detachably mounts the recording medium and records image data of the recorded image. It is comprised with the reader apparatus which reads.
  • the image acquisition unit 20 includes a communication device connected to the server, and performs image communication with the server to perform image communication. Get the data. Or you may comprise the image acquisition part 20 by the interface apparatus etc. which input an image signal from an endoscope via a cable.
  • the input unit 30 is realized by an input device such as a keyboard, a mouse, a touch panel, or various switches, and outputs the received input signal to the control unit 10.
  • the display unit 40 is realized by a display device such as an LCD or an EL display, and displays various screens including intraluminal images under the control of the control unit 10.
  • the recording unit 50 is realized by various IC memories such as ROM and RAM such as flash memory that can be updated and recorded, a hard disk built in or connected by a data communication terminal, or an information recording device such as a CD-ROM and its reading device.
  • the recording unit 50 operates the image processing apparatus 1 in addition to the image data acquired by the image acquisition unit 20, and uses the program for causing the image processing apparatus 1 to execute various functions, and is used during the execution of this program. Data to be stored. Specifically, the recording unit 50 causes the image processing apparatus 1 to execute alignment between a plurality of spectral band images acquired by a frame sequential endoscope, or during execution of this program. It stores various information used for the.
  • the calculation unit 100 is realized by hardware such as a CPU, performs image processing on the intraluminal image by reading the image processing program 51, and performs processing between a plurality of spectral band images acquired by a frame sequential endoscope. Perform alignment.
  • the calculation unit 100 includes a spectral band image acquisition unit 110 that acquires a plurality of spectral band images, and a spatial frequency band from each pixel of at least one spectral band image of the plurality of spectral band images.
  • a spatial frequency component extracting unit 120 for extracting each feature amount
  • a weight calculating unit 130 for calculating a weight for each spatial frequency band given to the at least one spectral band image based on the feature amount
  • an alignment unit 140 that performs alignment between a plurality of spectral band images.
  • the spectral band image acquisition unit 110 reads the image data from the recording unit 50, and sequentially captures three spectral band images of red, green, and blue, or two consecutive spectral band images among them. Are acquired as a spectral band image to be processed.
  • the spatial frequency component extraction unit 120 sets at least one of the plurality of spectral band images as an image for creating a template used for alignment (hereinafter referred to as a template image). A feature amount for each spatial frequency band is extracted from the pixel.
  • the weight calculation unit 130 includes a region extraction unit 131 that extracts a plurality of local regions from the template image, and a feature amount for each spatial frequency band in each local region (hereinafter, referred to as the spatial frequency component of each pixel in the template image).
  • a local frequency feature amount calculation unit 132 that calculates a local frequency feature amount), and a local that calculates a weight for each spatial frequency band (hereinafter referred to as a local weight) given to each local region based on the local frequency feature amount
  • a weight calculation unit 133 is a weight calculation unit 133.
  • the local frequency feature amount calculation unit 132 extracts a pixel region (hereinafter referred to as a negative region) in which the spatial frequency component has a negative amplitude from the template image, and each local region.
  • a negative region a pixel region in which the spatial frequency component has a negative amplitude from the template image
  • an average amplitude calculating unit 132b that calculates an average value of absolute values of amplitude in the negative region is provided, and the average value calculated for each spatial frequency band is used as a local frequency feature amount in the local region.
  • the local weight calculation unit 133 also extracts a local frequency feature from the threshold processing unit 133a that extracts a spatial frequency band having a local frequency feature amount equal to or greater than a predetermined threshold, and the spatial frequency band extracted by the threshold processing unit 133a.
  • a minimum band extracting unit 133b that extracts a spatial frequency band having the smallest amount, and a spatial frequency band extracted by the threshold processing unit 133a for the local frequency feature amount of the spatial frequency band extracted by the minimum band extracting unit 133b.
  • a ratio calculation unit 133c that calculates the ratio of the local frequency feature quantity, and outputs the ratio as a local weight.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus 1.
  • the spectral band image acquisition unit 110 reads the image data recorded in the recording unit 50, and acquires a plurality of spectral band images to be processed.
  • the spatial frequency component extracting unit 120 selects one of the images acquired in step S10 as a template image, and from each pixel in the template image, as a feature amount for each spatial frequency band. Then, the amplitude information of the pixel value for each spatial frequency band (hereinafter referred to as a spatial frequency component) is extracted.
  • the spatial frequency component of each pixel is extracted by applying DOG (Difference of Gaussian) to the template image.
  • DOG is a process of calculating a difference between images obtained by performing Gaussian filter processing with different scales on the original image (reference: Adcom Media Corporation, “Computer Vision Cutting Edge”). Guide 2 ”, page 8), which corresponds to bandpass filter processing for the image. As shown in FIG.
  • each difference image m (f n) in the coordinates (x, y) pixel of the pixel in the value Y (x, y, f n ) corresponds to the spatial frequency components in a spatial frequency band f n.
  • the difference image m (f n ) is referred to as a band image.
  • step S11 other processes such as a generally known band pass filter process may be executed as long as a spatial frequency component can be extracted from each pixel in the template image.
  • step S12 the weight calculation unit 130 calculates a weight for each spatial frequency band based on the spatial frequency component of each pixel.
  • FIG. 4 is a flowchart showing details of the processing executed by the weight calculation unit 130 in step S12.
  • region extraction unit 131 divides the template image M1 into a plurality of rectangular regions r k.
  • the size of each rectangular area r k is determined to be sufficiently larger than the wavelength corresponding to each spatial frequency band f n.
  • the area of the in-band image m (f n) corresponding to each rectangular area r k, is shown in the rectangular area r (k, f n).
  • the weight calculation section 130 executes the processing of the loop A for each rectangular area r k.
  • the local frequency feature amount calculation unit 132 calculates an average value of absolute values
  • the negative region in the spatial frequency band f n corresponds to a region in which the profile of the pixel value becomes concave at an interval of about 1 / f n with respect to the surrounding region.
  • the negative region extraction unit 132a sequentially searches in the rectangular region r (k, f n ) to be processed, and extracts pixels whose spatial frequency component Y (x, y, f n ) is negative. .
  • the average amplitude calculator 132b adds the spatial frequency components Y (x, y, f n ) of the extracted pixels every time a negative pixel is extracted. Then, after searching for all the pixels in the rectangular region r (k, f n ), the absolute value of the total value of the spatial frequency components Y (x, y, f n ) is divided by the number of extracted pixels.
  • the average values calculated in this way the local frequency feature quantity c (k, f n) of the spatial frequency band f n in the rectangular area r k and.
  • step S123 the threshold processing unit 133a performs threshold processing on the local frequency feature quantity c (k, f n ) for each spatial frequency band f n calculated in step S122, and local frequency feature quantity c (k, k, A spatial frequency band f n in which f n ) is equal to or greater than a predetermined threshold is extracted.
  • the minimum band extraction unit 133b has a spatial frequency band (hereinafter referred to as a minimum band) in which the local frequency feature quantity c (k, f n ) is minimum among the spatial frequency bands f n extracted in step S122. f (min) is extracted.
  • a minimum band a spatial frequency band in which the local frequency feature quantity c (k, f n ) is minimum among the spatial frequency bands f n extracted in step S122.
  • f (min) is extracted.
  • the ratio calculation unit 133c determines the local frequency feature of each spatial frequency band f n extracted in step S123 for the local frequency feature quantity c (k, f (min) ) of the minimum band f (min).
  • the ratio c (k, f n ) / c (k, f (min) ) of the quantity c (k, f n ) is calculated.
  • the local weight calculation unit 133 sets the ratio c (k, f n ) / c (k, f (min) ) calculated in this way as the weight w (k, f n ) for each spatial frequency band f n.
  • the weight of the spatial frequency band f n not extracted in step S123 is set to 1.
  • weights such as to emphasize the spatial frequency band indicating the feature that the pixel value profile than the surrounding is concave is set.
  • step S13 the alignment unit 140 performs alignment between spectral band images based on the calculated weight.
  • FIG. 6 is a flowchart showing details of the process executed by the alignment unit 140 in step S13.
  • step S131 the positioning unit 140, for each rectangular area r k of the template image M1, the weight w (k, f n) calculated in step S12 and subjected to the corresponding spatial frequency component of each pixel Match.
  • step S132 the alignment unit 140 adds the spatial frequency components multiplied by the weights for each pixel. Thereby, an image in which the spatial frequency component is emphasized according to the weight is created. That is, an image is created in which a region in which the pixel value profile is recessed more than the surrounding is more emphasized.
  • step S133 the alignment unit 140 uses the image created in step S132 as a template and aligns the template with another spectral band image.
  • a positioning method for example, a known method such as an LK (Lucas-Kanade) method is used.
  • LK Lasas-Kanade
  • P p 1 , p 2
  • the difference square sum of pixel values between these images is minimized.
  • This is a technique for obtaining a parameter vector P.
  • the coordinate information of the corresponding pixels is associated between the spectral band image selected as the template image and the other spectral band image.
  • step S14 the calculation unit 100 outputs the alignment result and stores it in the recording unit 50.
  • the calculation unit 100 may create a composite image in which red, green, and blue spectral band images are superimposed based on the alignment result, and display the composite image on the display unit 40.
  • a spatial frequency band including information in which the profile of the pixel value is more concave than the surrounding is extracted, and a weight that emphasizes amplitude information in this spatial frequency band is calculated. Specifically, with these weights, frequency components representing regions that easily absorb irradiation light are emphasized regardless of the wavelength, such as the superficial blood vessels and the fine structure of mucous membranes. As described above, since the template in which the information that is hardly affected by the wavelength of the spectral band image is emphasized is created, the alignment accuracy can be improved.
  • the local frequency feature amount is calculated for each of the plurality of rectangular regions obtained by dividing the template image.
  • the local frequency feature amount may be calculated for each pixel without performing region division.
  • step S121 and step S122 shown in FIG. 4 can be omitted.
  • step S123 for each pixel, a spatial frequency band in which the absolute value of the spatial frequency component is equal to or greater than a predetermined threshold among the spatial frequency bands in which the spatial frequency component is negative may be extracted.
  • Embodiment 1 described above after calculating the weight for each spatial frequency band for each region obtained by dividing the image into a plurality of regions, alignment is performed in units of images. You may combine.
  • the imaging target in the first embodiment is, for example, in the lumen (mucosa) and is a non-rigid body, the direction of positional deviation may be different for each region. Specifically, there may be a situation in which a position shift occurs in an upward direction in a certain area and a position shift occurs in a right direction in another area. In such a case, it is possible to improve the alignment accuracy in the entire image by performing the alignment for each region.
  • alignment may be performed in units of pixels. Specifically, by setting a surrounding region for calculating the spatial frequency component for each pixel and executing steps S122 to S125 of FIG. 4 for each pixel, the spatial frequency in the region around the target pixel is set. The weight for each band is calculated. Then, alignment is performed between the surrounding region and another spectral band image using the calculated weight. The result obtained thereby is used as an alignment result (deformation parameter) in each pixel.
  • one of the red, green, and blue spectral band images is used as the template image.
  • two or more spectral band images may be used as the template image.
  • a template created from a red spectral band image is used to perform alignment with a green spectral band image acquired at the next timing
  • a template created from the green spectral band image is used to perform the next timing. Alignment with the blue spectral band image acquired in step 1, and using the template created from the blue spectral band image, alignment with the red spectral band image acquired at the next timing, etc. Also good.
  • four or more spectral band images are acquired, and a template is created from two or more spectral band images, so that the template and the spectral band image to be aligned can be combined in various ways. You may align.
  • the processing on the spectral band image to be aligned is not particularly mentioned, but a predetermined process may be performed on the spectral band image to be aligned. For example, if the spectral band image to be aligned is emphasized using the template after the spatial frequency is emphasized using the same weight as the template, the alignment accuracy can be further improved. .
  • FIG. 7 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 2 of the present invention.
  • the image processing apparatus 2 according to the second embodiment includes a calculation unit 200 including a weight calculation unit 210 instead of the weight calculation unit 130 illustrated in FIG. 1.
  • the configuration and operation of each unit in the calculation unit 200 other than the weight calculation unit 210 and the configuration and operation of each unit of the image processing apparatus 2 are the same as those in the first embodiment.
  • the weight calculation unit 210 includes a temporary weight calculation unit 211 and a temporary weight control unit 212. Similar to the weight calculation unit 130 in the first embodiment, the temporary weight calculation unit 211 includes a region extraction unit 131, a local frequency feature amount calculation unit 132, and a local weight calculation unit 133, and calculates based on the local frequency feature amount. The weight for each spatial frequency band is output as a temporary weight.
  • the temporary weight control unit 212 emphasizes or suppresses the temporary weight in the spatial frequency band selected according to the wavelength band of the template image among the temporary weights calculated by the temporary weight calculation unit 211, thereby obtaining the local weight. calculate. More specifically, the temporary weight control unit 212 performs a spatial frequency band selection unit 212a that selects a predetermined spatial frequency band according to the wavelength band of the template image, and a local frequency feature amount of the selected spatial frequency band. A threshold processing unit 212b that performs threshold processing, and a temporary weight enhancement unit 212c that enhances a temporary weight in a spatial frequency band in which the local frequency feature amount is determined to be equal to or greater than a predetermined threshold.
  • step S12 the operation of the image processing apparatus 2 will be described.
  • the operation of the image processing apparatus 2 is the same as that shown in FIG. 2 as a whole, and the detailed processing executed by the weight calculation unit 210 in step S12 is different from that of the first embodiment.
  • FIG. 8 is a flowchart showing the processing executed by the weight calculation unit 210 in step S12. Note that steps S221 to S224 shown in FIG. 8 correspond to steps S121 to S124 shown in FIG.
  • step S225 the local weight calculation unit 133 performs local localization of the spatial frequency band f n extracted in step S223 with respect to the local frequency feature quantity c (k, f (min) ) in the minimum band f (min) .
  • a ratio c (k, f n ) / c (k, f (min) ) of the frequency feature quantity c (k, f n ) is calculated, and this ratio c (k, f n ) / c (k, f (min) ) ) Is set as the temporary weight w ′ (k, f n ) of the spatial frequency band f n .
  • the temporary weight of the spatial frequency band f n not extracted in step S223 is set to 1.
  • the temporary weight control unit 212 controls the temporary weight according to the wavelength band of the spectral band image used for the template.
  • information that appears as a high-frequency component in the spectral band image corresponds to the fine structure of the mucosal surface and the fine blood vessels of the mucosal surface layer.
  • the fine structure of the mucous membrane surface appears in the spectral band image regardless of the wavelength band.
  • a fine blood vessel appears in a long-wavelength spectral band image (for example, a red spectral band image) with low absorbance in the blood vessel, the same fine blood vessel may appear in other spectral band images. high.
  • the high-frequency component in the long-wavelength spectral band image when the intensity of the high-frequency component in the long-wavelength spectral band image is strong, the high-frequency component tends to be strong in the other spectral band images, and the high-frequency component becomes important information for alignment. Accordingly, if the template image is a long wavelength spectral band image and the intensity of the high frequency component in the spectral band image is high, the temporary weight is emphasized so that the weight of the high frequency component becomes larger.
  • the spatial frequency band selection unit 212a selects a spatial frequency band whose weight should be emphasized based on the wavelength band of the template image. Specifically, when the template image is a red spectral band image, the intensity (or absolute value of the amplitude) of the spatial frequency component is equal to or greater than a predetermined threshold, and the spatial frequency band is equal to or greater than the predetermined band. The high frequency band that is is selected.
  • the temporary weight control unit 212 executes a process of loop C for each selected spatial frequency band. That is, in step S227, the threshold processing unit 212b determines whether or not the average value (local frequency feature amount) calculated in step S222 is equal to or greater than a predetermined threshold. Note that the threshold value in step S227 is set to a value greater than the threshold value in step S223.
  • step S227: Yes When the local frequency feature amount is equal to or greater than the threshold (step S227: Yes), the temporary weight enhancement unit 212c multiplies the temporary weight in the spatial frequency band to be processed (see step S225) by a predetermined coefficient (> 1). (Step S228). On the other hand, when the local frequency feature amount is smaller than the threshold value (step S227: No), the processing for the spatial frequency band is ended as it is.
  • the weight in the spatial frequency band selected according to the wavelength band of the template image is emphasized with respect to the temporary weight calculated based on the local frequency feature amount. Therefore, by using such weights, it is possible to further improve the accuracy of alignment between spectral band images.
  • the template image is a spectral band image with a very short wavelength
  • a spectral band image having a very short wavelength is used as a template image
  • a spatial frequency component higher than a high frequency component that can be extracted from another spectral band image is extracted, such a spatial frequency component is suppressed. It's also good. This is because such frequency components hardly appear in other spectral band images and are difficult to use for alignment.
  • the spatial frequency band selection unit 212a selects a high frequency band whose spatial frequency band is equal to or greater than a predetermined band when the template image is a spectral band image having a very short wavelength. To do.
  • the temporary weight emphasizing unit 212c multiplies the temporary weight determined that the local frequency feature amount is equal to or greater than a predetermined threshold by a predetermined coefficient ( ⁇ 1). Thereby, the temporary weight in the selected spatial frequency band can be suppressed.
  • the weight or temporary weight for each spatial frequency band in each rectangular region is calculated using the spatial frequency component in the image space.
  • similar weights or temporary weights may be calculated using information in the frequency space.
  • specific processing using information in the frequency space will be described. In the following, the case of calculating the weight corresponding to the first embodiment will be described, but the same processing is performed when the temporary weight corresponding to the second embodiment is calculated.
  • the weight calculation unit 130 divides the spectral band image into a plurality of rectangular regions in step S121 of FIG. 4 and then performs Fourier transform on each rectangular region to convert information in the image space into information in the frequency space. . Then, a power (intensity) spectrum in one or more preset spatial frequency bands is calculated.
  • step S122 is skipped, and the weight calculation unit 130 executes the processing of steps S123 to S125 using the intensity of each spatial frequency band calculated for each rectangular region as the local frequency feature amount. That is, a spatial frequency band having an intensity equal to or greater than a predetermined threshold is extracted, and a spatial frequency band (minimum band) having the minimum intensity is extracted from the extracted spatial frequency bands. Then, the ratio of the intensity in each spatial frequency band to the intensity in the minimum band is calculated as a weight for each spatial frequency band.
  • the alignment unit 140 separates the spectral band image to be aligned into a plurality of spatial frequency band-specific images (hereinafter referred to as band images) by DOG processing. Then, alignment is performed between each band image and the template, and a deformation parameter for each spatial frequency band is calculated.
  • the deformation parameter is, for example, the parallel movement amount of the corresponding subject between two images or the scale of enlargement or reduction.
  • the alignment unit 140 multiplies the weight for each spatial frequency band calculated by the weight calculation unit 130 and the deformation parameter, and calculates an average value between all the spatial frequency bands.
  • the alignment unit 140 outputs the deformation parameter subjected to the weighted average processing as described above as a comprehensive alignment result between the template and the spectral band image to be aligned.
  • the image processing apparatuses according to Embodiments 1 and 2 and Modifications 1 to 3 described above are realized by executing the image processing program recorded in the recording apparatus on a computer system such as a personal computer or a workstation. be able to. Further, such a computer system may be used by being connected to other computer systems, servers, or other devices via a public network such as a local area network, a wide area network (LAN / WAN), or the Internet. good. In this case, the image processing apparatuses according to Embodiments 1 and 2 and Modifications 1 to 3 acquire image data of intraluminal images via these networks, or are connected via these networks. Image processing results are output to various output devices (viewers, printers, etc.), and image processing results are stored in storage devices (information recording devices and their reading devices, etc.) connected via these networks. May be.
  • Embodiments 1 and 2 and Modifications 1 to 3 are not limited to Embodiments 1 and 2 and Modifications 1 to 3, but by appropriately combining a plurality of components disclosed in each embodiment and modification, Various inventions can be formed. For example, some constituent elements may be excluded from all the constituent elements shown in each embodiment or modification, or may be formed by appropriately combining the constituent elements shown in different embodiments or modifications. May be.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　面順次式の内視鏡によって取得された複数の分光帯域画像間において、精度の良好な位置合わせを実行することができる画像処理装置等を提供する。画像処理装置は、波長帯域が互いに異なる複数の光によって管腔内を撮像することによって取得された複数の分光帯域画像間の位置合わせを実行する画像処理装置１において、複数の分光帯域画像を取得する分光帯域画像取得部１１０と、複数の分光帯域画像のうちの少なくとも１つの分光帯域画像内の各画素から空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出部１２０と、各画素から抽出された空間周波数帯域毎の特徴量に基づいて、上記少なくとも１つの分光帯域画像に与えられる空間周波数帯域毎の重みを算出する重み算出部１３０と、該重みに基づいて複数の分光帯域画像間の位置合わせを行う位置合わせ部１４０とを備える。

Description

画像処理装置、画像処理方法、及び画像処理プログラム
　本発明は、波長帯域が互いに異なる光を用いて管腔内を撮像することにより得られる複数の分光帯域画像間の位置合わせを行う画像処理装置、画像処理方法、及び画像処理プログラムに関する。
　近年、患者の管腔内を非侵襲に観察可能な医用観察装置として内視鏡が広く普及している。内視鏡による撮像方法としては、照明方法の違いにより、面順次式と同時式とが知られている。面順次式とは、波長帯域が互いに異なる光を被写体（管腔内）に順次照射して撮像を行い、複数の分光帯域画像を取得する方法である。
　面順次式においては、各分光帯域画像の撮像タイミングが異なるため、管腔の収縮運動等の影響により、分光帯域画像間において位置ずれ（色ずれと呼ばれる）が生じる。この色ずれは、管腔内の観察等に影響を与えかねないため、分光帯域画像間の位置合わせを行う場合がある。
　分光帯域画像間の位置合わせに関連する技術として、特許文献１には、各分光帯域画像における血管情報に基づいて位置合わせを行う技術が開示されている。より詳細には、２種類の空間フィルタによって太さが互いに異なる血管を強調し、強調された血管をそれぞれ、表層の血管及び中層の血管であると看做す。そして、表層血管の位置情報を用いて短波長の分光帯域画像と中波長の分光帯域画像との位置合わせを行い、中層血管の位置情報を用いて中波長の分光帯域画像と長波長の分光帯域画像との位置合わせを行う。
特開２０１１－１９４１５１号公報
　しかしながら、上記特許文献１においては、特定の太さの血管のみを強調して位置合わせを行っているため、中波長や長波長の分光帯域画像における表層血管や微細構造のように、精度の良い位置合わせのために有用な他の情報が考慮されていない。そのため、精度の良好な位置合わせを行うことが困難である。
　本発明は、上記に鑑みて為されたものであって、面順次式の内視鏡によって取得された複数の分光帯域画像間において、精度の良好な位置合わせを実行することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、波長帯域が互いに異なる複数の光を用いて管腔内を撮像することによりそれぞれ取得された複数の分光帯域画像間の位置合わせを実行する画像処理装置において、前記複数の分光帯域画像を取得する分光帯域画像取得手段と、前記複数の分光帯域画像のうちの少なくとも１つの分光帯域画像内の各画素から、空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出手段と、前記各画素から抽出された前記空間周波数帯域毎の特徴量に基づいて、前記少なくとも１つの分光帯域画像に与えられる空間周波数帯域毎の重みを算出する重み算出手段と、前記空間周波数帯域毎の重みに基づいて前記複数の分光帯域画像間の位置合わせを行う位置合わせ手段と、を備えることを特徴とする。
　本発明に係る画像処理方法は、波長帯域が互いに異なる複数の光を用いて管腔内を撮像することによりそれぞれ取得された複数の分光帯域画像間の位置合わせを実行する画像処理方法において、前記複数の分光帯域画像を取得する分光帯域画像取得ステップと、前記複数の分光帯域画像のうちの少なくとも１つの分光帯域画像内の各画素から、空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出ステップと、前記各画素から抽出された前記空間周波数帯域毎の特徴量に基づいて、前記少なくとも１つの分光帯域画像に与えられる空間周波数帯域毎の重みを算出する重み算出ステップと、前記空間周波数帯域毎の重みに基づいて前記複数の分光帯域画像間の位置合わせを行う位置合わせステップと、を含むことを特徴とする。
　本発明に係る画像処理プログラムは、波長帯域が互いに異なる複数の光を用いて管腔内を撮像することによりそれぞれ取得された複数の分光帯域画像間の位置合わせを実行する画像処理をコンピュータに実行させる画像処理プログラムにおいて、前記複数の分光帯域画像を取得する分光帯域画像取得ステップと、前記複数の分光帯域画像のうちの少なくとも１つの分光帯域画像内の各画素から、空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出ステップと、前記各画素から抽出された前記空間周波数帯域毎の特徴量に基づいて、前記少なくとも１つの分光帯域画像に与えられる空間周波数帯域毎の重みを算出する重み算出ステップと、前記空間周波数帯域毎の重みに基づいて前記複数の分光帯域画像間の位置合わせを行う位置合わせステップと、を含むことを特徴とする。
　本発明によれば、少なくとも１つの分光帯域画像内の各画素から抽出された空間周波数帯域毎の特徴量に基づいて、該分光帯域画像に与えられる空間周波数帯域毎の重みを算出するので、該重みを用いることにより、分光帯域画像の波長の影響を受け難い空間周波数帯域の特徴を生かした位置合わせを行うことができる。従って、複数の分光帯域画像間において、精度の良好な位置合わせを実行することが可能となる。
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す画像処理装置の動作を示すフローチャートである。 図３は、テンプレート用画像から作成された空間周波数帯域別の画像を示す模式図である。 図４は、図１に示す重み算出部が実行する処理を示すフローチャートである。 図５は、画素値のプロファイルが凹になる領域の例を示すグラフである。 図６は、図１に示す位置合わせ部が実行する処理を示すフローチャートである。 図７は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 図８は、図７に示す重み算出部が実行する処理を示すフローチャートである。
　以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
（実施の形態１）
　図１は、本発明の実施の形態１に係る画像処理装置を示すブロック図である。本実施の形態１に係る画像処理装置１は、面順次式の内視鏡によって管腔内を撮像することにより取得された複数の分光帯域画像間における位置合わせを実行する装置である。面順次式においては、通常、赤色、緑色、青色の各分光帯域画像が順次取得される。なお、分光帯域画像としては、上記赤色、緑色、青色の３つに限定されず、４つ以上の分光帯域画像を取得しても良い。一例として、赤色帯域から２つの狭帯域（以下、赤色（１）、赤色（２）と表す）を抽出し、赤色（１）、赤色（２）、緑色、青色の４つの分光帯域画像を取得しても良い。また、別の例として、さらに青色帯域から２つの狭帯域（以下、青色（１）、青色（２）と表す）を抽出し、赤色（１）、赤色（２）、緑色、青色（１）、青色（２）の５つの分光帯域画像を取得しても良い。
　また、本実施の形態１においては、順次取得された赤色、緑色、青色の各分光帯域画像の内の１つをテンプレート用画像として選出し、他の分光帯域画像に対してそれぞれ位置合わせを行う。なお、テンプレート用画像として選出する分光帯域画像は１つに限定されず、２つ以上であっても良い。この場合、例えば、赤色の分光帯域画像から作成したテンプレートを用いて緑色の分光帯域画像の位置合わせを行い、緑色の分光帯域画像から作成したテンプレートを用いて青色の分光帯域画像の位置合わせを行うといった処理も可能である。また、上述したように、分光帯域画像は４つ以上とすることも可能であるため、テンプレート用画像として選出する分光帯域画像及び位置合わせ対象の分光帯域画像としては、様々な組み合わせが挙げられる。
　図１に示すように、画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、内視鏡によって撮像された画像に対応する画像データを取得する画像取得部２０と、外部から入力される入力信号を受け付ける入力部３０と、各種表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。
　制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に記録された各種プログラムを読み込むことにより、画像取得部２０から入力される画像データや入力部３０から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
　画像取得部２０は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、カプセル型内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部２０は、この記録媒体を着脱自在に装着し、記録された画像の画像データを読み出すリーダ装置で構成される。また、内視鏡によって撮像された画像の画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部２０を、内視鏡からケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
　入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部１０に出力する。
　表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。
　記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ－ＲＯＭ等の情報記録装置及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、面順次式の内視鏡により取得された複数の分光帯域画像間における位置合わせを当該画像処理装置１に実行させる画像処理プログラム５１や、このプログラムの実行中に使用される種々の情報等を格納する。
　演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことによって管腔内画像に対する画像処理を施し、面順次式の内視鏡により取得された複数の分光帯域画像間における位置合わせを実行する。
　次に、演算部１００の構成について説明する。図１に示すように、演算部１００は、複数の分光帯域画像を取得する分光帯域画像取得部１１０と、該複数の分光帯域画像のうちの少なくとも１つの分光帯域画像の各画素から空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出部１２０と、該特徴量に基づいて、上記少なくとも１つの分光帯域画像に与えられる空間周波数帯域毎の重みを算出する重み算出部１３０と、該重みに基づいて複数の分光帯域画像間の位置合わせを行う位置合わせ部１４０とを備える。
　分光帯域画像取得部１１０は、記録部５０から画像データを読み込むことにより、面順次式により順次撮像された赤色、緑色、青色の３つの分光帯域画像、又はこの内の連続する２つの分光帯域画像を、処理対象の分光帯域画像として取得する。
　空間周波数成分抽出部１２０は、複数の分光帯域画像のうちの少なくとも１つを、位置合わせに用いられるテンプレートを作成するための画像（以下、テンプレート用画像という）とし、該テンプレート用画像内の各画素から空間周波数帯域毎の特徴量を抽出する。
　重み算出部１３０は、テンプレート用画像から複数の局所領域を抽出する領域抽出部１３１と、テンプレート用画像内の各画素の空間周波数成分から、各局所領域における空間周波数帯域毎の特徴量（以下、局所周波数特徴量という）を算出する局所周波数特徴量算出部１３２と、該局所周波数特徴量に基づいて、各局所領域に与えられる空間周波数帯域毎の重み（以下、局所重みという）を算出する局所重み算出部１３３とを備える。
　このうち、局所周波数特徴量算出部１３２は、テンプレート画像から、空間周波数成分の振幅が負である画素領域（以下、負領域という）を抽出する負領域抽出部１３２ａと、各局所領域に対して空間周波数帯域毎に、負領域における振幅の絶対値の平均値を算出する平均振幅算出部１３２ｂとを備え、空間周波数帯域毎に算出された平均値を当該局所領域における局所周波数特徴量とする。
　また、局所重み算出部１３３は、局所周波数特徴量が所定の閾値以上である空間周波数帯域を抽出する閾値処理部１３３ａと、該閾値処理部１３３ａにより抽出された空間周波数帯域のうち、局所周波数特徴量が最小である空間周波数帯域を抽出する最小帯域抽出部１３３ｂと、該最小帯域抽出部１３３ｂにより抽出された空間周波数帯域の局所周波数特徴量に対する、閾値処理部１３３ａにより抽出された空間周波数帯域の局所周波数特徴量の比率を算出する比率算出部１３３ｃとを備え、この比率を局所重みとして出力する。
　次に、画像処理装置１の動作を説明する。図２は、画像処理装置１の動作を示すフローチャートである。
　まず、ステップＳ１０において、分光帯域画像取得部１１０は、記録部５０に記録された画像データを読み込み、処理対象とする複数の分光帯域画像を取得する。
　続くステップＳ１１において、空間周波数成分抽出部１２０は、ステップＳ１０において取得した画像のうちの１つをテンプレート用画像として選択し、該テンプレート用画像内の各画素から、空間周波数帯域毎の特徴量として、空間周波数帯域毎の画素値の振幅情報（以下、空間周波数成分という）を抽出する。
　本実施の形態１においては、テンプレート用画像に対してＤＯＧ（Difference　of　Gaussian）を施すことにより、各画素の空間周波数成分を抽出する。ここで、ＤＯＧとは、元の画像に対してスケールが互いに異なるガウシアンフィルタ処理を施して得られた画像間の差分を算出する処理であり（参考：アドコム・メディア株式会社、「コンピュータビジョン最先端ガイド２」、第８頁）、画像に対するバンドパスフィルタ処理に相当する。図３に示すように、テンプレート用画像Ｍ１に対するＤＯＧにより算出された各差分画像ｍ（ｆn）（ｎ＝１、２、…）が、空間周波数帯域別の画像に相当し、各差分画像ｍ（ｆn）内の座標（ｘ，ｙ）における画素の画素値Ｙ（ｘ，ｙ，ｆn）が、空間周波数帯域ｆnにおける空間周波数成分に相当する。以下、差分画像ｍ（ｆn）を帯域画像と呼ぶ。
　なお、本ステップＳ１１においては、テンプレート用画像内の各画素から空間周波数成分を抽出することができれば、一般的に知られるバンドパスフィルタ処理等、他の処理を実行しても良い。
　続くステップＳ１２において、重み算出部１３０は、各画素の空間周波数成分に基づいて、空間周波数帯域毎の重みを算出する。図４は、ステップＳ１２において重み算出部１３０が実行する処理の詳細を示すフローチャートである。
　ステップＳ１２１において、領域抽出部１３１は、図３の破線で示すように、テンプレート用画像Ｍ１を複数の矩形領域ｒkに分割する。なお、符号ｋ（ｋ＝１、２、…）は、矩形領域ｒkの並び順を示す。各矩形領域ｒkのサイズは、各空間周波数帯域ｆnに対応する波長よりも十分に大きくなるように決定される。なお、図３においては、各矩形領域ｒkに対応する帯域画像ｍ（ｆn）内の領域を、矩形領域ｒ（ｋ，ｆn）で示している。
　続いて、重み算出部１３０は、各矩形領域ｒkに対してループＡの処理を実行する。
　まず、ステップＳ１２２において、局所周波数特徴量算出部１３２は、空間周波数帯域ｆn毎に、負領域における空間周波数成分の絶対値｜Ｙ（ｘ，ｙ，ｆn）｜の平均値を算出する。ここで、空間周波数帯域ｆnにおける負領域は、図５に示すように、周囲の領域に対して画素値のプロファイルが１／ｆn程度の間隔で凹となる領域に相当する。
　より詳細には、負領域抽出部１３２ａは、処理対象の矩形領域ｒ（ｋ，ｆn）内を順に探索し、空間周波数成分Ｙ（ｘ，ｙ，ｆn）が負である画素を抽出する。平均振幅算出部１３２ｂは、負の画素が抽出される毎に、抽出された画素の空間周波数成分Ｙ（ｘ，ｙ，ｆn）を加算していく。そして、矩形領域ｒ（ｋ，ｆn）内の全画素の探索後、空間周波数成分Ｙ（ｘ，ｙ，ｆn）の合計値の絶対値を、抽出された画素数で除算する。以下、このようにして算出された平均値のことを、矩形領域ｒkにおける空間周波数帯域ｆnの局所周波数特徴量ｃ（ｋ，ｆn）とする。
　ステップＳ１２３において、閾値処理部１３３ａは、ステップＳ１２２において算出された空間周波数帯域ｆn毎の局所周波数特徴量ｃ（ｋ，ｆn）に対して閾値処理を施し、局所周波数特徴量ｃ（ｋ，ｆn）が所定の閾値以上である空間周波数帯域ｆnを抽出する。
　ステップＳ１２４において、最小帯域抽出部１３３ｂは、ステップＳ１２２において抽出された空間周波数帯域ｆnのうち、局所周波数特徴量ｃ（ｋ，ｆn）が最小である空間周波数帯域（以下、最小帯域という）ｆ(min)を抽出する。
　さらに、ステップＳ１２５において、比率算出部１３３ｃは、最小帯域ｆ(min)の局所周波数特徴量ｃ（ｋ，ｆ(min)）に対する、ステップＳ１２３において抽出された各空間周波数帯域ｆnの局所周波数特徴量ｃ（ｋ，ｆn）の比率ｃ（ｋ，ｆn）／ｃ（ｋ，ｆ(min)）を算出する。局所重み算出部１３３は、このようにして算出された比率ｃ（ｋ，ｆn）／ｃ（ｋ，ｆ(min)）を、空間周波数帯域ｆn毎の重みｗ（ｋ，ｆn）として設定する。なお、ステップＳ１２３において抽出されなかった空間周波数帯域ｆnの重みは、１に設定される。
　以上の処理により、各矩形領域ｒkに対し、周囲よりも画素値プロファイルが凹となる特徴を示す空間周波数帯域を強調するような重みが設定される。全ての矩形領域ｒkに対してループＡの処理が終了した後、処理はメインルーチンに戻る。
　なお、本実施の形態１においては、テンプレート用画像を分割した複数の矩形領域ｒkの各々に対し、最小帯域ｆ(min)の局所周波数特徴量ｃ（ｋ，ｆn）を基準とする重みを算出したが、各矩形領域ｒkに対して、周囲よりも画素値プロファイルが凹となる特徴を示す空間周波数帯域ｆnを強調するような重みを算出することができれば、他の手法で重みを算出しても良い。
　ステップＳ１２に続くステップＳ１３において、位置合わせ部１４０は、算出された重みに基づいて、分光帯域画像間の位置合わせを行う。図６は、ステップＳ１３において位置合わせ部１４０が実行する処理の詳細を示すフローチャートである。
　ステップＳ１３１において、位置合わせ部１４０は、テンプレート用画像Ｍ１内の各矩形領域ｒkに対し、ステップＳ１２において算出された重みｗ（ｋ，ｆn）を、各画素の対応する空間周波数成分に掛け合わせる。
　ステップＳ１３２において、位置合わせ部１４０は、重みが掛け合わされた空間周波数成分を画素毎に足し合わせる。それにより、重みに応じて空間周波数成分が強調された画像が作成される。即ち、周囲よりも画素値プロファイルが凹になった領域がより強調された画像が作成される。
　ステップＳ１３３において、位置合わせ部１４０は、ステップＳ１３２において作成された画像をテンプレートとして用い、テンプレートと他の分光帯域画像との位置合わせを行う。位置合わせの手法としては、例えばＬＫ（Lucas-Kanade）法等の公知の手法が用いられる。ここで、ＬＫ法は、２つの画像間における画素座標の変化を表すパラメータベクトルをＰ（ｐ1，ｐ2）とするとき、これらの画像間で画素値の差分２乗和が最小となるようなパラメータベクトルＰを求める手法である。このような処理により、テンプレート用画像として選択された分光帯域画像と他の分光帯域画像との間で、対応する画素同士の座標情報の関連付けがなされる。
　ステップＳ１３に続くステップＳ１４において、演算部１００は、位置合わせ結果を出力し、記録部５０に記憶させる。また、この際に、演算部１００は、位置合わせ結果に基づいて赤色、緑色、青色の分光帯域画像を重ね合わせた合成画像を作成し、合成画像を表示部４０に表示させても良い。
　以上説明したように、実施の形態１においては、周囲よりも画素値のプロファイルが凹となる情報を含む空間周波数帯域を抽出し、この空間周波数帯域における振幅情報を強調するような重みを算出する。具体的には、これらの重みにより、表層血管や粘膜の微細構造のように、波長によらず、照射光を吸収し易い領域を表す周波数成分が強調される。このように、分光帯域画像の波長の影響を受け難い情報が強調されたテンプレートを作成するので、位置合わせの精度を向上させることが可能となる。
　上記実施の形態１においては、テンプレート用画像を分割した複数の矩形領域の各々について局所周波数特徴量を算出したが、領域分割を行うことなく、各画素について局所周波数特徴量を算出しても良い。この場合、図４に示すステップＳ１２１及びステップＳ１２２を省略することができる。また、ステップＳ１２３においては、各画素に対し、空間周波数成分が負となる空間周波数帯域のうち、空間周波数成分の絶対値が所定の閾値以上となる空間周波数帯域を抽出すれば良い。
　また、上記実施の形態１においては、画像を複数の領域に分割した各領域に対して空間周波数帯域毎の重みを算出した後、画像単位で位置合わせを行ったが、分割した領域毎に位置合わせを行っても良い。ここで、本実施の形態１における撮像対象は例えば管腔内（粘膜）であり、非剛体なので、領域毎に位置ずれの方向が異なっていることも考えられる。具体的には、ある領域では上方向に位置ずれが生じ、別の領域では右方向に位置ずれが生じているといった状況もあり得る。このような場合、領域毎に位置合わせを行うことにより、画像全体における位置合わせの精度を向上させることが可能となる。
　或いは、領域毎に位置合わせを行う代わりに、画素単位で位置合わせを行っても良い。具体的には、空間周波数成分を算出する際の周囲の領域を画素毎に設定し、図４のステップＳ１２２～Ｓ１２５を各画素に対して実行することにより、対象画素の周囲の領域における空間周波数帯域毎の重みを算出する。そして、算出された重みを用いて、周囲の領域と他の分光帯域画像との間で位置合わせを行う。それにより得られた結果を、各画素における位置合わせ結果（変形パラメータ）とする。
　また、上記実施の形態１においては、赤色、緑色、青色の各分光帯域画像のうちの１つの画像をテンプレート用画像としたが、２つ以上の分光帯域画像をテンプレート用画像としても良い。例えば、赤色の分光帯域画像から作成したテンプレートを用いて、次のタイミングで取得された緑色の分光帯域画像との位置合わせを行い、緑色の分光帯域画像から作成したテンプレートを用いて、次のタイミングで取得された青色の分光帯域画像との位置合わせを行い、青色の分光帯域画像から作成したテンプレートを用いて、次のタイミングで取得された赤色の分光帯域画像との位置合わせを行うなどしても良い。或いは、上述したように、４つ以上の分光帯域画像を取得し、そのうちの２つ以上の分光帯域画像からテンプレートを作成することにより、テンプレートと位置合わせ対象の分光帯域画像とを様々に組み合わせて位置合わせを行っても良い。
　また、上記実施の形態１においては、位置合わせ対象の分光帯域画像に対する処理について特に言及していないが、位置合わせ対象の分光帯域画像に対して所定の処理を施しても良い。例えば、位置合わせ対象の分光帯域画像に対し、テンプレートと同様に重みを用いて空間周波数を強調した上で、テンプレートを用いて位置合わせを行うと、位置合わせ精度をさらに向上させることが可能となる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。
　図７は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。図７に示すように、実施の形態２に係る画像処理装置２は、図１に示す重み算出部１３０の代わりに重み算出部２１０を有する演算部２００を備える。重み算出部２１０以外の演算部２００内の各部の構成及び動作、並びに画像処理装置２の各部の構成及び動作は、実施の形態１と同様である。
　図７に示すように、重み算出部２１０は、仮重み算出部２１１及び仮重み制御部２１２を備える。仮重み算出部２１１は、実施の形態１における重み算出部１３０と同様に、領域抽出部１３１、局所周波数特徴量算出部１３２、及び局所重み算出部１３３を備え、局所周波数特徴量に基づいて算出される空間周波数帯域毎の重みを仮重みとして出力する。
　仮重み制御部２１２は、仮重み算出部２１１によって算出された仮重みのうち、テンプレート用画像の波長帯域に応じて選択される空間周波数帯域における仮重みを強調又は抑制することにより、局所重みを算出する。より詳細には、仮重み制御部２１２は、テンプレート用画像の波長帯域に応じて所定の空間周波数帯域を選択する空間周波数帯域選択部２１２ａと、選択された空間周波数帯域の局所周波数特徴量に対して閾値処理を行う閾値処理部２１２ｂと、局所周波数特徴量が所定の閾値以上と判別された空間周波数帯域における仮重みを強調する仮重み強調部２１２ｃとを有する。
　次に、画像処理装置２の動作について説明する。画像処理装置２の動作は、全体として図２に示すものと同様であり、ステップＳ１２において重み算出部２１０が実行する詳細な処理が実施の形態１とは異なる。
　図８は、ステップＳ１２において重み算出部２１０が実行する処理を示すフローチャートである。なお、図８に示すステップＳ２２１～Ｓ２２４は、図４に示すステップＳ１２１～Ｓ１２４と対応している。
　ステップＳ２２４に続くステップＳ２２５において、局所重み算出部１３３は、最小帯域ｆ(min)における局所周波数特徴量ｃ（ｋ，ｆ(min)）に対する、ステップＳ２２３において抽出された空間周波数帯域ｆnの局所周波数特徴量ｃ（ｋ，ｆn）の比率ｃ（ｋ，ｆn）／ｃ（ｋ，ｆ(min)）を算出し、この比率ｃ（ｋ，ｆn）／ｃ（ｋ，ｆ(min)）を、空間周波数帯域ｆnの仮重みｗ’（ｋ，ｆn）として設定する。なお、ステップＳ２２３において抽出されなかった空間周波数帯域ｆnの仮重みは、１に設定される。
　続くステップＳ２２６～Ｓ２２８において、仮重み制御部２１２は、テンプレート用とした分光帯域画像の波長帯域に応じて仮重みを制御する。
　ここで、分光帯域画像において高周波成分として表れる情報は、粘膜面の微細構造や粘膜表層の微細血管に対応する。このうち、粘膜面の微細構造は、波長帯域によらず分光帯域画像に表れる。また、血管における吸光度が低い長波長の分光帯域画像（例えば、赤色の分光帯域画像）にも微細血管が表れていれば、他の分光帯域画像にも同様の微細血管が表れている可能性が高い。即ち、長波長の分光帯域画像における高周波成分の強度が強い場合、他の分光帯域画像においても高周波成分が強くなる傾向があり、高周波成分は位置合わせにおいて重要な情報となる。従って、テンプレート用画像が長波長の分光帯域画像であり、且つ、該分光帯域画像における高周波成分の強度が強ければ、高周波成分の重みがより大きくなるよう仮重みを強調する。
　そのために、ステップＳ２２６において、空間周波数帯域選択部２１２ａは、テンプレート用画像の波長帯域に基づいて、重みを強調すべき空間周波数帯域を選択する。具体的には、テンプレート用画像が赤色の分光帯域画像である場合に、空間周波数成分の強度（又は、振幅の絶対値）が所定の閾値以上であり、且つ、空間周波数帯域が所定の帯域以上である高周波帯域を選択する。
　続いて、仮重み制御部２１２は、選択された各空間周波数帯域に対してループＣの処理を実行する。即ち、ステップＳ２２７において、閾値処理部２１２ｂは、ステップＳ２２２において算出された平均値（局所周波数特徴量）が所定の閾値以上であるか否かを判定する。なお、ステップＳ２２７における閾値は、ステップＳ２２３における閾値よりも大きい値が設定される。
　局所周波数特徴量が閾値以上である場合（ステップＳ２２７：Ｙｅｓ）、仮重み強調部２１２ｃは、処理対象の空間周波数帯域における仮重み（ステップＳ２２５参照）に所定の係数（＞１）を掛け合わせることにより強調する（ステップＳ２２８）。一方、局所周波数特徴量が閾値よりも小さい場合（ステップＳ２２７：Ｎｏ）、当該空間周波数帯域に対する処理はそのまま終了する。
　ステップＳ２２６において選択された全ての空間周波数帯域に対してループＣの処理が終了し、さらに、全ての矩形領域に対してループＢの処理が終了した後、処理はメインルーチンに戻る。
　以上説明したように、実施の形態２によれば、局所周波数特徴量に基づいて算出された仮重みに対し、テンプレート用画像の波長帯域に応じて選択された空間周波数帯域における重みを強調する。従って、このような重みを用いることにより、分光帯域画像間における位置合わせの精度をより向上させることが可能となる。
（変形例１）
　次に、上記実施の形態２に対し、テンプレート用画像が非常に短い波長の分光帯域画像である場合について説明する。非常に短い波長の分光帯域画像をテンプレート用画像とする場合において、他の分光帯域画像で抽出し得る高周波成分よりもさらに高い空間周波数成分が抽出されたときには、そのような空間周波数成分を抑制することとしても良い。そのような周波数成分は、他の分光帯域画像に表れにくく、位置合わせに使用することが難しいからである。
　具体的な処理としては、ステップＳ２２６において、空間周波数帯域選択部２１２ａは、テンプレート用画像が非常に短い波長の分光帯域画像である場合に、空間周波数帯域が所定の帯域以上である高周波帯域を選択する。また、ステップＳ２２８において、仮重み強調部２１２ｃは、局所周波数特徴量が所定の閾値以上と判断された仮重みに対し、所定の係数（＜１）を掛け合わせる。これにより、選択された空間周波数帯域における仮重みを抑制することができる。
　以上説明した変形例１によれば、位置合わせに使用することが難しい情報が低減されたテンプレートを作成することができるので、位置合わせの精度を向上させると共に、位置合わせに要する処理時間を短縮することが可能となる。
（変形例２）
　上述した実施の形態１及び２においては、画像空間における空間周波数成分を用いて、各矩形領域における空間周波数帯域毎の重み又は仮重みを算出した。しかしながら、周波数空間における情報を用いて、同様の重み又は仮重みを算出しても良い。以下、周波数空間における情報を用いる具体的な処理について説明する。なお、以下においては、実施の形態１に対応する重みを算出する場合を説明するが、実施の形態２に対応する仮重みを算出する場合も、同様の処理となる。
　重み算出部１３０は、図４のステップＳ１２１において分光帯域画像を複数の矩形領域に分割した後、各矩形領域に対してフーリエ変換を施すことにより、画像空間における情報を周波数空間における情報に変換する。そして、予め設定された１以上の空間周波数帯域におけるパワー（強度）スペクトルを算出する。
　その後、ステップＳ１２２をスキップし、重み算出部１３０は、各矩形領域に対して算出された各空間周波数帯域の強度を局所周波数特徴量として、ステップＳ１２３～Ｓ１２５の処理を実行する。即ち、強度が所定の閾値以上である空間周波数帯域を抽出し、抽出された空間周波数帯域のうちから強度が最小となる空間周波数帯域（最小帯域）を抽出する。そして、最小帯域における強度に対する各空間周波数帯域における強度との比率を、空間周波数帯域毎の重みとして算出する。
（変形例３）
　上述した実施の形態１及び２においては、各矩形領域に対して空間周波数帯域毎に算出された重みをもとに空間周波数成分を強調したテンプレートを作成し、該テンプレートを用いた一般的な位置合わせ手法（ＬＫ法等）により他の分光帯域画像との位置合わせを行った。しかしながら、位置合わせの方法としては、上述した方法に限定されない。本変形例３においては、他の位置合わせの例を説明する。
　まず、位置合わせ部１４０は、位置合わせ対象の分光帯域画像を、ＤＯＧ処理により複数の空間周波数帯域別の画像（以下、帯域画像という）に分離する。そして、各帯域画像とテンプレートとの間で位置合わせを行い、空間周波数帯域毎の変形パラメータを算出する。ここで、変形パラメータとは、例えば、２つの画像間において対応する被写体の平行移動量や拡大又は縮小のスケールのことである。さらに、位置合わせ部１４０は、重み算出部１３０により算出された空間周波数帯域毎の重みと変形パラメータとを掛け合わせ、全ての空間周波数帯域間における平均値を算出する。位置合わせ部１４０は、このように重み付け平均処理がなされた変形パラメータを、テンプレートと位置合わせ対象の分光帯域画像との間の総合的な位置合わせ結果として出力する。
　以上説明した実施の形態１及び２並びにこれらの変形例１～３に係る画像処理装置は、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１及び２並びにこれらの変形例１～３に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（情報記録装置及びその読取装置等）に画像処理結果を格納するようにしても良い。
　なお、本発明は、実施の形態１及び２並びにこれらの変形例１～３に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
　１、２　画像処理装置
　１０　制御部
　２０　画像取得部
　３０　入力部
　４０　表示部
　５０　記録部
　５１　画像処理プログラム
　１００、２００　演算部
　１１０　分光帯域画像取得部
　１２０　空間周波数成分抽出部
　１３０、２１０　重み算出部
　１３１　領域抽出部
　１３２　局所周波数特徴量算出部
　１３２ａ　負領域抽出部
　１３２ｂ　平均振幅算出部
　１３３　局所重み算出部
　１３３ａ　閾値処理部
　１３３ｂ　最小帯域抽出部
　１３３ｃ　比率算出部
　１４０　位置合わせ部
　２１１　仮重み算出部
　２１２　仮重み制御部
　２１２ａ　空間周波数帯域選択部
　２１２ｂ　閾値処理部
　２１２ｃ　仮重み強調部

Claims (10)

  1. 　波長帯域が互いに異なる複数の光を用いて管腔内を撮像することによりそれぞれ取得された複数の分光帯域画像間の位置合わせを実行する画像処理装置において、
    　前記複数の分光帯域画像を取得する分光帯域画像取得手段と、
    　前記複数の分光帯域画像のうちの少なくとも１つの分光帯域画像内の各画素から、空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出手段と、
    　前記各画素から抽出された前記空間周波数帯域毎の特徴量に基づいて、前記少なくとも１つの分光帯域画像に与えられる空間周波数帯域毎の重みを算出する重み算出手段と、
    　前記空間周波数帯域毎の重みに基づいて前記複数の分光帯域画像間の位置合わせを行う位置合わせ手段と、
    を備えることを特徴とする画像処理装置。
  2. 　前記重み算出手段は、
    　前記少なくとも１つの分光帯域画像から複数の局所領域を抽出する局所領域抽出手段と、
    　前記少なくとも１つの分光帯域画像内の前記各画素から抽出された前記空間周波数帯域毎の特徴量から、前記複数の局所領域の各々における空間周波数帯域毎の特徴量である局所周波数特徴量を算出する局所周波数特徴量算出手段と、
    　前記局所周波数特徴量に基づいて、前記複数の局所領域の各々に与えられる空間周波数帯域毎の重みを局所重みとして算出する局所重み算出手段と、
    を備えることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記局所重み算出手段は、前記局所周波数特徴量に加え、前記少なくとも１つの分光帯域画像の波長帯域に基づいて前記局所重みを算出することを特徴とする請求項２に記載の画像処理装置。
  4. 　前記局所重み算出手段は、前記局所周波数特徴量に基づいて算出された前記局所重みのうち、前記波長帯域に応じて選択される空間周波数帯域における局所重みを強調又は抑制することを特徴とする請求項３に記載の画像処理装置。
  5. 　前記局所重み算出手段は、
    　前記波長帯域に応じて選択される空間周波数帯域の前記局所周波数特徴量に対して閾値処理を行う閾値処理手段と、
    　前記閾値処理手段により前記局所周波数特徴量が所定の閾値以上と判別された空間周波数帯域において、前記局所周波数特徴量に基づいて算出された重みに所定の係数を掛け合わせる仮重み強調手段と、
    を備えることを特徴とする請求項４に記載の画像処理装置。
  6. 　前記局所周波数特徴量算出手段は、
    　前記少なくとも１つの分光帯域画像から、空間周波数成分の振幅が負の画素領域である負領域を抽出する負領域抽出手段と、
    　前記複数の局所領域の各々に対し、前記空間周波数帯域毎に、前記負領域における振幅の絶対値の平均値を算出する平均振幅算出手段と、
    を備え、前記空間周波数帯域毎に算出された前記平均値を当該局所領域における前記局所周波数特徴量とすることを特徴とする請求項２に記載の画像処理装置。
  7. 　前記局所重み算出手段は、
    　前記局所周波数特徴量が所定の閾値以上である空間周波数帯域を抽出する閾値処理手段と、
    　前記閾値処理手段により抽出された前記空間周波数帯域のうち、前記局所周波数特徴量が最小である空間周波数帯域を抽出する最小帯域抽出手段と、
    　前記最小帯域抽出手段により抽出された空間周波数帯域の前記局所周波数特徴量に対する、前記閾値処理手段により抽出された空間周波数帯域の前記局所周波数特徴量の比率を算出する比率算出手段と、
    を備えることを特徴とする請求項２に記載の画像処理装置。
  8. 　前記位置合わせ手段は、前記空間周波数帯域毎の重みを用いて前記少なくとも１つの分光帯域画像内の各画素の画素値を強調することによりテンプレートを作成し、該テンプレートを用いて前記複数の分光帯域画像間の位置合わせを行うことを特徴とする請求項１に記載の画像処理装置。
  9. 　波長帯域が互いに異なる複数の光を用いて管腔内を撮像することによりそれぞれ取得された複数の分光帯域画像間の位置合わせを実行する画像処理方法において、
    　前記複数の分光帯域画像を取得する分光帯域画像取得ステップと、
    　前記複数の分光帯域画像のうちの少なくとも１つの分光帯域画像内の各画素から、空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出ステップと、
    　前記各画素から抽出された前記空間周波数帯域毎の特徴量に基づいて、前記少なくとも１つの分光帯域画像に与えられる空間周波数帯域毎の重みを算出する重み算出ステップと、
    　前記空間周波数帯域毎の重みに基づいて前記複数の分光帯域画像間の位置合わせを行う位置合わせステップと、
    を含むことを特徴とする画像処理方法。
  10. 　波長帯域が互いに異なる複数の光を用いて管腔内を撮像することによりそれぞれ取得された複数の分光帯域画像間の位置合わせを実行する画像処理をコンピュータに実行させる画像処理プログラムにおいて、
    　前記複数の分光帯域画像を取得する分光帯域画像取得ステップと、
    　前記複数の分光帯域画像のうちの少なくとも１つの分光帯域画像内の各画素から、空間周波数帯域毎の特徴量を抽出する空間周波数成分抽出ステップと、
    　前記各画素から抽出された前記空間周波数帯域毎の特徴量に基づいて、前記少なくとも１つの分光帯域画像に与えられる空間周波数帯域毎の重みを算出する重み算出ステップと、
    　前記空間周波数帯域毎の重みに基づいて前記複数の分光帯域画像間の位置合わせを行う位置合わせステップと、
    を含むことを特徴とする画像処理プログラム。
PCT/JP2013/065969 2012-06-28 2013-06-10 画像処理装置、画像処理方法、及び画像処理プログラム WO2014002744A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13809740.7A EP2868253B1 (en) 2012-06-28 2013-06-10 Image processing apparatus, image processing method, and image processing program
CN201380033788.XA CN104411229B (zh) 2012-06-28 2013-06-10 图像处理装置以及图像处理方法
US14/579,425 US9743825B2 (en) 2012-06-28 2014-12-22 Image processing apparatus, image processing method, and computer-readable recording device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012145857A JP6124518B2 (ja) 2012-06-28 2012-06-28 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP2012-145857 2012-06-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/579,425 Continuation US9743825B2 (en) 2012-06-28 2014-12-22 Image processing apparatus, image processing method, and computer-readable recording device

Publications (1)

Publication Number Publication Date
WO2014002744A1 true WO2014002744A1 (ja) 2014-01-03

Family

ID=49782909

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/065969 WO2014002744A1 (ja) 2012-06-28 2013-06-10 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (5)

Country Link
US (1) US9743825B2 (ja)
EP (1) EP2868253B1 (ja)
JP (1) JP6124518B2 (ja)
CN (1) CN104411229B (ja)
WO (1) WO2014002744A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6408817B2 (ja) 2014-07-22 2018-10-17 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び撮像システム
CN107920728B (zh) * 2016-03-03 2019-10-22 奥林巴斯株式会社 内窥镜系统
WO2017166261A1 (zh) * 2016-04-01 2017-10-05 中国科学院遥感与数字地球研究所 时间-空间-光谱四维遥感数据的提取方法
US10806334B2 (en) 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
CN113812137B (zh) * 2019-05-16 2024-03-15 三菱电机株式会社 图像处理装置和方法、图像读取装置和记录介质
CN111161852B (zh) * 2019-12-30 2023-08-15 北京双翼麒电子有限公司 一种内窥镜图像处理方法、电子设备及内窥镜系统
JP7543012B2 (ja) * 2020-07-13 2024-09-02 キヤノン株式会社 装置、及びシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010279454A (ja) * 2009-06-03 2010-12-16 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP2011194151A (ja) 2010-03-23 2011-10-06 Fujifilm Corp 電子内視鏡システム
JP2012010776A (ja) * 2010-06-29 2012-01-19 Fujifilm Corp 断層画像処理装置及び方法、並びに光干渉断層画像診断装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4832794B2 (ja) * 2005-04-27 2011-12-07 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理プログラム
US7970239B2 (en) * 2006-01-19 2011-06-28 Qualcomm Incorporated Hand jitter reduction compensating for rotational motion
JP5669489B2 (ja) * 2009-10-15 2015-02-12 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5683882B2 (ja) * 2009-10-15 2015-03-11 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010279454A (ja) * 2009-06-03 2010-12-16 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP2011194151A (ja) 2010-03-23 2011-10-06 Fujifilm Corp 電子内視鏡システム
JP2012010776A (ja) * 2010-06-29 2012-01-19 Fujifilm Corp 断層画像処理装置及び方法、並びに光干渉断層画像診断装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2868253A4

Also Published As

Publication number Publication date
US20150112135A1 (en) 2015-04-23
EP2868253A4 (en) 2016-03-23
CN104411229A (zh) 2015-03-11
US9743825B2 (en) 2017-08-29
CN104411229B (zh) 2017-04-26
JP2014008142A (ja) 2014-01-20
EP2868253B1 (en) 2017-02-01
JP6124518B2 (ja) 2017-05-10
EP2868253A1 (en) 2015-05-06

Similar Documents

Publication Publication Date Title
WO2014002744A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Ma et al. Perceptual evaluation of single image dehazing algorithms
US9916666B2 (en) Image processing apparatus for identifying whether or not microstructure in set examination region is abnormal, image processing method, and computer-readable recording device
EP2962623A1 (en) Image processing device, image processing method, and image processing program
CA2939345A1 (en) Method and system for providing recommendation for optimal execution of surgical procedures
JP7187557B2 (ja) 医療画像学習装置、方法及びプログラム
JP2022186872A (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
US9330333B2 (en) Method and apparatus for image content-based automatic brightness detection
TWI673683B (zh) 用於辨識組織病徵影像的系統及方法
JP6653460B2 (ja) 撮像装置、撮像システム、画像生成装置およびカラーフィルタ
JP2015180045A (ja) 画像処理装置、画像処理方法及びプログラム
US8774521B2 (en) Image processing apparatus, image processing method, and computer-readable recording device
Moccia et al. Automatic workflow for narrow-band laryngeal video stitching
KR100946155B1 (ko) 데시메이션-프리 방향성 필터 뱅크를 이용한 혈관 선명도개선 방법
Bergen et al. Shading correction for endoscopic images using principal color components
JP2021152763A (ja) 信号処理装置、信号処理方法およびプログラム
Abood Edges enhancement of medical color images using add images
CN105654541A (zh) 窗口图像处理方法和装置
Yang et al. Unsupervised Low Illumination Enhancement Model Based on YCbCr Color Space
JP6426909B2 (ja) 色情報補完装置およびそのプログラム
Chandra et al. Retinal based image enhancement using contourlet transform
KR101341576B1 (ko) 등고선 기반 관심영역 결정방법 및 장치
CN117649362B (zh) 基于条件扩散模型的腹腔镜影像除烟方法、系统及设备
WO2017104056A1 (ja) 生体情報計測装置、生体情報計測方法および生体情報計測プログラム
Long et al. A Practical Dental Image Enhancement Network for Early Diagnosis of Oral Dental Disease

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13809740

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2013809740

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013809740

Country of ref document: EP