WO2013187206A1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2013187206A1
WO2013187206A1 PCT/JP2013/064332 JP2013064332W WO2013187206A1 WO 2013187206 A1 WO2013187206 A1 WO 2013187206A1 JP 2013064332 W JP2013064332 W JP 2013064332W WO 2013187206 A1 WO2013187206 A1 WO 2013187206A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image
inspection
imaging distance
area
Prior art date
Application number
PCT/JP2013/064332
Other languages
English (en)
French (fr)
Inventor
大和 神田
北村　誠
隆志 河野
昌士 弘田
都士也 上山
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP13803772.6A priority Critical patent/EP2859833A4/en
Priority to CN201380030577.0A priority patent/CN104363815B/zh
Publication of WO2013187206A1 publication Critical patent/WO2013187206A1/ja
Priority to US14/564,453 priority patent/US9916666B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to an image processing device, an image processing method, and an image processing program for discriminating an abnormal region from an image obtained by imaging the inside of a lumen of a living body.
  • Patent Document 1 discloses a technique for detecting an abnormal portion based on a fine structure of a mucosal surface or a blood vessel running form from within an image.
  • the feature value obtained by quantifying the pixel value pattern on the mucosal surface is calculated.
  • the feature quantity for example, the shape feature quantity (area, groove width, circumference length, circularity, branching point, end point, branching rate, etc. of a region extracted by binarizing an image of a specific spatial frequency component, for example, Patent Literature 2), and feature quantities based on spatial frequency analysis using a Gabor filter or the like (see, for example, Patent Document 3).
  • the linear discriminant function is created in advance using teachers as feature amounts calculated from normal and abnormal findings images.
  • JP 2005-192880 A Japanese Patent No. 2918162 JP 2002-165757 A
  • the present invention has been made in view of the above, and an image processing apparatus capable of accurately identifying an abnormality in a fine structure even when a difference in resolution occurs in the fine structure of a subject due to a difference in imaging distance
  • An object is to provide an image processing method and an image processing program.
  • an image processing apparatus includes an imaging distance estimation unit that estimates an imaging distance to a subject shown in an image, and an inspection area in the image.
  • An inspection region setting unit that sets an index indicating the spread of the imaging distance distribution of the subject reflected in the region to be within a predetermined range, and a fine structure of the subject reflected in the inspection region that is specified according to the inspection region
  • an abnormal structure identifying unit that identifies whether or not the fine structure of the subject shown in the inspection region is abnormal by using a texture feature that can identify the abnormal.
  • An image processing method includes an imaging distance estimation step for estimating an imaging distance to a subject reflected in an image, and an index indicating an inspection area in the image and a spread of an imaging distance distribution of the subject reflected in the inspection area Using a texture feature that can identify an abnormality in the fine structure of a subject reflected in the inspection area, specified according to the inspection area, And an abnormal structure identifying step for identifying whether or not the fine structure of the subject shown in the inspection area is abnormal.
  • An image processing program includes an imaging distance estimation step for estimating an imaging distance to a subject reflected in an image, and an index indicating an inspection area in the image and a spread of an imaging distance distribution of the subject reflected in the inspection area Using a texture feature that can identify an abnormality in the fine structure of a subject reflected in the inspection area, specified according to the inspection area, An abnormal structure identifying step for identifying whether or not the fine structure of the subject shown in the inspection area is abnormal is executed by a computer.
  • a texture feature that is set in accordance with each inspection region is set for an inspection region that is set so that the index indicating the spread of the imaging distance distribution of the subject reflected in the inspection region is within a predetermined range. Since the abnormality is identified using the quantity, it is possible to accurately identify the abnormality of the fine structure even when the difference in resolution occurs in the fine structure of the subject due to the difference in the imaging distance.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 3A is a schematic diagram illustrating a state in which the inside of a lumen is imaged by an endoscope.
  • FIG. 3B is a schematic diagram illustrating an intraluminal image captured by an endoscope.
  • FIG. 4 is a flowchart showing in detail the processing executed by the imaging distance estimation unit shown in FIG.
  • FIG. 5 is a flowchart showing in detail the processing executed by the inspection area setting unit shown in FIG.
  • FIG. 6 is a schematic diagram for explaining an inspection region setting method.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 3A is a schematic diagram illustrating a state in
  • FIG. 7 is a flowchart showing in detail the processing executed by the abnormal structure identification unit shown in FIG.
  • FIG. 8 is a block diagram illustrating a configuration of a calculation unit included in the image processing apparatus according to Modification 1-1.
  • FIG. 9 is a flowchart showing in detail the processing executed by the inspection area setting unit shown in FIG.
  • FIG. 10 is a schematic diagram illustrating processing executed by the inspection area setting unit illustrated in FIG.
  • FIG. 11 is a flowchart showing in detail the processing executed by the abnormal structure identification unit shown in FIG.
  • FIG. 12 is a block diagram illustrating a configuration of a calculation unit included in the image processing apparatus according to Modification 1-2.
  • FIG. 13 is a flowchart showing in detail the processing executed by the inspection area setting unit shown in FIG. FIG.
  • FIG. 14 is a flowchart showing in detail the processing executed by the abnormal structure identification unit shown in FIG.
  • FIG. 15 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 16 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 17 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 18 is a flowchart showing in detail the processing executed by the inspection area setting unit shown in FIG.
  • FIG. 19 is a schematic diagram for explaining processing executed by the inspection region setting unit shown in FIG.
  • FIG. 20 is a flowchart showing in detail the processing executed by the abnormal structure identification unit shown in FIG. FIG.
  • FIG. 21 is a schematic diagram illustrating intensity characteristics of frequency components according to the imaging distance in the intraluminal image.
  • FIG. 22 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 4 of the present invention.
  • FIG. 23 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 24 is a flowchart showing in detail the processing executed by the inspection area setting unit shown in FIG.
  • FIG. 25 is a schematic diagram illustrating processing executed by the inspection region setting unit illustrated in FIG.
  • FIG. 26 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 5 of the present invention.
  • FIG. 27 is a flowchart showing the operation of the image processing apparatus shown in FIG. FIG.
  • FIG. 28 is a flowchart showing in detail the processing executed by the inspection area deforming unit shown in FIG.
  • FIG. 29 is a schematic diagram illustrating the concept of processing executed by the inspection area deforming unit shown in FIG.
  • FIG. 30 is a block diagram illustrating a configuration of the inspection region deforming unit in Modification 5-1.
  • FIG. 31 is a flowchart showing details of processing executed by the inspection area deforming unit shown in FIG.
  • FIG. 32A is a schematic diagram illustrating the concept of processing executed by the inspection region deforming unit illustrated in FIG.
  • FIG. 32B is a schematic diagram illustrating processing executed by the inspection area deforming unit illustrated in FIG. 30.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • the image processing apparatus 1 according to the first embodiment is acquired by, for example, imaging a living body lumen with an endoscope or a capsule endoscope (hereinafter collectively referred to as an endoscope).
  • This is an apparatus that performs image processing for identifying abnormalities in the fine structure of the mucosal surface on the intraluminal image (hereinafter also simply referred to as an image).
  • the intraluminal image is usually a predetermined pixel level (for example, 256 gradations) with respect to wavelength components (color components) of R (red), G (green), and B (blue) at each pixel position (pixels). Value).
  • the image processing apparatus 1 includes a control unit 10 that controls the operation of the entire image processing apparatus 1, an image acquisition unit 20 that acquires image data corresponding to an image captured by an endoscope, and the like.
  • An input unit 30 that receives an input signal input from the outside, a display unit 40 that performs various displays, a recording unit 50 that stores image data acquired by the image acquisition unit 20 and various programs, and image data
  • an arithmetic unit 100 that executes predetermined image processing.
  • the control unit 10 is realized by hardware such as a CPU, and reads various programs recorded in the recording unit 50, thereby according to image data input from the image acquisition unit 20, operation signals input from the input unit 30, and the like. Then, instructions to each unit constituting the image processing apparatus 1 and data transfer are performed, and the overall operation of the image processing apparatus 1 is controlled in an integrated manner.
  • the image acquisition unit 20 is appropriately configured according to the mode of the system including the endoscope.
  • the image acquisition unit 20 detachably mounts the recording medium and records image data of the recorded image. It is comprised with the reader apparatus which reads.
  • the image acquisition unit 20 includes a communication device connected to the server, and performs image communication with the server to perform image communication. Get the data. Or you may comprise the image acquisition part 20 by the interface apparatus etc. which input an image signal from an endoscope via a cable.
  • the input unit 30 is realized by an input device such as a keyboard, a mouse, a touch panel, or various switches, and outputs the received input signal to the control unit 10.
  • the display unit 40 is realized by a display device such as an LCD or an EL display, and displays various screens including intraluminal images under the control of the control unit 10.
  • the recording unit 50 is realized by various IC memories such as ROM and RAM such as flash memory that can be updated and recorded, a hard disk built in or connected by a data communication terminal, or an information recording device such as a CD-ROM and its reading device.
  • the recording unit 50 operates the image processing apparatus 1 in addition to the image data acquired by the image acquisition unit 20, and uses the program for causing the image processing apparatus 1 to execute various functions, and is used during the execution of this program. Data to be stored.
  • the recording unit 50 stores an image processing program 51 for identifying abnormalities in the fine structure of the mucosal surface reflected in the image, various information used during the execution of this program, and the like.
  • the arithmetic unit 100 is realized by hardware such as a CPU, and reads the image processing program 51 to perform image processing on the intraluminal image and executes various arithmetic processes for identifying abnormalities in the fine structure of the mucosal surface. To do.
  • the calculation unit 100 includes an imaging distance estimation unit 110 that estimates an imaging distance to a subject shown in an image, and an inspection area in the image and a distribution of imaging distances of the subject shown in the inspection area.
  • an inspection area setting unit 120 that sets an index indicating spread within a predetermined range, and a texture feature that can be identified according to the inspection area and that can identify abnormalities in the fine structure of the subject appearing in the inspection area
  • an abnormal structure identifying unit 130 for identifying whether or not the fine structure of the subject shown in the inspection area is abnormal.
  • the texture in image processing is a repetitive luminance pattern (reference: CG-ARTS Association, “Digital Image Processing”, page 192 (region texture)).
  • a specific spatial frequency component is used as a texture feature value obtained by quantifying the texture feature.
  • the imaging distance estimation unit 110 has the highest degree of absorption or scattering in the living body among pixel values (R component, G component, and B component values) of each pixel in the image.
  • a low absorption wavelength selection unit 111 that selects an R component value (hereinafter referred to as an R component value) corresponding to a low absorption wavelength component, which is a low wavelength component, is provided. Estimate the imaging distance.
  • the inspection area setting unit 120 includes a candidate area setting unit 121 that sets an inspection candidate area in an image, and an area determination unit 122 that determines an inspection area based on imaging distance information of a subject shown in the set inspection candidate area.
  • the region determination unit 122 includes an imaging distance range calculation unit 122a that calculates a distribution range of imaging distances to the subject shown in the inspection candidate region, and inspects an inspection candidate region whose distribution range is equal to or less than a predetermined threshold. Confirm as an area.
  • the abnormal structure identification unit 130 includes a specific frequency component calculation unit 131 that calculates a specific spatial frequency component in the examination region, and a statistical classification unit 132 that performs statistical classification based on the specific spatial frequency component.
  • the specific spatial frequency component will be described later.
  • FIG. 2 is a flowchart showing the operation of the image processing apparatus 1.
  • the mucous membrane is reflected in almost all regions of the intraluminal image, and the processing for the mucosal region will be described below.
  • step S11 the calculation unit 100 acquires the intraluminal image to be processed by reading the image data recorded in the recording unit 50.
  • FIG. 3A is a schematic diagram showing a state in which the inside of a lumen is imaged by an endoscope.
  • FIG. 3B is a schematic diagram illustrating an intraluminal image captured by an endoscope.
  • the endoscope 6 normally performs imaging with the visual field V directed in the longitudinal direction of the lumen 7. Therefore, the images M mucosal surfaces 8 a subject is reflected, so that the image area m 2 to the foreground v image area m 1 1 is reflected and distant v 2 is reflected are mixed. For this reason, due to the difference in the imaging distance r, a difference in image quality occurs between the image area m 1 and the image area m 2 .
  • the image M will be described as an example of processing.
  • FIG. 4 is a flowchart showing in detail the processing executed by the imaging distance estimation unit 110.
  • the low absorption wavelength selection unit 111 selects a low absorption wavelength component that is the wavelength component having the lowest degree of absorption or scattering in the living body. This is to obtain a pixel value that best reflects the imaging distance r between the endoscope 6 and the mucosal surface 8 by suppressing the influence of light absorption or scattering by blood vessels or the like in the vicinity of the mucosal surface 8. is there.
  • the R component is farthest from the blood absorption band and is the component with the longest wavelength, and thus is hardly affected by absorption or scattering in the living body. Therefore, in the first embodiment, the R component is selected.
  • the imaging distance estimation unit 110 calculates the imaging distance r when the mucosal surface 8 is assumed to be a uniform diffusion surface based on the R component value selected as the low absorption wavelength component by the following equation (1).
  • symbol I is the radiation intensity of the light source built in the endoscope 6, and a measurement value measured in advance is applied.
  • Symbol K is a diffuse reflection coefficient of the mucosal surface 8, and an average value is measured in advance and applied.
  • the symbol ⁇ is an angle formed by the normal vector of the mucosal surface 8 and the vector from the mucosal surface 8 to the light source (endoscope 6).
  • angle ⁇ is actually a value that is individually determined by the positional relationship between the light source provided at the distal end of the endoscope 6 and the mucosal surface 8, but an average value is set in advance and applied.
  • Symbol L is an R component value of a pixel in which an estimation target region on the mucosal surface 8 at the imaging distance r is reflected.
  • step S13 the inspection area setting unit 120 sets the inspection area in the image so that the index indicating the distribution of the imaging distance r of the subject reflected in the inspection area is within a predetermined range.
  • the distribution range of the imaging distance r is used as an index indicating the spread of the distribution.
  • FIG. 5 is a flowchart showing in detail the processing executed by the inspection area setting unit 120.
  • FIG. 6 is a schematic diagram for explaining processing executed by the inspection area setting unit 120.
  • the region determining unit 122 determines an inspection candidate region whose distribution range ⁇ r is equal to or less than a predetermined threshold as an inspection region.
  • step S14 the abnormal structure identifying unit 130 identifies whether or not the surface of the subject shown in the confirmed examination region, that is, the fine structure of the mucosal surface 8 is abnormal.
  • FIG. 7 is a flowchart showing in detail the processing executed by the abnormal structure identification unit 130.
  • the specific frequency component calculator 131 calculates the intensity of the specific spatial frequency component of each wavelength component (R component, G component, B component) constituting the image M for each inspection area EA j for each pixel. calculate.
  • the specific spatial frequency component is a spatial frequency component capable of identifying the presence or absence of abnormality in the fine structure of the mucosal surface 8 shown in the image M, and is set in advance based on teacher data or the like. .
  • the specific spatial frequency component is calculated for each wavelength component in the inspection area EA j by using a known bandpass filter (Reference: CG-ARTS Association, “Digital Image Processing”, page 136 (bandpass filter), 141 This can be realized by applying a page (LOG filter).
  • bandpass filter processing calculation of specific spatial frequency components is not performed on pixels (end pixels) located at the end of the inspection area EA j .
  • step S142 the statistical classification unit 132 calculates, for each inspection area EA j , the average intensity between pixels of the specific spatial frequency component for each wavelength component, and creates a feature vector x having these average intensities as components. To do. In the first embodiment, the calculation is performed for the three wavelength components R, G, and B, and thus the number of components of the feature vector x is three (that is, a matrix of 3 rows and 1 column).
  • the fine structure of the mucosal surface when the fine structure of the mucosal surface is abnormal, the fine structure is normal in a specific spatial frequency component in an intermediate band excluding a low frequency component representing the shape of the mucosal surface and a high frequency component representing imaging noise. There is a difference in strength between cases.
  • the abnormal structure identification unit 130 determines whether each inspection area EA j is an abnormal area based on the abnormal area identification function created in advance and the feature vector created from the specific spatial frequency component. Do the classification.
  • a classification index P (x) based on the probability model shown in Expression (2) is calculated, and when this value is equal to or greater than a threshold, the inspection area EA j is classified as an abnormal area.
  • the symbol ⁇ is an average vector (3 rows and 1 column) of feature vectors in a plurality of abnormal region samples acquired in advance.
  • Symbol Z is a variance-covariance matrix (3 rows by 3 columns) of feature vectors in a plurality of abnormal region samples acquired in advance.
  • is the determinant of the variance-covariance matrix.
  • Symbol Z ⁇ 1 is an inverse matrix of the variance-covariance matrix.
  • the abnormal region classification method using the probability model is shown.
  • a method other than the above description is used. May be.
  • classification may be performed by a method based on a feature space distance with a representative feature vector, a method of setting a classification boundary in the feature space, or the like.
  • step S15 the calculation unit 100 outputs the abnormality identification result in step S14, displays it on the display unit 40, and records it in the recording unit 50. Thereafter, the processing in the image processing apparatus 1 is terminated.
  • the inspection area is set in the image, and the index indicating the spread of the imaging distance distribution of the subject shown in the inspection area is set within the predetermined range.
  • a specific spatial frequency component that can identify an abnormality of the fine structure of the subject reflected in the inspection area is used as a texture feature amount to identify whether or not the fine structure of the subject reflected in the inspection area is abnormal.
  • FIG. 8 is a block diagram illustrating a configuration of a calculation unit included in the image processing apparatus according to Modification 1-1.
  • the calculation unit 100-1 according to Modification 1-1 includes an imaging distance estimation unit 110, an inspection region setting unit 140, and an abnormal structure identification unit 150.
  • the configuration and operation of the imaging distance estimation unit 110 are the same as those in the first embodiment.
  • the configuration and operation of the entire image processing apparatus other than the arithmetic unit 100-1 are the same as those in the first embodiment.
  • the inspection area setting unit 140 includes a candidate area setting unit 141 and an area determination unit 142.
  • the candidate area setting unit 141 includes a representative imaging distance acquisition unit 141a that acquires a representative imaging distance to a subject shown at a position where an examination candidate area is set, and has a size according to the representative imaging distance.
  • An inspection candidate area is set.
  • the area determining unit 142 includes an imaging distance variance calculating unit 142a that calculates the variance of the imaging distance to the subject shown in the examination candidate area, and the examination candidate area whose variance is equal to or less than a predetermined threshold is decided as the examination area. To do.
  • the abnormal structure identification unit 150 includes a specific wavelength component selection unit 151 that selects a specific wavelength component that is specified according to the degree of absorption or scattering in a living body, and a specific frequency component calculation that calculates a specific frequency component at the selected wavelength. And a statistical classification unit 153 that performs statistical classification based on the specific spatial frequency component.
  • FIG. 9 is a flowchart showing in detail the process (step S13) executed by the inspection area setting unit 140.
  • FIG. 10 is a schematic diagram for explaining processing executed by the inspection area setting unit 140.
  • FIG. 11 is a flowchart showing in detail the process (step S14) executed by the abnormal structure identification unit 150.
  • the inspection area setting unit 140 includes an inspection area in the image M so that only an object whose index indicating the spread of the imaging distance distribution estimated in step S12 is within a predetermined range is included.
  • the dispersion of the imaging distance that is more stable with respect to noise than the distribution range of the imaging distance is used as an index indicating the spread of the distribution.
  • FIG. 10 shows three center positions (x 1 , y 1 ), (x 2 , y 2 ), and (x 3 , y 3 ) as an example.
  • the representative imaging distance acquisition unit 141a acquires the imaging distance to the subject shown at each center position (x i , y i ).
  • the subject in the foreground portion appears larger and the subject in the far view portion appears smaller (see FIG. 3A). For this reason, if the inspection area is set to be smaller as the imaging distance becomes longer, there is a high possibility that the dispersion of the imaging distance to the subject included in the inspection area can be suppressed to a predetermined value or less.
  • the candidate area setting unit 141 sets the inspection candidate area CB i having a size corresponding to the imaging distance with the center position (x i , y i ) as the center.
  • the shape of the inspection region is not particularly limited, and various shapes such as a rectangle and a circle can be applied.
  • a relatively large inspection candidate area CB 1 is set for the center position (x 1 , y 1 ) of the foreground part, and for the center position (x 3 , y 3 ) of the distant part.
  • a relatively small inspection candidate area CB 3 is set.
  • an inspection candidate area CB 2 having an intermediate size is set at the center position (x 2 , y 2 ) of these intermediate portions.
  • step S234 the imaging distance variance calculating unit 142a calculates the variance of the imaging distance distribution to the subject in each examination candidate area CB i .
  • the region determining unit 142 determines the inspection candidate region CB i whose variance is equal to or less than a predetermined threshold as the inspection region EB i .
  • the inspection candidate regions CB 1 and CB 3 are determined as the inspection regions EB 1 and EB 3 .
  • step S14 the abnormal structure identifying unit 150 identifies whether or not the fine structure of the mucosal surface reflected in the examination region EB i is abnormal.
  • abnormalities in the fine structure are identified using specific spatial frequency components in all wavelength components (R component, G component, and B component).
  • R component, G component, and B component abnormalities in the fine structure of the mucosal surface are often caused by the formation of capillaries. For this reason, a remarkable change is seen as the wavelength component is closer to the blood absorption band. Therefore, in the present modified example 1-1, an abnormal structure is identified using a specific spatial frequency component at a specific wavelength having a high degree of absorption or scattering in a living body as a texture feature amount.
  • the specific wavelength component selection unit 151 selects, for example, a G component or a B component as the specific wavelength component having a high degree of absorption or scattering in the living body.
  • the specific frequency component calculation unit 152 calculates, for each pixel, the intensity of the specific spatial frequency component in the selected wavelength component for each inspection region EB i .
  • the specific spatial frequency component is set in advance based on teacher data and the like.
  • step S243 the statistical classification unit 153 calculates the average intensity between the pixels of the specific spatial frequency component of the selected wavelength component, and uses the value of the average intensity as a feature amount.
  • the abnormal structure identifying unit 150 classifies whether each inspection region EB i is an abnormal region based on the abnormal region identification function and the feature amount created in advance.
  • the process using the discriminant function is the same as in the first embodiment.
  • the feature amount calculated in Step S243 is applied instead of the feature vector x.
  • an average value of feature amounts in a plurality of abnormal region samples acquired in advance is applied.
  • the size of the inspection candidate area is changed according to the imaging distance, so that the index indicating the spread of the imaging distance distribution of the subject reflected in the inspection area is within a predetermined range.
  • the inspection area it is possible to efficiently set the inspection area.
  • the wavelength used for identifying the abnormalities in the fine structure it is possible to accurately identify the abnormalities in the fine structure accompanied by the change in light absorption.
  • FIG. 12 is a block diagram illustrating a configuration of a calculation unit included in the image processing apparatus according to Modification 1-2.
  • the calculation unit 100-2 according to Modification 1-2 includes an imaging distance estimation unit 110, an inspection region setting unit 160, and an abnormal structure identification unit 170.
  • the configuration and operation of the imaging distance estimation unit 110 are the same as those in the first embodiment.
  • the configuration and operation of the entire image processing apparatus other than the arithmetic unit 100-2 are the same as those in the first embodiment.
  • the inspection area setting unit 160 includes a candidate area setting unit 161 and an area determination unit 142.
  • the candidate area setting unit 161 includes a representative imaging distance gradient calculating unit 161a that calculates a representative imaging distance gradient of a subject shown at a position where an inspection candidate area is set, and an inspection having a size corresponding to the representative imaging distance gradient. Set candidate areas.
  • the configuration and operation of the area determination unit 142 are the same as those in Modification 1-1.
  • the abnormal structure identification unit 170 includes a specific inter-wavelength ratio calculation unit 171 that calculates a ratio between specific wavelength components having different degrees of absorption or scattering in a living body, and a specific spatial frequency with respect to the calculated ratio between the specific wavelength components.
  • a specific frequency component calculation unit 172 that calculates components and a statistical classification unit 173 that performs statistical classification based on the specific spatial frequency components are provided.
  • FIG. 13 is a flowchart showing in detail the process (step S13) executed by the inspection area setting unit 160.
  • FIG. 14 is a flowchart showing in detail the process (step S14) executed by the abnormal structure identification unit 170. Note that steps S231, S234, and S235 shown in FIG. 13 correspond to FIG.
  • step S232 ′ subsequent to step S231 shown in FIG. 13, the representative imaging distance gradient calculating unit 161a detects the subject appearing at each center position (x i , y i ) randomly determined in the image M (see FIG. 10). An imaging distance gradient is calculated.
  • a known first-order differential filter Reference: CG-ARTS Association, “Digital Image Processing”, page 114 (differential filter)
  • the absolute value of the calculated value is obtained.
  • the larger the imaging distance gradient the larger the range of imaging distance in the predetermined area. Therefore, if the inspection area is set to be smaller as the imaging distance gradient at the position where the inspection area is to be set is larger, the possibility that the variance of the imaging distance to the subject included in the inspection area can be suppressed to a predetermined value or less is increased. .
  • step S233 ′ the candidate area setting unit 161 determines the size of the inspection candidate area according to the imaging distance gradient at each center position (x i , y i ), and the inspection candidate having the size according to the imaging distance gradient.
  • the region is set around each center position (x i , y i ).
  • the subsequent steps S234 and S235 are the same as in Modification 1-1.
  • the abnormal structure identifying unit 170 identifies whether or not the fine structure of the mucosal surface reflected in the examination region is abnormal.
  • abnormalities in the fine structure were identified using a specific spatial frequency component at a specific wavelength with a high degree of absorption or scattering in the living body.
  • the pixel value change in the fine structure reflected in the image is affected by the imaging distance, and the change is small in the distant view portion and the change is large in the close view portion.
  • the average intensity of the specific spatial frequency component calculated in Modification 1-1 includes a change in the pixel value according to the imaging distance.
  • a ratio between specific wavelength components having different degrees of absorption or scattering in the living body is calculated, and The abnormal structure is identified using the specific spatial frequency component as the texture feature amount.
  • the specific inter-wavelength ratio calculation unit 171 determines that the specific wavelength components between the different wavelength components have different degrees of absorption or scattering in the living body based on the pixel value of each pixel in the examination region. For example, G / R or the like is calculated. Hereinafter, the ratio calculated by this is referred to as an inter-wavelength ratio.
  • the specific frequency component calculation unit 172 calculates the intensity of the specific spatial frequency component of the inter-wavelength ratio for each pixel for each inspection region.
  • the specific spatial frequency component is set in advance based on teacher data and the like.
  • step S243 ' the statistical classification unit 173 calculates an average intensity between pixels of the specific spatial frequency component of the inter-wavelength ratio, and uses the value of the average intensity as a feature amount.
  • step S244 the abnormal structure identifying unit 170 classifies whether each inspection region is an abnormal region based on the abnormal region identification function and the feature amount created in advance. The details of this process are the same as in Modification 1-1.
  • the size of the inspection area is changed in accordance with the imaging distance gradient at the position where the inspection area is set, so that the index indicating the spread of the imaging distance distribution is within a predetermined range. It is possible to efficiently set the inspection area that is inside. As a result, it is possible to identify fine structure abnormalities on a wider range of mucosal surfaces, and to improve fine structure abnormality identification accuracy. Also, by using the inter-wavelength ratio when identifying fine structure abnormalities, it is possible to suppress changes in the intensity of specific spatial frequency components that occur according to the imaging distance, and to accurately identify fine structure abnormalities. .
  • FIG. 15 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 2 of the present invention.
  • the image processing apparatus 2 according to the second embodiment includes a calculation unit 200 instead of the calculation unit 100 illustrated in FIG. 1.
  • the configuration and operation of each unit of the image processing apparatus 2 other than the arithmetic unit 200 are the same as those in the first embodiment.
  • the calculation unit 200 includes a non-inspection region exclusion unit 210 that excludes a region (non-inspection region) that is not a target for identifying an abnormality in the image from a processing target, an imaging distance estimation unit 110, an inspection region setting unit 120, A repetitive control unit 220 that performs control to repeatedly execute the setting of the inspection region for a region where the inspection region is not set, and an abnormal structure identification unit 130 are provided.
  • the configurations and operations of the imaging distance estimation unit 110, the inspection region setting unit 120, and the abnormal structure identification unit 130 are the same as those in the first embodiment.
  • the inspection region setting unit 140 and the abnormal structure identification unit 150 in Modification 1-1, or the inspection region setting unit 160 and abnormality in Modification 1-2.
  • the structure identification unit 170 may be applied.
  • FIG. 16 is a flowchart showing the operation of the image processing apparatus 2.
  • the arithmetic unit 200 acquires the intraluminal image to be processed by reading the image data recorded in the recording unit 50.
  • the non-inspection area exclusion unit 210 identifies non-inspection areas such as dark parts, bright parts, residues, bubbles, and the like based on the color information, frequency information, shape information, and the like that can be acquired from the image. exclude.
  • the non-inspection area exclusion unit 210 extracts areas where bright parts, dark parts, residues, bubbles, and the like have moved from the image and excludes them as non-inspection areas. Note that these non-inspection regions can be extracted by various known methods.
  • the dark portion extracts a black area based on color feature amounts based on color information (R component, G component, B component values, etc.) of each pixel in the image, and changes in pixel values around the black area
  • the black region can be extracted by determining whether or not the black region is a dark part (reference: Japanese Patent Application Laid-Open No. 2011-234931).
  • the bright portion extracts a white area based on the color feature amount of each pixel in the image, and based on the change in the pixel value near the boundary of the white area, whether the white area is a halation area. It can be extracted by determining whether or not (same as above).
  • a residue is detected as a residue candidate region that is considered to be a non-mucosal region based on the color feature amount of each pixel in the image, and the residue candidate region is determined based on the positional relationship between the residue candidate region and the structure edge in the image. It can be extracted by determining whether or not it is a mucosal region. Bubbles can be extracted, for example, by extracting an edge from the image and calculating a correlation value between the bubble model set in advance and the extracted edge based on the characteristics of the bubble image (reference: Japanese Patent Laid-Open 2007-313119).
  • step S23 the imaging distance estimation unit 110 estimates the imaging distance to the subject shown in the image. This estimation process is the same as in the first embodiment (see step S12 in FIG. 2).
  • step S24 the inspection region setting unit 120 sets the inspection region in the image so that the index indicating the spread of the imaging distance distribution of the subject reflected in the inspection region is within a predetermined range.
  • the inspection area setting process is the same as in the first embodiment (see step S13 in FIG. 2).
  • step S25 the repetitive control unit 220 determines whether the area of the uninspected area, which is an area for which the inspection area has not yet been set, is smaller than a predetermined threshold (threshold A) or has been set so far. It is determined whether or not the number of times the area has been set is greater than a predetermined threshold (threshold N).
  • step S26 the size of the inspection area to be set is made smaller than the previous setting (step S26). Then, the process proceeds to step S24, and the inspection region setting unit 120 is caused to execute the inspection region setting again.
  • step S25: Yes the repetition control unit 220 does not need to set an additional inspection area. If it is determined that there is, the process proceeds to step S27, and the abnormal structure identifying unit 130 is configured to identify abnormality of the fine structure. It should be noted that the micro structure abnormality identification process is the same as that in the first embodiment (see step S14 in FIG. 2). Furthermore, in step S28, the calculation unit 200 outputs an abnormality identification result (see step S15 in FIG. 2).
  • the inspection area is set by excluding the non-inspection area in advance, it is possible to accurately identify the abnormality of the fine structure.
  • the inspection region by repeatedly setting the inspection region, it is possible to identify abnormalities in the fine structure on a wider range of mucosal surfaces, and to improve the fine structure identification accuracy.
  • by reducing the size of the inspection area each time processing is repeated it is possible to identify fine structure abnormalities on a wider range of mucosal surfaces and improve the accuracy of fine structure abnormality identification. It becomes possible to make it.
  • FIG. 17 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 3 of the present invention.
  • the image processing apparatus 3 according to the third embodiment includes a calculation unit 300 instead of the calculation unit 100 illustrated in FIG. 1.
  • the configuration and operation of each part of the image processing apparatus 3 other than the arithmetic unit 300 are the same as those in the first embodiment.
  • the calculation unit 300 includes an imaging distance estimation unit 110, an inspection region setting unit 310, and an abnormal structure identification unit 320. Among these, the configuration and operation of the imaging distance estimation unit 110 are the same as those in the first embodiment.
  • the inspection area setting unit 310 includes one or a plurality of images for each area in which the subject of the imaging distance classified in the same hierarchy and the hierarchy classification unit 311 that classifies the imaging distance values into one or a plurality of hierarchies. And an area dividing unit 312 for dividing the area into three areas, and each of one or a plurality of areas obtained by the area dividing unit 312 is set as an individual inspection area.
  • the abnormal structure identification unit 320 includes a representative imaging distance acquisition unit 321 that acquires a representative imaging distance to a subject reflected in the examination region, and a specific frequency component calculation unit that calculates a specific spatial frequency component corresponding to the representative imaging distance. 322 and a statistical classification unit 323 that performs statistical classification based on the specific spatial frequency component.
  • FIG. 18 is a flowchart showing in detail the process (step S13) executed by the inspection area setting unit 310.
  • FIG. 19 is a schematic diagram for explaining processing executed by the inspection region setting unit 310.
  • FIG. 20 is a flowchart showing in detail the process (step S14) executed by the abnormal structure identification unit 320.
  • FIG. 21 is a schematic diagram illustrating intensity characteristics of frequency components according to the imaging distance in the intraluminal image.
  • step S13 the inspection area setting unit 310 sets the inspection area in the image M so that the index indicating the spread of the imaging distance distribution of the subject reflected in the inspection area is within a predetermined range.
  • the layer classification unit 311 classifies the imaging distance values to the subject shown in the image M into a plurality of predetermined layers. Each layer is set such that the range of the imaging distance is equal to or less than a predetermined value.
  • the region dividing unit 312 divides the image M for each region where a subject whose imaging distance is the same layer is shown. For example, in FIG. 19, a hierarchy R1 whose imaging distance is r1 or less, a hierarchy R2 whose imaging distance is in the range of r1 to r2, a hierarchy R3 whose imaging distance is in the range of r2 to r3, and an imaging distance of r3 or more.
  • the image M is divided into four divided areas B1 to B4 corresponding to the hierarchy R4.
  • step S333 the inspection area setting unit 310 sets the divided areas B1 to B4 corresponding to the respective layers R1 to R4 as individual inspection areas.
  • step S14 the abnormal structure identifying unit 320 identifies whether or not the fine structure of the mucosal surface reflected in the examination region is abnormal.
  • the representative imaging distance acquisition unit 321 acquires a representative imaging distance to the subject shown in each inspection area (divided area) B1 to B4.
  • Typical imaging distances include an average value of imaging distances to subjects included in the inspection areas B1 to B4, an imaging distance at the center of gravity coordinates of the inspection areas B1 to B4, and the like.
  • the specific frequency component calculation unit 322 specifies a spatial frequency component used for abnormality identification for each of the inspection regions B1 to B4 according to a representative imaging distance.
  • the resolution of the fine structure of the mucosal surface varies depending on the imaging distance. Specifically, the resolution decreases as the imaging distance increases. Therefore, for example, as shown in FIG. 21, if the specific spatial frequency capable of identifying the fine structure abnormality is f 1 when the imaging distance is short (near view), the same fine structure abnormality can be identified.
  • the spatial frequency shifts to the high frequency side as the imaging distance increases (distant view: spatial frequency f 2 ).
  • the specific spatial frequency component used as the texture feature amount is changed in accordance with the representative imaging distance of each of the inspection regions B1 to B4, and the identification accuracy And improve processing efficiency. Specifically, as the imaging distance is longer, the specific spatial frequency component is increased so that a finer structure can be detected. On the other hand, as the imaging distance is shorter, the specific spatial frequency component is lowered to suppress the calculation amount.
  • the specific spatial frequency component corresponding to the imaging distance is set in advance based on teacher data and the like.
  • step S343 the specific frequency component calculation unit 322 calculates, for each pixel, the intensity of the specific spatial frequency component corresponding to the imaging distance with respect to each wavelength component constituting the image for each of the inspection regions B1 to B4.
  • the processing for calculating the intensity of the specific spatial frequency component is the same as in the first embodiment (see step S141 in FIG. 7).
  • the subsequent steps S142 and S143 are the same as in the first embodiment.
  • the inspection area can be efficiently set over a wide range in the image without repeating the process of setting and determining the inspection candidate area.
  • the spatial frequency components used to identify fine structure abnormalities are identified based on the typical imaging distance to the subject in the inspection area, so that fine structure abnormalities can be accurately identified regardless of the imaging distance.
  • the efficiency of the arithmetic processing is also considered.
  • FIG. 22 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 4 of the present invention.
  • the image processing apparatus 4 according to the fourth embodiment includes a calculation unit 400 instead of the calculation unit 100 shown in FIG.
  • the configuration and operation of each unit of the image processing apparatus 4 other than the arithmetic unit 400 are the same as those in the first embodiment.
  • the calculation unit 400 includes an imaging distance estimation unit 110, an inspection region setting unit 410, a repetition control unit 220, and an abnormal structure identification unit 130. Among these, the configurations and operations of the imaging distance estimation unit 110 and the abnormal structure identification unit 130 are the same as those in the first embodiment.
  • the inspection region setting unit 410 includes a hierarchy classification unit 311, a region dividing unit 312, and a local region setting unit 411. Among these, the configurations and operations of the hierarchy classification unit 311 and the region division unit 312 are the same as those in the third embodiment.
  • the local area setting unit 411 sets a local area in an area in which subjects with imaging distances classified into the same hierarchy by the hierarchy classification unit 311 are shown. More specifically, the local region setting unit 411 calculates a distance-converted image calculation unit 411a that calculates a distance-converted image obtained by converting a distance from a boundary of a region in which subjects with imaging distances classified into the same hierarchy are displayed to pixel values. The local region is set based on the distance conversion image.
  • FIG. 23 is a flowchart showing the operation of the image processing apparatus 4. Note that steps S11, S12, S14, and S15 shown in FIG. 23 correspond to the first embodiment (see FIG. 2).
  • step S41 following step S12 the inspection area setting unit 410 sets the inspection area in the image so that the index indicating the spread of the imaging distance distribution of the subject shown in the inspection area is within a predetermined range.
  • FIG. 24 is a flowchart showing in detail the processing executed by the inspection area setting unit 410.
  • FIG. 25 is a schematic diagram for explaining processing executed by the inspection area setting unit 410.
  • step S411 the layer classification unit 311 classifies the imaging distance values to the subject shown in the image M into a plurality of predetermined layers.
  • step S ⁇ b> 412 the region dividing unit 312 divides the image M for each region where a subject whose imaging distance is the same layer is shown.
  • the hierarchy R1 whose imaging distance is r1 or less the hierarchy R2 whose imaging distance is in the range of r1 to r2
  • the hierarchy R3 whose imaging distance is in the range of r2 to r3 the imaging distance
  • the image M is divided into four divided regions B1 to B4 corresponding to the hierarchy R4 in which is equal to or greater than r3.
  • the divided areas B1 to B4 divided in this way have an arbitrary shape according to the subject in the image M. For this reason, when these divided regions B1 to B4 are set as inspection regions as they are and the calculation process of the specific spatial frequency component is executed as the texture feature amount, the specific spatial frequency is applied to the entire pixels of the rectangular region including the inspection region. It becomes necessary to determine whether or not the inspection region is a component to be calculated, and a long time is required for processing. Therefore, in the fourth embodiment, based on the divided areas B1 to B4, an inspection area is set with respect to a local area in an area where an object having an imaging distance of the same hierarchy is shown.
  • the distance conversion image calculation unit 411a calculates a distance conversion image from the boundary of the region where the subject whose imaging distance is in the same layer and the inspection region are already set.
  • the local region setting unit 411 sets the pixel having the maximum value of the distance conversion image as the central coordinate of the inspection region, and the distance from the central coordinate to the end of the inspection region is smaller than the maximum value.
  • the inspection area is set so that
  • the pixel having the maximum value of the distance-converted image is any one of intermediate pixels having the same distance from the two boundaries.
  • the divided region corresponding to the hierarchy R2 The pixel P i located in the middle between the boundary D1 and the boundary D2 of B2 corresponds.
  • the maximum value of the distance converted image is the distance d i from the pixel P i to the boundaries D1 and D2.
  • an inspection area EC i is set in which the maximum value of the diagonal line does not exceed the distance d i ⁇ 2 with the pixel P i as the center. Accordingly, it is possible to set a rectangular inspection area within an area where an object having an imaging distance of the same hierarchy is shown.
  • step S ⁇ b> 42 subsequent to step S ⁇ b> 41 the iterative control unit 220 determines whether the area of the uninspected area is smaller than the threshold A or whether the number of times of setting the inspection area set so far is larger than the threshold N. judge.
  • the reason for performing this determination is that, when the inspection area is not sufficiently set in the image, there is a risk that the identification accuracy of the abnormality of the fine structure may be lowered.
  • step S42: No When the area of the uninspected area is equal to or larger than the threshold A and the number of times the inspection area is set is equal to or smaller than the threshold N (step S42: No), the repetition control unit 220 determines that further setting of the inspection area is necessary. Then, the process proceeds to step S41, and the inspection region setting unit 410 is caused to execute the inspection region setting again. On the other hand, when the area of the uninspected area is smaller than the threshold A or the set number of inspection areas is larger than the threshold N (step S42: Yes), the process proceeds to step S14.
  • the fourth embodiment it is possible to set an inspection region that can efficiently execute the calculation of the specific spatial frequency component without repeating the process of setting and determining the inspection candidate region. it can. Therefore, it is possible to speed up the entire process for identifying fine structure anomalies.
  • FIG. 26 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 5 of the present invention.
  • the image processing apparatus 5 according to the fifth embodiment includes a calculation unit 500 instead of the calculation unit 100 illustrated in FIG.
  • the configuration and operation of each unit of the image processing apparatus 5 other than the calculation unit 500 are the same as those in the first embodiment.
  • the calculation unit 500 includes an imaging distance estimation unit 110, an inspection region setting unit 120, an inspection region deformation unit 510 that deforms an image in the inspection region, and an abnormal structure identification unit 130.
  • an imaging distance estimation unit 110 an inspection region setting unit 120
  • an inspection region deformation unit 510 that deforms an image in the inspection region
  • an abnormal structure identification unit 130 an abnormal structure identification unit 130.
  • the inspection area deforming unit 510 includes a representative imaging distance acquisition unit 511 that acquires a representative imaging distance to a subject reflected in the inspection area, and a size normalization that normalizes the size of the inspection area according to the representative imaging distance. Part 512.
  • FIG. 27 is a flowchart showing the operation of the image processing apparatus 5. Note that steps S11 to S15 shown in FIG. 27 correspond to the first embodiment (see FIG. 2).
  • step S51 following step S13 the inspection area deforming unit 510 deforms the image in the inspection area.
  • the resolution of the fine structure of the mucosal surface varies depending on the imaging distance. Therefore, in the fifth embodiment, an image in the inspection area is deformed in accordance with the set imaging distance to the inspection area, and the specific spatial frequency component in the deformed image is used as a texture feature amount. The identification accuracy is improved by identifying the abnormality.
  • FIG. 28 is a flowchart showing in detail the process (step S51) executed by the inspection area deforming unit 510.
  • FIG. 29 is a schematic diagram for explaining the concept of processing executed by the inspection region deforming unit 510.
  • step S511 the representative imaging distance acquisition unit 511 acquires a representative imaging distance to the subject shown in each inspection area.
  • the size normalization unit 512 normalizes the size of the inspection region according to the representative imaging distance.
  • a pixel value change period corresponding to a specific spatial frequency that can identify an abnormality in the fine structure is c 2 .
  • the specific spatial frequency shifts to the low frequency side, and the cycle of pixel value change increases (c 1 > c 2 ).
  • the specific spatial frequency shifts to the high frequency side, and the period of pixel value change becomes smaller (c 3 ⁇ c 2 ).
  • the imaging distance r 0, when the imaging distance is processed inspection area EC1 is short (i.e., if the foreground portion), reducing the examination region EC1 in accordance with the ratio of the period c 1, c 2
  • the resolution of the reduced inspection area EC1 ′ can be made equal to that of the imaging distance r 0 .
  • the imaging distance r 0, when the imaging distance of the inspection area EC2 to be processed is long (i.e., the case of distant view section), expanding the inspection area EC2 according to the ratio of the period c 2, c 3
  • the resolution of the enlarged inspection area EC2 ′ can be made equal to the case of the imaging distance r 0 . That is, by performing such a modification, it is possible to identify the abnormality by calculating the same specific spatial frequency component in the subsequent step S14 regardless of the imaging distance of the examination region.
  • the size of the inspection area is normalized based on the representative imaging distance to the subject appearing in the inspection area, so that the same identification can be performed regardless of the imaging distance.
  • FIG. 30 is a block diagram illustrating a configuration of the inspection region deforming unit in Modification 5-1.
  • the calculation unit according to Modification 5-1 includes an inspection region deformation unit 520 illustrated in FIG. 30 instead of the inspection region deformation unit 510 illustrated in FIG.
  • the inspection area deforming unit 520 is configured to estimate a three-dimensional coordinate based on the imaging distance and the coordinates in the image with respect to at least three reference points on the subject reflected in the inspection area;
  • An image conversion unit 522 that performs image conversion on the inspection area so as to obtain an image when the inspection area on the plane stretched by the at least three reference points is captured from a predetermined distance.
  • the operation of the calculation unit according to Modification 5-1 is generally the same as that shown in FIG. 27, and the processing in step S51 is different from that of the fifth embodiment.
  • FIG. 31 is a flowchart showing details of the process (step S51) executed by the inspection area deforming unit 520.
  • 32A and 32B are schematic diagrams for explaining the concept of processing executed by the inspection region deforming unit 520.
  • step S51 following step S13 the inspection region deforming unit 520 deforms the image in the inspection region.
  • the size of the examination area is normalized, but the difference in imaging distance that falls within the predetermined range remaining in the examination area is not corrected, and the mucosal surface with a short imaging distance in the same examination area
  • the effect of the difference between the resolution of the fine structure and the resolution of the fine structure of the mucosal surface having a long imaging distance will occur. Therefore, in this modified example 5-1, as shown in FIG. 32A, an area including three reference points (for example, points P 1 , P 2 , P 3 ) on the mucosal surface 8 in the lumen 7 is included.
  • the inspection area is deformed as if it was picked up from the front by the endoscope 6.
  • the three-dimensional coordinate estimation unit 521 estimates the three-dimensional coordinates based on the imaging distance and the coordinates in the image with respect to at least three reference points on the subject shown in the inspection region. To do. As an actual process, first, arbitrary three pixels separated from each other in the inspection region are selected. Then, for example, as shown in FIG.
  • an imaging device for example, The focal length of the endoscope 6
  • the focal length of the image pickup device is determined in advance.
  • the image conversion unit 522 performs image conversion on the inspection area so that the inspection area becomes an image when the area on the subject reflected in the inspection area is captured from a predetermined distance.
  • This image conversion is performed by, for example, the center of gravity of the positions P 1 , P 2 , P 3 on the plane PL passing through the positions P 1 , P 2 , P 3 on the subject (or the center of gravity of the region on the subject corresponding to the inspection region). From this, it is assumed that the viewpoint is placed at a position separated by a predetermined distance in the normal direction of the plane PL, and the conversion is performed assuming that the image is captured at a predetermined focal length.
  • the difference in the imaging distance in the inspection region can be corrected. That is, in the converted image, the variation in the distance between each position in the area on the subject corresponding to each pixel position in the same inspection area and the position of the imaging device is made smaller than that in the image before conversion. be able to. As a result, the difference between the resolution of the fine structure on the mucosal surface with a short imaging distance and the resolution of the fine structure on the mucosal surface with a long imaging distance in the same examination region can be reduced. Therefore, by using the specific spatial frequency component in the image thus converted as the texture feature amount, it is possible to further improve the accuracy of identifying the abnormality of the fine structure.
  • the inspection area in the image and the index indicating the spread of the imaging distance distribution of the subject reflected in the inspection area are within the predetermined range. For each inspection area, identify whether or not the fine structure of the subject appearing in the inspection area is abnormal by using a texture feature quantity that can identify the abnormality of the fine structure of the subject appearing in the inspection area. Therefore, even when the resolution with respect to the fine structure of the mucosal surface reflected in the image is caused by the difference in the imaging distance, it is possible to accurately identify the abnormality of the fine structure of the mucosal surface.
  • the spatial frequency component obtained by quantifying the texture frequency feature is used as an example of the texture feature amount.
  • the statistical feature amount of the texture is used. May be.
  • the statistical feature quantity of the texture can be obtained using a co-occurrence matrix of pixel values. Specifically, a statistic (feature) that represents properties such as uniformity, directionality, and contrast of the pixel value is obtained from the value of the pixel pair at two positions apart from each other in the image by using the co-occurrence matrix. (Reference: CG-ARTS Association, “Digital Image Processing”, pages 194-195 (region texture)).
  • the image processing apparatuses according to the first to fifth embodiments and the modifications described above can be realized by executing the image processing program recorded in the recording apparatus on a computer system such as a personal computer or a workstation. . Further, such a computer system may be used by being connected to other computer systems, servers, or other devices via a public network such as a local area network, a wide area network (LAN / WAN), or the Internet. good.
  • the image processing apparatuses according to the first to third embodiments acquire image data of intraluminal images via these networks, and various output devices (viewers and viewers) connected via these networks.
  • the image processing result may be output to a printer or the like, or the image processing result may be stored in a storage device (such as a recording device and its reading device) connected via these networks.
  • the present invention is not limited to the first to fifth embodiments and the modifications thereof, and various inventions can be made by appropriately combining a plurality of components disclosed in the embodiments and modifications. Can be formed. For example, some constituent elements may be excluded from all the constituent elements shown in each embodiment or modification, or may be formed by appropriately combining the constituent elements shown in different embodiments or modifications. May be.

Abstract

　撮像距離の差により被写体の微細構造に解像度の差が生じる場合においても、微細構造の異常を精度良く識別できる画像処理装置等を提供する。画像処理装置１は、画像に映る被写体までの撮像距離を推定する撮像距離推定部１１０と、上記画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定する検査領域設定部１２０と、検査領域に応じて特定される、検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別部１３０とを備える。

Description

画像処理装置、画像処理方法、及び画像処理プログラム
　本発明は、生体の管腔内を撮像した画像から異常部領域を判別する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
　内視鏡やカプセル型内視鏡等の医用観察装置により生体の管腔内を撮像した画像（以下、内視鏡画像若しくは管腔内画像、又は、単に画像ともいう）に対する画像処理として、例えば特許文献１には、画像内から粘膜表面の微細構造や血管走行形態に基づく異常部を検出する技術が開示されている。この技術においては、内視鏡画像において粘膜の微細構造や血管像に関する情報をよく含むＧ（緑）成分からなる画像を抽出した後、粘膜表面の画素値パターンを数値化した特徴量を算出し、この特徴量と事前に作成した線形判別関数とを用いて、当該画像に映った被写体が正常か異常かを判別する。特徴量としては、例えば、特定の空間周波数成分の画像を二値化して抽出した領域の形状特徴量（面積、溝幅、周囲長、円形度、分岐点、端点、分岐率等、例えば特許文献２を参照）や、Ｇａｂｏｒフィルタ等を利用した空間周波数解析に基づく特徴量（例えば特許文献３を参照）が用いられる。また、線形判別関数は、正常及び異常所見の画像から算出した特徴量を教師データとして事前作成される。
特開２００５－１９２８８０号公報 特許第２９１８１６２号公報 特開２００２－１６５７５７号公報
　しかしながら、内視鏡画像には、管腔内壁を斜めから撮像した画像が多いため、撮像距離（内視鏡と管腔内壁との間の距離）に応じて、管腔内壁の粘膜表面における微細構造の解像度が異なる。つまり、遠景部において微細構造の異常を示す特徴量と、近景部において微細構造の異常を示す特徴量とは異なっている。このため、従来のように、遠景部と近景部とが混在する画像全体に対して、空間周波数に基づく特徴量を算出しても、解像度差の影響により、適切な特徴量を算出することができず、微細構造が正常であるか異常であるかを精度良く判別できないという問題があった。
　本発明は、上記に鑑みて為されたものであって、撮像距離の差により被写体の微細構造に解像度の差が生じる場合においても、微細構造の異常を精度良く識別することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像に映る被写体までの撮像距離を推定する撮像距離推定部と、前記画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定する検査領域設定部と、前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別部と、を備えることを特徴とする。
　本発明に係る画像処理方法は、画像に映る被写体までの撮像距離を推定する撮像距離推定ステップと、前記画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定する検査領域設定ステップと、前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、を含むことを特徴とする。
　本発明に係る画像処理プログラムは、画像に映る被写体までの撮像距離を推定する撮像距離推定ステップと、前記画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定する検査領域設定ステップと、前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、をコンピュータに実行させることを特徴とする。
　本発明によれば、検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定された検査領域に対して、各検査領域に応じて設定されるテクスチャ特徴量を用いて異常の識別を行うので、撮像距離の差により被写体の微細構造に解像度の差が生じる場合においても、微細構造の異常を精度良く識別することが可能になる。
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、図１に示す画像処理装置の動作を示すフローチャートである。 図３Ａは、内視鏡によって管腔内を撮像する様子を示す模式図である。 図３Ｂは、内視鏡によって撮像された管腔内画像を示す模式図である。 図４は、図１に示す撮像距離推定部が実行する処理を詳細に示すフローチャートである。 図５は、図１に示す検査領域設定部が実行する処理を詳細に示すフローチャートである。 図６は、検査領域の設定方法を説明する模式図である。 図７は、図１に示す異常構造識別部が実行する処理を詳細に示すフローチャートである。 図８は、変形例１－１に係る画像処理装置が備える演算部の構成を示すブロック図である。 図９は、図８に示す検査領域設定部が実行する処理を詳細に示すフローチャートである。 図１０は、図８に示す検査領域設定部が実行する処理を説明する模式図である。 図１１は、図８に示す異常構造識別部が実行する処理を詳細に示すフローチャートである。 図１２は、変形例１－２に係る画像処理装置が備える演算部の構成を示すブロック図である。 図１３は、図１２に示す検査領域設定部が実行する処理を詳細に示すフローチャートである。 図１４は、図１２に示す異常構造識別部が実行する処理を詳細に示すフローチャートである。 図１５は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 図１６は、図１５に示す画像処理装置の動作を示すフローチャートである。 図１７は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。 図１８は、図１７に示す検査領域設定部が実行する処理を詳細に示すフローチャートである。 図１９は、図１７に示す検査領域設定部が実行する処理を説明する模式図である。 図２０は、図１７に示す異常構造識別部が実行する処理を詳細に示すフローチャートである。 図２１は、管腔内画像における撮像距離に応じた周波数成分の強度特性を示す模式図である。 図２２は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。 図２３は、図２２に示す画像処理装置の動作を示すフローチャートである。 図２４は、図２２に示す検査領域設定部が実行する処理を詳細に示すフローチャートである。 図２５は、図２２に示す検査領域設定部が実行する処理を説明する模式図である。 図２６は、本発明の実施の形態５に係る画像処理装置の構成を示すブロック図である。 図２７は、図２６に示す画像処理装置の動作を示すフローチャートである。 図２８は、図２６に示す検査領域変形部が実行する処理を詳細に示すフローチャートである。 図２９は、図２６に示す検査領域変形部が実行する処理の概念を説明する模式図である。 図３０は、変形例５－１における検査領域変形部の構成を示すブロック図である。 図３１は、図３０に示す検査領域変形部が実行する処理の詳細を示すフローチャートである。 図３２Ａは、図３０に示す検査領域変形部が実行する処理の概念を説明する模式図である。 図３２Ｂは、図３０に示す検査領域変形部が実行する処理を説明する模式図である。
　以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
（実施の形態１）
　図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態１に係る画像処理装置１は、一例として、内視鏡又はカプセル型内視鏡（以下、これらをまとめて単に内視鏡という）によって生体の管腔内を撮像することにより取得された管腔内画像（以下、単に画像ともいう）に対し、粘膜表面の微細構造の異常を識別する画像処理を施す装置である。管腔内画像は、通常、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の波長成分（色成分）に対して、所定の（例えば２５６階調の）画素レベル（画素値）を有するカラー画像である。
　図１に示すように、画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、内視鏡によって撮像された画像に対応する画像データを取得する画像取得部２０と、外部から入力される入力信号を受け付ける入力部３０と、各種表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。
　制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部５０に記録された各種プログラムを読み込むことにより、画像取得部２０から入力される画像データや入力部３０から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
　画像取得部２０は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、カプセル型内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部２０は、この記録媒体を着脱自在に装着し、記録された画像の画像データを読み出すリーダ装置で構成される。また、内視鏡によって撮像された画像の画像データを保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部２０を、内視鏡からケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
　入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部１０に出力する。
　表示部４０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。
　記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ－ＲＯＭ等の情報記録装置及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、画像内に映った粘膜表面の微細構造の異常を識別するための画像処理プログラム５１や、このプログラムの実行中に使用される種々の情報等を格納する。
　演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことによって管腔内画像に対する画像処理を施し、粘膜表面の微細構造の異常を識別するための種々の演算処理を実行する。
　次に、演算部１００の詳細な構成について説明する。
　図１に示すように、演算部１００は、画像に映る被写体までの撮像距離を推定する撮像距離推定部１１０と、上記画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定する検査領域設定部１２０と、検査領域に応じて特定される、検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別部１３０とを備える。
　ここで、画像処理におけるテクスチャとは、繰返しの輝度パターンのことである（参考：ＣＧ－ＡＲＴＳ協会、「ディジタル画像処理」、第１９２頁（領域のテクスチャ））。本実施の形態１においては、テクスチャの特徴を数値化したテクスチャ特徴量として、特定の空間周波数成分を用いる。
　上記演算部１００の構成のうち、撮像距離推定部１１０は、画像内の各画素の画素値（Ｒ成分、Ｇ成分、Ｂ成分の各値）のうち、生体内における吸収又は散乱の度合いが最も低い波長成分である低吸収波長成分に対応するＲ成分の値（以下、Ｒ成分値という）を選択する低吸収波長選択部１１１を備え、該Ｒ成分値を基に、画像に映る被写体までの撮像距離を推定する。
　検査領域設定部１２０は、画像内に検査候補領域を設定する候補領域設定部１２１と、設定された検査候補領域に映る被写体の撮像距離情報を基に検査領域を確定する領域確定部１２２とを備える。このうち、領域確定部１２２は、検査候補領域内に映る被写体までの撮像距離の分布範囲を算出する撮像距離範囲算出部１２２ａを備え、該分布範囲が所定の閾値以下となる検査候補領域を検査領域として確定する。
　異常構造識別部１３０は、検査領域における特定空間周波数成分を算出する特定周波数成分算出部１３１と、該特定空間周波数成分を基に統計分類を行う統計分類部１３２とを備える。なお、特定空間周波数成分については後述する。
　次に、画像処理装置１の動作について説明する。図２は、画像処理装置１の動作を示すフローチャートである。なお、本実施の形態１においては、管腔内画像のほとんどの領域に粘膜が映っているものとし、以下においては、粘膜領域に対する処理を説明する。
　まず、ステップＳ１１において、演算部１００は、記録部５０に記録された画像データを読み込むことにより、処理対象の管腔内画像を取得する。
　ここで、図３Ａは、内視鏡によって管腔内を撮像する様子を示す模式図である。また、図３Ｂは、内視鏡によって撮像された管腔内画像を示す模式図である。内視鏡６は、通常、管腔７の長手方向に視野Ｖを向けて撮像を行う。このため、被写体である粘膜表面８が映った画像Ｍには、近景ｖ1が映った画像領域ｍ1と遠景ｖ2が映った画像領域ｍ2とが混在することになる。このため、撮像距離ｒの違いに起因して、画像領域ｍ1と画像領域ｍ2との間で画質に差が生じてくる。以下においては、一例として、画像Ｍを処理対象として説明する。
　続くステップＳ１２において、撮像距離推定部１１０は、画像に映る粘膜表面８までの撮像距離ｒを推定する。図４は、撮像距離推定部１１０が実行する処理を詳細に示すフローチャートである。
　ステップＳ１２１において、低吸収波長選択部１１１は、生体内における吸収又は散乱の度合いが最も低い波長成分である低吸収波長成分を選択する。これは、粘膜表面８の近傍の血管等による光の吸収又は散乱の影響を抑制して、内視鏡６と粘膜表面８との間の撮像距離ｒを最もよく反映した画素値を得るためである。Ｒ、Ｇ、Ｂの各成分からなる画像においては、Ｒ成分が血液の吸収帯域から最も離れており、且つ、最も長波長の成分であるため、生体内における吸収又は散乱の影響を受け難い。従って、本実施の形態１においては、Ｒ成分を選択する。
　続くステップＳ１２２において、撮像距離推定部１１０は、低吸収波長成分として選択したＲ成分値を基に、粘膜表面８が均等拡散面であると仮定した場合の撮像距離ｒを、次式（１）を用いて推定する。
Figure JPOXMLDOC01-appb-M000001
 式（１）において、記号Ｉは、内視鏡６が内蔵する光源の放射強度であり、事前に測定された測定値が適用される。記号Ｋは、粘膜表面８の拡散反射係数であり、平均的な値が事前に測定されて適用される。記号θは、粘膜表面８の法線ベクトルと該粘膜表面８から光源（内視鏡６）までのベクトルとのなす角度である。なお、角度θは、実際には内視鏡６の先端に設けられる光源と粘膜表面８との位置関係により個別に決まる値であるが、平均的な値が事前に設定されて適用される。記号Ｌは、撮像距離ｒの粘膜表面８上の推定対象領域が映った画素のＲ成分値である。
　ステップＳ１２に続くステップＳ１３において、検査領域設定部１２０は、検査領域に映る被写体の撮像距離ｒの分布の広がりを示す指標が所定の範囲内となるように、画像内に検査領域を設定する。本実施の形態１においては、分布の広がりを示す指標として、撮像距離ｒの分布範囲を用いる。図５は、検査領域設定部１２０が実行する処理を詳細に示すフローチャートである。また、図６は、検査領域設定部１２０が実行する処理を説明する模式図である。
　ステップＳ１３１において、候補領域設定部１２１は、図６に示すように、画像Ｍを格子状に分割した所定サイズの矩形領域の各々を、検査候補領域ＣＡi（ｉ＝１、２、…、ｎ）として設定する。
　続くステップＳ１３２において、撮像距離範囲算出部１２２ａは、各検査候補領域ＣＡiに映る粘膜表面８までの撮像距離ｒの分布範囲を算出する。具体的には、各検査候補領域ＣＡi内において、各画素のＲ成分値から算出された撮像距離ｒの最小値ｒminと最大値ｒmaxとの差Δｒ（Δｒ＝ｒmax－ｒmin）を分布範囲として求める。
　さらに、ステップＳ１３３において、領域確定部１２２は、分布範囲Δｒが所定の閾値以下となる検査候補領域を検査領域として確定する。本実施の形態１においては、図６の太枠で示す検査領域ＥＡj（ｊ＝１、２、…、ｍ；ｍ≦ｎ）が確定されたものとする。
　ステップＳ１３に続くステップＳ１４において、異常構造識別部１３０は、確定した検査領域に映る被写体の表面、即ち、粘膜表面８の微細構造が異常であるか否かを識別する。図７は、異常構造識別部１３０が実行する処理を詳細に示すフローチャートである。
　ステップＳ１４１において、特定周波数成分算出部１３１は、各検査領域ＥＡjに対し、画像Ｍを構成する各波長成分（Ｒ成分、Ｇ成分、Ｂ成分）の特定空間周波数成分の強度を、各画素について算出する。ここで、特定空間周波数成分とは、画像Ｍに映った粘膜表面８の微細構造における異常の有無の識別が可能な空間周波数成分のことであり、教師データ等に基づいて事前に設定されている。
　特定空間周波数成分の算出は、検査領域ＥＡjの各波長成分に対して、公知のバンドパスフィルタ（参考：ＣＧ－ＡＲＴＳ協会、「ディジタル画像処理」、第１３６頁（バンドパスフィルタ）、第１４１頁（ＬＯＧフィルタ））を適用することで実現できる。なお、実施の形態１においては、検査領域ＥＡjの端部に位置する画素（端部画素）に対して、バンドパスフィルタ処理（特定空間周波数成分の算出）を行わないものとする。その理由は、検査領域ＥＡjの端部画素の特定空間周波数成分を算出する場合、検査領域ＥＡjの外部の画素を用いる必要が生じるが、例えば検査領域ＥＡ3のように、検査領域ＥＡjが画像Ｍの端部に位置する場合、検査領域ＥＡjの外部は即ち画像Ｍの外部となり、画素が存在しないことがあるからである。また、検査領域ＥＡjの外部に画素が存在する場合であっても、検査領域ＥＡjの外部では、検査領域ＥＡjの内部画素の画素値と大きく値が異なっている可能性があるからである。
　ステップＳ１４２において、統計分類部１３２は、各検査領域ＥＡjに対し、特定空間周波数成分の画素間での平均強度を波長成分ごとに算出し、これらの平均強度を成分とする特徴ベクトルｘを作成する。なお、実施の形態１においては、Ｒ、Ｇ、Ｂの３つの波長成分について演算を行うため、特徴ベクトルｘの成分は３つ（即ち、３行１列の行列）となる。
　ここで、粘膜表面の微細構造が異常である場合、粘膜表面の形状を表わす低周波成分と撮像ノイズを表す高周波成分とを除いた中間帯域の特定の空間周波数成分において、微細構造が正常である場合との間で強度の差が生じる。
　そこで、ステップＳ１４３において、異常構造識別部１３０は、事前に作成した異常領域の識別関数と、特定空間周波数成分から作成した特徴ベクトルとを基に、各検査領域ＥＡjが異常領域であるか否かの分類を行う。実際の処理としては、式（２）に示す確率モデルに基づく分類指標Ｐ（ｘ）を算出し、この値が閾値以上である場合に、その検査領域ＥＡjは異常領域であると分類する。
Figure JPOXMLDOC01-appb-M000002
 式（２）において、記号μは、事前に取得された複数の異常領域のサンプルにおける特徴ベクトルの平均ベクトル（３行１列）である。記号Ｚは、事前に取得された複数の異常領域のサンプルにおける特徴ベクトルの分散共分散行列（３行３列）である。記号｜Ｚ｜は、分散共分散行列の行列式である。記号Ｚ-1は、分散共分散行列の逆行列である。記号ｋは、特徴ベクトルｘの次元数であり、実施の形態１においては、ｋ＝３である。
　なお、実施の形態１においては、確率モデルを用いた異常領域の分類方法を示したが、各検査領域が異常であるか正常であるかを分類することができれば、上記説明以外の方法を用いても良い。例えば、代表的な特徴ベクトルとの特徴空間距離に基づく方法や、特徴空間内において分類境界を設定する方法等により分類を行っても良い。
　ステップＳ１５において、演算部１００は、ステップＳ１４における異常識別結果を出力し、表示部４０に表示させると共に、記録部５０に記録させる。その後、画像処理装置１における処理を終了する。
　以上説明したように、実施の形態１によれば、画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定し、検査領域ごとに、該検査領域に映る被写体の微細構造の異常を識別可能な特定空間周波数成分をテクスチャ特徴量として用いて、検査領域に映る被写体の微細構造が異常であるか否かを識別するので、例えば遠景と近景といった撮像距離の差により、画像内に映る被写体（粘膜）表面の微細構造に対する解像度に差が生じる場合においても、粘膜表面の微細構造の異常を精度良く識別することが可能になる。
（変形例１－１）
　次に、実施の形態１の変形例１－１について説明する。
　図８は、変形例１－１に係る画像処理装置が備える演算部の構成を示すブロック図である。図８に示すように、変形例１－１に係る演算部１００－１は、撮像距離推定部１１０と、検査領域設定部１４０と、異常構造識別部１５０とを備える。なお、撮像距離推定部１１０の構成及び動作は、実施の形態１と同様である。また、演算部１００－１以外の画像処理装置全体の構成及び動作も、実施の形態１と同様である。
　検査領域設定部１４０は、候補領域設定部１４１及び領域確定部１４２を備える。このうち、候補領域設定部１４１は、検査候補領域を設定する位置に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部１４１ａを備え、該代表的な撮像距離に応じたサイズの検査候補領域を設定する。また、領域確定部１４２は、検査候補領域内に映る被写体までの撮像距離の分散を算出する撮像距離分散算出部１４２ａを備え、該分散が所定の閾値以下となる検査候補領域を検査領域として確定する。
　異常構造識別部１５０は、生体内における吸収又は散乱の度合いに応じて特定される特定波長成分を選択する特定波長成分選択部１５１と、選択された波長における特定周波数成分を算出する特定周波数成分算出部１５２と、特定空間周波数成分を基に統計分類を行う統計分類部１５３とを備える。
　次に、演算部１００－１の動作について説明する。
　演算部１００－１の動作は全体として図２に示すものと同様であり、ステップＳ１３及びＳ１４における詳細な処理が異なる。図９は、検査領域設定部１４０が実行する処理（ステップＳ１３）を詳細に示すフローチャートである。図１０は、検査領域設定部１４０が実行する処理を説明する模式図である。図１１は、異常構造識別部１５０が実行する処理（ステップＳ１４）を詳細に示すフローチャートである。
　ステップＳ１２に続くステップＳ１３において、検査領域設定部１４０は、ステップＳ１２において推定された撮像距離の分布の広がりを示す指標が所定の範囲内となる被写体のみを含むように、画像Ｍ内に検査領域を設定する。本変形例１－１においては、分布の広がりを示す指標として、撮像距離の分布範囲よりも、ノイズに対してより安定的な撮像距離の分散を用いる。
　より詳細には、ステップＳ２３１において、候補領域設定部１４１が、図１０に示すように、検査候補領域を設定しようとする領域の中心位置(ｘi，ｙi)（ｉ＝１、２、…）を、複数個、ランダムに決定する。図１０には、例として、３箇所の中心位置(ｘ1，ｙ1)、(ｘ2，ｙ2)、(ｘ3，ｙ3)が示されている。
　続くステップＳ２３２において、代表撮像距離取得部１４１ａは、各中心位置(ｘi，ｙi)に映る被写体までの撮像距離を取得する。ここで、画像においては一般に、近景部の被写体ほど大きく映り、遠景部の被写体ほど小さく映る（図３Ａ参照）。このため、撮像距離が長くなるほど検査領域を小さく設定すれば、検査領域に含まれる被写体までの撮像距離の分散を所定値以下に抑えられる可能性が高くなる。
　そこで、ステップＳ２３３において、候補領域設定部１４１は、撮像距離に応じたサイズの検査候補領域ＣＢiを、各中心位置(ｘi，ｙi)を中心として設定する。この際、検査領域の形状は特に限定されず、矩形や円形等、様々な形状を適用することができる。例えば、図１０の場合、近景部の中心位置(ｘ1，ｙ1)に対しては比較的大きな検査候補領域ＣＢ1が設定され、遠景部の中心位置(ｘ3，ｙ3)に対しては比較的小さな検査候補領域ＣＢ3が設定される。また、それらの中間部の中心位置(ｘ2，ｙ2)には、中間のサイズの検査候補領域ＣＢ2が設定される。
　ステップＳ２３４において、撮像距離分散算出部１４２ａは、各検査候補領域ＣＢiに映る被写体までの撮像距離の分布の分散を算出する。
　ステップＳ２３５において、領域確定部１４２は、分散が所定の閾値以下となる検査候補領域ＣＢiを検査領域ＥＢiとして確定する。例えば図１０の場合、検査候補領域ＣＢ1、ＣＢ3が検査領域ＥＢ1、ＥＢ3として確定される。
　ステップＳ１３に続くステップＳ１４において、異常構造識別部１５０は、検査領域ＥＢiに映る粘膜表面の微細構造が異常であるか否かを識別する。ここで、実施の形態１においては、全ての波長成分（Ｒ成分、Ｇ成分、Ｂ成分）における特定空間周波数成分を用いて微細構造の異常を識別した。しかしながら、粘膜表面の微細構造の異常は、毛細血管の形成状態に起因する場合が多い。このため、血液の吸収帯域に近い波長成分ほど顕著な変化が見られる。そこで、本変形例１－１においては、生体内での吸収又は散乱の度合いが高い特定の波長における特定空間周波数成分をテクスチャ特徴量として用いて異常構造の識別を行う。
　詳細には、ステップＳ２４１において、特定波長成分選択部１５１は、生体内における吸収又は散乱の度合いが高い特定波長成分として、例えばＧ成分又はＢ成分を選択する。
　続くステップＳ２４２において、特定周波数成分算出部１５２は、各検査領域ＥＢiに対し、選択された波長成分における特定空間周波数成分の強度を、各画素について算出する。なお、特定空間周波数成分は、教師データ等に基づいて事前に設定されている。
　ステップＳ２４３において、統計分類部１５３は、選択された波長成分の特定空間周波数成分の画素間での平均強度を算出し、この平均強度の値を特徴量とする。
　さらに、ステップＳ２４４において、異常構造識別部１５０は、事前に作成した異常領域の識別関数と特徴量とを基に、各検査領域ＥＢiが異常領域であるか否かの分類を行う。なお、識別関数を用いた処理は、実施の形態１と同様である。ただし、式（２）に示す分類指標Ｐ（ｘ）の算出式においては、特徴ベクトルｘの代わりに、ステップＳ２４３において算出された特徴量が適用される。また、式（２）における平均ベクトルμの代わりに、事前に取得された複数の異常領域のサンプルにおける特徴量の平均値が適用される。さらに、式（２）における分散共分散行列Ｚの代わりに、事前に取得された複数の異常領域のサンプルにおける分散が適用され、逆行列Ｚ-1の代わりに、該サンプルにおける分散の逆数が適用される。また、式（２）において、ｋ＝１となる。
　以上説明したように、変形例１－１によれば、撮像距離に応じて検査候補領域のサイズを変更するので、検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるような検査領域を効率良く設定することができる。その結果、より広範囲の粘膜表面に対して微細構造の異常を識別することが可能になると共に、微細構造の異常の識別精度を向上させることが可能になる。また、微細構造の異常の識別に用いる波長を特定することにより、吸光変化を伴う微細構造の異常を精度良く識別することが可能になる。
（変形例１－２）
　次に、実施の形態１の変形例１－２について説明する。
　図１２は、変形例１－２に係る画像処理装置が備える演算部の構成を示すブロック図である。図１２に示すように、変形例１－２に係る演算部１００－２は、撮像距離推定部１１０と、検査領域設定部１６０と、異常構造識別部１７０とを備える。なお、撮像距離推定部１１０の構成及び動作は、実施の形態１と同様である。また、演算部１００－２以外の画像処理装置全体の構成及び動作も、実施の形態１と同様である。
　検査領域設定部１６０は、候補領域設定部１６１及び領域確定部１４２を備える。候補領域設定部１６１は、検査候補領域を設定する位置に映る被写体の代表的な撮像距離勾配を算出する代表撮像距離勾配算出部１６１ａを備え、当該代表的な撮像距離勾配に応じたサイズの検査候補領域を設定する。領域確定部１４２の構成及び動作は、変形例１－１と同様である。
　異常構造識別部１７０は、生体内における吸収又は散乱の度合いが異なる特定波長成分間の比率を算出する特定波長間比率算出部１７１と、算出された特定波長成分間の比率に対して特定空間周波数成分を算出する特定周波数成分算出部１７２と、特定空間周波数成分を基に統計分類を行う統計分類部１７３とを備える。
　次に、演算部１００－２の動作について説明する。
　演算部１００－２の動作は全体として図２に示すものと同様であり、ステップＳ１３及びＳ１４における詳細な処理が異なる。図１３は、検査領域設定部１６０が実行する処理（ステップＳ１３）を詳細示すフローチャートである。図１４は、異常構造識別部１７０が実行する処理（ステップＳ１４）を詳細に示すフローチャートである。なお、図１３に示すステップＳ２３１、Ｓ２３４、及びＳ２３５は、図９と対応している。
　図１３に示すステップＳ２３１に続くステップＳ２３２’において、代表撮像距離勾配算出部１６１ａは、画像Ｍ（図１０参照）内でランダムに決定された各中心位置(ｘi，ｙi)に映る被写体の撮像距離勾配を算出する。実際の処理としては、各画素位置に映る被写体の撮像距離に対して、公知の１次微分フィルタ（参考：ＣＧ－ＡＲＴＳ協会、「ディジタル画像処理」、第１１４頁（微分フィルタ））を適用し、算出された値の絶対値を求める。
　ここで、撮像距離勾配が大きいほど、所定領域における撮像距離の範囲は大きくなる。このため、検査領域を設定しようとする位置における撮像距離勾配が大きくなるほど検査領域を小さく設定すれば、検査領域に含まれる被写体までの撮像距離の分散を所定値以下に抑えられる可能性が高くなる。
　そこで、ステップＳ２３３’において、候補領域設定部１６１は、各中心位置（ｘi,ｙi）における撮像距離勾配に応じて検査候補領域のサイズを決定し、撮像距離勾配に応じたサイズの検査候補領域を、各中心位置（ｘi,ｙi）を中心として設定する。
　その後のステップＳ２３４、Ｓ２３５は変形例１－１と同様である。
　ステップＳ１３に続くステップＳ１４において、異常構造識別部１７０は、検査領域に映る粘膜表面の微細構造が異常であるか否かを識別する。ここで、変形例１－１においては、生体内における吸収又は散乱の度合いが高い特定波長における特定空間周波数成分を用いて微細構造の異常を識別した。しかしながら、画像に映った微細構造における画素値変化は撮像距離の影響を受け、遠景部では変化が小さく、近景部では変化が大きくなる。このため、変形例１－１において算出した特定空間周波数成分の平均強度には、撮像距離に応じた画素値変化が含まれてしまい、同一の識別関数を用いて異常構造の識別を行うと、識別精度が低下してしまうおそれがある。そこで、本変形例１－２においては、撮像距離に伴う画素値変化の影響を抑制するため、生体内での吸収又は散乱の度合いが互いに異なる特定波長成分間の比率を算出し、該比率における特定空間周波数成分をテクスチャ特徴量として用いて異常構造の識別を行う。
　詳細には、図１４に示すステップＳ２４１’において、特定波長間比率算出部１７１は、検査領域内の各画素の画素値に基づいて、生体内における吸収又は散乱の度合いが互いに異なる特定波長成分間の比率として、例えばＧ／Ｒ等を算出する。以下、これによって算出される比率のことを、波長間比率という。
　続くステップＳ２４２’において、特定周波数成分算出部１７２は、各検査領域に対し、波長間比率の特定空間周波数成分の強度を各画素について算出する。なお、特定空間周波数成分は、教師データ等に基づいて事前に設定されている。
　ステップＳ２４３’において、統計分類部１７３は、波長間比率の特定空間周波数成分の画素間での平均強度を算出し、この平均強度の値を特徴量とする。
　さらにステップＳ２４４において、異常構造識別部１７０は、事前に作成した異常領域の識別関数と特徴量とを基に、各検査領域が異常領域であるか否かの分類を行う。なお、この処理の詳細については、変形例１－１と同様である。
　以上説明したように、変形例１－２によれば、検査領域を設定する位置の撮像距離勾配に応じて検査領域のサイズを変更するので、撮像距離の分布の広がりを示す指標が所定の範囲内となるような検査領域を効率良く設定することができる。その結果、より広範囲の粘膜表面に対して微細構造の異常を識別することが可能になると共に、微細構造の異常の識別精度を向上させることが可能になる。また、微細構造の異常を識別する際に波長間比率を用いることにより、撮像距離に応じて生じる特定空間周波数成分の強度変化を抑制し、微細構造の異常を精度良く識別することが可能になる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。
　図１５は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。図１５に示すように、実施の形態２に係る画像処理装置２は、図１に示す演算部１００の代わりに演算部２００を備える。演算部２００以外の画像処理装置２の各部の構成及び動作は、実施の形態１と同様である。
　演算部２００は、画像内において異常を識別する対象としない領域（非検査対象領域）を処理対象から除外する非検査領域除外部２１０と、撮像距離推定部１１０と、検査領域設定部１２０と、検査領域が未設定の領域に対して、検査領域の設定を繰返し実行させる制御を行う繰返し制御部２２０と、異常構造識別部１３０とを備える。このうち、撮像距離推定部１１０、検査領域設定部１２０、及び異常構造識別部１３０の構成及び動作は、実施の形態１と同様である。なお、検査領域設定部１２０及び異常構造識別部１３０の代わりに、変形例１－１における検査領域設定部１４０及び異常構造識別部１５０、又は、変形例１－２における検査領域設定部１６０及び異常構造識別部１７０を適用しても良い。
　次に、画像処理装置２の動作について説明する。図１６は、画像処理装置２の動作を示すフローチャートである。
　まず、ステップＳ２１において、演算部２００は、記録部５０に記録された画像データを読み込むことにより、処理対象の管腔内画像を取得する。
　続くステップＳ２２において、非検査領域除外部２１０は、画像から取得可能な色情報、周波数情報、形状情報等を基に、暗部、明部、残渣、泡といった非検査領域を特定して検査対象から除外する。
　ここで、管腔内画像には、検査対象となる粘膜領域以外にも、管腔の深部が映った領域（暗部）、被写体の表面から鏡面反射されたハレーション領域（明部）、残渣や泡が映った領域等が存在する。これらの領域が検査領域内に混在すると、微細構造の異常の識別精度が低下してしまう。そこで、非検査領域除外部２１０は、画像から明部、暗部、残渣や泡等が移った領域を抽出し、非検査領域として除外する。なお、これらの非検査領域は、公知の種々の方法により抽出することができる。例えば、暗部は、画像内の各画素の色情報（Ｒ成分、Ｇ成分、Ｂ成分の各値等）に基づく色特徴量を基に黒色領域を抽出し、この黒色領域の周囲の画素値変化の方向に基づいて、当該黒色領域が暗部であるか否かを判別することにより抽出することができる（参考：特開２０１１－２３４９３１号公報）。また、明部は、例えば、画像内の各画素の色特徴量を基に白色領域を抽出し、この白色領域の境界付近の画素値の変化に基づいて、当該白色領域がハレーション領域であるか否かを判別することにより抽出することができる（同上）。残渣は、例えば、画像内の各画素の色特徴量を基に非粘膜領域とみられる残渣候補領域を検出し、この残渣候補領域と画像内の構造エッジとの位置関係に基づいて残渣候補領域が粘膜領域であるか否かを判別することにより抽出することができる。泡は、例えば、画像内からエッジを抽出し、泡画像の特徴を基に予め設定された泡モデルと抽出されたエッジとの相関値を算出することにより抽出することができる（参考：特開２００７－３１３１１９号公報）。
　ステップＳ２３において、撮像距離推定部１１０は、画像に映る被写体までの撮像距離を推定する。なお、この推定処理は、実施の形態１（図２のステップＳ１２参照）と同様である。
　ステップＳ２４において、検査領域設定部１２０は、検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように、画像内に検査領域を設定する。なお、この検査領域の設定処理は、実施の形態１（図２のステップＳ１３参照）と同様である。
　ステップＳ２５において、繰返し制御部２２０は、検査領域が未だ設定されていない領域である未検査領域の面積が所定の閾値（閾値Ａとする）よりも小さいか、又は、これまでに設定された検査領域の設定回数が所定の閾値（閾値Ｎとする）よりも大きいか否かを判定する。ここで、画像内に検査領域が十分に設定されない場合には、微細構造の異常の識別精度が低下するおそれがある。そこで、未検査領域の面積が閾値Ａ以上であり、且つ、検査領域の設定回数が閾値Ｎ以下である場合（ステップＳ２５：Ｎｏ）、繰返し制御部２２０は、検査領域の設定がさらに必要であると判定し、設定する検査領域のサイズを前回の設定時よりも小さくする（ステップＳ２６）。そして、ステップＳ２４に移行して、検査領域設定部１２０に検査領域の設定を再度実行させる。このように検査領域のサイズを小さくすることにより、１つの検査領域に含まれる撮像距離の範囲が狭くなる場合が多いので、検査領域として設定され得る画像内の領域が増加する可能性が高くなる。
　一方、未検査領域の面積が閾値Ａよりも小さいか、又は、検査領域の設定回数が閾値Ｎよりも大きい場合（ステップＳ２５：Ｙｅｓ）、繰返し制御部２２０は、さらなる検査領域の設定は不要であると判定し、ステップＳ２７に移行して、異常構造識別部１３０に微細構造の異常の識別を実行させる。なお、微細構造の異常の識別処理は、実施の形態１（図２のステップＳ１４参照）と同様である。
　さらに、ステップＳ２８において、演算部２００は、異常識別結果を出力する（図２のステップＳ１５参照）。
　以上説明したように、実施の形態２によれば、非検査領域を事前に除外して検査領域を設定するので、微細構造の異常を精度良く識別することが可能になる。また、検査領域の設定を繰返し行うことより、より広範囲の粘膜表面に対して微細構造の異常を識別することが可能になると共に、微細構造の識別精度を向上させることが可能になる。さらに、処理の繰返しを行うごとに検査領域のサイズを小さくすることにより、より広範囲の粘膜表面に対して微細構造の異常を識別することが可能になると共に、微細構造の異常の識別精度を向上させることが可能になる。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。
　図１７は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。図１７に示すように、実施の形態３に係る画像処理装置３は、図１に示す演算部１００の代わりに演算部３００を備える。演算部３００以外の画像処理装置３の各部の構成及び動作は、実施の形態１と同様である。
　演算部３００は、撮像距離推定部１１０と、検査領域設定部３１０と、異常構造識別部３２０とを備える。この内、撮像距離推定部１１０の構成及び動作は、実施の形態１と同様である。
　検査領域設定部３１０は、撮像距離の値を１つ又は複数の階層に分類する階層分類部３１１と、同一の階層に分類された撮像距離の被写体が映る領域毎に、画像を１つ又は複数の領域に分割する領域分割部３１２とを備え、領域分割部３１２により得られた１つ又は複数の領域の各々を個別の検査領域として設定する。
　異常構造識別部３２０は、検査領域に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部３２１と、代表的な撮像距離に応じた特定空間周波数成分を算出する特定周波数成分算出部３２２と、特定空間周波数成分を基に統計分類を行う統計分類部３２３とを備える。
　次に、画像処理装置３の動作について説明する。
　画像処理装置３の動作は全体として図２に示すものと同様であり、ステップＳ１３及びＳ１４における詳細な処理が異なる。図１８は、検査領域設定部３１０が実行する処理（ステップＳ１３）を詳細に示すフローチャートである。図１９は、検査領域設定部３１０が実行する処理を説明する模式図である。図２０は、異常構造識別部３２０が実行する処理（ステップＳ１４）を詳細に示すフローチャートである。図２１は、管腔内画像における撮像距離に応じた周波数成分の強度特性を示す模式図である。
　ステップＳ１２に続くステップＳ１３において、検査領域設定部３１０は、検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように、画像Ｍ内に検査領域を設定する。
　詳細には、まず、図１８に示すステップＳ３３１において、階層分類部３１１は、画像Ｍ内に映る被写体までの撮像距離の値を所定の複数の階層に分類する。なお、各階層は、撮像距離の範囲が所定値以下となるように設定されている。
　続くステップＳ３３２において、領域分割部３１２は、撮像距離が同一階層となる被写体が映る領域毎に、画像Ｍを分割する。例えば図１９においては、撮像距離がｒ１以下である階層Ｒ１と、撮像距離がｒ１～ｒ２の範囲である階層Ｒ２と、撮像距離がｒ２～ｒ３の範囲である階層Ｒ３と、撮像距離がｒ３以上である階層Ｒ４とに対応して、画像Ｍが４つの分割領域Ｂ１～Ｂ４に分割される。
　ステップＳ３３３において、検査領域設定部３１０は、各階層Ｒ１～Ｒ４に対応する分割領域Ｂ１～Ｂ４を、個別の検査領域として設定する。
　ステップＳ１３に続くステップＳ１４において、異常構造識別部３２０は、検査領域に映る粘膜表面の微細構造が異常であるか否かを識別する。
　詳細には、図２０に示すステップＳ３４１において、代表撮像距離取得部３２１は、各検査領域（分割領域）Ｂ１～Ｂ４に映る被写体までの代表的な撮像距離を取得する。代表的な撮像距離としては、検査領域Ｂ１～Ｂ４に含まれる被写体までの撮像距離の平均値や、検査領域Ｂ１～Ｂ４の重心座標における撮像距離等が挙げられる。
　続くステップＳ３４２において、特定周波数成分算出部３２２は、各検査領域Ｂ１～Ｂ４に対し、代表的な撮像距離に応じて、異常の識別に用いる空間周波数成分を特定する。ここで、上述したとおり、内視鏡によって撮像される管腔内画像においては、撮像距離に応じて粘膜表面の微細構造の解像度が異なる。具体的には、撮像距離が長くなるほど、解像度が低下する。このため、例えば、図２１に示すように、撮像距離が短い場合（近景）に、微細構造の異常を識別可能な特定空間周波数がｆ1であるとすると、同じ微細構造の異常を識別可能な空間周波数は、撮像距離が長くなると高周波側にシフトする（遠景：空間周波数ｆ2）。
　そこで、本実施の形態３においては、各検査領域Ｂ１～Ｂ４の代表的な撮像距離に応じて、微細構造の異常の識別の際にテクスチャ特徴量として用いる特定空間周波数成分を変更し、識別精度の向上と処理の効率化を図る。具体的には、撮像距離が長いほど、特定空間周波数成分を高くして、より微細な構造を検出できるようにする。一方、撮像距離が短いほど特定空間周波数成分を低くして、演算量を抑制する。なお、撮像距離に応じた特定空間周波数成分は、教師データ等に基づいて事前に設定されている。
　ステップＳ３４３において、特定周波数成分算出部３２２は、各検査領域Ｂ１～Ｂ４に対し、画像を構成する各波長成分に対し、撮像距離に応じた特定空間周波数成分の強度を、各画素について算出する。なお、特定空間周波数成分の強度の算出処理については、実施の形態１と同様である（図７のステップＳ１４１参照）。
　続くステップＳ１４２及びＳ１４３については、実施の形態１と同様である。
　以上説明したように、実施の形態３によれば、検査候補領域の設定や確定といった処理を繰返すことなく、画像内の広範囲にわたって検査領域を効率良く設定することができる。その結果、微細構造の異常を精度良く識別することが可能になる。また、検査領域に映る被写体までの代表的な撮像距離を基に、微細構造の異常の識別に用いる空間周波数成分を特定するので、撮像距離によらず、微細構造の異常を精度良く識別することが可能になると共に、演算処理を効率化することが可能になる。
（実施の形態４）
　次に、本発明の実施の形態４について説明する。
　図２２は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。図２２に示すように、実施の形態４に係る画像処理装置４は、図１に示す演算部１００の代わりに演算部４００を備える。演算部４００以外の画像処理装置４の各部の構成及び動作は、実施の形態１と同様である。
　演算部４００は、撮像距離推定部１１０と、検査領域設定部４１０と、繰返し制御部２２０と、異常構造識別部１３０とを備える。この内、撮像距離推定部１１０及び異常構造識別部１３０の構成及び動作は、実施の形態１と同様である。
　検査領域設定部４１０は、階層分類部３１１と、領域分割部３１２と、局所領域設定部４１１とを備える。この内、階層分類部３１１及び領域分割部３１２の構成及び動作は、実施の形態３と同様である。
　局所領域設定部４１１は、階層分類部３１１により同一の階層に分類された撮像距離の被写体が映る領域内に局所領域を設定する。より詳細には、局所領域設定部４１１は、互いに同一の階層に分類された撮像距離の被写体が映る領域の境界からの距離を画素値に変換した距離変換画像を算出する距離変換画像算出部４１１ａを備え、該距離変換画像を基に上記局所領域を設定する。
　次に、画像処理装置４の動作について説明する。
　図２３は、画像処理装置４の動作を示すフローチャートである。なお、図２３に示すステップＳ１１、Ｓ１２、Ｓ１４、及びＳ１５は、実施の形態１に対応している（図２参照）。
　ステップＳ１２に続くステップＳ４１において、検査領域設定部４１０は、検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように、画像内に検査領域を設定する。図２４は、検査領域設定部４１０が実行する処理を詳細に示すフローチャートである。また、図２５は、検査領域設定部４１０が実行する処理を説明する模式図である。
　ステップＳ４１１において、階層分類部３１１は、画像Ｍ内に映る被写体までの撮像距離の値を所定の複数の階層に分類する。
　続くステップＳ４１２において、領域分割部３１２は、撮像距離が同一階層となる被写体が映る領域毎に、画像Ｍを分割する。それにより、例えば図２５においては、撮像距離がｒ１以下である階層Ｒ１と、撮像距離がｒ１～ｒ２の範囲である階層Ｒ２と、撮像距離がｒ２～ｒ３の範囲である階層Ｒ３と、撮像距離がｒ３以上である階層Ｒ４とに対応して、画像Ｍが４つの分割領域Ｂ１～Ｂ４に分割される。
　このようにして分割された各分割領域Ｂ１～Ｂ４は、画像Ｍ内の被写体に応じた任意の形状となる。このため、これらの分割領域Ｂ１～Ｂ４をそのまま検査領域として設定し、テクスチャ特徴量として特定空間周波数成分の算出処理を実行すると、検査領域を内包する矩形領域の画素全体に対して、特定空間周波数成分を算出すべき検査領域であるか否かを判定する必要が生じ、処理に長時間を要してしまう。そこで、実施の形態４においては、分割領域Ｂ１～Ｂ４を基に、同一階層の撮像距離となる対象が映る領域内の局所領域に対して、検査領域に設定する。
　詳細には、ステップＳ４１３において、距離変換画像算出部４１１ａは、撮像距離が同一階層となる被写体が映る領域の境界、及び検査領域が既に設定された領域からの距離変換画像を算出する。
　続くステップＳ４１４において、局所領域設定部４１１は、距離変換画像の値が最大値となる画素を検査領域の中心座標とし、該中心座標から検査領域の端部までの距離が、上記最大値より小さくなるように検査領域を設定する。ここで、距離変換画像の値が最大値になる画素とは、即ち、２つの境界からの距離が等しい中間点の画素のいずれかであり、例えば図２５の場合、階層Ｒ２に対応する分割領域Ｂ２の境界Ｄ１及び境界Ｄ２の中間に位置する画素Ｐiが相当する。この場合、距離変換画像の値の最大値は、画素Ｐiから境界Ｄ１、Ｄ２までの距離ｄiとなる。そこで、画素Ｐiを中心とし、対角線の最大値が距離ｄi×２を越えない検査領域ＥＣiを設定する。それにより、同一階層の撮像距離となる被写体が映る領域内で、矩形の検査領域を設定することが可能になる。
　ステップＳ４１に続くステップＳ４２において、繰返し制御部２２０は、未検査領域の面積が閾値Ａよりも小さいか、又は、これまでに設定された検査領域の設定回数が閾値Ｎよりも大きいか否かを判定する。この判定を行う理由は、画像内に検査領域が十分に設定されていない場合には、微細構造の異常の識別精度が低下するおそれがあるからである。
　未検査領域の面積が閾値Ａ以上であり、且つ、検査領域の設定回数が閾値Ｎ以下である場合（ステップＳ４２：Ｎｏ）、繰返し制御部２２０は、検査領域の設定がさらに必要であると判定し、ステップＳ４１に移行して、検査領域設定部４１０に検査領域の設定を再度実行させる。一方、未検査領域の面積が閾値Ａよりも小さいか、又は、検査領域の設定回数が閾値Ｎよりも大きい場合（ステップＳ４２：Ｙｅｓ）、処理はステップＳ１４に移行する。
　以上説明したように、実施の形態４によれば、検査候補領域の設定や確定といった処理を繰返すことなく、特定空間周波数成分の算出を効率的に実行することができる検査領域を設定することができる。従って、微細構造の異常を識別する処理全体を高速化することが可能になる。
（実施の形態５）
　次に、本発明の実施の形態５について説明する。
　図２６は、本発明の実施の形態５に係る画像処理装置の構成を示すブロック図である。図２６に示すように、実施の形態５に係る画像処理装置５は、図１に示す演算部１００の代わりに演算部５００を備える。演算部５００以外の画像処理装置５の各部の構成及び動作は、実施の形態１と同様である。
　演算部５００は、撮像距離推定部１１０と、検査領域設定部１２０と、検査領域内の画像を変形する検査領域変形部５１０と、異常構造識別部１３０とを備える。このうち、撮像距離推定部１１０、検査領域設定部１２０、及び異常構造識別部１３０の構成及び動作は、実施の形態１と同様である。
　検査領域変形部５１０は、検査領域に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部５１１と、該代表的な撮像距離に応じて検査領域のサイズを正規化するサイズ正規化部５１２とを備える。
　次に、画像処理装置５の動作について説明する。
　図２７は、画像処理装置５の動作を示すフローチャートである。なお、図２７に示すステップＳ１１～Ｓ１５は、実施の形態１と対応している（図２参照）。
　ステップＳ１３に続くステップＳ５１において、検査領域変形部５１０は、検査領域内の画像を変形する。ここで、上述したとおり、内視鏡によって撮像される管腔内画像において、撮像距離に応じて粘膜表面の微細構造の解像度が異なる。そこで、本実施の形態５においては、設定された検査領域までの撮像距離に応じて、検査領域内の画像を変形し、変形後の画像における特定空間周波数成分をテクスチャ特徴量として用いて微細構造の異常の識別を行うことにより、識別精度を向上させる。
　図２８は、検査領域変形部５１０が実行する処理（ステップＳ５１）を詳細に示すフローチャートである。また、図２９は、検査領域変形部５１０が実行する処理の概念を説明する模式図である。
　まず、ステップＳ５１１において、代表撮像距離取得部５１１は、各検査領域に映る被写体までの代表的な撮像距離を取得する。
　続くステップＳ５１２において、サイズ正規化部５１２は、代表的な撮像距離に応じて、検査領域のサイズを正規化する。図２９に示すように、ある撮像距離ｒ0において、微細構造の異常を識別可能な特定空間周波数に対応する画素値変化の周期をｃ2とする。この撮像距離ｒ0に対し、撮像距離が短くなると、特定空間周波数は低周波側にシフトし、画素値変化の周期は大きくなる（ｃ1＞ｃ2）。反対に、撮像距離ｒ0に対して、撮像距離が長くなると、特定空間周波数は高周波側にシフトし、画素値変化の周期は小さくなる（ｃ3＜ｃ2）。
　そこで、撮像距離ｒ0に対して、処理対象である検査領域ＥＣ１の撮像距離が短い場合（即ち、近景部の場合）、周期ｃ1、ｃ2の比率に応じて検査領域ＥＣ１を縮小することにより、縮小後の検査領域ＥＣ１’の解像度を撮像距離ｒ0の場合と同等にすることができる。反対に、撮像距離ｒ0に対して、処理対象である検査領域ＥＣ２の撮像距離が長い場合（即ち、遠景部の場合）、周期ｃ2、ｃ3の比率に応じて検査領域ＥＣ２を拡大することにより、拡大後の検査領域ＥＣ２’の解像度を撮像距離ｒ0の場合と同等にすることができる。即ち、このような変形を行うことにより、後段のステップＳ１４において、検査領域の撮像距離によらず、同一の特定空間周波数成分を算出して、異常の識別を行うことができる。
　以上説明したように、実施の形態５によれば、検査領域に映る被写体までの代表的な撮像距離を基に、検査領域のサイズを正規化することにより、撮像距離によらず、同一の特定空間周波数を算出することにより、微細構造の異常を精度良く識別することが可能になる。
（変形例５－１）
　次に、実施の形態５の変形例５－１について説明する。
　図３０は、変形例５－１における検査領域変形部の構成を示すブロック図である。変形例５－１に係る演算部は、図２６に示す検査領域変形部５１０の代わりに、図３０に示す検査領域変形部５２０を備える。この検査領域変形部５２０は、検査領域内に映る被写体上の少なくとも３箇所の基準点に対して、撮像距離及び画像内における座標を基に３次元座標を推定する３次元座標推定部５２１と、上記少なくとも３箇所の基準点によって張られる平面における検査領域を所定の距離から正対して撮像した場合の画像となるように、検査領域に対して画像変換を施す画像変換部５２２とを備える。
　変形例５－１に係る演算部の動作は、全体として、図２７に示すものと同様であり、ステップＳ５１における処理が実施の形態５とは異なる。
　図３１は、検査領域変形部５２０が実行する処理（ステップＳ５１）の詳細を示すフローチャートである。また、図３２Ａ及び図３２Ｂは、検査領域変形部５２０が実行する処理の概念を説明する模式図である。
　ステップＳ１３に続くステップＳ５１において、検査領域変形部５２０は、検査領域内の画像を変形する。ここで、実施の形態５においては検査領域のサイズを正規化したが、検査領域内に残る所定範囲内に収まる撮像距離の差は補正されず、同一の検査領域内において撮像距離が短い粘膜表面の微細構造の解像度と、撮像距離が長い粘膜表面の微細構造の解像度との差による影響が生じてしまう。そこで、本変形例５－１においては、図３２Ａに示すように、管腔７内の粘膜表面８上の３箇所の基準点（例えば点Ｐ1、Ｐ2、Ｐ3）を含む領域を内視鏡６によって正面から撮像したかのように、検査領域を変形する。
　詳細には、ステップＳ５２１において、３次元座標推定部５２１は、検査領域内に映る被写体上の少なくとも３箇所の基準点に対して、撮像距離及び画像内における座標を基に、３次元座標を推定する。実際の処理としては、まず、検査領域内において互いに離れた任意の３点の画素を選択する。そして、例えば図３２Ｂに示すように、これらの画素に対応する被写体上の位置（基準点）Ｐ1、Ｐ2、Ｐ3までの撮像距離ｒ1、ｒ2、ｒ3と、撮像機（例えば、内視鏡６）の焦点距離と、位置Ｐ1、Ｐ2、Ｐ3に対応する画像内における座標（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）とを基に、撮像機を原点とする座標系における被写体上の位置Ｐ1、Ｐ2、Ｐ3の３次元座標を推定する。なお、撮像機の焦点距離は予め定められている。
　続くステップＳ５２２において、画像変換部５２２は、検査領域が、該検査領域内に映る被写体上の領域を所定の距離から正対して撮像した場合の画像となるように、該検査領域に画像変換を施す。この画像変換は、例えば、被写体上の位置Ｐ1、Ｐ2、Ｐ3を通る平面ＰＬにおける該位置Ｐ1、Ｐ2、Ｐ3の重心（又は検査領域に相当する被写体上の領域の重心）から、該平面ＰＬの法線方向に向かって所定の距離だけ離れた位置に視点をおき、所定の焦点距離で撮像した画像に変換することを想定して実行すれば良い。
　以上説明したように、変形例５－１によれば、検査領域内における撮像距離の差を補正することができる。即ち、変換後の画像において、同一の検査領域内の各画素位置に対応する被写体上の領域内の各位置と撮像機の位置との間の距離のばらつきを、変換前の画像よりも少なくすることができる。これにより、同一の検査領域内において撮像距離が近い粘膜表面の微細構造の解像度と、撮像距離が遠い粘膜表面の微細構造の解像度との差を小さくすることができる。従って、このように変換された画像における特定空間周波数成分をテクスチャ特徴量として用いることにより、微細構造の異常の識別精度をさらに向上させることが可能になる。
　以上説明したように、実施の形態１～５及びこれらの変形例によれば、画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定し、検査領域ごとに、該検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、検査領域に映る被写体の微細構造が異常であるか否かを識別するので、撮像距離の差により、画像内に映る粘膜表面の微細構造に対する解像度に差が生じる場合においても、粘膜表面の微細構造の異常を精度良く識別することが可能になる。
　上記実施の形態１～５及びこれらの変形例においては、テクスチャ特徴量の一例として、テクスチャの周波数特徴を数値化した空間周波数成分を用いたが、その代わりに、テクスチャの統計的特徴量を用いても良い。テクスチャの統計的特徴量は、画素値の同時生起行列を用いて求めることができる。具体的には、同時生起行列により、画像内の互いに離れた２つの位置における画素対の値から、画素値の一様性、方向性、コントラスト等の性質を表す統計量（特徴量）が求められる（参考：ＣＧ－ＡＲＴＳ協会、「ディジタル画像処理」、第１９４～１９５頁（領域のテクスチャ））。
　以上説明した実施の形態１～５並びにこれらの変形例に係る画像処理装置は、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１～３に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録装置及びその読取装置等）に画像処理結果を格納するようにしても良い。
　なお、本発明は、実施の形態１～５及びこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
　１～５　画像処理装置
　６　内視鏡
　７　管腔
　８　粘膜表面
　１０　制御部
　２０　画像取得部
　３０　入力部
　４０　表示部
　５０　記録部
　５１　画像処理プログラム
　１００、１００－１、１００－２、２００、３００、４００、５００　演算部
　１１０　撮像距離推定部
　１１１　低吸収波長選択部
　１２０、１４０、１６０、３１０、４１０　検査領域設定部
　１２１、１４１　候補領域設定部
　１２２　領域確定部
　１２２ａ　撮像距離範囲算出部
　１３０、１５０、１７０、３２０　異常構造識別部
　１３１、１５２、１７２、３２２　特定周波数成分算出部
　１３２、１５３、１７３、３２３　統計分類部
　１４１ａ、３２１　代表撮像距離取得部
　１４２ａ　撮像距離分散算出部
　１５１　特定波長成分選択部
　１６１　候補領域設定部
　１６１ａ　代表撮像距離勾配算出部
　１７１　特定波長間比率算出部
　２１０　非検査領域除外部
　２２０　繰返し制御部
　３１１　階層分類部
　３１２　領域分割部
　４１１　局所領域設定部
　４１１ａ　距離変換画像算出部
　５１０、５２０　検査領域変形部
　５１１　代表撮像距離取得部
　５１２　サイズ正規化部
　５２１　３次元座標推定部
　５２２　画像変換部

Claims (23)

  1. 　画像に映る被写体までの撮像距離を推定する撮像距離推定部と、
    　前記画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定する検査領域設定部と、
    　前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別部と、
    を備えることを特徴とする画像処理装置。
  2. 　前記検査領域設定部は、
    　前記画像内に検査候補領域を設定する候補領域設定部と、
    　前記検査候補領域に映る被写体の撮像距離情報を基に検査領域を確定する領域確定部と、
    を備えることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記候補領域設定部は、前記検査候補領域を設定しようとする位置に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部を備え、前記代表的な撮像距離に応じたサイズの前記検査候補領域を設定することを特徴とする請求項２に記載の画像処理装置。
  4. 　前記候補領域設定部は、前記検査候補領域を設定しようとする位置に映る被写体の代表的な撮像距離勾配を算出する代表撮像距離勾配算出部を備え、前記代表的な撮像距離勾配に応じたサイズの検査候補領域を設定することを特徴とする請求項２に記載の画像処理装置。
  5. 　前記領域確定部は、前記検査候補領域内に映る被写体までの撮像距離の分布範囲を算出する撮像距離範囲算出部を備え、前記分布範囲が所定の閾値以下となる検査候補領域を前記検査領域として確定することを特徴とする請求項２に記載の画像処理装置。
  6. 　前記領域確定部は、前記検査候補領域内に映る被写体までの撮像距離の分散を算出する撮像距離分散算出部を備え、前記分散が所定の閾値以下となる検査候補領域を前記検査領域として確定することを特徴とする請求項２に記載の画像処理装置。
  7. 　前記検査領域設定部は、
    　前記撮像距離の値を１つ又は複数の階層に分類する階層分類部と、
    　同一の階層に分類された撮像距離の被写体が映る領域毎に、前記画像を１つ又は複数の領域に分割する領域分割部と、
    を備え、前記領域分割部により得られた１つ又は複数の領域の各々を個別の検査領域として設定することを特徴とする請求項１に記載の画像処理装置。
  8. 　前記検査領域設定部は、前記同一の階層に分類された撮像距離の被写体が映る領域内に局所領域を設定する局所領域設定部をさらに備え、該局所領域を前記検査領域として設定することを特徴とする請求項７に記載の画像処理装置。
  9. 　前記局所領域設定部は、前記同一の階層に分類された撮像距離の被写体が映る領域の境界からの距離を画素値に変換した距離変換画像を算出する距離変換画像算出部を備え、前記距離変換画像を基に前記局所領域を設定することを特徴とする請求項８に記載の画像処理装置。
  10. 　前記検査領域が未設定の領域に対して、前記検査領域設定部による処理を繰返す制御を行う繰返し制御部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  11. 　前記繰返し制御部は、前記処理の繰返しに応じて、前記検査領域設定部が実行する処理の内容を変更することを特徴とする請求項１０に記載の画像処理装置。
  12. 　前記異常構造識別部は、
    　前記テクスチャ特徴量として、前記検査領域に映る被写体の微細構造の異常を識別可能な特定空間周波数成分を算出する特定周波数成分算出部と、
    　前記特定空間周波数成分を基に統計分類を行う統計分類部と、
    を備えることを特徴とする請求項１に記載の画像処理装置。
  13. 　前記異常構造識別部は、生体内における吸収又は散乱の度合いに応じて特定される特定波長成分を選択する特定波長成分選択部をさらに備え、
    　前記特定周波数成分算出部は、前記特定波長成分に対して前記特定空間周波数成分を算出することを特徴とする請求項１２に記載の画像処理装置。
  14. 　前記異常構造識別部は、生体内における吸収又は散乱の度合いが異なる特定波長成分間の比率を算出する特定波長間比率算出部をさらに備え、
    　前記特定周波数成分算出部は、前記特定波長成分間の比率に対して前記特定空間周波数成分を算出することを特徴とする請求項１２に記載の画像処理装置。
  15. 　前記異常構造識別部は、前記検査領域に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部をさらに備え、
    　前記特定周波数成分算出部は、前記代表的な撮像距離に応じて前記特定空間周波数成分の周波数を特定し、前記特定空間周波数成分を算出することを特徴とする請求項１２に記載の画像処理装置。
  16. 　前記検査領域内の画像を変形する検査領域変形部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  17. 　前記検査領域変形部は、
    　前記検査領域に映る被写体までの代表的な撮像距離を取得する代表撮像距離取得部と、
    　前記代表的な撮像距離に応じて前記検査領域のサイズを正規化するサイズ正規化部と、
    を備え、
    　前記異常構造識別部は、前記サイズ正規化部により正規化されたサイズを有する前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別することを特徴とする請求項１６に記載の画像処理装置。
  18. 　前記検査領域変形部は、
    　前記検査領域内に映る被写体上の少なくとも３箇所の基準点に対して、撮像距離及び画像内における対応する画素の座標を基に、３次元座標を推定する３次元座標推定部と、
    　前記少なくとも３箇所の基準点により張られる平面における前記検査領域を所定の距離から正対して撮像した画像となるように、前記検査領域に対して画像変換を施す画像変換部と、
    を備えることを特徴とする請求項１６に記載の画像処理装置。
  19. 　前記画像は、複数の波長成分からなり、
    　前記撮像距離推定部は、前記複数の波長成分のうち、生体内における吸収又は散乱の度合いが最も低い波長成分である低吸収波長成分を選択する低吸収波長選択部を備え、前記低吸収波長成分を基に、前記画像に映る被写体までの撮像距離を推定することを特徴とする請求項１に記載の画像処理装置。
  20. 　前記画像内に含まれる非検査対象領域を除外する非検査対象領域除外部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  21. 　前記非検査対象領域は、前記画像内の暗部領域、明部領域、又は残渣若しくは泡が映った領域の何れかであることを特徴とする請求項２０に記載の画像処理装置。
  22. 　画像に映る被写体までの撮像距離を推定する撮像距離推定ステップと、
    　前記画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定する検査領域設定ステップと、
    　前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、
    を含むことを特徴とする画像処理方法。
  23. 　画像に映る被写体までの撮像距離を推定する撮像距離推定ステップと、
    　前記画像内に検査領域を、該検査領域に映る被写体の撮像距離の分布の広がりを示す指標が所定の範囲内となるように設定する検査領域設定ステップと、
    　前記検査領域に応じて特定される、前記検査領域に映る被写体の微細構造の異常を識別可能なテクスチャ特徴量を用いて、前記検査領域に映る被写体の微細構造が異常であるか否かを識別する異常構造識別ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。 
PCT/JP2013/064332 2012-06-12 2013-05-23 画像処理装置、画像処理方法、及び画像処理プログラム WO2013187206A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13803772.6A EP2859833A4 (en) 2012-06-12 2013-05-23 PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PICTURE PROCESSING PROGRAM
CN201380030577.0A CN104363815B (zh) 2012-06-12 2013-05-23 图像处理装置以及图像处理方法
US14/564,453 US9916666B2 (en) 2012-06-12 2014-12-09 Image processing apparatus for identifying whether or not microstructure in set examination region is abnormal, image processing method, and computer-readable recording device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-133187 2012-06-12
JP2012133187A JP6265588B2 (ja) 2012-06-12 2012-06-12 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/564,453 Continuation US9916666B2 (en) 2012-06-12 2014-12-09 Image processing apparatus for identifying whether or not microstructure in set examination region is abnormal, image processing method, and computer-readable recording device

Publications (1)

Publication Number Publication Date
WO2013187206A1 true WO2013187206A1 (ja) 2013-12-19

Family

ID=49758036

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/064332 WO2013187206A1 (ja) 2012-06-12 2013-05-23 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (5)

Country Link
US (1) US9916666B2 (ja)
EP (1) EP2859833A4 (ja)
JP (1) JP6265588B2 (ja)
CN (1) CN104363815B (ja)
WO (1) WO2013187206A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778520A (zh) * 2023-08-11 2023-09-19 山东省大数据中心 一种海量证照数据质量检验方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6616071B2 (ja) * 2014-12-22 2019-12-04 富士フイルム株式会社 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP6473177B2 (ja) * 2015-01-23 2019-02-20 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム
JP6507747B2 (ja) * 2015-03-18 2019-05-08 カシオ計算機株式会社 情報処理装置、コンテンツ決定方法、及びプログラム
CN107529962B (zh) * 2015-04-23 2020-02-07 奥林巴斯株式会社 图像处理装置、图像处理方法和记录介质
CN107529963B (zh) * 2015-04-23 2020-06-12 奥林巴斯株式会社 图像处理装置、图像处理方法和存储介质
JP6552613B2 (ja) 2015-05-21 2019-07-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
WO2016194200A1 (ja) * 2015-06-04 2016-12-08 オリンパス株式会社 可撓管挿入装置
WO2017006574A1 (ja) * 2015-07-03 2017-01-12 オリンパス株式会社 画像処理装置、画像判別システム、及び内視鏡システム
JP6704933B2 (ja) 2015-11-26 2020-06-03 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
US20180137369A1 (en) * 2016-11-13 2018-05-17 Pointgrab Ltd. Method and system for automatically managing space related resources
JP6774550B2 (ja) 2017-03-03 2020-10-28 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2018159083A1 (ja) 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN107049211B (zh) * 2017-03-13 2019-02-12 重庆金山医疗器械有限公司 一种测量胶囊式内窥镜与胃壁距离的装置
JP6912608B2 (ja) * 2018-02-07 2021-08-04 Hoya株式会社 内視鏡システム
CN112535450B (zh) * 2019-09-22 2022-11-08 深圳硅基智控科技有限公司 具有双目测距系统的胶囊内窥镜
CN112535451A (zh) * 2019-09-22 2021-03-23 深圳硅基智控科技有限公司 胶囊内窥镜用的测距系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03105483A (ja) * 1989-09-19 1991-05-02 Olympus Optical Co Ltd 内視鏡装置
JP2918162B2 (ja) 1988-11-02 1999-07-12 オリンパス光学工業株式会社 内視鏡画像処理装置
JP2002165757A (ja) 2000-11-30 2002-06-11 Olympus Optical Co Ltd 診断支援装置
JP2005192880A (ja) 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2006141734A (ja) * 2004-11-19 2006-06-08 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2007313119A (ja) 2006-05-26 2007-12-06 Olympus Corp 画像処理装置及び画像処理プログラム
WO2011129176A1 (ja) * 2010-04-12 2011-10-20 オリンパスメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理方法
JP2011234931A (ja) 2010-05-11 2011-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
US7764817B2 (en) * 2005-08-15 2010-07-27 Siemens Medical Solutions Usa, Inc. Method for database guided simultaneous multi slice object detection in three dimensional volumetric data
JP5028138B2 (ja) * 2007-05-08 2012-09-19 オリンパス株式会社 画像処理装置および画像処理プログラム
EP2149330B1 (en) * 2007-05-08 2016-05-18 Olympus Corporation Image processing apparatus and image processing program
JP5190944B2 (ja) * 2008-06-26 2013-04-24 富士フイルム株式会社 内視鏡装置および内視鏡装置の作動方法
JP5117353B2 (ja) * 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
CN102368947A (zh) * 2009-01-08 2012-03-07 美国生物光学公司 用于识别异常组织的探测设备
RU2535644C2 (ru) * 2009-09-24 2014-12-20 Конинклейке Филипс Электроникс Н.В. Система оптического зонда с повышенной скоростью сканирования
JP5570866B2 (ja) * 2010-04-30 2014-08-13 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5622461B2 (ja) * 2010-07-07 2014-11-12 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5658945B2 (ja) * 2010-08-24 2015-01-28 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5620194B2 (ja) * 2010-08-24 2014-11-05 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5830295B2 (ja) * 2011-07-29 2015-12-09 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5800626B2 (ja) * 2011-07-29 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5851160B2 (ja) * 2011-08-31 2016-02-03 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5931418B2 (ja) * 2011-11-25 2016-06-08 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5926937B2 (ja) * 2011-11-30 2016-05-25 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6422198B2 (ja) * 2012-11-29 2018-11-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6045396B2 (ja) * 2013-02-27 2016-12-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2918162B2 (ja) 1988-11-02 1999-07-12 オリンパス光学工業株式会社 内視鏡画像処理装置
JPH03105483A (ja) * 1989-09-19 1991-05-02 Olympus Optical Co Ltd 内視鏡装置
JP2002165757A (ja) 2000-11-30 2002-06-11 Olympus Optical Co Ltd 診断支援装置
JP2005192880A (ja) 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2006141734A (ja) * 2004-11-19 2006-06-08 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2007313119A (ja) 2006-05-26 2007-12-06 Olympus Corp 画像処理装置及び画像処理プログラム
WO2011129176A1 (ja) * 2010-04-12 2011-10-20 オリンパスメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理方法
JP2011234931A (ja) 2010-05-11 2011-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Digital Image Processing", CG-ARTS SOCIETY, pages: 194 - 195
See also references of EP2859833A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778520A (zh) * 2023-08-11 2023-09-19 山东省大数据中心 一种海量证照数据质量检验方法
CN116778520B (zh) * 2023-08-11 2023-11-10 山东省大数据中心 一种海量证照数据质量检验方法

Also Published As

Publication number Publication date
JP2013255656A (ja) 2013-12-26
EP2859833A1 (en) 2015-04-15
CN104363815B (zh) 2018-04-13
US9916666B2 (en) 2018-03-13
EP2859833A4 (en) 2016-03-23
US20150092993A1 (en) 2015-04-02
JP6265588B2 (ja) 2018-01-24
CN104363815A (zh) 2015-02-18

Similar Documents

Publication Publication Date Title
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6422198B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US11514270B2 (en) Speckle contrast analysis using machine learning for visualizing flow
JP5576782B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5281826B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
US8244009B2 (en) Image analysis device
JP6361776B2 (ja) 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JP5576775B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
TWI624807B (zh) 醫學影像之迭代式分析法
CN108601509B (zh) 图像处理装置、图像处理方法以及记录有程序的介质
Shrestha et al. A quantitative approach to evaluate image quality of whole slide imaging scanners
Wu et al. Detection of blur artifacts in histopathological whole-slide images of endomyocardial biopsies
WO2017203701A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
CN107529962B (zh) 图像处理装置、图像处理方法和记录介质
JP5800549B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN115444355B (zh) 一种内窥镜病变尺寸信息确定方法、电子设备及存储介质
WO2018011928A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP2019045235A (ja) 画像検査システム、画像検査方法及び画像検査用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13803772

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE