WO2007105517A1 - 画像解析装置 - Google Patents

画像解析装置 Download PDF

Info

Publication number
WO2007105517A1
WO2007105517A1 PCT/JP2007/054214 JP2007054214W WO2007105517A1 WO 2007105517 A1 WO2007105517 A1 WO 2007105517A1 JP 2007054214 W JP2007054214 W JP 2007054214W WO 2007105517 A1 WO2007105517 A1 WO 2007105517A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
processing means
image analysis
abnormal tissue
Prior art date
Application number
PCT/JP2007/054214
Other languages
English (en)
French (fr)
Inventor
Hideki Tanaka
Hirokazu Nishimura
Kenji Nakamura
Ryoko Inoue
Miho Sawa
Original Assignee
Olympus Medical Systems Corp.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp. filed Critical Olympus Medical Systems Corp.
Priority to EP07737789A priority Critical patent/EP1994880A4/en
Priority to CN2007800053223A priority patent/CN101384210B/zh
Publication of WO2007105517A1 publication Critical patent/WO2007105517A1/ja
Priority to US12/208,904 priority patent/US8244009B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Definitions

  • the present invention relates to an image analysis device that detects a polyp from a medical image.
  • an elongated insertion portion can be inserted into a body cavity, and a body cavity organ or the like can be observed on a monitor screen using a solid-state imaging device or the like as an imaging means for diagnosis.
  • a solid-state imaging device or the like as an imaging means for diagnosis.
  • an ultrasonic endoscope apparatus that can irradiate the organ in the body cavity with ultrasound, observe the state of the organ in the body cavity on a monitor screen based on the reflection or transmission of the ultrasound, and inspect or diagnose it. Widely used.
  • the feature quantity related to the imaging target is calculated by an image analysis method, and is objective.
  • diagnosis support device that supports doctors' diagnostic actions by presenting numerical diagnosis support information to doctors.
  • the feature amount is a numerical value reflecting various findings on the image, and is obtained by applying an image analysis method.
  • Non-Patent Document 1 “" Emerging Endoscope Endoscope "2001 vol.13 No.3 vol.13 published by Tokyo Medical Co., Ltd. P349-354, is a study of lesions caused by mucosal findings and vascular shape. This is an example of discrimination.
  • Japanese Patent Application Laid-Open No. 2005-157902 discloses an image analysis method capable of improving the accuracy of lesion determination based on the objectification result of findings using feature quantities.
  • an image analysis method is used in a digestive tract image. The blood vessels are extracted as a linear pattern and used for lesion determination.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an image analysis apparatus capable of improving the detection of the presence position of a colon polyp.
  • An image analysis apparatus includes an abnormal tissue presence determination processing unit that determines whether or not an abnormal tissue in a lumen exists based on pixel or small area data of an intraluminal image. Configured.
  • FIG. 1 is a configuration diagram showing the configuration of an endoscopic image analysis apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 A diagram showing information stored in the memory of FIG.
  • FIG. 3 is a first diagram illustrating the operation of the image processing apparatus of FIG.
  • FIG. 4 is a second diagram illustrating the operation of the image processing apparatus of FIG.
  • FIG. 5 is a third diagram illustrating the operation of the image processing apparatus in FIG.
  • FIG. 6 is a fourth diagram illustrating the operation of the image processing apparatus in FIG.
  • FIG. 8 is a flowchart showing the flow of image analysis processing in FIG.
  • FIG. 9 is a first diagram for explaining the gradation gradient calculation process of FIG.
  • FIG. 10 is a second diagram for explaining the tone value gradient calculation processing of FIG.
  • FIG. 11 is a flowchart showing the flow of the isotropic change feature amount calculation process of FIG.
  • FIG. 12 is a flowchart showing the polyp candidate detection process in FIG.
  • FIG. 13 is a diagram for explaining a modification of the image analysis processing of FIG.
  • FIG. 14 is a diagram showing information stored on a memory according to Embodiment 2 of the present invention.
  • FIG. 15 is a flowchart showing the flow of image analysis processing in the image analysis program of FIG.
  • FIG. 16 is a flowchart showing the flow of the polyp candidate detection process of FIG.
  • FIG. 17 is a diagram for explaining the polyp candidate detection process of FIG.
  • FIG. 18 is a first diagram illustrating a modification of the method for detecting a similar circle shape in the polyp candidate detection process of FIG.
  • FIG. 19 is a second diagram illustrating a modification of the method for detecting a similar circle shape in the polyp candidate detection process of FIG.
  • FIG. 20 is a third diagram illustrating a modification of the method for detecting a similar circle shape in the polyp candidate detection process of FIG.
  • FIG. 21 is a first diagram illustrating preprocessing of edge extraction processing according to the third embodiment of the present invention.
  • FIG. 22 is a second diagram illustrating the preprocessing of FIG.
  • FIG. 23 is a third diagram illustrating the preprocessing of FIG.
  • FIG. 24 is a fourth diagram illustrating the preprocessing of FIG.
  • FIG. 25 is a fifth diagram illustrating the preprocessing of FIG.
  • FIG. 26 is a first flowchart showing the flow of pre-processing in FIG.
  • FIG. 27 is a first diagram illustrating the processing of FIG.
  • FIG. 28 is a second diagram illustrating the processing of FIG.
  • FIG. 29 is a second flowchart showing the pre-processing flow of FIG.
  • FIGS. 1 to 13 relate to Embodiment 1 of the present invention
  • FIG. 1 is a configuration diagram showing the configuration of the endoscope image analysis apparatus
  • FIG. 2 is a diagram showing information stored in the memory of FIG. Is a first diagram illustrating the operation of the image processing device of FIG. 1
  • FIG. 4 is a second diagram illustrating the operation of the image processing device of FIG. 1
  • FIG. 5 is a diagram illustrating the operation of the image processing device of FIG. Fig. 6 shows the image processing of Fig. 1.
  • FIG. 7 is a flowchart illustrating the processing flow of the image analysis program executed by the CPU of FIG. 1
  • FIG. 8 is a flowchart illustrating the flow of the image analysis processing of FIG.
  • FIG. 9 is a first diagram for explaining the gradation value gradient calculation processing of FIG. 8,
  • FIG. 10 is a second diagram for explaining the gradation value gradient calculation processing of FIG. 8, and
  • FIG. 11 is an isotropic change feature amount calculation processing of FIG.
  • FIG. 12 is a flowchart showing the flow of the polyp candidate detection process of FIG. 8, and
  • FIG. 13 is a diagram for explaining a modification of the image analysis process of FIG.
  • the endoscopic image analysis apparatus 1 of the present embodiment includes an endoscopic observation apparatus 2 that images a living body and outputs an analog image signal, and an output of the endoscopic observation apparatus 2.
  • An endoscope filing device 3 that generates image data from an analog image signal and stores the generated image data, and an image processing device 4 that performs image analysis processing are provided.
  • the image processing device 4 includes an information processing device 5 that performs information processing, an operation device 6 including a keyboard and a mouse, a storage device 7 such as a hard disk, a CRT, a liquid crystal display, or a plasma display. And a display device 8 having the power of display means.
  • the endoscope filing device 3 and the information processing device 5 are connected to a LAN 9 using TCP / IP as a protocol, for example, and can communicate with each other.
  • the information processing device 5 uses a general personal computer, acquires image data stored in the endoscope filing device 3 via the LAN 9, and performs image analysis processing on the image data.
  • the image analysis result is displayed on the display device 8.
  • the designation of image data to be processed, an instruction to acquire the designated image data, and an instruction to execute the process are performed by an operation using the operation device 6.
  • the information processing device 5 reads and writes information between the CPU 10 as the abnormal tissue presence determination processing means for performing control and processing, the memory 11 for storing the processing program data, and the storage device 7.
  • External memory IZF12, network card 13 that communicates with external devices, operation I / O to and from operation device 6, IZF14, graphic board 15 that outputs video signal to display device 8, and power bus 16 They communicate with each other via the bus 16.
  • the network card 13 performs data transmission / reception processing with the endoscope filing device 8 connected on the LAN 9! /
  • the operation IZF 14 receives an input signal input by the keyboard or mouse of the operation device 6 and performs necessary data processing.
  • the storage device 7 is connected to the information processing device 5 and stores an image analysis program 20 that executes image analysis processing.
  • the image analysis program 20 is composed of a plurality of executable files, dynamic link library files, or setting file modules.
  • the external storage IZF 12 reads the image analysis program 20 stored in the storage device 7 and stores it in the memory 11.
  • the memory 11 holds an image analysis program 20 and analysis data 21.
  • the image analysis program 20 stored in the memory 11 acquires the endoscope image data specified by the operation device 6 from the endoscope filing device 3 by execution by the CPU 10, and converts the acquired image data into the acquired image data.
  • This is a program for performing image analysis processing on the display device 8 and displaying the image analysis result on the display device 8.
  • the analysis data 21 stored in the memory 11 is data acquired and generated by each process in the CPU 10.
  • the stored analysis data 21 includes an original image 22 which is image data obtained from the endoscope filing device 3, gradation value gradient information 23 generated by various processes described later, isotropic change information 24, a polyp candidate image. It consists of 26.
  • the CPU 10 is designated by the operation of the controller device 6 in step S1 of the original image acquisition processing.
  • the obtained image data is acquired from the endoscope filing device 3 and stored in the memory 11 as the original image 22.
  • step S 2 of the image analysis processing the CPU 10 processes the original image 22 acquired in the original image acquisition processing step S 1, and the gray value gradient information 23, the isotropic change information 24, the poly 1 A candidate image 26 is generated and stored in the memory 11.
  • step S3 of the analysis result display process the CPU 10 performs a process of displaying on the display device 8 an analysis process image in which the polyp candidate image 26 is superimposed on the original image 22.
  • step S2 in FIG. 7 The image analysis process in step S2 in FIG. 7 will be described with reference to FIG.
  • the CPU 10 executes a gray value gradient calculation process, which will be described later, for the R signal, for example, in step S10. Subsequently, the CPU 10 executes an isotropic change feature amount calculation process to be described later from the gray value gradient calculated in step S11. Further, the CPU 10 executes a polyp candidate detection process for generating a polyp candidate image 26 at a position where a polyp exists from the isotropic change feature amount calculated in step S12.
  • the gray value gradient calculation process obtains, for each pixel, a gray value gradient for the R signal of the original image, for example, with respect to 3 ⁇ 3 pixels centered on the point of interest.
  • a difference between R pixel signals 3 pixels ahead in each of the X and y directions is extracted.
  • the difference is
  • AVE is a function that returns the average of numerical values for i and j in the argument.
  • the gray value gradient information in the above four directions and the pixel value of the target point are recorded on the memory 11 as the gray value gradient information.
  • step S11 the isotropic change feature amount calculation process in step S11 will be described.
  • step S20 the gradation value gradient information calculated by the above-described gradation value gradient calculation process is acquired for each pixel, and in step S21. The difference value of the gray value gradient information is obtained.
  • dxry ABS (gx-rgy)
  • ABS is a function that returns the absolute value of the numeric value in the argument.
  • the pixel value R of interest (R22 in FIG. 10) is compared with a predetermined threshold value Rt in step S22.
  • Rt a predetermined threshold value
  • the above three difference values are equalized in step S23. Record the direction change information on the memory 11 and terminate the process.
  • step S12 the polyp candidate detection process in step S12 will be described.
  • the polyp candidate detection process starts with step S30 where the isotropic change feature value is first set for each pixel. Isotropic change information calculated by the calculation process is acquired.
  • step S32 using a predetermined threshold Dt, it is determined whether or not the force is dxy ⁇ Dt and dxxy ⁇ Dt and dyxy and Dt. If this condition is satisfied, the pixel value at that position in the candidate polyp image is updated to “1” in step S33. If the condition is not met! /, In step S34, the pixel value at that position is updated to “0”.
  • step S34 a polyp candidate image 26 in which the pixel value at the position where the polyp exists is “1” is generated, and the process ends.
  • the image processing device 4 displays a marker at a position where the pixel value power “l” of the polyp candidate image 26 is superimposed on the display of the original image 22.
  • the above processing is not limited to the force applied to, for example, the R signal of the original image 22, but the G signal may be a B signal.
  • the gradation value gradient information is obtained by calculating the differential force with respect to the pixel value of 3 pixels ahead, but it is configured to obtain the difference of N pixels ahead by a settable parameter variable N.
  • the scale of the gray value gradient information can be adjusted.
  • an element structure tensor T 1 relating to the gray value gradient for each pixel is obtained by the following calculation formulas (1) and (2).
  • the pixel value R as the target point is compared with a predetermined threshold value Rt, and when R> Rt, the feature quantity u is recorded on the memory 11 as isotropic change information (step S23 in FIG. 11). Equivalent).
  • step S 32 in FIG. 12 it is determined whether u> Ut using a predetermined threshold value Ut (corresponding to step S 32 in FIG. 12). If this condition is satisfied, the pixel value at that position in the polyp candidate image is updated to “1” (corresponding to step S33 in FIG. 12). If the condition is not satisfied, the pixel value at the position is updated as “0” (corresponding to step S34 in FIG. 12).
  • FIG. 14 to 20 relate to the second embodiment of the present invention
  • FIG. 14 is a diagram showing information stored in the memory
  • FIG. 15 is a flowchart showing the flow of image analysis processing in the image analysis program of FIG. 14, and
  • FIG. 17 is a diagram for explaining the polyp candidate detection process of FIG. 16
  • FIG. 18 is a first diagram for explaining a modification of the similar circle shape detection method in the polyp candidate detection process of FIG. 16
  • FIG. 19 is the polyp of FIG.
  • FIG. 20 is a second diagram for explaining a modification of the similar circle shape detection method in the candidate detection process
  • FIG. 20 is a third diagram for explaining a modification of the similar circle shape detection method in the polyp candidate detection process of FIG. .
  • the analysis data 21 stored in the memory 11 is generated by an original image 22 that is image data acquired from the endoscope filing device 3 and various processes described later. It consists of a value key image 30, a labeling image 31, a thinned image 32, and a polyp candidate image 26. Other configurations are the same as those in the first embodiment.
  • the CPU 10 performs edge extraction processing by a known Sobel filter on the R signal of the original image 22 by the image analysis program 20, and performs processing.
  • a binary image 30 having the corresponding pixel as “1” is generated.
  • edge extraction processing is not limited to the force performed on, for example, the R signal of the original image 22, but may be performed on the G signal or B signal of the original image 22!
  • the CPU 10 generates a labeling image 31 in which a label is assigned to each of the connected components of the pixel having the pixel value S “1” of the binarized image 30 through the labeling processing step of step S41.
  • the CPU 10 generates a thin line image 32 by thinning the label values in the labeling image 31 by, for example, a known Hildich method, in the thinning process step of step S42.
  • the thinned image 32 is an image in which edges included in the original image 22 are extracted as edge lines made up of connected components of one pixel and labels are assigned to each. Each edge includes an outline of a structure other than the lesion as well as an outline of a candidate for a raised lesion of the large intestine.
  • the method for generating the labeling image 31 and the thin line image 32 is well known as disclosed in, for example, Japanese Patent Laid-Open No. 2005-157902, and thus the description thereof is omitted.
  • the polyp candidate detection process of the present embodiment is a process for extracting only the edge lines that are likely to be raised lesions from the edge lines of the fine line image 32 and generating them as the polyp candidate images 26. .
  • FIG. 16 is a diagram showing a process flowchart in the polyp candidate detection process of the present embodiment.
  • the CPU 10 acquires edge line information having a label value “1” in step S50.
  • step S51 the CPU 10 performs a Hough transform relating to the circular shape, and extracts a circle constituting the edge line.
  • Figure 17 shows an example of the extraction. In the example shown in FIG. 17, four circles A, B, C, and D are extracted as the circular elements constituting the edge line.
  • step S52 the CPU 10 determines the threshold value of the degree of coincidence of the extracted circle having the highest degree of coincidence with the edge line. The determination is made based on whether the specific power between the number of pixels on the edge line in step S50 and the number of matching pixels is greater than a predetermined value R0. In the example of Fig. 17, it is assumed that the circle with the largest number of pixels constituting the edge line is circle A, and the ratio of the number of pixels matching the edge line pixels is greater than R0. Detect A. If there is no applicable circle radius, the candidate ability for colorectal polyps is also excluded.
  • step S53 the CPU 10 compares the radius r of the circle determined in step S52 with predetermined threshold values rmin and rmax. If rmin ⁇ r ⁇ rmax, the corresponding edge line represents the outer shape of the polyp, and a polyp candidate image 26 in which the edge line pixel is set to “1” is generated in step S54.
  • the CPU 10 processes the above processing steps for each label value of the thinned image 32, and superimposes the processing result on the polyp candidate image 26, thereby labeling the polyp candidate labeling image. Is generated.
  • the polyp candidate labeling image is superimposed on the original image 22 and displayed on the display device 8, so that the polyp candidate position on the image, which is the polyp existing position, can be easily obtained. It becomes possible to confirm.
  • complex PARCOR coefficients are calculated based on a sequence of points on the edge line, and the coefficients are discriminated and analyzed with the classification class shown in FIGS. You may comprise as follows.
  • FIGS. 21 to 29 relate to the third embodiment of the present invention
  • FIG. 21 is a first diagram illustrating the preprocessing of the edge extraction process
  • FIG. 22 is a second diagram illustrating the preprocessing of FIG. 21,
  • FIG. 24 is a fourth diagram illustrating the preprocessing of FIG. 21,
  • FIG. 25 is a fifth diagram illustrating the preprocessing of FIG. 21, and
  • FIG. FIG. 27 is a first flowchart for explaining the processing of FIG. 26,
  • FIG. 28 is a second diagram for explaining the processing of FIG. 26, and
  • FIG. 29 is a diagram of FIG. 12 is a second flowchart showing a flow of preprocessing.
  • colon polyp As a detection target in the large intestine, there is a raised lesion (colon polyp), and as a conventional technique, there is a technique for detecting the maximum of the gray value of an image and determining the position as a candidate for a colon polyp. At that time, if the maximum is steep, it is noise caused by the contents such as minute residues, not colon polyps, so a morphological filter is used to remove the noise.
  • the CPU 10 performs an appropriate process on an image having distortion, and improves the detection accuracy of the colorectal polyp.
  • the CPU 10 removes noise from contents such as residues from the original image 22 as preprocessing of the edge extraction processing in step S40 of FIG.
  • a morphological filter is generally used as a method for removing the noise.
  • FIG. 21 shows an example of erosion.
  • the filter is dilation has a graphic expansion function, and erosion has a graphic contraction function, and when a sphere or ellipsoid is touched to touch the data value of interest. The locus of the center of the sphere or ellipsoid is output. In dilation, the value above the data value. Therefore, erosion and dilation can remove peaks that are smaller than the size of the sphere or ellipsoid.
  • the endoscopic image has distortion aberration, the scale is different between the center and the periphery of the image. Therefore, as shown in FIG. 23, the actual size in the endoscopic image differs depending on the distance and direction of the central force of the image.
  • the CPU 10 determines the ellipsoid major axis / corresponding to the distance 1 of the center force of the screen as shown in FIGS.
  • Functions f (l) and g (l) that output the short axis are provided. This function consists of a lookup table or a formula.
  • FIG. 26 shows a processing flowchart when applying a morphological filter dilation to image I in this embodiment (erosion performs the same processing).
  • FIG. 26 shows processing relating to the pixel (X, y), and by applying this processing to the entire image I, a dilation processing image is obtained.
  • the CPU 10 secures an image buffer having the same size as that of the image I on the memory 11 and stores the dilation process result in the image buffer.
  • the image buffer value is stored by copying the pixel value of image I.
  • the CPU 10 determines that the angle between the pixel of interest (X, y) and the center pixel (cx, cy) of the image I is 0 in step S60. (See Figure 27).
  • step S61 the CPU 10 obtains the distance L between the pixel of interest (x, y) and the center pixel (cx, cy) of the image I.
  • step S62 the CPU 10 uses the above-described functions f (1), g (l) and the distance L obtained in step S61, and the major axis is f (L), short as shown in FIG. Find an ellipsoid with axis g (L).
  • step S63 the CPU 10 rotates the ellipsoid obtained in step S62 by the angle ⁇ obtained in step S60.
  • step S64 the CPU 10 performs dilation processing on the pixel (x, y).
  • the processing result is stored in an image buffer of the same size as image I.
  • the pixel value in the area occupied by the filter in the image buffer is larger than the pixel value of the filter processing result, the pixel value of the filter processing result is replaced.
  • FIG. 29 shows a flowchart in the case of erosion processing. This is almost the same as the dilation processing, and the difference is only in that the erosion processing is performed in step S64a instead of step S64.
  • the force CPU 10 applied to the morphology filter generates a template and executes a template matching process. Also in the template matching process, a template is considered in consideration of image distortion. Matching accuracy can be improved by processing while correcting.
  • endoscopic image data in the large intestine is used, and an example of colon polyp as an abnormal tissue in the lumen has been described as an example. It can be applied to intraluminal image data and applied to detection of abnormal tissue in other lumens.
  • the gray value gradient calculation as the gray value gradient calculation processing means for executing the gray value gradient calculation processing is performed.
  • Filter Z template generation unit 204 as a Z template generation means, for example, Filtering / template for performing morphological filter operation using functions f (l) and g (l) that output ellipsoidal major / minor axes according to distance 1 from the screen center in Fig. 24 and Fig. 25 Filtering as matching processing means
  • the Z template matching unit 205 is constituted by the CPU 10 as abnormal tissue presence determination processing means.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

ＣＰＵは、ステップＳ１０にて例えばＲ信号について濃淡値勾配算出処理を実行し、ステップＳ１１にて算出した濃淡値勾配より等方性変化特徴量算出処理を実行し、さらにステップＳ１２にて算出した等方性変化特徴量よりポリープの存在する位置にポリープ候補画像２６を生成するポリープ候補検出処理を実行する。これにより管腔内異常組織の存在位置の検出を向上させる。

Description

明 細 書
画像解析装置
技術分野
[0001] 本発明は、医療画像よりポリープの検出する画像解析装置に関する。
背景技術
[0002] 医療分野にお!ヽては X線、 CT、 MRI、超音波観測装置、内視鏡装置等の画像撮 像機器を用いた診断が広く行われて 、る。
[0003] 例えば内視鏡装置においては、細長の挿入部を体腔内に挿入し、固体撮像素子 等を撮像手段に用いて体腔内臓器等をモニタ画面により観察し、診断をすることがで きる。また、前記体腔内臓器へ超音波を照射し、この超音波の反射あるいは透過度 等により該体腔内臓器の状況をモニタ画面により観察し、検査あるいは診断すること のできる超音波内視鏡装置も広く用いられて 、る。
[0004] これらの機器により撮像された画像を用いた最終的な診断は、医師の主観に依存 している部分が多大であるため、画像解析手法により撮像対象に関する特徴量を算 出し、客観的'数値的な診断支援情報を医師に提示することにより、医師の診断行為 を支援する、診断支援装置がある。
[0005] ここで、特徴量とは、画像上の様々な所見を反映した数値であり、画像解析手法の 適用により得られるものである。
[0006] 例えば内視鏡画像において、粘膜表面の発赤といった色調に関する所見、透見血 管像に見られる血管の屈折'蛇行性といった血管の形状に関する所見、胃小区にお ける粘膜模様のパターンに関する所見は、病変の悪性度診断において重要な要素 となっている。例えば非特許文献 1である「"消ィ匕器内視鏡" 2001 vol.13 No.3 vol.13 東京医学社刊 P349-354」は、粘膜所見及び血管の形状に関する所見による病変 良悪性の鑑別につ 、ての例である。
[0007] 例えば日本国特開 2005— 157902号公報等には、特徴量を利用した所見の客観 化結果に基づく病変判定精度を向上させることのできる画像解析方法が開示されて いる。この日本国特開 2005— 157902号公報では、画像解析方法を消化管画像内 の血管を線状パターンとして抽出して、病変判定に利用している。
[0008] し力しながら、撮像対象となる消化管が大腸であるときの病変候補検出に着眼した 画像解析手法は従来技術には存在しな ヽ。
[0009] 大腸における検出対象として隆起性病変（大腸ポリープ)があるが、管腔表面から 隆起した構造物を上方から観察すると、構造物のエッジが描出されず、エッジ検出を 用いた大腸ポリープ候補検出手法は使用できな 、と 、つた問題がある。
[0010] 本発明は、上記事情に鑑みてなされたものであり、大腸ポリープの存在位置の検出 を向上させることのできる画像解析装置を提供することを目的としている。
発明の開示
課題を解決するための手段
[0011] 本発明の一態様の画像解析装置は、管腔内画像の画素または小領域のデータに 基づき、管腔内異常組織が存在するか否かを判定する異常組織存在判定処理手段 を備えて構成される。
図面の簡単な説明
[0012] [図 1]本発明の実施例 1に係る内視鏡画像解析装置の構成を示す構成図
[図 2]図 1のメモリ上に記憶される情報を示す図
[図 3]図 1の画像処理装置の作用を説明する第 1の図
[図 4]図 1の画像処理装置の作用を説明する第 2の図
[図 5]図 1の画像処理装置の作用を説明する第 3の図
[図 6]図 1の画像処理装置の作用を説明する第 4の図
[図 7]図 1の CPUにより実行される画像解析プログラムの処理の流れを示すフローチ ヤート
[図 8]図 7の画像解析処理の流れを示すフローチャート
[図 9]図 8の濃淡値勾配算出処理説明する第 1の図
[図 10]図 8の濃淡値勾配算出処理説明する第 2の図
[図 11]図 8の等方性変化特徴量算出処理の流れを示すフローチャート
[図 12]図 8のポリープ候補検出処理の流れを示すフローチャート
[図 13]図 8の画像解析処理の変形例を説明する図 [図 14]本発明の実施例 2に係るメモリ上に記憶される情報を示す図
[図 15]図 14の画像解析プログラムにおける画像解析処理の流れを示すフローチヤ一 卜
[図 16]図 15のポリープ候補検出処理の流れを示すフローチャート
[図 17]図 16のポリープ候補検出処理を説明する図
[図 18]図 16のポリープ候補検出処理における類円形状の検出方法の変形例を説明 する第 1の図
[図 19]図 16のポリープ候補検出処理における類円形状の検出方法の変形例を説明 する第 2の図
[図 20]図 16のポリープ候補検出処理における類円形状の検出方法の変形例を説明 する第 3の図
[図 21]本発明の実施例 3に係るエッジ抽出処理の前処理を説明する第 1の図
[図 22]図 21の前処理を説明する第 2の図
[図 23]図 21の前処理を説明する第 3の図
[図 24]図 21の前処理を説明する第 4の図
[図 25]図 21の前処理を説明する第 5の図
[図 26]図 21の前処理の流れを示す第 1のフローチャート
[図 27]図 26の処理を説明する第 1の図
[図 28]図 26の処理を説明する第 2の図
[図 29]図 21の前処理の流れを示す第 2のフローチャート
[図 30]CPUの機能構成を示すブロック図
発明を実施するための最良の形態
[0013] 以下、図面を参照しながら本発明の実施例について述べる。
[0014] (実施例 1)
図 1ないし図 13は本発明の実施例 1に係わり、図 1は内視鏡画像解析装置の構成を 示す構成図、図 2は図 1のメモリ上に記憶される情報を示す図、図 3は図 1の画像処 理装置の作用を説明する第 1の図、図 4は図 1の画像処理装置の作用を説明する第 2の図、図 5は図 1の画像処理装置の作用を説明する第 3の図、図 6は図 1の画像処 理装置の作用を説明する第 4の図、図 7は図 1の CPUにより実行される画像解析プロ グラムの処理の流れを示すフローチャート、図 8は図 7の画像解析処理の流れを示す フローチャート、図 9は図 8の濃淡値勾配算出処理説明する第 1の図、図 10は図 8の 濃淡値勾配算出処理説明する第 2の図、図 11は図 8の等方性変化特徴量算出処理 の流れを示すフローチャート、図 12は図 8のポリープ候補検出処理の流れを示すフ ローチャート、図 13は図 8の画像解析処理の変形例を説明する図である。
[0015] (構成）
図 1に示すように、本実施例の内視鏡画像解析装置 1は、生体内を撮像してアナ口 グ画像信号を出力する内視鏡観察装置 2と、内視鏡観察装置 2の出力するアナログ 画像信号から画像データを生成すると共に生成された画像データを蓄積する内視鏡 フアイリング装置 3と、画像解析処理を行う画像処理装置 4とを備えて構成される。
[0016] 画像処理装置 4は、情報処理を行う情報処理装置 5と、キーボードとマウス等とから なる操作装置 6と、ハードディスク等カゝらなる記憶装置 7と、 CRTあるいは液晶ディス プレイあるいはプラズマディスプレイ等の表示手段力 なる表示装置 8とを具備して構 成される。
[0017] 内視鏡フアイリング装置 3と情報処理装置 5は、例えば TCP/IPをプロトコルとする LAN9に接続されており、相互に通信可能である。
[0018] 情報処理装置 5は、一般のパーソナルコンピュータが用いられており、内視鏡フアイ リング装置 3に蓄積されている画像データを LAN9経由で取得し、画像データに対し て画像解析処理を行い、画像解析結果を表示装置 8に表示するようになっている。こ こで、処理を行う画像データの指定、指定された画像データの取得指示、処理実行 の指示は、操作装置 6を用いた操作によって行われる。
[0019] 情報処理装置 5では、制御 ·処理を行う異常組織存在判定処理手段としての CPU 10と、処理プログラム 'データを記憶するメモリ 11と、記憶装置 7との間で情報の読み 書きを行う外部記憶 IZF12と、外部機器との通信を行うネットワークカード 13と、操 作装置 6との入出力を行う操作 IZF14と、表示装置 8にビデオ信号を出力するグラフ イツクボード 15と力 バス 16に接続されており、バス 16を介して相互にやり取りを行う ようになっている。 [0020] ネットワークカード 13は、 LAN9上に接続されている内視鏡フアイリング装置 8とデ ータの送受信処理を行うようになって！/、る。
[0021] 操作 IZF14は、操作装置 6のキーボードやマウスによって入力された入力信号を 受け取り、必要なデータ処理を行うようになって!/、る。
[0022] 記憶装置 7は情報処理装置 5に接続されており、画像解析処理を実行する画像解 析プログラム 20を格納している。該画像解析プログラム 20は、複数の実行ファイルま たは動的リンクライブラリファイルまたは設定ファイルカゝら構成される。
[0023] 外部記憶 IZF12は、記憶装置 7に記憶されている画像解析プログラム 20を読み込 み、メモリ 11に記憶させるようになつている。
[0024] 図 2に示すように、メモリ 11は、画像解析プログラム 20と、解析データ 21を保持して いる。
[0025] メモリ 11に記憶された画像解析プログラム 20は、 CPU10による実行により、操作装 置 6によって指定された内視鏡画像データを内視鏡フアイリング装置 3から取得し、取 得した画像データに対して画像解析処理をし、画像解析結果の表示装置 8への表示 処理を行うプログラムである。
[0026] メモリ 11に記憶された解析データ 21は、 CPU10における各処理により取得及び生 成されるデータである。記憶される解析データ 21は、内視鏡フアイリング装置 3から取 得した画像データである原画像 22及び後述する各種処理により生成される濃淡値 勾配情報 23、等方性変化情報 24、ポリープ候補画像 26からなる。
[0027] (作用）
図 3に示すように、内視鏡観察装置 2を用いて大腸ポリープ 100を斜め方向から観 察すると、図 4のようにエッジ 101が観察されるため、従来手法のエッジ検出手法を使 用して大腸ポリープ 100の候補を検出することが可能である力 大腸ポリープを上方 から観察すると、図 5のようにエッジが観察されない。よって、エッジ検出手法を使用 しても大腸ポリープ 100の候補を検出することができない。
[0028] 一方、図 6に示すような、内視鏡観察装置 2を用いて大腸管腔の襞を観察する場合 にも、上方からの観察ではエッジが観察されない。さらに、画像内に仮想的に直線を
B I 、たときの直線上の画素の濃淡値変化を観察すると、直線の引き方によって大腸 ポリープと襞は同一の変化形状を示す (例えば図 6の y方向の濃淡値変化)。よって、 1次元の濃淡値変化 (例えば図 6の X方向の濃淡値変化）を元にして大腸ポリープの 検出を試みる場合、襞も同時に誤検出してしまう可能性がある。
[0029] そこで、本実施例では、以下の処理を行うことで上記問題を解決する。
[0030] 詳細には、 CPU10にて実行される画像解析プログラム 20の処理では、図 7に示す ように、 CPU10は、原画像取得処理のステップ S1にて、操作装置 6の操作により指 定された画像データを、内視鏡フアイリング装置 3から取得し、メモリ 11上に原画像 2 2として記憶させる処理を行う。
[0031] 次に、 CPU10は、画像解析処理のステップ S 2にて、原画像取得処理ステップ S1 により取得した原画像 22を処理し、濃淡値勾配情報 23、等方性変化情報 24、ポリ一 プ候補画像 26とを生成してメモリ 11上に記憶させる処理を行う。
[0032] そして、 CPU10は、解析結果表示処理のステップ S3にて、ポリープ候補画像 26を 原画像 22に重畳させた解析処理画像を表示装置 8上に表示する処理を行う。
[0033] 図 7のステップ S2の画像解析処理を図 8を用いて説明する。図 8に示すように、 CP U10は、ステップ S10にて例えば R信号について後述する濃淡値勾配算出処理を 実行する。続いて、 CPU10は、ステップ S11にて算出した濃淡値勾配より後述する 等方性変化特徴量算出処理を実行する。さらに CPU10は、ステップ S12にて算出し た等方性変化特徴量よりポリープの存在する位置にポリープ候補画像 26を生成する ポリープ候補検出処理を実行する。
[0034] まず、ステップ S 10の濃淡値勾配算出処理について説明する。濃淡値勾配算出処 理は、図 9に示すように、注目点を中心として 3 X 3の画素に関して、例えば原画像の R信号についての濃淡値勾配を、各画素毎に求める。
[0035] 詳細には、例えば図 10に示すような注目点 R22を中心として 3 X 3の画素に関して 、 X, y方向それぞれ 3画素先の R画素信号の差分を抽出する。例えば R22に関して は差分は
g22x=R22x-R22
g22y=R22y-R22
rg22x=R'22x-R22 rg22y=R'22y-R22
となる。
[0036] x, y方向の差分値の平均値を、濃淡値勾配の x方向成分 (0° 方向）の差分平均 値を gx、y方向成分（90° 方向）の差分平均値を gy、 gxの逆方向 (180° 方向)の差分 平均値を rgx、 gyの逆方向（270° 方向）の差分平均値を rgyとすると、これらは gx=AVE(gijx)=AVE(Rijx-Rij)
gy=AVE(gijy)=AVE(Rijy-Rij)
rgx=AVE(rgijx)=AVE(Rij"x-Rij)
rgy=AVE(rgijy)=AVE(Rij'y- ij) U=l〜3
として求められる。 AVEは引数内の i,jに関する数値の平均値を返す関数とする。
[0037] 以上の 4つの方向の濃淡値勾配情報と、注目点の画素値とを、濃淡値勾配情報と してメモリ 11上に記録する。
[0038] 次に、ステップ S11の等方性変化特徴量算出処理について説明する。等方性変化 特徴量算出処理は、図 11に示すように、ステップ S20にてまず各画素毎に上述の濃 淡値勾配算出処理により算出された濃淡値勾配情報を取得し、ステップ S21にて濃 淡値勾配情報の差分値を求める。
[0039] 本実施例では、
gxと gyの差分： dxy=ABS(gx- gy)
gxと rgxの差分： axrx=ABS(gx- rgxノ
gxと rgyの 分： dxry= ABS(gx-rgy)
を算出する。なお、 ABSは引数内の数値の絶対値を返す関数とする。
[0040] ステップ S22にて注目点のする画素値 R (図 10では R22)と所定の閾値 Rtとを比較 し、 R>Rtであるときに、ステップ S23にて上述の 3つの差分値を等方性変化情報と してメモリ 11上に記録し、処理を終了する。
[0041] 一方、 R≤Rtである場合には、 dxy=dxrx=dxry=ERR(ERRは値が不適であることを示 す十分大きな定数値)をメモリ 11上に記録し、処理を終了する。
[0042] 続、て、ステップ S12のポリープ候補検出処理にっ 、て説明する。ポリープ候補検 出処理は、図 12に示すように、ステップ S30にてまず各画素毎に等方性変化特徴量 算出処理により算出された等方性変化情報を取得する。
[0043] そして、ステップ S31にて dxy=dxrx=dxry=ERRを満たすかどうか判断し、満たす場合 には処理をスキップし、そうでない場合には以下のステップ S32以降の処理を実施す る。
[0044] ステップ S32では、所定の閾値 Dtを用いて、 dxy < Dtかつ、 dxxy < Dtかつ、 dyxy く Dtである力否かを判定する。この条件を満たす場合には、ステップ S33にてポリ一 プ候補画像の当該位置の画素値を「 1」として更新する。もし条件を満たさな!/、場合 には、ステップ S34にて当該位置の画素値を「0」として更新する。
[0045] そして、ステップ S34にてポリープの存在する位置の画素値が「1」となるポリープ候 補画像 26を生成し、処理を終了する。
[0046] そして、画像処理装置 4では、原画像 22の表示に重畳するように、ポリープ候補画 像 26の画素値力「l」である位置にマーカを表示する。
[0047] なお、上記処理は、原画像 22の例えば R信号について行うとした力 これに限らず 、 G信号ある ヽは B信号でも良 、。
[0048] (効果）
このように本実施例では、 2次元の濃淡値変化を調べることによって、エッジをもた ないポリープを画像内から検出して、病変候補として提示することで、 Dr. (術者）に ポリープの存在位置を提示でき、病変発見を補助することが可能となる。
[0049] なお、上述の説明では濃淡値勾配情報を 3画素先の画素値との差分力 求めて 、 るが、設定可能なパラメタ変数 Nにより、 N画素先の差分を求めるように構成して、濃 淡値勾配情報のスケールを調整可能としてもょ 、。
[0050] 次に、本実施例の変形例について説明する。なお、異なる部分だけ説明する。
[0051] 等方性変化特徴量算出処理において、まず、次の計算式（1)、 （2)により各画素毎 の濃淡値勾配に関する要素構造テンソル T1を求める。
[数 1]
[数 2] - VA7/7 (2)
[0052] 次に、検出対象となる大腸ポリープの大きさに準じたガウシアンカーネルを生成す る。例えば、 5 X 5の大きさに関するガウシアンカーネルを生成する場合、平均値 =0、分散 σ 2 = 1の正規分布関数 f (x)を、
[数 3]
Figure imgf000011_0001
[0053] に基づき、図 13に示す 5 X 5のフィルタ Gを生成する。そして、各画素毎に求めた Τ1と Gを畳み込み、各画素毎に構造テンソル T= G * Τ1を算出する。
[0054] さらに Τの固有値をハウスホルダ QR法により各画素毎に求めて、
特徴量 u=最小固有値 Ζ最大固有値
を算出する。
[0055] 注目点のする画素値 Rと所定の閾値 Rtとを比較し、 R>Rtであるときに、特徴量 uを 等方性変化情報としてメモリ 11上に記録する（図 11のステップ S23に相当）。
[0056] R≤Rtである場合には、u=ERR (ERRは値が不適であることを示す十分大きな定数 値） をメモリ 11上に記録する（図 11のステップ S 24に相当）。
[0057] そして、ポリープ候補検出処理は、各画素毎に等方性変化情報を取得し (図 12の ステップ S30にネ目当）、 u=ERR力どう力半 IJ断し（図 12のステップ S31にネ目当）、 u=ER Rである場合には処理をスキップし、そうでない場合には以下の処理を実施する。
[0058] 次に、所定の閾値 Utを用いて、 u> Utであるか否かを判定する（図 12のステップ S 32に相当）。この条件を満たす場合には、ポリープ候補画像の当該位置の画素値を 「1」として更新する（図 12のステップ S33に相当）。もし条件を満たさな 、場合には、 当該位置の画素値を「0」として更新する（図 12のステップ S 34に相当）。
[0059] (実施例 2)
図 14ないし図 20は本発明の実施例 2に係わり、図 14はメモリ上に記憶される情報 を示す図、図 15は図 14の画像解析プログラムにおける画像解析処理の流れを示す フローチャート、図 16は図 15のポリープ候補検出処理の流れを示すフローチャート、 図 17は図 16のポリープ候補検出処理を説明する図、図 18は図 16のポリープ候補 検出処理における類円形状の検出方法の変形例を説明する第 1の図、図 19は図 16 のポリープ候補検出処理における類円形状の検出方法の変形例を説明する第 2の 図、図 20は図 16のポリープ候補検出処理における類円形状の検出方法の変形例を 説明する第 3の図である。
[0060] 実施例 2は、実施例 1とほとんど同じであるので、異なる点のみ説明し、同一の構成 には同じ符号をつけ説明は省略する。
[0061] (構成）
本実施例では、図 14に示すように、メモリ 11に記憶される解析データ 21は、内視 鏡フアイリング装置 3から取得した画像データである原画像 22及び後述する各種処 理により生成される 2値ィ匕画像 30、ラベリング画像 31、細線化画像 32、ポリープ候補 画像 26からなる。その他の構成は実施例 1と同じである。
[0062] (作用）
CPU10にて実行される本実施例の画像解析プログラム 20の画像解析処理を図 1 5を用いて説明する。図 15に示すように、ステップ S40の 2値ィ匕処理ステップにて、 C PU10は、画像解析プログラム 20により、原画像 22の例えば R信号について公知の Sobelフィルタによるエッジ抽出処理を行って、処理結果として得られた画素値が所定 の閾値 Rt以上である場合に、該当画素を「1」とする 2値画像 30を生成する。
[0063] なお、エッジ抽出処理は、原画像 22の例えば R信号について行うとした力 これに 限らず、原画像 22の G信号あるいは B信号にっ 、て行うようにしてもよ!、。
[0064] CPU10は、ステップ S41のラベリング処理ステップにより、 2値化画像 30の画素値 力 S「 1」である画素の連結成分のそれぞれにラベルを割り当てたラベリング画像 31を 生成する。
[0065] そして、 CPU10は、ステップ S42の細線化処理ステップにより、ラベリング画像 31 内の各ラベル値を例えば公知の Hildichの方法により細線ィ匕した細線ィ匕画像 32を生 成する。細線化画像 32は、原画像 22に含まれるエッジを、 1画素の連結成分からな るエッジ線として抽出して各々にラベルを割り当てた画像となる。各エッジは、大腸の 隆起性病変候補の外形線とともに、病変以外の構造の外形線を含んでいる。 [0066] なお、ラベリング画像 31及び細線ィ匕画像 32の生成方法については、例えば特開 2 005— 157902号公報に開示されているように、公知であるので説明は省略する。
[0067] 本実施例のポリープ候補検出処理は、細線ィ匕画像 32のエッジ線から、隆起性病変 としての可能性の高いエッジ線のみを抽出して、ポリープ候補画像 26として生成する 処理である。
[0068] 図 16は、本実施例のポリープ候補検出処理における処理フローチャートを示す図 である。
[0069] 図 16に示すように、ポリープ候補検出処理では、 CPU10は、ステップ S50にて、ラ ベル値「 1」をもつエッジ線情報を取得する。
[0070] そして、 CPU10は、ステップ S51にて、円形状に関するハフ変換を実行して、エツ ジ線を構成する円を抽出する。図 17はその抽出例である。図 17の例では、エッジ線 を構成する円要素として、 4つの円 A,B,C,Dが抽出されたことを示して 、る。
[0071] CPU10は、ステップ S52にて、抽出した円のうち、エッジ線との一致度が最も高い 円の一致度の大小を閾値判定する。判定は、ステップ S50のエッジ線の画素数と、 一致している画素数との比力 所定の値 R0より大きいか否かで行う。図 17の例では、 エッジ線を構成する画素を最も多く重複している円は円 Aであり、かつ、エッジ線の画 素数と一致している画素数との比が R0より大きいとして、円 Aを検出する。もし該当す る円の半径がない場合には、大腸ポリープの対象候補力も除外する。
[0072] CPU10は、ステップ S53にて、ステップ S52において判定した円の半径 rを、所定 の閾値 rmin、 rmaxと比較処理する。 rmin<r<rmaxである場合には、該当するエッジ 線がポリープの外形線を表すものとして、ステップ S54にてエッジ線の画素を「1」とす るポリープ候補画像 26を生成する。
[0073] CPU10は、以上の処理ステップを、細線化画像 32の各ラベル値毎に処理して、処 理結果をポリープ候補画像 26に重畳することにより、ポリープ候補エッジをラベリング したポリープ候補ラベリング画像を生成する。
[0074] (効果）
本実施例は、ポリープ候補ラベリング画像を原画像 22に重畳して表示装置 8上に 表示することにより、ポリープの存在位置である画像上のポリープ候補位置を容易に 確認することが可能となる。
[0075] なお、本実施例は、エッジ線上の点列に基づき複素 PARCOR係数を算出し、その 係数を図 18ないし図 20に示す分類クラスを正解として判別分析して類円形状を検 出するように構成してもよい。
[0076] (実施例 3)
図 21ないし図 29は本発明の実施例 3に係わり、図 21はエッジ抽出処理の前処理 を説明する第 1の図、図 22は図 21の前処理を説明する第 2の図、図 23は図 21の前 処理を説明する第 3の図、図 24は図 21の前処理を説明する第 4の図、図 25は図 21 の前処理を説明する第 5の図、図 26は図 21の前処理の流れを示す第 1のフローチ ヤート、図 27は図 26の処理を説明する第 1の図、図 28は図 26の処理を説明する第 2の図、図 29は図 21の前処理の流れを示す第 2のフローチャートである。
[0077] 実施例 3は、実施例 2とほとんど同じであるので、異なる点のみ説明し、同一の構成 には同じ符号をつけ説明は省略する。
[0078] 大腸における検出対象として隆起性病変（大腸ポリープ)があり、従来技術の 1手法 として、画像の濃淡値の極大を検知してその位置を大腸ポリープの候補と判定する 手法がある。その際に、極大が急峻である場合には大腸ポリープではなく微小な残 渣等の内容物によるノイズであるため、ノイズ除去のためにモフォロジーフィルターを 使用する。
[0079] しかし、内視鏡画像には歪曲収差があるため、モフォロジーフィルターが狙うノイズ のサイズ力 画像の中央と周辺部とで異なってしまう問題がある。
[0080] そこで本実施例では、 CPU10は、歪曲収差のある画像に対して適切な処理を行 い、大腸ポリープの検出精度を向上させる。
[0081] 本実施例では、 CPU10は、実施例 2における図 15のステップ S40でのエッジ抽出 処理の前処理として、原画像 22から残渣等の内容物からくるノイズを除去する。その ノイズ除去の方法としてモフォロジーフィルターを一般に使用する。
[0082] 図 21のように急峻なピークがある場合には、モフォロジーフィルター処理の 1つであ る erosionを行った後、モフォロジーフィルター処理の 1つである dilationを行うことで、 急峻なピークが取り除かれる。図 21では erosionを行った例を示す。モフォロジーフィ ルターは、図 22に示すように、 dilationは図形拡張作用を有し、また erosionは図形収 縮作用を有しており、球体または楕円体を対象とするデータ値に接するように這わせ たときの球体または楕円体の中心の軌跡を出力とする。 dilationではデータ値の上を 、 erosionではデータ値の下を這わせる。よって、 erosion及び dilationにより、球体また は楕円体のサイズ以下のピークを取り除くことが可能となる。
[0083] しかし、内視鏡画像は歪曲収差を持っているため、画像の中央と周辺とでスケール が異なる。よって図 23に示すように、内視鏡画像における実サイズは、画像の中心部 力 の距離、方向に応じて異なる。
[0084] 歪曲収差を補正した画像に対して、実施例 2における図 15に示した一連の処理を 行うと、上述の画像位置によるスケール相違の問題が回避できるが、歪曲収差の補 正処理には時間がかかり、その上でモフォロジーフィルタ演算を行わなければならな い。
[0085] 本実施例では、 CPU10は、あら力じめレンズの収差仕様または実測値に基づき、 図 24及び図 25に示すように、画面中心力もの距離 1に応じた楕円体の長軸/短軸を 出力する関数 f (l) , g (l)を用意している。この関数は、ルックアップテーブルまたは 計算式によって構成される。
[0086] 本実施例において、画像 Iに対してモフォロジーフィルターの dilationを適用する際 の処理フローチャートを図 26に示す（erosionも同様の処理を行う）。
[0087] 図 26は、画素（X, y)に関する処理を表し、この処理を画像 I全体に適用することに より dilation処理画像を得ることとなる。
[0088] CPU10は、 dilation処理では、画像 Iと同一サイズの画像バッファをメモリ 11上に確 保し画像バッファに dilation処理結果を格納する。画像バッファの値は、 dilation処理 に先立って、画像 Iの画素値をコピーして格納しておく。
[0089] 図 26に示すように、モフォロジーフィルターによる dilation処理では、 CPU10は、ス テツプ S60にて、注目する画素（X, y)と画像 Iの中心画素（cx, cy)とのなす角度 0を 求める（図 27参照)。
[0090] ステップ S61において、 CPU10は、注目する画素（x, y)と画像 Iの中心画素（cx, cy)との距離 Lを求める。 [0091] ステップ S62において、 CPU10は、上述の関数 f (1) , g (l)と、ステップ S61で求め た距離 Lを用いて、図 28に示すような長軸が f (L) ,短軸が g (L)の楕円体を求める。
[0092] ステップ S63にて、 CPU10は、ステップ S62において求めた楕円体をステップ S60 で求めた角度 Θだけ回転する。
[0093] ステップ S64にお!/、て、 CPU10は、画素（x, y)における dilation処理を行う。処理 結果は、画像 Iと同一サイズの画像バッファに格納する。画像バッファにおけるフィル タの占める領域内の画素値が、フィルタ処理結果の画素値よりも大きい時には、フィ ルタ処理結果の画素値に置き換える。
[0094] なお、図 29は erosion処理の場合のフローチャートを示す。 dilation処理とほとんど 同じで、ステップ S64の代り〖こステップ S64a〖こて画素（X, y)における erosion処理を 行う点のみ異なるので、説明は省略する。
[0095] また、本実施例ではモフォロジーフィルタに対して適用した力 CPU10がテンプレ ートを生成しテンプレートマッチング処理を実行して、該テンプレートマッチング処理 においても、画像の歪曲収差を考慮してテンプレートを補正しながら処理を行うことで マッチング精度を向上させることが可能となる。
[0096] 歪曲収差のある画像に対してノイズ除去を高精度に行うことが可能となり、病変候 補の正解率が向上するため、 Dr.の病変発見を補助することとなる。
[0097] なお、画像データの一例として上記各実施例では大腸内の内視鏡画像データを用 い、管腔内異常組織としての大腸ポリープを例に説明したが、これに限らず、他の管 腔内画像データに適用し他の管腔内の異常組織の検出に適用可能である。
[0098] なお、本発明の上記実施例では、図 30に示すように、濃淡値勾配算出処理 (例え ば図 8のステップ S 10)を実行する濃淡値勾配算出処理手段としての濃淡値勾配算 出部 200と、等方性変化特徴量算出処理 (例えば図 8のステップ S11)を実行する等 方性評価処理手段としての等方性評価部 201と、エッジ抽出処理 (例えば図 15のス テツプ S40)を実行するエッジ抽出処理手段としてのエッジ抽出部 202と、ポリープ候 補検出処理 (例えば図 8のステップ S12)を実行する異常組織候補検出処理手段とし てのポリープ候補検出部 203と、例えば図 22のモフォロジーフィルターを生成するフ ィルタ Zテンプレート生成手段としてのフィルタ Zテンプレート生成部 204と、例えば 図 24及び図 25の画面中心からの距離 1に応じた楕円体の長軸/短軸を出力する関 数 f (l) , g (l)を用いたモフォロジーフィルター演算を実行するフィルタリング/テンプ レートマッチング処理手段としてのフィルタリング Zテンプレートマッチング部 205とは 、異常組織存在判定処理手段としての CPU10により構成される。
[0099] 本発明は、上述した実施例に限定されるものではなぐ本発明の要旨を変えない範 囲において、種々の変更、改変等が可能である。
[0100] 本出願は、 2006年 3月 14日に日本国に出願された特願 2006— 069818号を優 先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求 の範囲に引用されるものである。

Claims

請求の範囲
[1] 管腔内画像の画素または小領域のデータに基づき、管腔内異常組織が存在する か否かを判定する異常組織存在判定処理手段
を備えたことを特徴とする画像解析装置。
[2] 前記管腔内画像の画素または小領域の濃淡値勾配を算出する濃淡値勾配算出処 理手段と、
前記濃淡値勾配の等方性を評価する等方性評価処理手段と
をさらに有し、
前記異常組織存在判定処理手段は、前記等方性評価結果を基づいて、前記管腔 内異常組織が存在するカゝ否かを判定する
ことを特徴とする請求項 1に記載の画像解析装置。
[3] 前記管腔内画像のエッジを抽出するエッジ抽出処理を行うエッジ抽出処理手段と 前記エッジ抽出処理手段により抽出した各々のエッジが前記異常糸且織のエッジで あるカゝ否かを判定する異常組織候補検出処理手段とを
さらに備え、
前記異常組織候補検出処理手段は、エッジのなす曲線のうち類円形状の曲線を 検出する円形状検出処理手段を有し、
前記異常組織存在判定処理手段は、前記類円形状の曲線に基づいて、前記管腔 内異常組織が存在するカゝ否かを判定する
ことを特徴とする請求項 1に記載の画像解析装置。
[4] 前記管腔内画像中央力 の位置に応じてサイズの異なるフィルタまたはテンプレー トを生成するフィルタ Zテンプレート生成手段と、
前記フィルタまたはテンプレートにより、前記管腔内画像に対してフィルタリング処理 またはテンプレートマッチング処理を行うフィルタリング zテンプレートマッチング処理 手段とを
さらに備え、 処理手段の処理結果に基づレ、て、前記管腔内異常組織が存在するか否かを判定す る
ことを特徴とする請求項 1に記載の画像解析装置。
前記管腔内異常糸且織は、大腸ポリープである
ことを特徴とする請求項 1ないし 4のいずれか 1つに記載の画像解析装置。
PCT/JP2007/054214 2006-03-14 2007-03-05 画像解析装置 WO2007105517A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP07737789A EP1994880A4 (en) 2006-03-14 2007-03-05 IMAGE ANALYSIS UNIT
CN2007800053223A CN101384210B (zh) 2006-03-14 2007-03-05 图像分析装置
US12/208,904 US8244009B2 (en) 2006-03-14 2008-09-11 Image analysis device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006069818A JP4891637B2 (ja) 2006-03-14 2006-03-14 画像解析装置
JP2006-069818 2006-03-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/208,904 Continuation US8244009B2 (en) 2006-03-14 2008-09-11 Image analysis device

Publications (1)

Publication Number Publication Date
WO2007105517A1 true WO2007105517A1 (ja) 2007-09-20

Family

ID=38509351

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/054214 WO2007105517A1 (ja) 2006-03-14 2007-03-05 画像解析装置

Country Status (5)

Country Link
US (1) US8244009B2 (ja)
EP (2) EP1994880A4 (ja)
JP (1) JP4891637B2 (ja)
CN (1) CN101384210B (ja)
WO (1) WO2007105517A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012016454A (ja) * 2010-07-07 2012-01-26 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
US12008758B2 (en) * 2016-05-19 2024-06-11 Psip Llc Detection of polyps

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5312807B2 (ja) 2008-01-08 2013-10-09 オリンパス株式会社 画像処理装置および画像処理プログラム
JP2011069965A (ja) * 2009-09-25 2011-04-07 Japan Atomic Energy Agency 撮像装置、画像表示方法、及び画像表示プログラムが記録された記録媒体
JP5535727B2 (ja) * 2010-04-01 2014-07-02 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP5570866B2 (ja) * 2010-04-30 2014-08-13 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5528255B2 (ja) * 2010-08-16 2014-06-25 Ｈｏｙａ株式会社 内視鏡画像処理システム
WO2012056580A1 (ja) * 2010-10-29 2012-05-03 オリンパス株式会社 画像解析方法および画像解析装置
RU2441281C1 (ru) * 2011-01-14 2012-01-27 Закрытое Акционерное Общество "Импульс" Способ оценки шума цифровых рентгенограмм
EP2567651B1 (en) * 2011-02-01 2015-04-22 Olympus Medical Systems Corp. Diagnosis supporting apparatus
JP5326064B2 (ja) * 2011-07-12 2013-10-30 オリンパスメディカルシステムズ株式会社 画像処理装置
JP5959168B2 (ja) * 2011-08-31 2016-08-02 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6196760B2 (ja) * 2012-08-10 2017-09-13 オリンパス株式会社 画像処理装置
JP6253230B2 (ja) * 2012-12-25 2017-12-27 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
US9386908B2 (en) 2013-01-29 2016-07-12 Gyrus Acmi, Inc. (D.B.A. Olympus Surgical Technologies America) Navigation using a pre-acquired image
EP3045104A4 (en) * 2013-09-13 2017-04-26 Olympus Corporation Image processing device, method, and program
US9747687B2 (en) * 2014-04-24 2017-08-29 Arizona Board Of Regents On Behalf Of Arizona State University System and method for detecting polyps from learned boundaries
WO2016161115A1 (en) * 2015-03-31 2016-10-06 Mayo Foundation For Medical Education And Research System and methods for automatic polyp detection using convolutional neural networks
WO2016170656A1 (ja) 2015-04-23 2016-10-27 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN107529962B (zh) 2015-04-23 2020-02-07 奥林巴斯株式会社 图像处理装置、图像处理方法和记录介质
CN110345877B (zh) * 2019-07-03 2020-10-27 西安交通大学 一种管板孔径和节距测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04193254A (ja) * 1990-11-27 1992-07-13 Olympus Optical Co Ltd 内視鏡画像処理装置
JP2005157902A (ja) 2003-11-27 2005-06-16 Olympus Corp 画像解析方法
JP2006069818A (ja) 2004-08-31 2006-03-16 Keio Gijuku 炭素微粒子

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6301378B1 (en) * 1997-06-03 2001-10-09 R2 Technology, Inc. Method and apparatus for automated detection of masses in digital mammograms
US6947784B2 (en) * 2000-04-07 2005-09-20 The General Hospital Corporation System for digital bowel subtraction and polyp detection and related techniques
US7043064B2 (en) * 2001-05-04 2006-05-09 The Board Of Trustees Of The Leland Stanford Junior University Method for characterizing shapes in medical images
US7260250B2 (en) * 2002-09-30 2007-08-21 The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services Computer-aided classification of anomalies in anatomical structures
US20050036691A1 (en) 2003-08-13 2005-02-17 Pascal Cathier Method and system for using structure tensors to detect lung nodules and colon polyps
US7447342B2 (en) * 2003-09-22 2008-11-04 Siemens Medical Solutions Usa, Inc. Method and system for using cutting planes for colon polyp detection
WO2005050544A1 (en) * 2003-11-12 2005-06-02 Siemens Corporate Research, Inc. A system and method for filtering and automatic detection of candidate anatomical structures in medical images
WO2005101314A2 (en) * 2004-04-12 2005-10-27 The General Hospital Corporation Method and apparatus for processing images in a bowel subtraction system
KR100739967B1 (ko) * 2005-05-27 2007-07-16 주식회사 하이닉스반도체 플래시 메모리 장치의 프로그램 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04193254A (ja) * 1990-11-27 1992-07-13 Olympus Optical Co Ltd 内視鏡画像処理装置
JP2005157902A (ja) 2003-11-27 2005-06-16 Olympus Corp 画像解析方法
JP2006069818A (ja) 2004-08-31 2006-03-16 Keio Gijuku 炭素微粒子

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DIGESTIVE ENDOSCOPY, vol. 13, no. 3, 2001, pages 349 - 354
See also references of EP1994880A4
WEI J.: "Kohai Vector no Ten Shuchugata Filter no Tokusei kaiseki", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEER, vol. 84J-D-II, no. 7, 2001, pages 1289 - 1298, XP003018110 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012016454A (ja) * 2010-07-07 2012-01-26 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
US9053533B2 (en) 2010-07-07 2015-06-09 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium for extracting a dark portion area from an intraluminal image
US12008758B2 (en) * 2016-05-19 2024-06-11 Psip Llc Detection of polyps

Also Published As

Publication number Publication date
EP2472473B1 (en) 2016-06-22
US20090074270A1 (en) 2009-03-19
US8244009B2 (en) 2012-08-14
CN101384210B (zh) 2011-08-31
JP4891637B2 (ja) 2012-03-07
EP1994880A1 (en) 2008-11-26
EP1994880A4 (en) 2010-05-26
CN101384210A (zh) 2009-03-11
JP2007244519A (ja) 2007-09-27
EP2472473A1 (en) 2012-07-04

Similar Documents

Publication Publication Date Title
JP4891637B2 (ja) 画像解析装置
EP1994879B1 (en) Image analysis device and image analysis method
JP4418400B2 (ja) 画像表示装置
US20120166211A1 (en) Method and apparatus for aiding imaging diagnosis using medical image, and image diagnosis aiding system for performing the method
JP4434705B2 (ja) 画像解析方法
CN112862833A (zh) 血管分段方法、电子装置和存储介质
CN107106110B (zh) 图像处理装置以及图像处理方法
US20190392552A1 (en) Spine image registration method
CN109674493B (zh) 医用超声自动追踪颈动脉血管的方法、系统及设备
JP5364009B2 (ja) 画像生成装置、画像生成方法、及びそのプログラム
US20140210971A1 (en) Navigation Using a Pre-Acquired Image
JP6821519B2 (ja) 眼科装置、眼科画像処理方法、プログラム、及び記録媒体
JP2007511013A (ja) 医用画像における候補解剖学的構造をフィルタリングおよび自動検出するためのシステムおよび方法
EP2178046A2 (en) Multi-image correlation
US20220230367A1 (en) Information processing apparatus, information processing system, information processing method, and information processing program
CN115797348B (zh) 内窥镜下目标结构评估系统、方法、设备及存储介质
TW202036473A (zh) 醫療影像對位方法
CN116864098B (zh) 一种基于位置信息的医疗器械受力信息获取方法及系统
KR102389628B1 (ko) 의료영상의 병변 특징에 따른 영상처리 장치 및 방법
WO2022208615A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2022236995A1 (zh) 一种引导式钙化斑块的检测评分方法、设备及存储介质
CN116777962A (zh) 基于人工智能的二维医学图像配准方法及系统
CN116583912A (zh) 医学指标测量方法及针对该方法的超声诊断设备
Przelaskowski et al. Endobronchial tumor mass indication in videobronchoscopy-block based analysis
JP2006239112A (ja) 異常陰影検出装置、異常陰影検出方法およびそのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07737789

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 200780005322.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2007737789

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE