WO2008012968A1 - dispositif de traitement d'image médicale et procédé de traitement d'image médicale - Google Patents

dispositif de traitement d'image médicale et procédé de traitement d'image médicale Download PDF

Info

Publication number
WO2008012968A1
WO2008012968A1 PCT/JP2007/057922 JP2007057922W WO2008012968A1 WO 2008012968 A1 WO2008012968 A1 WO 2008012968A1 JP 2007057922 W JP2007057922 W JP 2007057922W WO 2008012968 A1 WO2008012968 A1 WO 2008012968A1
Authority
WO
WIPO (PCT)
Prior art keywords
threshold value
shape
feature amount
image processing
shape feature
Prior art date
Application number
PCT/JP2007/057922
Other languages
English (en)
French (fr)
Inventor
Ryoko Inoue
Hirokazu Nishimura
Hideki Tanaka
Kenji Nakamura
Miho Sawa
Original Assignee
Olympus Medical Systems Corp.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp. filed Critical Olympus Medical Systems Corp.
Priority to CN2007800269317A priority Critical patent/CN101489466B/zh
Priority to EP07741358A priority patent/EP2047791B1/en
Publication of WO2008012968A1 publication Critical patent/WO2008012968A1/ja
Priority to US12/359,719 priority patent/US8165370B2/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp

Definitions

  • the present invention relates to a medical image processing apparatus and a medical image processing method, and in particular, a medical image processing apparatus that estimates a three-dimensional model of a living tissue based on a two-dimensional image of a living tissue image and
  • the present invention relates to a medical image processing method.
  • the endoscope device has, for example, an insertion part that can be inserted into a body cavity, and the inside of the body cavity imaged by an objective optical system disposed at the distal end of the insertion part.
  • An image is picked up by an image pickup means such as a solid-state image pickup device and output as an image pickup signal, and an image and an image of a body cavity are displayed on a display means such as a monitor based on the image pickup signal.
  • the user observes, for example, an organ in the body cavity based on the image of the image in the body cavity displayed on the display means such as a monitor.
  • the endoscope apparatus can directly capture an image of the digestive tract mucosa. Therefore, the user can comprehensively observe, for example, the color of the mucous membrane, the shape of the lesion, and the fine structure of the mucosal surface.
  • an image processing method in which an endoscope apparatus can detect a predetermined image in which a lesion having a local raised shape is present for example, Japanese Patent Application Laid-Open Publication No. 2005-192880 (conventional document 1). It is also possible to detect an image including a lesion site such as a polyp by using an image processing method described in the above.
  • the image processing method described in the conventional document 1 extracts a contour of an input image and, based on the shape of the contour, removes a lesion having a local raised shape in the image. Can be detected.
  • 3D data is estimated from a 2D image, and colon polyps are detected using 3D feature values (Shape Index Z Curvedness).
  • 3D feature values Shape Index Z Curvedness
  • Conventional Document 2 The Institute of Electronics, Information and Communication Engineers, IEICE Technical Report (MI2003-102), Examination of automatic detection method for large intestine polyp of 3D abdominal CT image power based on shape information Kimura, Hayashi, Kitasaka, Mori, Suecho pp. 29-34, 2004).
  • This 3D feature value is realized by calculating the partial differential coefficient at the reference point by calculating the 3D data force and using the partial differential coefficient.
  • a polyp candidate is detected by performing a threshold process on the three-dimensional feature value.
  • the “Shape From Shading” method which is conventionally used as an estimation method for 3D data, is affected by the reflection / scattering characteristics of the target and the secondary light on the target. Has problems such as a decrease in detection accuracy and occurrence of false detection.
  • this “Shape From Shading” method generates sparseness of 3D data density depending on the image.
  • Standard error of 3D feature quantity (how much range the sample value is relative to the average value) (Statistical index indicating whether or not the distribution is distributed) is affected by the density of the three-dimensional data density
  • the conventional colon polyp detection process has the following problems: reduced detection accuracy and occurrence of false detection. Have it.
  • the present invention has been made in view of the above circumstances, and performs a process appropriately adapted to the observation state of a target two-dimensional image to detect a lesion having a local raised shape. It is an object of the present invention to provide a medical image processing apparatus and a medical image processing method capable of improving the accuracy as compared with the prior art.
  • a medical image processing apparatus includes:
  • 3D model estimation means for estimating the 3D model of the biological tissue based on the 2D image of the biological tissue in the body cavity input from the medical imaging device;
  • detection target region setting means for setting a detection target region of a lesion having a raised shape
  • a threshold value determining means for determining a threshold value used for calculating a shape feature amount indicating a shape state at each data point included in the detection target region; Shape feature amount calculating means for calculating the shape feature amount based on the threshold value, and three-dimensional shape detection means for detecting a local ridged lesion area existing in the detection target region based on the shape feature amount.
  • the medical image processing method of one embodiment of the present invention includes:
  • a three-dimensional model estimation step for estimating the three-dimensional model of the biological tissue based on a two-dimensional image of the biological tissue in the body cavity input from the medical imaging device;
  • a detection target region setting step for setting a detection target region of a lesion having a raised shape in the three-dimensional model
  • a shape feature amount calculating step for calculating the shape feature amount based on the threshold value, and a three-dimensional shape detection step for detecting a local ridged lesion area existing in the detection target region based on the shape feature amount.
  • FIG. 1 is a diagram showing an example of the overall configuration of an endoscope system in which a medical image processing apparatus according to Embodiment 1 of the present invention is used.
  • FIG. 3 is a flowchart showing the processing flow of the CPU in FIG.
  • FIG. 4 is a flowchart showing a flow of threshold value Tl and T2 determination processing in FIG.
  • FIG. 5 “Z-coordinate threshold Tl, T2” threshold table data used in the process of FIG.
  • FIG. 6 is a diagram for explaining the processing in FIG.
  • FIG. 7 is a flowchart showing a flow of determination processing of threshold values Tl and ⁇ 2 according to the second embodiment of the present invention.
  • FIG. 8 is a diagram showing “an angle multiplication value” threshold table data used in the processing of FIG. 9] First figure explaining the process of Figure 7
  • FIG. 10 is a second diagram illustrating the processing of FIG.
  • FIG. 11 Third diagram for explaining the processing of FIG. FIG. 12 is a diagram for explaining local partial differential coefficient calculation processing according to Embodiment 3 of the present invention.
  • FIG. 13 is a flowchart showing a flow of local partial differential coefficient calculation processing in FIG.
  • FIG. 14 is a flowchart showing a flow of determination processing of threshold values Tl and T2 in the latter stage of the processing in FIG.
  • FIG. 15 is a diagram showing a threshold table indicating the correspondence between the number of data points Mi used in the process of FIG. 13 and thresholds Tl and T2.
  • FIG. 16 is a flowchart showing the flow of a modified example of the local partial differential coefficient calculation processing of FIG. 12. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 1 is a diagram showing an example of the entire configuration of an endoscope system in which a medical image processing apparatus is used
  • FIG. 2 is a functional configuration of the CPU of FIG. 3 is a flowchart showing the processing flow of the CPU shown in FIG. 2
  • FIG. 4 is a flowchart showing the flow of determining the threshold values Tl and T2 shown in FIG. 3
  • FIG. 5 is used in the processing shown in FIG.
  • FIG. 6 is a diagram for explaining the processing of FIG. 4 and FIG. 6 is a diagram showing “Z coordinate threshold Tl, T2” threshold table data.
  • an endoscope system 1 includes a medical observation device 2, a medical image processing device 3, and a monitor 4, and the main part is configured.
  • RU RU
  • the medical observation apparatus 2 is an observation apparatus that captures an image of a subject and outputs a two-dimensional image of the image of the subject.
  • the medical image processing apparatus 3 is configured by a personal computer or the like, and performs image processing on a video signal of a two-dimensional image output from the medical observation apparatus 2, and after performing the image processing It is an image processing device that outputs the video signal as an image signal.
  • the monitor 4 is a display device that displays an image based on the image signal output from the medical image processing device 3.
  • the medical observation apparatus 2 includes an endoscope 6, a light source device 7, a camera control unit (hereinafter abbreviated as CCU) 8, and a monitor 9. Yes.
  • CCU camera control unit
  • the endoscope 6 is inserted into a body cavity of a subject, images a subject such as a living tissue existing in the body cavity, and outputs it as an imaging signal.
  • the light source device 7 supplies illumination light for illuminating a subject imaged by the endoscope 6. in front
  • the CCU 8 performs various controls on the endoscope 6, performs signal processing on the image signal output from the endoscope 6, and outputs it as a video signal of a two-dimensional image.
  • the monitor 9 displays an image of the subject imaged by the endoscope 6 based on the video signal of the two-dimensional image output from the CCU 8.
  • the endoscope 6 includes an insertion portion 11 that is inserted into a body cavity and an operation portion 12 that is provided on the proximal end side of the insertion portion 11.
  • a light guide 13 for transmitting illumination light supplied from the light source device 7 is inserted into a portion from the proximal end side in the insertion portion 11 to the distal end portion 14 on the distal end side in the insertion portion 11. Yes.
  • the light guide 13 has a distal end side disposed at the distal end portion 14 of the endoscope 6 and a rear end side connected to the light source device 7.
  • the illumination light supplied from the light source device 7 is provided on the distal end surface of the distal end portion 14 of the insertion portion 11 after being transmitted by the light guide 13.
  • An illumination window force (not shown) is also emitted.
  • the illumination window force (not shown) also illuminates a living tissue or the like as a subject by emitting illumination light.
  • an objective optical system 15 attached to an observation window (not shown) adjacent to an illumination window (not shown) and an imaging position of the objective optical system 15 are arranged.
  • An imaging unit 17 having an imaging device 16 constituted by a CCD (charge coupled device) or the like is provided. With such a configuration, the subject image formed by the objective optical system 15 is captured by the imaging element 16 and then output as an imaging signal.
  • the image sensor 16 is not limited to a CCD, but may be a C-MOS sensor! /.
  • the image sensor 16 is connected to the CCU 8 through a signal line.
  • the image sensor 16 is driven based on the drive signal output from the CCU 8, and outputs an image signal corresponding to the captured subject image to the CCU 8.
  • the imaging signal input to the CCU 8 is converted and output as a video signal of a two-dimensional image by performing signal processing in a signal processing circuit (not shown) provided in the CCU 8.
  • the video signal of the two-dimensional image output from the CCU 8 is output to the monitor 9 and the medical image processing device 3.
  • the monitor 9 displays the subject image based on the video signal output from the CCU 8 as a two-dimensional image.
  • the medical image processing apparatus 3 performs an AZD conversion on the video signal of the two-dimensional image output from the medical observation apparatus 2, and outputs the image input section 21 from the image input section 21.
  • CPU 22 as a central processing unit that performs image processing on a video signal to be processed, a processing program storage unit 23 in which a processing program related to the image processing is written, a video signal output from the image input unit 21, and the like And an analysis information storage unit 25 for storing calculation results and the like in the image processing performed by the CPU 22.
  • the medical image processing apparatus 3 receives a storage device interface (IZF) 26, image data as a result of image processing of the CPU 22 via the storage device IZF 26, various data used by the CPU 22 in image processing, and the like. Based on the image data as the image processing result of the CPU 22 and the hard disk 27 as a storage device to be stored, the display processing for displaying the image data on the monitor 4 is performed, and after the display processing is performed Display processing unit 28 that outputs the image data as an image signal, and a user can input parameters for image processing performed by the CPU 22 and operation instructions for the medical image processing apparatus 3, a keyboard or a pointing device such as a mouse, etc. And an input operation unit 29 composed of The monitor 4 displays an image based on the image signal output from the display processing unit 28.
  • IZF storage device interface
  • Each of 29 is connected to each other via data node 30
  • the CPU 22 includes a 3D model estimation unit 22a as a 3D model estimation unit, a detection target region setting unit 22b as a detection target region setting unit, and a shape feature as a shape feature amount calculation unit.
  • the functional unit includes a quantity calculation unit 22c, a three-dimensional shape detection unit 22d as a three-dimensional shape detection unit, a threshold value determination unit 22e as a threshold value determination unit, and a polyp determination unit 22f.
  • these functional units are realized by software executed by the CPU 22.
  • FIG. This will be described with reference to FIGS. 5 and 6 using the flowchart of FIG.
  • the insertion unit 11 when the insertion unit 11 is inserted into the body cavity of the subject by the user, for example, an image of a subject that is a living tissue or the like existing in the body cavity is captured by the imaging unit 17 provided in the distal end part 14. Images are taken by. Then, the image of the subject imaged by the imaging unit 17 is output to the CCU 8 as an imaging signal.
  • the CCU 8 performs signal processing on the imaging signal output from the imaging element 16 of the imaging unit 17 in a signal processing circuit (not shown), thereby converting the imaging signal as a video signal of a two-dimensional image. Output. Based on the video signal output from the CCU 8, the monitor 9 displays the subject image captured by the imaging unit 17 as a two-dimensional image. Further, the CCU 8 outputs a video signal of a two-dimensional image obtained by performing signal processing on the imaging signal output from the imaging device 16 of the imaging unit 17 to the medical image processing device 3. .
  • the video signal of the two-dimensional image output to the medical image processing apparatus 3 is AZD converted by the image input unit 21, and then input to the CPU 22.
  • the 3D model estimation unit 22a of the CPU 22 applies, for example, a “Shape From Shading method” to the 2D image output from the image input unit 21 in step S1.
  • the detection target region setting unit 22b of the CPU 22 performs the color change of the 2D image output from the image input unit 21 in step S2 and the 3D model estimated by the process of step S1 in FIG.
  • a target area that is a detection target area is set as a target area to which a process for detecting a lesion having a raised shape in the three-dimensional model is applied.
  • the detection target area setting unit 22b of the CPU 22 converts the two-dimensional image output from the image input unit 21 into an R (red) image, a G (green) image, and a B (blue) image.
  • R red
  • G green
  • B blue
  • Each plain drawing After separation into images, based on the data of the 3D model estimated according to the R image, a change in bulge is detected, and a change in color tone is detected based on the chromaticity of the R image and the G image. To do.
  • the detection target area setting unit 22b of the CPU 22 determines, based on the detection result of the bulge change and the detection result of the color tone, the area where both the bulge change and the color change are detected as the target area. Set as.
  • the shape feature quantity calculation unit 22c of the CPU 22 calculates a local partial differential coefficient of the target region in step S3. Specifically, the shape feature quantity calculation unit 22c of the CPU 22 applies the R pixel in the local region (curved surface) including the noted 3D position (x, y, z) to the calculated 3D shape. Calculate first-order partial differential coefficients fx, fy, fz and second-order partial differential coefficients fxx, fyy, fzz, fxy, fyz, fxz at the value f.
  • the shape feature quantity calculation unit 22c of the CPU 22 calculates a local partial differential coefficient as a shape feature quantity of (3D shape) for each data point existing in the processing target area of the 3D model in step S4. Based on the above, a process for calculating a shape index value and a curvedness value is performed.
  • the shape feature amount calculation unit 22c of the CPU 22 calculates the Gaussian curvature K and the average curvature H.
  • Shape IndexSI and Curvedness ssCV which are feature amounts representing the curved surface shape in this case, are respectively
  • the shape feature amount calculation unit 22c of the CPU 22 calculates the Shape Index SI and Curvedness CV of each three-dimensional curved surface as the three-dimensional shape information, and stores it in the analysis information storage unit 25.
  • the above-described Shape Index value is a value for indicating the state of unevenness at each data point of the three-dimensional model, and is represented as a numerical value in the range of 0 to 1. Specifically, 3 For each data point in the dimensional model, if the Shape Index value is close to 0, it indicates that a concave shape exists, and if the Shape Index value is close to 1, it indicates that a convex shape exists.
  • the Curvedness value described above is a value for indicating the curvature at each data point of the three-dimensional model. Specifically, at each data point existing in the 3D model, the smaller the Curvedness value, the more sharply curved the surface is suggested, and the larger the Curvedness value, the slower the curve. The existence of a curved surface is suggested.
  • the threshold determination unit 22e of the CPU 22 determines threshold values Tl and T2 to be compared with each value of the shape index value and the curvedness value in each data existing in the target region of the three-dimensional model in step S5. Process. Details of the determination processing of the threshold values Tl and T2 in step S5 will be described later.
  • the three-dimensional shape detection unit 22d of the CPU 22 determines the shape index value and the curvedness value and the threshold value determination unit 22e at each data point existing in the target area of the three-dimensional model in step S6.
  • the data points are detected as a data group having a raised shape.
  • the CPU 22 selects, for example, a plurality of data points having a shape index value larger than the threshold T and a curvedness value larger than the threshold T2 from the data points existing in the processing target area of the three-dimensional model. This is detected as a data group having a raised shape.
  • the polyp determining unit 22f of the CPU 22 has a plurality of data points detected as a data group having a raised shape in the three-dimensional model in step S7, and data corresponding to a raised shape derived from a disease such as a force polyp.
  • a raised shape discriminating process is performed to discriminate whether the point is a point.
  • step S8 the polyp determining unit 22f of the CPU 22 determines a region having a data group composed of data points corresponding to the raised shape derived from the lesion as the polyp region, and detects the polyp that is the lesion region To do.
  • the CPU 22 stores the detection result in association with the endoscopic image to be detected, for example, in the hard disk 27 in FIG. Display alongside the endoscopic image.
  • the monitor 4 displays an image of a three-dimensional model of the subject so that the user can easily recognize the position where the raised shape derived from a lesion such as a polyp exists.
  • the threshold value determination unit 22e of the CPU 22 sets the parameter i to 1 in step S51, and in step S52, the three-dimensional coordinates of the i-th data point in the target area of the three-dimensional model. (xi, yi, zi) is acquired from the analysis information storage unit 25.
  • the threshold value determination unit 22e of the CPU 22 stores the “Z coordinate—threshold value Tl, T2” threshold value table data as shown in FIG. 5 stored in the hard disk 27 via the storage device IZF 26 in step S53. Then, the threshold values Tl (i) and T2 (i) are read based on the ⁇ coordinate zi. Then, the threshold value determination unit 22e of the CPU 22 stores in the analysis information storage unit 25 as the shape index value and the curvedness value threshold values Tl (i) and T2 (i) of the i-th data point in step S54.
  • the threshold value determination unit 22e of the CPU 22 determines whether or not the parameter i has reached the number N of all data points in the target area of the 3D model in step S55, and if i> N is not satisfied. In step S56, the parameter i is incremented and the process returns to step S52. The threshold value determination unit 22e of the CPU 22 performs the processing in steps S52 to S56 until the threshold values Tl (i) and T2 (i) at all data points in the target area of the three-dimensional model are determined in step S55. Repeat.
  • the relationship between the Z coordinate value and Tl, T2 can be expressed by applying a linear or quadratic function of the values shown in the “Z coordinate—threshold Tl, T2” threshold table (see FIG. 5). Then, it may be configured to be obtained by mathematical calculation.
  • the scattered light with submucosal force increases, and the incident amount of reflected light (secondary light) at other positions also increases.
  • the colonoscopy image is a captured image of the intestinal tract, when the intestinal tract direction is in the image, the image portion at a far position in the depth direction captures an image when the intestinal tract wall is subjected to an oblique force.
  • the angle characteristics of reflected light and scattered light are different from those in the frontal view of the intestinal wall.
  • the optimum threshold combination of Shape Index (index indicating unevenness) and Curvedness (index indicating unevenness sharpness) for polyp candidate detection differs according to the coordinates of the threshold judgment point.
  • Fig. 6 shows an example of polyp candidate detection using the same threshold combination.
  • the gentle convex part 251 at the back of the original polyp 250 alone or the convex part 252 that is close to the peak shape are detected!
  • the threshold value is corrected using the position (Z coordinate) at the point of interest in the three-dimensional data, so that the reflection Z scattering characteristics of the target and the influence of the secondary light on the target are excluded.
  • the removed threshold can be used for the polyp detection process, and the detection accuracy of the polyp candidate can be improved. Therefore, it is possible to prompt the user to improve the polyp candidate discovery rate in the colonoscopy.
  • FIGS. 7 to 11 relate to the second embodiment of the present invention
  • FIG. 7 is a flowchart showing the flow of determination processing of the threshold values Tl and T2
  • FIG. 8 is the ““ angled multiplication value ”threshold value used in the processing of FIG.
  • FIG. 9 is a first diagram illustrating the processing of FIG. 7,
  • FIG. 10 is a second diagram illustrating the processing of FIG. 7, and
  • FIG. 11 is a third diagram illustrating the processing of FIG. FIG.
  • the second embodiment is different from the first embodiment in the determination processing of the threshold values Tl and T2 to be compared with each value of the shape index value and the curvedness value, and the configuration is the same as the first embodiment.
  • the threshold value determination unit 22e of the CPU 22 sets the parameter in step S51. i is set to 1, and the three-dimensional coordinates (xi, yi, zi) of the i-th data point in the target region of the three-dimensional model are acquired from the analysis information storage unit 25 in step S52.
  • the threshold value determination unit 22e of the CPU 22 calculates a difference between the viewpoint coordinates and the coordinate points in step S57, and generates a line-of-sight vector.
  • the coordinates (x0, yO, ⁇ ) of the viewpoint position are determined in step S1 in FIG. 3, and this line-of-sight vector VO (VxO, VyO, VzO) It becomes.
  • the threshold value determination unit 22e of the CPU 22 calculates a normal vector Vi (Vxi, Vyi, Vzi) at the i-th data point in step S58.
  • This normal vector Vi is obtained by calculating the differential values (fx, fy, fz) at the data points for the quadric surface f obtained in step S2 in FIG.
  • the threshold value determination unit 22e of the CPU 22 calculates an angle ⁇ i formed by the line-of-sight vector and the normal vector in step S59. This angle ⁇ i is the inner product of the vectors Seek officially.
  • the "rounding angle multiplication value" threshold value table data as shown in FIG. 8 and threshold default values T1 (0), ⁇ 2 (0) are stored in the hard disk 27! .
  • step S 60 the threshold value determination unit 22 e of the CPU 22 determines the multiplication value ai corresponding to the angle ⁇ i that is obtained from the “angle value multiplication value” threshold value table data stored in the hard disk 27.
  • J8 i are extracted, and the default threshold values (T1 (0), ⁇ 2 (0)) are obtained from the node disk 27, and the default threshold values Tl, ⁇ 2 are multiplied by the multiplication values a i and j8 i, respectively.
  • the threshold value determination unit 22e of the CPU 22 stores the threshold value Tl (i), T2 (i) of the Shape Index value and Curvedness value of the i-th data point in the analysis information storage unit 25 in step S54. To do.
  • the threshold value determination unit 22e of the CPU 22 determines whether or not the parameter i has reached the number N of all data points in the target area of the 3D model in step S55, and if i> N is not satisfied. In step S56, the parameter i is incremented and the process returns to step S52.
  • the threshold value determination unit 22e of the CPU 22 performs steps S52 and S57 in FIG. 7 until the threshold values Tl (i) and T2 (i) at all data points in the target region of the three-dimensional model are determined in step S55. Repeat the process of ⁇ S60 and S54 ⁇ S56.
  • Fig. 9 shows the force that is an image of the hemispherical sample 100 taken from the front view.
  • 3D data is generated by the Shape From Shading method
  • the image viewed from the viewpoint is reflected or scattered light.
  • the threshold value is compensated using the position and angle information at the point of interest in the three-dimensional data.
  • the same effect as in Example 1 can be obtained, and the table value is multiplied by the default value, so that an optimum threshold can be obtained according to the change of the default value. Become.
  • the angle formed by the normal vector of the intestinal tract surface and the line-of-sight angle is large as an average value of the entire image. Takes a value.
  • the angle between the normal vector of the intestinal tract surface and the line-of-sight angle is set as a threshold value for the entire image. Take a small value.
  • FIGS. 12 to 16 relate to the third embodiment of the present invention
  • FIG. 12 is a diagram for explaining the local partial differential coefficient calculation process
  • FIG. 13 is a flowchart showing the flow of the local partial differential coefficient calculation process of FIG.
  • FIG. 14 is a flowchart showing the flow of determination processing of threshold values Tl and ⁇ 2 in the latter stage of the processing of FIG. 13,
  • FIG. 15 is a threshold table showing the correspondence between the number of data points Mi used in the processing of FIG. 13 and the threshold values Tl and T2.
  • FIG. 16 is a flowchart showing the flow of a modification of the local partial differential coefficient calculation process of FIG.
  • Example 3 includes local partial differential coefficient calculation processing (step S3 in Fig. 3) and threshold value Tl and T2 determination processing (step S5 in Fig. 3) to be compared with each of the Shape Index value and Curvedness value. Unlike the first embodiment, the configuration is the same as that of the first embodiment, so only the differences will be described.
  • Example 1 three-dimensional data points existing within a fixed-size cubic or sphere range were used. For this reason, the local partial differential coefficient calculation process applied in Example 1 (step in FIG. 3).
  • S3 as shown in Fig. 12, three-dimensional data points are sparse and dense, and the standard error of the estimated local partial differential coefficient increases as the data becomes sparse. If the threshold is set based on the range where the data is dense, data will be lost in the range where the data is sparse. In addition, when a threshold is set with reference to a range in which data is sparse, false detection increases in a range in which data is dense.
  • the local partial differential coefficient calculation process of the present embodiment is different from that of the first embodiment in that a process for determining a three-dimensional data point acquisition region is added.
  • the coefficient of quadratic surface equation is estimated and calculated, and the partial differential coefficient is obtained by partial differentiation of the quadratic surface equation.
  • the quadric surface equation sets a local area of a sphere or sphere centered on a single point of interest, and creates a coordinate value force matrix of 3D data points including itself within the local area. (A coordinate value of 9 points or more is required), and it is obtained by generating its pseudo inverse matrix.
  • the shape feature quantity calculation unit 22c of the CPU 22 sets the parameter i to 1 in step S31.
  • step S32 when calculating the local partial differential coefficient at the i-th three-dimensional data point, first, the initial value L0 is set to the variable L.
  • the shape feature quantity calculation unit 22c of the CPU 22 stores the 3D coordinates (xi, yi, zi) of the second data point in the target area of the 3D model in step S33 as analysis information. Obtained from Part 25.
  • the shape feature quantity calculation unit 22c of the CPU 22 stores the coordinates (xi, yi) of the i-th data point from the three-dimensional data point sequence indicating the intestinal tract surface stored in the hard disk 27 in step S34.
  • zi is acquired as data point information that exists within the cubic range (xi L, yi L, zi L). The number ni of this data point information is counted.
  • the shape feature quantity calculation unit 22c of the CPU 22 compares the count number ni with a predetermined value K in step S35, and if the count number ni is greater than K, the shape feature quantity calculation unit 22c in step S36 Coefficient calculation processing of 2D curved surface equation, local partial differential coefficient calculation processing in step S37 If not, the process proceeds to the Shapelndex / Curvedness calculation process in step S3 of FIG.
  • the range is expanded by adding a predetermined increment LS to L in step S38, and then the process returns to step S34, and within the range. Count the data point information again.
  • the shape feature quantity calculation unit 22c of the CPU 22 determines whether or not the parameter i has reached the number N of all data points in the target area of the three-dimensional model in step S39, and i> N If not, the parameter i is incremented in step S56 and the process returns to step S32.
  • the shape feature value calculation unit 22c of the CPU 22 2 performs the above-described process until the calculation of the coefficients of the two-dimensional curved surface equation and the calculation of the local partial differential coefficients at all data points in the target area of the three-dimensional model are completed in step S39. Repeat steps 12 to 32 and S56.
  • the size of the local area is changed so that the number of three-dimensional data points included in the local area is equal to or greater than a predetermined number.
  • the threshold value determination unit 22e of the CPU 22 sets the parameter in step S51. i is set to 1, and the three-dimensional coordinates (xi, yi, zi) of the i-th data point in the target region of the three-dimensional model are acquired from the analysis information storage unit 25 in step S52.
  • the threshold value determination unit 22e of the CPU 22 sets a cubic region centered on the three-dimensional coordinates (xi, yi, zi) using a predetermined value L in step S61. That is, ⁇ yi ', zi') Ixi-L ⁇ xi' ⁇ xi + L, yi-L ⁇ yi' ⁇ yi + L, zi-L ⁇ zi' ⁇ zi + L ⁇ . The number of data points Mi in this cubic area is counted based on the 3D data point sequence stored in the hard disk 27.
  • the hard disk 27 stores a threshold table corresponding to the data points Mi and the thresholds Tl and T2 shown in FIG.
  • step S62 the threshold value determination unit 22e of the CPU 22 acquires threshold values Tl and T2 corresponding to the threshold value table force and the data point number Mi based on the data point number Mi.
  • the threshold value determination unit 22e of the CPU 22 stores the shape index value and curvedness value threshold values Tl (i) and T2 (i) of the i-th data point in the analysis information storage unit 25 in step S54. Store. [0091] Then, the threshold value determination unit 22e of the CPU 22 determines whether or not the parameter i has reached the number N of all data points in the target area of the 3D model in step S55, and if i> N is not satisfied. In step S56, the parameter i is incremented and the process returns to step S52. The threshold value determination unit 22e of the CPU 22 performs steps S52 and S61 in FIG. 14 until the threshold values Tl (i) and T2 (i) are determined at all data points in the target region of the three-dimensional model in step S55. , S62, S54 to S56 are repeated.
  • the threshold value processing is invalid, and therefore the value 0 indicating that the threshold values T1 and T2 are invalid is substituted.
  • the force xk ' 2 + yk' 2 + zk ' 2 which is configured to count the number of data points in the cubic area centered on the coordinates, is stored in the spherical area centered on the coordinates. The number of data points may be counted.
  • the size of the local area is changed so that the number of 3D data points included in the local area is equal to or larger than a predetermined number, and the 3D feature is determined according to the point density of the 3D data. Since thresholds Tl and T2 are set for calculating quantities (Shape Index value and Curvedness value), polyp candidate detection accuracy is improved by changing the processing parameters in polyp detection processing according to the density of 3D data It is possible to improve the discovery rate of polyp candidates in colonoscopy.
  • the shape feature quantity calculation unit 22c of the CPU 22 has acquired in step S40. It is determined whether the number of data points is larger than a predetermined value (K ⁇ J). If so, the data points used for calculating the coefficients of the quadratic surface equation are limited to K + 1 in step S41. Do it.

Description

明 細 書
医療用画像処理装置及び医療用画像処理方法
技術分野
[0001] 本発明は、医療用画像処理装置及び医療用画像処理方法に関し、特に、生体組 織の像の 2次元画像に基づき、該生体組織の 3次元モデルを推定する医療用画像 処理装置及び医療用画像処理方法に関する。
背景技術
[0002] 従来、医療分野にお!ヽて、 X線診断装置、 CT、 MRI、超音波観測装置及び内視 鏡装置等の画像撮像機器を用いた観察が広く行われて ヽる。このような画像撮像機 器のうち、内視鏡装置は、例えば、体腔内に挿入可能な挿入部を有し、該揷入部の 先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮 像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等の表 示手段に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユー ザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔 内における臓器等の観察を行う。
[0003] また、内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。その ため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等を 総合的に観察することができる。
[0004] さらに、内視鏡装置は、局所的な隆起形状を有する病変が存在する所定の画像を 検出可能な画像処理方法として、例えば、日本国特開 2005— 192880号公報 (従 来文献 1 )等に記載されて!ヽる画像処理方法を用いることにより、ポリープ等の病変 部位が含まれる画像を検出することもまた可能である。
[0005] この従来文献 1に記載されて!ヽる画像処理方法は、入力された画像が有する輪郭 を抽出するとともに、該輪郭の形状に基づき、該画像における局所的な隆起形状を 有する病変を検出することができる。
[0006] また、従来、大腸ポリープ検出処理においては、 2次元画像から 3次元データを推 定し、 3次元特徴量（Shape IndexZCurvedness)を用いて大腸ポリープを検出してい る (従来文献 2 :日本電子情報通信学会、信学技報 (MI2003-102) ,形状情報に基づ く 3次元腹部 CT像力 の大腸ポリープ自動検出手法に関する検討 木村、林、北坂 、森、末長 pp. 29〜34, 2004)。この 3次元特徴量は、参照点における偏微分係 数を 3次元データ力も算出して、偏微分係数を使用して算出することにより実現する。 そして、大腸ポリープ検出処理では、 3次元特徴量を閾値処理することにより、ポリ一 プ候補を検出する。
[0007] しかしながら、従来より 3次元データの推定手法として使用される〃 Shape From Shading"法は、対象の反射/散乱特性や対象への 2次光による影響を受けるため、 従来の大腸ポリープ検出処理は、検出精度の低下及び誤検出の発生といった課題 を有している。
[0008] また、この〃 Shape From Shading"法は、画像に応じて 3次元データ密度の疎 密が発生する。 3次元特徴量の標準誤差 (標本値が平均値に対してどの程度の範囲 内に分布するかを示す統計指標）は、 3次元データ密度の疎密による影響を受ける。 この標準誤差によっても、従来の大腸ポリープ検出処理は、検出精度の低下及び誤 検出の発生と 、つた課題を有して 、る。
[0009] 本発明は、上記事情に鑑みてなされたものであり、対象の 2次元画像の観察状態 に適切に適応した処理を実行し、局所的な隆起形状を有する病変を検出する場合 の検出精度を、従来に比べて向上させることのできる医療用画像処理装置及び医療 用画像処理方法を提供することを目的としている。
発明の開示
課題を解決するための手段
[0010] 本発明の一態様の医療用画像処理装置は、
医療用撮像装置カゝら入力される体腔内の生体組織の像の 2次元画像に基づき、前 記生体組織の 3次元モデルを推定する 3次元モデル推定手段と、
前記 3次元モデルにお 、て、隆起形状を有する病変の検出対象領域を設定する検 出対象領域設定手段と、
前記検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量 の算出に用いる閾値を決定する閾値決定手段と、 前記閾値に基づき、前記形状特徴量を算出する形状特徴量算出手段と、 前記形状特徴量に基づき、前記検出対象領域に存在する、局所的な隆起形状の 病変領域を検出する 3次元形状検出手段と
を備えて構成される。
[0011] また、本発明の一態様の医療用画像処理方法は、
医療用撮像装置カゝら入力される体腔内の生体組織の像の 2次元画像に基づき、前 記生体組織の 3次元モデルを推定する 3次元モデル推定ステップと、
前記 3次元モデルにお 、て、隆起形状を有する病変の検出対象領域を設定する検 出対象領域設定ステップと、
前記検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量 の算出に用いる閾値を決定する閾値決定ステップと、
前記閾値に基づき、前記形状特徴量を算出する形状特徴量算出ステップと、 前記形状特徴量に基づき、前記検出対象領域に存在する、局所的な隆起形状の 病変領域を検出する 3次元形状検出ステップと
を備えて構成される。
図面の簡単な説明
[0012] [図 1]本発明の実施例 1に係る医療用画像処理装置が用いられる内視鏡システムの 全体構成の一例を示す図
[図 2]図 1の CPUの機能構成を示す機能ブロック図
[図 3]図 2の CPUの処理の流れを示すフローチャート
[図 4]図 3の閾値 Tl, T2の決定処理の流れを示すフローチャート
[図 5]図 4の処理で用いられる「Z座標 閾値 Tl, T2」閾値テーブルデータを示す図
[図 6]図 4の処理を説明する図
[図 7]本発明の実施例 2に係る閾値 Tl, Τ2の決定処理の流れを示すフローチャート [図 8]図 7の処理で用いられる「「なす角 乗算値」閾値テーブルデータを示す図 [図 9]図 7の処理を説明する第 1の図
[図 10]図 7の処理を説明する第 2の図
[図 11]図 7の処理を説明する第 3の図 [図 12]本発明の実施例 3に係る局所偏微分係数の算出処理を説明する図
[図 13]図 12の局所偏微分係数の算出処理の流れを示すフローチャート
[図 14]図 13の処理の後段の閾値 Tl, T2の決定処理の流れを示すフローチャート
[図 15]図 13の処理で用 ヽられるデータ点数 Miと閾値 Tl , T2との対応を示す閾値テ 一ブルを示す図
[図 16]図 12の局所偏微分係数の算出処理の変形例の流れを示すフローチャート 発明を実施するための最良の形態
[0013] 以下、図面を参照しながら本発明の実施例について述べる。
[0014] (実施例 1)
図 1ないし図 6は本発明の実施例 1に係わり、図 1は医療用画像処理装置が用いら れる内視鏡システムの全体構成の一例を示す図、図 2は図 1の CPUの機能構成を示 す機能ブロック図、図 3は図 2の CPUの処理の流れを示すフローチャート、図 4は図 3 の閾値 Tl, T2の決定処理の流れを示すフローチャート、図 5は図 4の処理で用いら れる「Z座標 閾値 Tl, T2」閾値テーブルデータを示す図、図 6は図 4の処理を説明 する図である。
[0015] 図 1に示すように、本実施例の内視鏡システム 1は、医療用観察装置 2と、医療用画 像処理装置 3と、モニタ 4とを有して要部が構成されて 、る。
[0016] 前記医療用観察装置 2は、被写体を撮像するとともに、該被写体の像の 2次元画像 を出力する観察装置である。また、医療用画像処理装置 3は、パーソナルコンビユー タ等により構成され、医療用観察装置 2から出力される 2次元画像の映像信号に対し て画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力 する画像処理装置である。さらにモニタ 4は、医療用画像処理装置 3から出力される 画像信号に基づく画像を表示する表示装置である。
[0017] 前記医療用観察装置 2は、内視鏡 6と、光源装置 7と、カメラコントロールユニット（以 降、 CCUと略記する） 8と、モニタ 9とを有して要部を構成している。
[0018] 前記内視鏡 6は、被検体の体腔内に挿入されるとともに、該体腔内に存在する生体 組織等の被写体を撮像して撮像信号として出力するものである。前記光源装置 7は、 内視鏡 6により撮像される被写体を照明するための照明光を供給するものである。前 記 CCU8は、内視鏡 6に対する各種制御を行うとともに、内視鏡 6から出力される撮 像信号に対して信号処理を行 ヽ、 2次元画像の映像信号として出力するものである。 前記モニタ 9は、 CCU8から出力される 2次元画像の映像信号に基づき、内視鏡 6〖こ より撮像された被写体の像を画像表示するものである。
[0019] 前記内視鏡 6は、体腔内に挿入される挿入部 11と、挿入部 11の基端側に設けられ た操作部 12とを有して構成されている。また、挿入部 11内の基端側から、挿入部 11 内の先端側の先端部 14にかけての部分には、光源装置 7から供給される照明光を 伝送するためのライトガイド 13が挿通されている。
[0020] 前記ライトガイド 13は、先端側が内視鏡 6の先端部 14に配置されるとともに、後端 側が前記光源装置 7に接続される。
[0021] ライトガイド 13がこのような構成を有することにより、光源装置 7から供給される照明 光は、ライトガイド 13により伝送された後、挿入部 11の先端部 14の先端面に設けら れた、図示しない照明窓力も出射される。そして、図示しない照明窓力も照明光が出 射されることにより、被写体としての生体組織等が照明される。
[0022] 内視鏡 6の先端部 14には、図示しない照明窓に隣接する図示しない観察窓に取り 付けられた対物光学系 15と、対物光学系 15の結像位置に配置され、例えば、 CCD (電荷結合素子)等により構成される撮像素子 16とを有する撮像部 17が設けられて いる。このような構成により、対物光学系 15により結像された被写体の像は、撮像素 子 16により撮像された後、撮像信号として出力される。なお、撮像素子 16は、 CCD に限らず C - MOSセンサにより構成してもよ!/、。
[0023] 前記撮像素子 16は、信号線を介して CCU8に接続されている。そして、撮像素子 1 6は、 CCU8から出力される駆動信号に基づいて駆動するとともに、 CCU8に対し、 撮像した被写体の像に応じた撮像信号を出力する。
[0024] また、 CCU8に入力された撮像信号は、 CCU8の内部に設けられた図示しない信 号処理回路において信号処理されることにより、 2次元画像の映像信号として変換さ れて出力される。 CCU8から出力された 2次元画像の映像信号は、モニタ 9及び医療 用画像処理装置 3に対して出力される。これにより、モニタ 9は、 CCU8から出力され る映像信号に基づく被写体の像を 2次元画像として表示する。 [0025] 医療用画像処理装置 3は、医療用観察装置 2から出力される 2次元画像の映像信 号に対し、 AZD変換を行って出力する画像入力部 21と、画像入力部 21から出力さ れる映像信号に対して画像処理を行う、中央演算処理装置としての CPU22と、該画 像処理に関する処理プログラムが書き込まれた処理プログラム記憶部 23と、画像入 力部 21から出力される映像信号等を記憶する画像記憶部 24と、 CPU22が行う画像 処理における演算結果等を記憶する解析情報記憶部 25とを有して構成される。
[0026] また、医療用画像処理装置 3は、記憶装置インターフェース (IZF) 26と、記憶装置 IZF26を介して CPU22の画像処理結果としての画像データ、 CPU22が画像処理 にて使用する各種データ等を記憶する、記憶装置としてのハードディスク 27と、 CPU 22の画像処理結果としての画像データに基づき、該画像データをモニタ 4に画像表 示するための表示処理を行うとともに、該表示処理を行った後の画像データを画像 信号として出力する表示処理部 28と、 CPU22が行う画像処理におけるパラメータ及 び医療用画像処理装置 3に対する操作指示をユーザが入力可能な、キーボードある いはマウス等のポインティングデバイス等により構成される入力操作部 29と、を有す る。そして、モニタ 4は、表示処理部 28から出力される画像信号に基づく画像を表示 する。
[0027] なお、医療用画像処理装置 3の画像入力部 21、 CPU22、処理プログラム記憶部 2 3、画像記憶部 24、解析情報記憶部 25、記憶装置インターフェース 26、表示処理部 28及び入力操作部 29のそれぞれは、データノ ス 30を介して相互に接続されている
[0028] 図 2に示すように、 CPU22は、 3次元モデル推定手段としての 3次元モデル推定部 22a,検出対象領域設定手段としての検出対象領域設定部 22b、形状特徴量算出 手段としての形状特徴量算出部 22c、 3次元形状検出手段としての 3次元形状検出 部 22d、閾値決定手段としての閾値決定部 22e、ポリープ決定部 22fの各機能部か らなる。
[0029] なお、本実施例では、これら機能部は、 CPU22が行うソフトウェアにて実現される。
また、これら機能部の詳細な作用につ 、ては後述する。
[0030] 次に、このように構成された、本実施例の内視鏡システム 1の作用について、図 3及 び図 4のフローチャートを用い、図 5及び図 6を参照して説明する。
[0031] まず、ユーザは、内視鏡システム 1が有する各部の電源を投入した後、被検体の体 腔内に内視鏡 6の挿入部 11を挿入する。
[0032] そして、ユーザにより挿入部 11が被検体の体腔内に挿入されると、例えば、該体腔 内に存在する生体組織等である被写体の像が、先端部 14に設けられた撮像部 17に より撮像される。そして、撮像部 17により撮像された被写体の像は、撮像信号として C CU8に対して出力される。
[0033] CCU8は、図示しない信号処理回路において、撮像部 17の撮像素子 16から出力 される撮像信号に対して信号処理を行うことにより、該撮像信号を 2次元画像の映像 信号として変換して出力する。そして、モニタ 9は、 CCU8から出力される映像信号に 基づき、撮像部 17により撮像された被写体の像を 2次元画像として表示する。また、 CCU8は、撮像部 17の撮像素子 16から出力される撮像信号に対して信号処理を行 うことにより得られた 2次元画像の映像信号を、医療用画像処理装置 3に対して出力 する。
[0034] 医療用画像処理装置 3に対して出力された 2次元画像の映像信号は、画像入力部 21において AZD変換された後、 CPU22に入力される。
[0035] そして、図 3に示すように、 CPU22の 3次元モデル推定部 22aは、ステップ S1にて 画像入力部 21から出力される 2次元画像に対し、例えば、 "Shape From Shadin g〃法等を用い、該 2次元画像の輝度情報等に基づく幾何学的な変換等の処理を施 すことにより、該 2次元画像に応じた 3次元モデルを推定し、 3次元モデルの各データ 点の座標を記憶装置 IZF26を介してハードディスク 27に格納する。
[0036] 次に、 CPU22の検出対象領域設定部 22bは、ステップ S2にて画像入力部 21から 出力される 2次元画像の色調変化と、図 3のステップ S1の処理により推定した 3次元 モデルの隆起性変化とを検出することにより、該 3次元モデルにおける隆起形状を有 する病変を検出するための処理の適用対象となる領域としての、検出対象領域であ る対象領域を設定する。
[0037] 具体的には、 CPU22の検出対象領域設定部 22bは、例えば、画像入力部 21から 出力される 2次元画像を、 R (赤)画像、 G (緑)画像及び B (青)画像の各プレーン画 像に分離した後、該 R画像に応じて推定した 3次元モデルのデータに基づ 、て隆起 性変化を検出するとともに、該 R画像及び G画像の色度に基づ ヽて色調変化を検出 する。そして、 CPU22の検出対象領域設定部 22bは、前記隆起性変化の検出結果 及び前記色調変化の検出結果に基づき、前記隆起性変化及び前記色調変化の両 方が検出された領域を、前記対象領域として設定する。
[0038] その後、 CPU22の形状特徴量算出部 22cは、ステップ S3にて対象領域の局所偏 微分係数を算出する。具体的には、 CPU22の形状特徴量算出部 22cは、算出され た 3次元形状に対して、注目する 3次元位置 (x、 y、 z)を含む局所領域（曲面）におけ るその R画素値 fにおける 1階偏微分係数 fx、 fy、 fz、及び 2階偏微分係数 fxx, fyy, fzz, fxy, fyz, fxzを算出する。
[0039] さらに、 CPU22の形状特徴量算出部 22cは、ステップ S4にて 3次元モデルの処理 対象領域に存在する各データ点に対し、（3次元形状)の形状特徴量として、局所偏 微分係数に基づき、 Shape Index値及び Curvedness値を算出する処理を行う。
[0040] すなわち、これらの局所偏微分係数を用いて、 CPU22の形状特徴量算出部 22c は、ガウス曲率 K,平均曲率 Hを算出する。
[0041] 一方、曲面の主曲率 kl, k2 (kl≥k2)は、ガウス曲率 Kと、平均曲率 Hを用いて kl =H+ (H2 -K) 1 2 k2 = H- (H2 -K) 1 2 (1)
と表される。
[0042] また、この場合における曲面形状を表す特徴量である Shape IndexSI及び Curvedne ssCVは、それぞれ
SI= lZ2—(lZ u ) arc tan[ (kl +k2) Z (kl—k2) ] (2)
CV= ( (kl2 +k22) /2) 1 2 (3)
となる。
[0043] CPU22の形状特徴量算出部 22cは、このようにして、 3次元の各曲面における Sha pe IndexSI及び CurvednessCVを 3次元形状情報として算出し、解析情報記憶部 25 に格納する。
[0044] 前述した Shape Index値は、 3次元モデルが有する各データ点における凹凸の状態 を示すための値であり、 0以上 1以下の範囲内の数値として示される。具体的には、 3 次元モデル内に存在する個々のデータ点において、 Shape Index値が 0に近い場合 には凹型形状の存在が示唆され、また、 Shape Index値が 1に近い場合には凸型形状 の存在が示唆される。
[0045] また、前述した Curvedness値は、 3次元モデルが有する各データ点における曲率を 示すための値である。具体的には、 3次元モデル内に存在する個々のデータ点にお いて、 Curvedness値が小さければ小さい程鋭く曲がった曲面の存在が示唆され、ま た、 Curvedness値が大きければ大きい程鈍く曲がった曲面の存在が示唆される。
[0046] 次に、 CPU22の閾値決定部 22eは、ステップ S5にて 3次元モデルの対象領域に 存在する各データにおいて、 Shape Index値及び Curvedness値の各値と比較する閾 値 Tl, T2の決定処理を行う。このステップ S5の閾値 Tl, T2の決定処理の詳細は、 後述する。
[0047] また、 CPU22の 3次元形状検出部 22dは、ステップ S6にて 3次元モデルの対象領 域に存在する各データ点において、 Shape Index値及び Curvedness値の各値と、閾 値決定部 22eが決定した閾値 Tl, T2との比較処理を行うことにより、該各データ点の うち、隆起形状を有するデータ群として検出する。具体的には、 CPU22は、 3次元モ デルの処理対象領域に存在する各データ点のうち、例えば、 Shape Index値が閾値 T はり大きぐかつ、 Curvedness値が閾値 T2より大きい複数のデータ点を、隆起形状を 有するデータ群として検出する。
[0048] そして、 CPU22のポリープ決定部 22fは、ステップ S7にて 3次元モデルにおいて 隆起形状を有するデータ群として検出した複数のデータ点各々力 ポリープ等の病 変に由来する隆起形状に該当するデータ点であるかを判別する隆起形状判別処理 を行う。
[0049] その後、 CPU22のポリープ決定部 22fは、ステップ S8にて病変に由来する隆起形 状に該当するデータ点からなるデータ群を有する領域をポリープ領域として決定し、 病変領域であるポリープを検出する。
[0050] そして、 CPU22は、その検出結果を、例えば図 1のハードディスク 27に検出対象 の内視鏡画像と関連付けて格納すると共に、表示処理部 28を経てモニタ 4に、例え ば検出対象の内視鏡画像と並べて表示する。 [0051] これにより、モニタ 4には、ポリープ等の病変に由来する隆起形状が存在する位置 をユーザが容易に認識可能であるような、被写体の 3次元モデルが画像表示される。
[0052] 次に、上記のステップ S5の閾値 Tl, T2の決定処理について説明する。図 4に示す ように、 CPU22の閾値決定部 22eは、ステップ S51にてパラメータ iを 1に設定し、ス テツプ S52にて 3次元モデルの対象領域内の第 i番目のデータ点の 3次元座標 (xi, y i, zi)を解析情報記憶部 25より取得する。
[0053] そして、 CPU22の閾値決定部 22eは、ステップ S53にて記憶装置 IZF26を介して 、ハードディスク 27に格納されている、図 5に示すような「Z座標—閾値 Tl, T2」閾値 テーブルデータから、 Ζ座標 ziに基づき、閾値 Tl (i) , T2 (i)を読み出す。そして、 CP U22の閾値決定部 22eは、ステップ S54にて第 i番目のデータ点の Shape Index値及 び Curvedness値の閾値 Tl (i) , T2 (i)として解析情報記憶部 25に格納する。
[0054] そして、 CPU22の閾値決定部 22eは、ステップ S55にてパラメータ iが 3次元モデ ルの対象領域内の全てのデータ点の数 Nに達したかどうか判断し、 i>Nでないなら ばステップ S56にてパラメータ iをインクリメントしてステップ S52に戻る。 CPU22の閾 値決定部 22eは、ステップ S55において 3次元モデルの対象領域内の全てのデータ 点での閾値 Tl (i) , T2 (i)を決定するまで、上記のステップ S52〜S56の処理を繰り 返す。
[0055] なお、 Z座標値と Tl, T2との関係を、「Z座標—閾値 Tl, T2」閾値テーブル（図 5参 照）に示す値の 1次または 2次関数の当てはめにより数式ィ匕して、数式演算により求 めるように構成してもよい。
[0056] 2次元画像にぉ 、て、光源力 近 、ほど、粘膜下力もの散乱光が増大し、他の位置 の反射光 (2次光)の入射量も増大する。また、大腸内視鏡画像は腸管の撮像画像で あるため、腸管方向が画像内にある場合において奥行き方向の遠い位置での画像 部分は、腸管壁を斜め力 みたときの画像を撮像していることとなり、腸壁に対する正 面視のときと比べて、反射光や散乱光の角度特性が異なってくる。すなわち、閾値判 定点の Ζ座標に応じて、ポリープ候補検出のための Shape Index (凹凸性を示す指標） と、 Curvedness (凹凸の鋭さを示す指標）の最適な閾値組み合わせが異なってくる。 例えば図 6は、同一の閾値組み合わせでポリープ候補検出を行った例であるが、手 前の本来のポリープ 250だけではなぐ奥のほうのなだらかな凸部 251や、峰状に近 ぃ凸部 252を検出してしまって!/、る。
[0057] 上述したように本実施例では、 3次元データの着目点における位置 (Z座標）を用い て閾値を補正するため、対象の反射 Z散乱特性や対象への 2次光による影響を除 外した閾値をポリープ検出処理に使用でき、ポリープ候補の検出精度を向上させるこ とができる。よって、ユーザに対して、大腸内視鏡検査においてポリープ候補発見率 の向上を促すことが可能となる。
[0058] (実施例 2)
図 7ないし図 11は本発明の実施例 2に係わり、図 7は閾値 Tl, T2の決定処理の流 れを示すフローチャート、図 8は図 7の処理で用いられる「「なす角 乗算値」閾値テ 一ブルデータを示す図、図 9は図 7の処理を説明する第 1の図、図 10は図 7の処理を 説明する第 2の図、図 11は図 7の処理を説明する第 3の図である。
[0059] 実施例 2は、 Shape Index値及び Curvedness値の各値と比較する閾値 Tl, T2の決 定処理が実施例 1と異なり、構成は実施例 1と同じであるので、異なる点のみ説明す る。
[0060] 本実施例の Shape Index値及び Curvedness値の各値と比較する閾値 Tl, T2の決定 処理では、図 7に示すように、 CPU22の閾値決定部 22eは、ステップ S51にてパラメ ータ iを 1に設定し、ステップ S52にて 3次元モデルの対象領域内の第 i番目のデータ 点の 3次元座標 (xi, yi, zi)を解析情報記憶部 25より取得する。
[0061] そして、 CPU22の閾値決定部 22eは、ステップ S57にて視点座標と前記座標点の 差分を計算して、視線ベクトルを生成する。視点位置の座標 (x0, yO, ζθ)は、図 3の ステップ S1において決定されており、この視線ベクトル VO (VxO, VyO, VzO)は、（xi -χθ, yi-yO, zi— ζθ)となる。
[0062] 次に、 CPU22の閾値決定部 22eは、ステップ S58にて第 i番目のデータ点におけ る法線ベクトルル Vi (Vxi, Vyi, Vzi)を算出する。この法線ベクトル Viは、図 3のステ ップ S2において求めた 2次曲面 fについて、データ点における微分値 (fx、 fy、 fz)を 計算することにより求まる。また、 CPU22の閾値決定部 22eは、ステップ S59にて視 線ベクトルと法線ベクトルのなす角 Θ iを算出する。このなす角 Θ iは、ベクトルの内積 公式により求める。
[0063] なお、本実施例では、図 8に示すような「なす角 乗算値」閾値テーブルデータ及 び閾値のデフォルト値 T1(0), Τ2(0)がハードディスク 27に格納されて!、る。
[0064] 次に、 CPU22の閾値決定部 22eは、ステップ S60にて、ハードディスク 27に格納さ れている「なす角 乗算値」閾値テーブルデータより、求めたなす角 Θ iに対応する 乗算値 a i、 j8 iを抽出すると共に、閾値のデフォルト値 (T1(0), Τ2(0))をノヽードデイス ク 27から取得し、閾値のデフォルト値 Tl, Τ2と乗算値 a i、 j8 iをそれぞれ乗算した値 Tl (i) (= α ί Χ Τ1(0)) , T2 (i) (= j8 i X T2(0))を求める。
[0065] そして、 CPU22の閾値決定部 22eは、ステップ S54にて第 i番目のデータ点の Shap e Index値及び Curvedness値の閾値 Tl (i) , T2 (i)として解析情報記憶部 25に格納 する。
[0066] そして、 CPU22の閾値決定部 22eは、ステップ S55にてパラメータ iが 3次元モデ ルの対象領域内の全てのデータ点の数 Nに達したかどうか判断し、 i>Nでないなら ばステップ S56にてパラメータ iをインクリメントしてステップ S52に戻る。 CPU22の閾 値決定部 22eは、ステップ S55において 3次元モデルの対象領域内の全てのデータ 点での閾値 Tl (i) , T2 (i)を決定するまで、上記の図 7のステップ S52、 S57〜S60、 S54〜S56の処理を繰り返す。
[0067] この閾値 Tl (i) , T2 (i)により、図 3に示したステップ S6における、 3次元モデルの対 象領域に存在する各データ点においての、 Shape Index値及び Curvedness値の各値 と、閾値決定部 22eが決定した閾値 Tl, T2との比較処理を実行する。
[0068] 大腸内視鏡画像は、腸壁に対する正面視 /斜視により、反射光や散乱光の角度特 性が異なるため、閾値判定点の腸壁の法線ベクトルと、視線角とがなす角度に応じて 、ポリープ候補検出のための Shape Index値及び Curvedness値の最適な閾値組み合 わせが異なってくる。
[0069] 例えば図 9は、半球状のサンプル 100を正面視により撮像した画像である力 "Sha pe From Shading〃法によって 3次元データを生成すると、視点から見た画像が反 射光や散乱光の角度特性により半楕円球状に伸びてしまうという問題がある。
[0070] 本実施例では、 3次元データの着目点における位置、角度情報を用いて閾値を補 正するため、実施例 1と同様な効果を得ることができ、また、テーブル値とデフォルト 値を掛け合わせる構成であるため、デフォルト値の変更に応じて、最適な閾値を求め ることが可能となる。
[0071] なお、例えば特開 2003— 93328号公報等に開示されている内視鏡画像の視野 内管腔検出方法を用いることで、内視鏡画像の視野内管腔検出の有無により、画像 全体における平均的な閾値を決定する構成も可能である。
[0072] 例えば、図 10に示すように、視野内に管腔 101全体を検出した場合には、腸管表 面の法線ベクトルと視線角とのなす角は、画像全体の平均値として大き 、値をとる。 よって、例えば図 8の閾値テーブルのなす角 =60〜の値を使用して乗算値 a i= 1. 03、 j8 i=0. 90を抽出し、閾値を Tl = l. 03 ΧΤ1(0)、 Τ2 = 0. 9Ο ΧΤ2(0)として決 定する。
[0073] また、図 11に示すように、視野内に管腔 101全体を検出しな力つた場合には、腸管 表面の法線ベクトルと視線角とのなす角度は、画像全体のへ閾値として、小さい値を とる。よって、例えば図 8の閾値テーブルのなす角 = 20〜30の値を使用して乗算値 α ί= 1. 01、 j8 i=0. 98を抽出し、閾値を Tl = l. 01 ΧΤ1(0)、 Τ2 = 0. 98 ΧΤ2(0)と して決定する。
[0074] (実施例 3)
図 12ないし図 16は本発明の実施例 3に係わり、図 12は局所偏微分係数の算出処 理を説明する図、図 13は図 12の局所偏微分係数の算出処理の流れを示すフロー チャート、図 14は図 13の処理の後段の閾値 Tl, Τ2の決定処理の流れを示すフロー チャート、図 15は図 13の処理で用いられるデータ点数 Miと閾値 Tl, T2との対応を 示す閾値テーブルを示す図、図 16は図 13の局所偏微分係数の算出処理の変形例 の流れを示すフローチャートである。
[0075] 実施例 3は、局所偏微分係数の算出処理（図 3のステップ S3)及び Shape Index値 及び Curvedness値の各値と比較する閾値 Tl, T2の決定処理（図 3のステップ S5)が 実施例 1と異なり、構成は実施例 1と同じであるので、異なる点のみ説明する。
[0076] 実施例 1では、固定サイズの立方または球の範囲内に存在する 3次元データ点を 用いていた。このため、実施例 1で適用した局所偏微分係数の算出処理（図 3のステ ップ S3)では、図 12に示すように、 3次元データ点の疎密が生じるため、推定される 局所偏微分係数の標準誤差はデータが疎になると大きくなる。データが密である範 囲を基準として閾値を設定した場合には、データが疎である範囲において取りこぼし が発生してしまう。また、データが疎である範囲を基準として閾値を設定した場合には 、データが密である範囲において誤検出が増加してしまう。
[0077] 本実施例の局所偏微分係数の算出処理は、 3次元データ点取得領域を決定する 処理が加えられている点が実施例 1と異なる。
[0078] 本実施例の局所偏微分係数の算出処理では、まず、図 3のステップ S2によって算 出された腸管表面上の点のうちの着目する 1つの点について、当該位置における腸 管表面の 2次曲面方程式の係数を推定算出し、 2次曲面方程式を偏微分することに より局所偏微分係数を求める。 2次曲面方程式は、着目する 1つの点を中心とする立 方または球の局所領域を設定し、局所領域内に存在する、自身を含めた 3次元デー タ点の座標値力 行列を作成し (9点以上の座標値が必要となる）、その擬似逆行列 を生成することにより求める。
[0079] 具体的には、本実施例の局所偏微分係数の算出処理では、図 13に示すように、 C PU22の形状特徴量算出部 22cは、ステップ S31にてパラメータ iを 1に設定し、ステ ップ S32にて第 i番目の 3次元データ点における局所偏微分係数を算出するにあたり 、まず変数 Lに初期値 L0をセットする。
[0080] 続いて、 CPU22の形状特徴量算出部 22cは、ステップ S33にて 3次元モデルの対 象領域内の第潘目のデータ点の 3次元座標 (xi, yi, zi)を解析情報記憶部 25より取 得する。
[0081] そして、 CPU22の形状特徴量算出部 22cは、ステップ S34にてハードディスク 27 に記憶している、腸管表面を示す 3次元データ点列から、第 i番目のデータ点の座標 (xi, yi, zi)を中心とする立方範囲（xi士 L, yi士 L, zi士 L)の範囲内に存在するデー タ点情報を取得する。このデータ点情報の数 niをカウントする。
[0082] 次に、 CPU22の形状特徴量算出部 22cは、ステップ S35にてカウント数 niと所定 の値 Kとを比較して、カウント数 niが Kよりも大きい場合には、ステップ S36での 2次元 曲面方程式の係数算出処理、ステップ S37での局所偏微分係数の算出処理をおこ ない、図 3のステップ S3の Shapelndex/Curvednessの算出処理へと進む。
[0083] カウント数 niが所定の値 K以下の場合には、ステップ S38にて Lに対して所定の増 分 LSを加算して前記範囲を拡張した後、ステップ S 34に戻り、範囲内にあるデータ点 情報をカウントしなおす。
[0084] そして、 CPU22の形状特徴量算出部 22cは、ステップ S39にてパラメータ iが 3次 元モデルの対象領域内の全てのデータ点の数 Nに達したかどうか判断し、 i>Nでな いならばステップ S56にてパラメータ iをインクリメントしてステップ S32に戻る。 CPU2 2の形状特徴量算出部 22cは、ステップ S39において 3次元モデルの対象領域内の 全てのデータ点での 2次元曲面方程式の係数算出、局所偏微分係数の算出が完了 するまで、上記の図 12の S32〜S39、 S56の処理を繰り返す。
[0085] 以上の処理により、局所領域内に含まれる 3次元データ点数が所定数以上になる ように局所領域のサイズ変更を行う。
[0086] また、本実施例の Shape Index値及び Curvedness値の各値と比較する閾値 Tl, T2 の決定処理では、図 14に示すように、 CPU22の閾値決定部 22eは、ステップ S51に てパラメータ iを 1に設定し、ステップ S52にて 3次元モデルの対象領域内の第 i番目 のデータ点の 3次元座標 (xi, yi, zi)を解析情報記憶部 25より取得する。
[0087] そして、 CPU22の閾値決定部 22eは、ステップ S61にてこの 3次元座標（xi, yi, zi )を中心とする立方領域を、所定の値 Lを使用して設定する。すなわち、 { yi', zi ') I xi— L≤xi'≤xi + L, yi— L≤yi'≤yi + L, zi— L≤zi'≤zi + L}と設定する。この 立方領域内にあるデータ点数 Miを、ハードディスク 27に格納されている 3次元デー タ点列を元にして数える。
[0088] なお、ハードディスク 27内には、図 15に示す、データ点数 Miと閾値 Tl, T2とが対 応する閾値テーブルを記憶して 、る。
[0089] そして、 CPU22の閾値決定部 22eは、ステップ S62にて前記のデータ点数 Miを元 にして、閾値テーブル力もデータ点数 Miに対応する閾値 Tl, T2を取得する。
[0090] 続いて、 CPU22の閾値決定部 22eは、ステップ S54にて第 i番目のデータ点の Sha pe Index値及び Curvedness値の閾値 Tl (i) , T2 (i)として解析情報記憶部 25に格納 する。 [0091] そして、 CPU22の閾値決定部 22eは、ステップ S55にてパラメータ iが 3次元モデ ルの対象領域内の全てのデータ点の数 Nに達したかどうか判断し、 i>Nでないなら ばステップ S56にてパラメータ iをインクリメントしてステップ S52に戻る。 CPU22の閾 値決定部 22eは、ステップ S55において 3次元モデルの対象領域内の全てのデータ 点での閾値 Tl (i) , T2 (i)を決定するまで、上記の図 14のステップ S52、 S61、 S62 、 S54〜S56の処理を繰り返す。
[0092] なお、データ点数 Miが 0〜8である場合には、閾値処理が無効であるため、閾値 T1 , T2は無効であることを示す値 0が代入される。また、座標を中心とする立方領域内 のデータ点数を数えるように構成している力 xk'2+yk'2+zk'2く Lの条件をカ卩えて、 座標を中心とする球領域内のデータ点数を数えるように構成してもよい。
[0093] このように本実施例では、局所領域内に含まれる 3次元データ点数が所定数以上 になるように局所領域のサイズ変更を行うと共に、 3次元データの点密度に応じて 3 次元特徴量（Shape Index値及び Curvedness値）を求めるための閾値 Tl, T2を設定 するので、 3次元データの密度に応じて、ポリープ検出処理における処理パラメータ を変更することにより、ポリープ候補の検出精度を向上させることができ、大腸内視鏡 検査においてポリープ候補発見率の向上を促すことが可能となる。
[0094] なお、範囲内に存在するデータ点数が多すぎる場合には、 2次曲面方程式の係数 算出時の処理時間が増大する。
[0095] そこで、本実施形態の局所偏微分係数の算出処理の変形例である図 16の処理フ ローに示すように、 CPU22の形状特徴量算出部 22cは、ステップ S40にて、取得し たデータ点数が所定の銜 (Kく J)よりも大きいかどうか判断し、大きい場合には、ステ ップ S41にて 2次曲面方程式の係数算出に用いるデータ点を K+ 1に抑えるように構 成してちょい。
[0096] この場合には、取得したデータ点数と所定の街との比較により、カウント数 ni力 より 大きい場合には、データ点情報のうちの K+ 2番目以降のデータを削除して、 2次曲 面方程式の係数を算出することにより実現する。
[0097] 本発明は、上述した実施例に限定されるものではなぐ本発明の要旨を変えない範 囲において、種々の変更、改変等が可能である。 本出願は、 2006年 7月 27日に日本国に出願された特願 2006— 205142号を優 先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求 の範囲に引用されるものである。

Claims

請求の範囲
[1] 医療用撮像装置力も入力される体腔内の生体組織の像の 2次元画像に基づき、前 記生体組織の 3次元モデルを推定する 3次元モデル推定手段と、
前記 3次元モデルにお 、て、隆起形状を有する病変の検出対象領域を設定する検 出対象領域設定手段と、
前記検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量 の算出に用いる閾値を決定する閾値決定手段と、
前記閾値に基づき、前記形状特徴量を算出する形状特徴量算出手段と、 前記形状特徴量に基づき、前記検出対象領域に存在する、局所的な隆起形状の 病変領域を検出する 3次元形状検出手段と
を備えたことを特徴とする医療用画像処理装置。
[2] 前記閾値決定手段は、
前記検出対象領域の前記 2次元画像に対して垂直な軸方向の座標に基づき、前 記形状特徴量の算出に用いる前記閾値を決定する
ことを特徴とする請求項 1に記載の医療用画像処理装置。
[3] 前記閾値決定手段は、
前記医療用撮像装置から入力される体腔内の生体組織の像の前記 2次元画像の 撮像位置を視点とし、前記検出対象領域上の一の点を注目点とした時の、前記視点 から前記注目点に至る視線ベクトルと前記注目点の前記検出対象領域での法線べ タトルとのなす角に基づき、前記形状特徴量の算出に用いる前記閾値を決定する ことを特徴とする請求項 1に記載の医療用画像処理装置。
[4] 前記形状特徴量算出手段は、
前記検出対象領域に含まれる各データ点のデータ密度分布に基づき、前記形状 特徴量を算出し、
前記閾値決定手段は、
前記データ密度分布に基づき、前記形状特徴量の算出に用いる前記閾値を決定 する
ことを特徴とする請求項 1に記載の医療用画像処理装置。
[5] 前記形状特徴量は Shape Index値及び Curvedness値であり、前記閾値は、前記 Sha pe Index値及び Curvedness値と比較する比較閾値である
ことを特徴とする請求項 1ないし 4のいずれか 1つに記載の医療用画像処理装置。
[6] 医療用撮像装置力 入力される体腔内の生体組織の像の 2次元画像に基づき、前 記生体組織の 3次元モデルを推定する 3次元モデル推定ステップと、
前記 3次元モデルにお 、て、隆起形状を有する病変の検出対象領域を設定する検 出対象領域設定ステップと、
前記検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量 の算出に用いる閾値を決定する閾値決定ステップと、
前記閾値に基づき、前記形状特徴量を算出する形状特徴量算出ステップと、 前記形状特徴量に基づき、前記検出対象領域に存在する、局所的な隆起形状の 病変領域を検出する 3次元形状検出ステップと
を備えたことを特徴とする医療用画像処理方法。
[7] 前記閾値決定ステップは、
前記検出対象領域の前記 2次元画像に対して垂直な軸方向の座標に基づき、前 記形状特徴量の算出に用いる前記閾値を決定する
ことを特徴とする請求項 6に記載の医療用画像処理方法。
[8] 前記閾値決定ステップは、
前記医療用撮像装置から入力される体腔内の生体組織の像の前記 2次元画像の 撮像位置を視点とし、前記検出対象領域上の点を注目点とした時の、前記視点から 前記注目点に至る視線ベクトルと前記注目点の前記検出対象領域での法線ベクトル とのなす角に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
ことを特徴とする請求項 6に記載の医療用画像処理方法。
[9] 前記形状特徴量算出ステップは、
前記検出対象領域に含まれる各データ点のデータ密度分布に基づき、前記形状 特徴量を算出し、
前記閾値決定ステップは、
前記データ密度分布に基づき、前記形状特徴量の算出に用いる前記閾値を決定 する
ことを特徴とする請求項 6に記載の医療用画像処理方法。
前記形状特徴量は Shape Index値及び Curvedness値であり、前記閾値は、前記 Sh ape Index値及び Curvedness値と比較する比較閾値である
ことを特徴とする請求項 6ないし 9のいずれか 1つに記載の医療用画像処理方法。
PCT/JP2007/057922 2006-07-27 2007-04-10 dispositif de traitement d'image médicale et procédé de traitement d'image médicale WO2008012968A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2007800269317A CN101489466B (zh) 2006-07-27 2007-04-10 医疗用图像处理装置
EP07741358A EP2047791B1 (en) 2006-07-27 2007-04-10 Medical image processing apparatus and medical image processing method
US12/359,719 US8165370B2 (en) 2006-07-27 2009-01-26 Medical image processing apparatus and medical image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-205142 2006-07-27
JP2006205142A JP4994737B2 (ja) 2006-07-27 2006-07-27 医療用画像処理装置及び医療用画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/359,719 Continuation US8165370B2 (en) 2006-07-27 2009-01-26 Medical image processing apparatus and medical image processing method

Publications (1)

Publication Number Publication Date
WO2008012968A1 true WO2008012968A1 (fr) 2008-01-31

Family

ID=38981284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/057922 WO2008012968A1 (fr) 2006-07-27 2007-04-10 dispositif de traitement d'image médicale et procédé de traitement d'image médicale

Country Status (5)

Country Link
US (1) US8165370B2 (ja)
EP (2) EP2447909B1 (ja)
JP (1) JP4994737B2 (ja)
CN (3) CN102172321B (ja)
WO (1) WO2008012968A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4855868B2 (ja) * 2006-08-24 2012-01-18 オリンパスメディカルシステムズ株式会社 医療用画像処理装置
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
US8337397B2 (en) 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US20110161056A1 (en) * 2009-12-31 2011-06-30 Timothy Mueller System and method of creating a 3-d replica of a body structure
TWI432168B (zh) * 2009-12-31 2014-04-01 Univ Nat Yunlin Sci & Tech 內視鏡導航方法以及內視鏡導航系統
US8953865B2 (en) * 2011-03-03 2015-02-10 Hitachi Medical Corporation Medical image processing device and medical image processing method
JP5865606B2 (ja) * 2011-05-27 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
US8879828B2 (en) * 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
JP5221722B2 (ja) * 2011-08-29 2013-06-26 株式会社東芝 撮像装置及び内視鏡装置
JP5811951B2 (ja) * 2012-05-29 2015-11-11 トヨタ自動車株式会社 対象物変化検出装置
WO2014016894A1 (ja) * 2012-07-23 2014-01-30 富士通株式会社 形状データ生成方法及び装置
JP6045417B2 (ja) * 2012-12-20 2016-12-14 オリンパス株式会社 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
JP6150617B2 (ja) * 2013-05-30 2017-06-21 オリンパス株式会社 検出装置、学習装置、検出方法、学習方法及びプログラム
JP6128989B2 (ja) * 2013-06-27 2017-05-17 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP6218634B2 (ja) * 2014-02-20 2017-10-25 オリンパス株式会社 内視鏡システム及び内視鏡の作動方法
US10725650B2 (en) * 2014-03-17 2020-07-28 Kabushiki Kaisha Kawai Gakki Seisakusho Handwritten music sign recognition device and program
JP6405138B2 (ja) 2014-07-15 2018-10-17 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
EP3357402B1 (en) * 2015-09-28 2020-06-17 FUJIFILM Corporation Endoscope system and operation method for endoscope system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093328A (ja) 2001-09-25 2003-04-02 Olympus Optical Co Ltd 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置
JP2005192880A (ja) 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2006187470A (ja) * 2005-01-06 2006-07-20 Olympus Corp 医療画像処理装置
JP2006205142A (ja) 2005-01-24 2006-08-10 N Ii T Kk 原水調整槽

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920319A (en) * 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
US20020164061A1 (en) * 2001-05-04 2002-11-07 Paik David S. Method for detecting shapes in medical images
ATE514144T1 (de) * 2001-10-16 2011-07-15 Univ Chicago Computerunterstützte erkennung dreidimensionaler läsionen
JP2004097535A (ja) 2002-09-10 2004-04-02 Toshiba Corp 医用３次元画像データの領域分割方法
JP4130428B2 (ja) * 2004-09-02 2008-08-06 ザイオソフト株式会社 画像処理方法及び画像処理プログラム
CN101065052B (zh) 2004-12-27 2010-12-22 奥林巴斯株式会社 医疗图像处理装置和医疗图像处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093328A (ja) 2001-09-25 2003-04-02 Olympus Optical Co Ltd 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置
JP2005192880A (ja) 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2006187470A (ja) * 2005-01-06 2006-07-20 Olympus Corp 医療画像処理装置
JP2006205142A (ja) 2005-01-24 2006-08-10 N Ii T Kk 原水調整槽

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KIMURA T. ET AL.: "Keijo Joho ni Motozuku 3-jigen Fukubu CT-zo karano Daicho Polyp Jido Kenshutsu Shudo ni Kansuru Kento", IEICE TECHNICAL REPORT, 2004, pages 29 - 34, XP003020670 *
See also references of EP2047791A4

Also Published As

Publication number Publication date
CN102172321A (zh) 2011-09-07
CN102247118A (zh) 2011-11-23
JP2008029520A (ja) 2008-02-14
EP2047791A4 (en) 2010-01-20
CN101489466B (zh) 2011-06-08
CN101489466A (zh) 2009-07-22
JP4994737B2 (ja) 2012-08-08
US8165370B2 (en) 2012-04-24
US20090148017A1 (en) 2009-06-11
EP2047791A1 (en) 2009-04-15
EP2047791B1 (en) 2012-07-25
CN102247118B (zh) 2014-01-15
CN102172321B (zh) 2013-08-14
EP2447909B1 (en) 2014-03-12
EP2447909A1 (en) 2012-05-02

Similar Documents

Publication Publication Date Title
JP4994737B2 (ja) 医療用画像処理装置及び医療用画像処理方法
JP5242381B2 (ja) 医療用画像処理装置及び医療用画像処理方法
EP1994876B1 (en) Medical image processing apparatus and medical image processing method
US20080097150A1 (en) Medical image processing apparatus and medical image processing method
JP4902735B2 (ja) 医療用画像処理装置及び医療用画像処理方法
US8165367B2 (en) Medical image processing apparatus and medical image processing method having three-dimensional model estimating
US8121369B2 (en) Medical image processing apparatus and medical image processing method
US8666135B2 (en) Image processing apparatus
WO2009102984A2 (en) System and method for virtually augmented endoscopy
JP2006223376A (ja) 医用画像処理装置
CN115209782A (zh) 内窥镜系统和基于内窥镜系统的管腔扫描方法
JP4981335B2 (ja) 医療用画像処理装置及び医療用画像処理方法
JP7441934B2 (ja) 処理装置、内視鏡システム及び処理装置の作動方法
JP2008093213A (ja) 医療用画像処理装置及び医療用画像処理方法
WO2007102296A1 (ja) 医療用画像処理装置及び医療用画像処理方法
JP2008023266A (ja) 医療用画像処理装置及び医療用画像処理方法
JP5315376B2 (ja) 柵状血管検出装置および柵状血管検出装置の作動方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780026931.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07741358

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2007741358

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU