WO2013140667A1 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- WO2013140667A1 WO2013140667A1 PCT/JP2012/080679 JP2012080679W WO2013140667A1 WO 2013140667 A1 WO2013140667 A1 WO 2013140667A1 JP 2012080679 W JP2012080679 W JP 2012080679W WO 2013140667 A1 WO2013140667 A1 WO 2013140667A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- attribute
- unit
- diagnosis support
- support information
- attributes
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0669—Endoscope light sources at proximal end of an endoscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Definitions
- the present invention relates to an image processing apparatus that performs image processing on an image obtained by imaging a subject.
- image processing is performed on an image acquired by an imaging device that images a subject depending on the purpose of use.
- endoscopes that are inserted into body cavities and perform endoscopy are widely used.
- the insertion part of the endoscope is inserted into the body cavity, and the affected part in the body cavity is imaged by the imaging element provided at the distal end of the insertion part, and image processing is performed by the image processing device to the display device as an endoscopic image. Is displayed.
- diagnosis support information for providing diagnosis support by image processing is calculated so that an operator can easily perform diagnosis on an image or an endoscopic image acquired by an endoscope image sensor.
- An image processing apparatus has been proposed. For example, in Japanese Patent No. 4451460, an endoscopic image obtained by imaging a biological mucous membrane is divided into regions having similar tissue structures, and a predetermined feature amount is set for each divided region. An image processing apparatus is disclosed that performs discrimination classification processing based on the classification classification result and displays the classification result in association with each region as diagnosis support information.
- diagnosis support information since the diagnosis support information is calculated for each of the region portions, it may be difficult to appropriately provide the diagnosis support information.
- AVA avascular area
- AVA avascular area
- the blood vessel is also formed in the hyperplastic polyp, which is considered to have a low possibility of canceration. Since it is not visualized, it becomes difficult to calculate the diagnosis support information by discriminating both in the conventional example.
- the present invention has been made in view of the above-described points, and provides an image processing apparatus that calculates more appropriate diagnosis support information based on the ratio of attributes of each region in a plurality of regions divided based on feature amounts. The purpose is to do.
- An image processing apparatus includes: a first feature amount calculation unit that calculates a first feature amount for each pixel constituting an image from an image obtained by imaging a subject; A region dividing unit that divides the image into a plurality of regions based on one feature amount; a second feature amount calculating unit that calculates a second feature amount for each region divided by the region dividing unit; A classification unit that classifies which of the plurality of types of attributes each region in the plurality of regions based on a second feature amount, and two or more in the plurality of regions classified by the classification unit A diagnosis support information calculating unit that calculates diagnosis support information for supporting diagnosis based on a ratio of attributes of a predetermined number of areas.
- FIG. 1 is a diagram showing an overall configuration of an endoscope system including a first embodiment of the present invention.
- FIG. 2 is a block diagram showing main processing functions constituted by a CPU constituting the image processing apparatus of FIG.
- FIG. 3 is a diagram schematically illustrating an image input from the image input unit, an image divided into regions, and the like.
- FIG. 4 is a diagram showing a concept of a feature quantity / attribute discrimination space in which a plurality of types of attributes exist in a specific range in the second feature quantity and the second feature quantity.
- FIG. 5 is a diagram showing a concept of a discrimination space of attributes / diagnosis support information in which different types of attributes and different diagnosis support information exist in specific ranges of the types of attributes.
- FIG. 1 is a diagram showing an overall configuration of an endoscope system including a first embodiment of the present invention.
- FIG. 2 is a block diagram showing main processing functions constituted by a CPU constituting the image processing apparatus of FIG.
- FIG. 3 is a diagram
- FIG. 6 is a flowchart illustrating a processing procedure for calculating diagnosis support information according to the first embodiment.
- FIG. 7 is a flowchart showing a processing procedure for converting an attribute into a multidimensional vector in FIG.
- FIG. 8 is a diagram showing component values of the multidimensional vector of FIG.
- FIG. 9 is a diagram showing information storage contents of the information storage unit in the second embodiment of the present invention.
- An endoscope system 1 shown in FIG. 1 includes an endoscope observation apparatus 2 and a personal computer that performs image processing on an endoscope image as a medical image obtained by the endoscope observation apparatus 2.
- the image processing device 3 according to the present embodiment and the display monitor 4 as a display device that displays the image processed by the image processing device 3 are configured.
- the endoscope observation apparatus 2 includes an endoscope 6 that is inserted into a body cavity, a light source device 7 that supplies illumination light to the endoscope 6, and signal processing that performs signal processing on an imaging unit of the endoscope 6.
- a camera control unit (abbreviated as CCU) 8 as an apparatus, and a monitor 9 that displays an endoscopic image captured by an image sensor when a video signal output from the CCU 8 is input.
- the endoscope 6 includes an insertion portion 11 that is inserted into a body cavity, and an operation portion 12 that is provided at the rear end of the insertion portion 11. Further, a light guide 13 that transmits illumination light is inserted into the insertion portion 11. The rear end of the ride guide 13 is connected to the light source device 7. Then, the illumination light supplied from the light source device 7 is transferred by the light guide 13 and emitted (transmitted illumination light) is emitted from the distal end surface attached to the illumination window provided at the distal end portion 14 of the insertion portion 11. Illuminate the subject.
- An imaging device 17 which includes an objective lens 15 attached to an observation window adjacent to the illumination window, and a charge coupled device (abbreviated as CCD) 16 as a solid-state imaging device disposed at the imaging position of the objective lens 15. is there.
- CCD charge coupled device
- the CCD 16 is connected to the CCU 8 via a signal line.
- a CCD drive signal is applied from the CCU 8
- the CCD 16 outputs a photoelectrically converted image signal.
- This image signal is signal-processed by a video processing circuit in the CCU 8 and converted into a video signal.
- This video signal is output to the monitor 9, and an endoscopic image is displayed on the display surface of the monitor 9.
- This video signal is also input to the image processing device 3.
- the image processing apparatus 3 includes an image input unit 21 that inputs a video signal corresponding to an endoscopic image (hereinafter simply abbreviated as an image) input from the endoscope observation apparatus 2, and an input from the image input unit 21.
- the CPU 22 is a central processing unit that performs image processing on the image data
- the processing program storage unit 23 includes a memory that stores a processing program (control program) that causes the CPU 22 to perform image processing.
- the image processing apparatus 3 includes an image storage unit 24 including a memory that stores image data input from the image input unit 21, and an information storage unit including a memory that stores information processed by the CPU 22. 25, a hard disk 27 as a storage device for storing image data and information processed by the CPU 22 via the storage device interface 26, and a display process for performing display processing for displaying the image data processed by the CPU 22
- the video signal generated by the display processing unit 28 is displayed on the display monitor 4 as image display means, and a processed image subjected to image processing is displayed on the display surface of the display monitor 4.
- FIG. 2 shows main processing functions configured by the CPU 22 in the present embodiment.
- the CPU 22 has a processing function of a preprocessing unit 31 that performs preprocessing such as noise suppression and inverse ⁇ correction on an image input from the image input unit 21.
- FIG. 3A schematically shows an image input from the image input unit 21 to the image processing apparatus 3.
- the CPU 22 has a processing function of a feature amount calculation unit 32 including a first feature amount calculation unit 32a that calculates a first feature amount for each pixel in the image processed by the preprocessing unit 31, and a first feature amount. And a processing function of a region dividing unit 33 that divides the image into a plurality of regions based on one feature amount.
- the first feature quantity calculation unit 32a uses signal values of R, G, and B signals as color signals that form an image as the first feature quantity, and signal values such as G / R and G / (R + G + B).
- the value calculated by the calculation of, the luminance value of the luminance signal, the texture characteristics (texture characteristics) of the image, the filter output values of multiple frequency components or specific frequency components using a frequency band filter for frequency separation, etc. Is calculated.
- the area dividing unit 33 divides the image into a plurality of areas using a known clustering method based on the first feature amount.
- the clustering method may be non-hierarchical clustering such as k-mean clustering (k-means method) or hierarchical clustering such as the shortest distance method. Further, other region division methods may be used.
- FIG. 3B shows regions Ra-Rd divided into a plurality by the region dividing unit 33.
- the second feature quantity calculation unit 32b may calculate, for each region Ri, a feature quantity similar to the first feature quantity by the first feature quantity calculation unit 32a as the second feature quantity.
- the average value of various feature quantities such as the signal values of the above R, G, B signals, luminance values, texture features, filter output values, and statistical quantities such as variances are also calculated as second feature quantities for each region. To do.
- the CPU 22 determines whether each region Ri in the plurality of regions Ra-Rd divided by the region dividing unit 33 has any of a plurality of types of attributes prepared in advance based on the second feature amount.
- the processing function of the classification unit 34 for performing such classification is provided.
- the information storage unit 25 shown in FIG. 1 has an attribute information storage unit 25a for storing information of a plurality of types of attributes prepared in advance.
- the classification unit 34 then classifies whether each region has any of the plurality of types of attributes stored in the attribute information storage unit 25a.
- the classification unit 34 classifies, for example, a plurality of M areas into the attributes (areas) of each area, there may be areas having the same attributes, and therefore, the number is equal to or less than M after classification. Classify into areas with a predetermined number of attributes.
- the attribute information storage unit 25a stores the following attributes in advance in response to the diagnosis of a living body mucosal tissue of the large intestine, for example, as a living tissue (biological mucosal tissue) to be examined. ing. A1. Regular Vessels region (blood vessel region) (+) A2. Regular surface pattern area (surface pattern area) (+) A3. Vessels are irregular regions (-) A4. Surface pattern is irregular (-) A5. Regions where color changes are drastic (-) A6. Unstructured area ( ⁇ ) A7. Bleeding area (-) The attributes A1-A7 are set in advance in order to calculate diagnosis support information serving as a measure or index of the lesion for the case of a living body mucosa tissue of the large intestine to be examined. When the image data of the biological mucosa tissue of the large intestine collected in the past is to be classified by a plurality of attributes, it can be classified by the above-mentioned attributes A1-A7.
- the sign (+) after the attribute indicates an attribute that is a low-grade lesion (low possibility of lesion) index, and the sign (-) is a high-grade lesion (high possibility of lesion) index.
- the sign ( ⁇ ) after the attribute of A6 is an attribute (predetermined attribute) that is difficult to judge whether the malignancy is high or low because there is no structure (that is, the structure is not substantially indicated). ).
- the predetermined attribute of the unstructured area as the attention area is equivalent to the above-mentioned AVA only in the area having the predetermined attribute, or is it not the AVA but the area where the blood vessel is simply invisible? This attribute is difficult to judge.
- each attribute of the surrounding area or areas adjacent to the area has each attribute Based on the area ratio (area ratio of attributes of a plurality of regions), the attribute value as the attribute value is corrected (diagnosis support information is calculated using the corrected attribute value).
- diagnosis support information such as a corresponding lesion name or symptom name is calculated according to attribute values or ratios of a plurality of types of attributes (in other words, a discrimination space as a virtual space having a plurality of types of dimensions).
- the sign (-) after the attribute of A7 represents a specific attribute having a very high degree of malignancy (very likely a lesion).
- the diagnosis support information for the corresponding lesion name is calculated regardless of other attributes or attribute values. That is, the attribute of A7 is significantly different from the case of the attribute of A1-A6 (when corresponding diagnosis support information is calculated based on at least calculation of each attribute value).
- the attribute information storage unit 25a mainly uses the first attribute (specifically, A1, R1, R2) that serves as a low malignancy index for the plurality of regions Ra-Rd. A2), a second attribute (specifically, A3-A5) that is an index of a lesion with high malignancy, and a third attribute (specifically, a predetermined attribute that makes it difficult to determine the malignancy) Information on A6) is stored in advance.
- A1, R1, R2 that serves as a low malignancy index for the plurality of regions Ra-Rd.
- A3-A5 that is an index of a lesion with high malignancy
- a third attribute specifically, a predetermined attribute that makes it difficult to determine the malignancy Information on A6
- the classification unit 34 uses the teacher data (training data) prepared in advance to classify (discriminate) boundaries regarding the above-described plurality of types of attributes A1-A6 using the second feature amount.
- discriminant classification method Fisher linear discriminant function, Support Vector Machine, etc.
- FIG. 4 schematically shows a discriminant space for discriminating (classifying) attributes calculated in advance using a known discriminant classification method.
- the brightness value as the second feature quantity and the texture feature are set to orthogonal coordinate axes, and the six attributes A1 to A6 are discriminated according to the brightness value and texture feature of the region Ri.
- the conceptual diagram of the discriminant space where the range which exists possible is calculated is shown.
- the second feature amount is two two-dimensional spaces. However, when there are three second feature amounts, the second feature amount is a three-dimensional space, and when the second feature amount is one. Is one-dimensional (space). In FIG. 4, one black dot (small circle) corresponds to one area.
- the information storage unit 25 associates the value of the second feature quantity with the range in which each corresponding attribute exists (second) feature quantity / attribute association information (or attribute classification information).
- a feature amount / attribute association information storage unit 25b is stored.
- the classification unit 34 can easily classify (specify) the attribute corresponding to the second feature quantity such as the brightness value and texture feature calculated for each region Ri by referring to the feature quantity / attribute association information. Can do.
- FIG. 3C shows a state in which the classification unit 34 classifies the attributes with respect to the region Ra-Rd in FIG.
- a user such as an operator can set a range Ro of a region (hereinafter referred to as a region of interest) from which diagnostic support information is to be obtained by the image processing device 3.
- a user such as a surgeon sets a region Ro of a region of interest for which diagnosis support information is to be obtained from the input operation unit 29 shown in FIG.
- the input operation unit 29 forms a range setting unit 29a in which the user sets the range Ro of the region of interest.
- the CPU 22 sets the region of interest range Ro on the image on which the attributes have been classified.
- FIG. 3D shows a state in which a region of interest range Ro is set in an image on which attribute classification has been performed.
- the region of interest range Ro is not limited to the setting of the region of interest RO for the image on which the attribute has been classified, and the region of interest RO on the image before the attribute has been classified. Can also be set.
- the CPU 22 has a plurality of information regarding the attribute information of a predetermined number of areas Ri classified by the classification unit 34, more specifically, which attribute each area Ri has. It has a processing function of a diagnosis support information calculation unit 35 that calculates diagnosis support information that supports diagnosis by the operator based on information on the type of attribute and the area of the region having each attribute.
- the diagnosis support information calculation unit 35 calculates a lesion name or a symptom name prepared in advance corresponding to the living tissue to be examined as diagnosis support information.
- the following three lesion names are prepared as diagnosis support information when a large intestine is examined.
- teacher data in advance Is used to calculate a boundary for discriminating a plurality of diagnosis support information (specifically, D1-D3) by a known discriminant classification method using a plurality of types of attributes (specifically, attributes of A1-A6).
- FIG. 5 shows, for example, correspondence between attribute / diagnosis support information calculated in advance using teacher data in a two-dimensional vector space (discriminant space) in which a regular Vessels region and a region where color change is significant are set in an orthogonal coordinate system.
- the conceptual diagram of attached information is shown.
- FIG. 5 schematically shows a range in which a plurality of pieces of diagnosis support information (specifically, D1-D3) exist in a two-dimensional space so that they can be discriminated, but in reality, the attributes of A1-A6 Are determined in a 6-dimensional vector space (discriminant space) in which a plurality of pieces of diagnosis support information exist in a distinguishable manner.
- one black dot corresponds to one range Ro.
- the information storage unit 25 includes an attribute / diagnosis support information association information storage unit 25c that stores attribute / diagnosis support information association information calculated in advance using teacher data.
- the attribute / diagnosis support information association information storage unit 25c as an information storage means is an attribute value calculated by the sum of areas of areas having attributes in a multi-dimensional vector space having a plurality of types of attributes as vector components. Is associated with the component value of each vector, and information on the range in the vector space where a plurality of different diagnostic support information exists according to the component value of the vector of the multi-dimensional number is stored.
- the attribute / diagnosis support information association information storage unit 25c is used to calculate diagnosis support information based on the attribute area ratio or the number of regions of the predetermined number of regions classified by the classification unit 34.
- a diagnostic support information storage unit for storing the diagnostic support information to be stored.
- the diagnosis support information calculation unit 35 stores the attribute information of each region Ri classified by the classification unit 34 and the area information of each region Ri in the attribute / diagnosis support information association information storage unit 25c.
- the diagnosis support information is calculated with reference to the attribute / diagnosis support information association information.
- the diagnosis support information calculation unit 35 includes an area calculation unit 35a that calculates the area of each region Ri. Then, the diagnosis support information calculation unit 35 determines the value of each attribute in a plurality of types of attributes (specifically, A1-A6) in association with the value of the area of each region having the attribute.
- the value of the coordinate axis (vector component) of each attribute in the attribute-diagnostic support information correspondence determination space (attribute multi-dimensional vector space) shown in FIG. 5 is the area of one or more regions having the attribute. Corresponds to the value (ratio).
- the diagnosis support information calculation unit 35 calculates diagnosis support information corresponding to the value of each attribute from the value of each attribute as a result of calculating the area of the single or plural regions having the attributes in the plurality of types of attributes. Can be easily calculated from the attribute / diagnosis support information association information.
- the region Ri includes a predetermined (type) attribute (specifically, an A6 attribute) (within the range Ro of the region of interest for which the surgeon desires diagnosis support), A6
- a predetermined attribute specifically, an A6 attribute
- the information of the area Ri that is the attention area having the attribute cannot be effectively used for the diagnosis support information. That is, it is difficult to determine the attribute A6 because the first attribute that acts on the tendency to reduce the malignancy of the lesion and the second attribute that acts on the tendency to increase the malignancy of the lesion are difficult. And if it is in the area, it cannot be used effectively for calculation of diagnosis support information.
- the diagnosis support information calculation unit 35 of the present embodiment classifies the region of interest with a predetermined attribute such as the attribute A6 within the region Ro of the region of interest, the region of interest having the predetermined attribute is centered. As described above, a process for correcting the attribute value indicating whether the attribute is close to the attribute of the first attribute or the second attribute from the attribute and area area of the plurality of areas existing around the area is performed.
- the diagnosis support information calculation unit 35 illustrated in FIG. 2 includes a weight correction unit 35b that corrects the value of an attribute, for example, by weighting, for an area of interest having a specific attribute. Then, the diagnosis support information calculation unit 35 calculates the value of the attribute weighted and corrected by the weighting correction unit 35b for the region having the attribute A6, and further, the area of the region having the attribute A1-A5 and each attribute. Based on the value of each attribute calculated by the above, the diagnosis support information corresponding to the value of each attribute is calculated from the attribute / diagnosis support information association information.
- the diagnosis support information calculation unit 35 serves as an attention area determination unit that determines whether or not an area including a predetermined attribute such as the attribute A6 (referred to as an attention area) is included in the range Ro of the interest area. Attention area determination unit 35c (see FIG. 2). Further, the CPU 22 (diagnostic support information calculation unit 35) sends the calculated diagnosis support information to the display processing unit 28 in FIG. 1, and the display processing unit 28 displays the calculated diagnosis support information on the display monitor 4.
- the display processing unit 28 forms a diagnosis support information display processing unit 28a that performs processing for displaying diagnosis support information, and the display monitor 4 forms a diagnosis support information display unit that displays diagnosis support information.
- the preprocessing unit 31, the feature amount calculation unit 32, the region division unit 33, the classification unit 34, and the diagnosis support information calculation unit 35 are configured by the CPU 22.
- the configuration is not limited, and hardware such as a dedicated electronic circuit may be used.
- the image processing apparatus 3 serves as a first feature amount calculating unit that calculates a first feature amount for each pixel constituting the image from an image obtained by imaging the subject.
- a second feature quantity calculator 32b as a second feature quantity calculator for calculating the second feature quantity, and each of the plurality of areas based on the second feature quantity has a plurality of types of attributes.
- diagnosis support information for A diagnosis support information calculating unit 35 as a diagnostic support information calculation means characterized in that it comprises a.
- the surgeon turns on the endoscope system 1 with the endoscope observation apparatus 2, the image processing apparatus 3, and the display monitor 4 connected.
- the surgeon inserts the endoscope 6 into the large intestine in order to examine, for example, the large intestine of a patient as a subject.
- An image captured by the imaging device 17 of the endoscope 6 is displayed on the monitor 9 and also input to the image processing device 3 through the image input unit 21. That is, as shown in step S ⁇ b> 1 of FIG. 6, the image input unit 21 inputs, for example, an analog image to a digital image after A / D conversion by the image input unit 21.
- FIG. 3A schematically shows the image.
- the image I to be treated is set to a substantially elliptical region at the center, but the present invention is not limited to such a region.
- the CPU 22 performs preprocessing such as noise suppression and inverse ⁇ correction on the image I to be treated.
- the CPU 22 (the first feature amount calculation unit 32 a) is calculated by calculating R, G, B signal values and signal values from each pixel in the image I processed by the preprocessing unit 31.
- a first feature amount such as a value, a luminance value, a texture feature, and a filter output value is calculated.
- the CPU 22 (the area dividing unit 33) divides it into a plurality of areas using the k-means method or the shortest distance method as a known clustering method based on the first feature amount.
- FIG. 3B shows a plurality of regions Ra-Rd divided into a plurality by the region dividing unit 33.
- the CPU 22 calculates the second feature amount for each region Ri in the regions Ra-Rd divided into a plurality of regions.
- the second feature amount calculation unit 32b calculates the signal values of the R, G, and B signals for each region Ri, the values calculated by calculating the signal values, the average value and the dispersion amount of the luminance value, texture feature, and the like. And the like are calculated as the second feature amount. Note that a different type of feature quantity from the first feature quantity and its statistics may be used.
- the CPU 22 (the classification unit 34 thereof), based on the second feature amount calculated by the second feature amount calculation unit 32 b, has a plurality of regions Ra divided by the region dividing unit 33.
- a classification is made as to whether each region Ri in -Rd has any of a plurality of types of attributes stored in the attribute information storage unit 25a.
- the feature amount / attribute association information described in FIG. 4 is stored in advance in the feature amount / attribute association information storage unit 25b, the attribute corresponding to each region Ri can be easily specified (classified). Can do.
- FIG. 3D shows a state where a plurality of regions Ra-Rd are classified into corresponding attributes in step S6.
- the classification unit 34 classifies the region Ra as having an A4 attribute, classifies the region Rb as having an A6 attribute, classifies the region Rc as having an A3 attribute, and sets the region Rd as A4. Indicates a state classified as having the attribute.
- the CPU 22 performs an input operation for setting the region of interest range Ro for calculating the diagnosis support information from the input operation unit 29 by the surgeon.
- the region of interest range Ro is set to.
- FIG. 3D shows a state in which the range Ro is set in an image on which attribute classification has been performed.
- the process shown in step S7 may be performed on the image I before the attribute classification.
- the range Ro is set by one rectangular area, but the shape, size, and number of the range Ro are not limited. Further, the range Ro is not particularly set, and the entire image I may be set as the region of interest (equivalent to setting the entire image I as the range Ro).
- the CPU 22 (diagnostic support information calculation unit 35) has an attribute such as A7 within the range Ro set in step S7, that is, a malignancy index that is highly likely to correspond to a specific lesion. It is determined whether or not an area with a specific attribute is included. When it is determined that the area of the specific attribute is included in the range Ro, the CPU 22 (diagnosis support information calculation unit 35) in step S9 determines the corresponding diagnosis support from the specific attribute regardless of other attributes. Calculate information. When there is a region having a specific attribute such as A7, after the diagnosis support information of the cancer lesion name is calculated, the process proceeds to step S14.
- the CPU 22 determines the ratio of the plurality of types of attributes in the range Ro. Processing for multi-dimensional vectorization (abbreviated as multi-dimensional vectorization of attributes) of a plurality of types of dimensions is started. The details of the attribute multidimensional vectorization will be described later with reference to FIG.
- the CPU 22 (the attention area determination unit 35c of the diagnosis support information calculation unit 35) has a predetermined attribute area such as A6 within the range Ro. (In other words, it is determined whether or not it includes a region of interest having a predetermined attribute that is difficult to calculate appropriate diagnosis support information only in that region).
- the diagnosis support information calculation unit 35 (the weight correction unit 35b) determines the predetermined attribute. After the region of interest including the value of the attribute, that is, the attribute value is corrected by the weighting correction process, the process proceeds to the next step S13. On the other hand, if it is determined that the area with the predetermined attribute is not included in the range Ro, the process proceeds to step S13 without performing the weighting correction process.
- step S 13 the CPU 22 (diagnosis support information calculation unit 35) calculates corresponding diagnosis support information from the attribute value information of a plurality of types of attributes converted into multidimensional vectors, and displays the calculated diagnosis support information on the display processing unit 28.
- the display processing unit 28 (diagnosis support information display processing unit 28 a) performs processing for displaying the diagnosis support information, and displays the diagnosis support information on the display screen of the display monitor 4.
- FIG. 3E shows a state in which the calculated diagnosis support information (specifically, the lesion name of the gland type) is displayed for the range Ro.
- the diagnosis support information may be displayed on the range Ro. The surgeon can perform endoscopy efficiently by referring to the diagnosis support information displayed in this way.
- the diagnosis support information calculation part 35 such as the multidimensional vectorization process of the attribute of step S10 in FIG. 6 and the weighting correction process related to this, will be described.
- the diagnosis support information calculation unit 35 the area calculation unit 35a
- the number of pixels or the area ratio of each region included in the range Ro (In other words, the area ratio of the attributes of the regions included in the range Ro) is calculated.
- FIG. 8A shows the area ratios of the regions Ra-Rd calculated by the area calculation unit 35a. In FIG. 8A, the attributes of each region Ri are also shown.
- step S22 the CPU 22 (diagnosis support information calculation unit 35) determines whether or not the attention area of the predetermined attribute is included in the range Ro as in step S9, and includes the attention area of the predetermined attribute. In this case, similarly to step S10, in step S23, the diagnosis support information calculation unit 35 (the weight correction unit 35b) performs weight correction processing on the predetermined attribute or the attention area including the predetermined attribute. Then, the process proceeds to step S24.
- the CPU 22 determines the attribute multi-dimensional vector (in the specific example, the 6-dimensional vector). The process of determining is performed. Since the area ratio of the regions has been calculated as shown in FIG. 8A, the CPU 22 (diagnosis support information calculation unit 35) uses the attributes A1-A6 as the values of the six vector components of the six-dimensional vector. A component value (also simply referred to as a component value) is calculated. The vector component value (component value) corresponds to an attribute value or a ratio of attributes. In the case of the data in FIG. 8A, the component values of A1, A2, and A5 are 0, and the component values of A3, A4, and A6 are 0.1, 0.7, and 0.2, respectively. . Accordingly, the 6-dimensional vector is calculated (determined) as shown in FIG.
- the process proceeds to the process of calculating diagnosis support information (corresponding to the multidimensional vector) in step S25 of FIG. 7 (step S13 in FIG. 6), while the component value of A6 is 0. If not, the component value of A6 is corrected by the weighting correction process in step S23 to determine a six-dimensional vector.
- the component value of A6 is corrected as follows by calculating a weight correction value Wc and multiplying this weight correction value Wc. This correction is performed in the case of the attribute A6, and no correction is performed on the other attributes A1-A5.
- the range Ro is set as shown in FIG. 3D, regions Ra, Rc, and Rd exist around the attention region Rb having the attribute A6 as a predetermined attribute.
- the weight correction unit 35b determines the malignancy of the lesion in the regions Ra, Rc, and Rd around the attention region Rb having a predetermined attribute.
- the weight correction value Wc (for correcting the component value of A6) according to the weight correction equation (1) using the following weight coefficient W, which is a component value corresponding to the ratio of the area ratio (or the number of pixels) Ar2 Is calculated.
- Wc Ar2 ⁇ W / (Ar1 + Ar2) (1)
- the weight correction unit 35b corrects the component value 0.2 of A6 before correction to 0.4 using the weight correction value Wc.
- the component values of the six-dimensional vector A1-A6 are determined as 0.0, 0.0, 0.1, 0.7, 0.0, 0.4 as shown in FIG. Since each component value of the 6-dimensional vector has been determined, as shown in FIG. 7, in step S25, the CPU 22 (diagnosis support information calculation unit 35) calculates diagnosis support information corresponding to the 6-dimensional vector of attributes A1-A6.
- step S26 the calculated diagnosis support information is displayed on the display monitor 4, and the processing of FIG.
- the surgeon can select another image stored in the image storage unit 24 and perform the same processing.
- the image processing apparatus 3 that performs such image processing, since the diagnosis support information is displayed for the range Ro of the region of interest designated by the operator, the operator efficiently performs endoscopy. be able to.
- the ratio of attributes of each area in a plurality of areas divided based on the feature amount that is, the ratio of attributes extending over a plurality of areas instead of individual areas. Based on this, it is possible to calculate more appropriate diagnosis support information.
- the peripheral 2 Since the corresponding attribute value can be calculated from the ratio of the attributes of the above regions and the like, more appropriate diagnosis support information can be calculated.
- the first embodiment has been described in the case where it is applied to the large intestine as a region to be examined (diagnostic object) or tissue
- this embodiment can perform similar image processing on the gastric mucosa and the like.
- Image processing apparatus The image processing apparatus of this embodiment is the same as the image processing apparatus 3 shown in FIG.
- the information storage unit 25 stores a stomach attribute information storage unit 25a ′ together with an attribute information storage unit 25a for the large intestine.
- the information storage unit 25 together with the large intestine feature quantity / attribute association information storage unit 25b, the stomach feature quantity / attribute association information storage unit 25b ', and the large intestine attribute / diagnosis support information association information.
- a stomach attribute / diagnosis support information association information storage unit 25c ' is stored.
- the CPU 22 stores information by selecting the large intestine or stomach as the examination target site or tissue from the examination target site (or tissue) input unit 29b (shown by a dotted line in FIG. 1) provided in the input operation unit 29.
- Image processing can be performed with reference to information for the large intestine selected from the unit 25 or information for the stomach.
- the stomach attribute information storage unit 25a stores the following four attributes A11-A14.
- the attributes A11-A12 correspond to the first attributes in the same way as the attributes A1-A2 in the first embodiment, and the attributes A13 have the same values as the attributes A3-A5 in the first embodiment.
- the attribute A14 corresponds to the second attribute, and the attribute A14 corresponds to the third attribute in the same manner as the attribute A6 in the first embodiment. In this case, as in the case of A6 in the first embodiment, whether the large blood vessel is an abnormal blood vessel appearing in the case of cancer or an aggregate venule appearing in the normal fundus gland mucosa from only individual regions It becomes difficult to discriminate.
- the CPU 22 has the same processing functions as those in FIG.
- the classification unit 34 classifies whether the region divided by the region dividing unit 33 has the attribute of any one of the above A11 to A14.
- the first feature value and the second feature value calculated at this time may be the same feature values as those for the large intestine, or the stomach feature values may be calculated separately.
- the attribute of A14 is set as a predetermined attribute, and for a predetermined area having this predetermined attribute, the diagnosis support information calculation unit 35 (weighting) is performed as in the first embodiment.
- the correction unit 35b) corrects the attribute value by performing the same weighting correction process.
- the following D11-D14 are prepared as diagnosis support information for the stomach.
- diagnosis support information is calculated by the processing procedure of FIG. 6 in the first embodiment, for example, and the diagnosis support information is displayed on the display monitor 4.
- the present embodiment has substantially the same effect as the first embodiment. According to this embodiment, it has the same effect as the first embodiment, and the surgeon designates or selects a region to be inspected, so that appropriate diagnosis support is provided for an image of the designated or selected region. Information can be calculated and displayed.
- the information storage unit 25 further includes an esophageal attribute information storage unit 25a ′′, an esophageal feature / attribute association information storage unit 25b ′′, and an esophageal attribute / diagnosis.
- a support information association information storage unit 25c ′′ may be provided so that appropriate diagnosis support information can be provided even when the esophagus is examined.
- a method of referring to suitable information from the information storage unit 25 by selecting an inspection target region or tissue in advance has been exemplified, but the inspection target region or tissue is estimated using various calculated feature amounts. You may do it.
- weighting correction when weighting correction is performed when there is a region of interest having the third attribute as the predetermined attribute, other than the third attribute in a plurality of regions around the region of interest.
- the number of areas having the same attribute is the attribute value of the attribute. You may make it correct
- the weighted attribute value is also possible to correct the weighted attribute value according to the ratio of the area or the number of regions having the area and the area or the number of regions having the second attribute.
- the attributes, feature amounts, and diagnosis support information included in the information storage unit 25 are not limited to those exemplified in the embodiment, and various changes can be made.
- the attention area determination unit 35c as the attention area determination means or the attention area selection means described above determines or selects an attention area from a plurality of areas in the range Ro, the determination or selection may be performed as follows. good.
- a predetermined attribute designating unit for designating a predetermined attribute such as A6 corresponding to the region of interest from the input operation unit 29 or the like is provided, and based on the predetermined attribute designated by the predetermined attribute setting unit, You may make it determine or select the attention area
- the range setting unit 29a for setting the range Ro of the region of interest for which the diagnosis support information is to be calculated for one or a plurality of regions divided mainly by the region dividing unit 33 is provided.
- the region of interest range Ro is set to the plurality of regions, and the attention region determination unit 35c determines whether or not the plurality of regions include at least part of the attention region having a predetermined attribute. You may make it do.
- the present invention also includes the following contents.
- Diagnostic support information storage unit storing a range in which diagnosis support information including a lesion name or a symptom name prepared in advance using teacher data for a subject exists in an N-dimensional virtual space corresponding to a plurality of types of N attributes
- the diagnostic support information calculation unit has the predetermined number of regions based on the attribute area ratio or the number of regions respectively included in the predetermined number of regions classified by the classification unit in the plurality of regions divided by the region dividing unit. Calculates the diagnosis support information corresponding to the position from the position existing in the virtual space.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
医療用分野においては、体腔内に挿入して内視鏡検査を行う内視鏡が広く用いられるようになっている。
内視鏡の挿入部は体腔内に挿入され、挿入部の先端部に設けられた撮像素子により体腔内の患部等が撮像され、画像処理装置により画像処理して内視鏡画像として表示装置に表示される。
例えば、日本国特許4451460号公報においては、生体粘膜を撮像した内視鏡画像に対して、組織構造が類似した領域別とするように領域を分割し、分割した領域毎に所定の特徴量に基づいて判別分類の処理を行い、判別分類された分類結果を診断支援情報として各領域に対応付けて表示する画像処理装置を開示している。
より具体的に説明すると、例えば大腸内を検査する場合においては、大腸病変として現れる無血管領域(avascular area:AVAと略記)は、浸潤癌の診断を下す際の一つの目安となるために重要な所見となるが、内視鏡画像の領域において「血管が撮像されていない」という点だけに注目した場合には、癌化の可能性が低いと考えられている過形成ポリープにおいても血管が視覚化されないため、上記の従来例では両者を判別した診断支援情報を算出することが困難になる。
このため、上記のような場合にもより適切な診断支援情報を提供できる画像処理装置が望まれる。
本発明は上述した点に鑑みてなされたもので、特徴量に基づいて分割した複数の領域における各領域がそれぞれ持つ属性の割合に基づいてより適切な診断支援情報を算出する画像処理装置を提供することを目的とする。
(第1の実施形態)
図1に示す内視鏡システム1は、内視鏡観察装置2と、この内視鏡観察装置2により得られた医用画像としての内視鏡画像に対して画像処理を行うパーソナルコンピュータ等により構成される本実施形態の画像処理装置3と、この画像処理装置3により画像処理された画像を表示する表示装置としての表示モニタ4とから構成される。
内視鏡観察装置2は、体腔内に挿入される内視鏡6と、この内視鏡6に照明光を供給する光源装置7と、内視鏡6の撮像手段に対する信号処理を行う信号処理装置としてのカメラコントロールユニット(CCUと略記)8と、このCCU8から出力される映像信号が入力されることにより、撮像素子で撮影した内視鏡画像を表示するモニタ9とを有する。
このライドガイド13の後端は、光源装置7に接続される。そして、この光源装置7から供給される照明光をライトガイド13により転送し、挿入部11の先端部14に設けた照明窓に取り付けられた先端面から(伝送した照明光を)出射し、患部等の被写体を照明する。
照明窓に隣接する観察窓に取り付けた対物レンズ15と、この対物レンズ15の結像位置に配置された固体撮像素子としての例えば電荷結合素子(CCDと略記)16とによる撮像装置17が設けてある。そして、このCCD16の撮像面に結蔵された光学像は、このCCD16により光電変換される。
この画像処理装置3は、内視鏡観察装置2から入力される内視鏡画像(以下、単に画像と略記)に対応する映像信号を入力する画像入力部21と、この画像入力部21から入力された画像データに対する画像処理を行う中央演算処理装置としてのCPU22と、このCPU22により画像処理を実行させる処理プログラム(制御プログラム)を記憶するメモリ等からなる処理プログラム記憶部23とを有する。
そして、この表示処理部28により生成された映像信号は、画像表示手段としての表示モニタ4に表示され、この表示モニタ4の表示面には画像処理された処理画像が表示される。
図2は、本実施形態におけるCPU22により構成される主要な処理機能を示す。図2に示すようにCPU22は、画像入力部21から入力された画像に対してノイズ抑制、逆γ補正等の前処理を行う前処理部31の処理機能を有する。
なお、図3(A)は、画像入力部21から画像処理装置3に入力される画像を模式的に示す。
第1の特徴量算出部32aは、第1の特徴量として画像を形成する色信号としてのR,G,B信号の各信号値や、G/RやG/(R+G+B)などの各信号値の演算により算出される値や、輝度信号の輝度値や、画像が持つテクスチャ特徴(質感の特徴)、周波数分離する周波数帯域フィルタを用いた複数の周波数成分又は特定の周波数成分のフィルタ出力値等を算出する。
領域分割部33は、第1の特徴量に基づいて、公知のクラスタリング手法等を用いて複数の領域に分割する。クラスタリング手法は、k-meanクラスタリング(k-means法)等の非階層的クラスタリングでもよいし、最短距離法等の階層的クラスタリングでもよい。また、その他の領域分割手法を用いてもよい。図3(B)は、領域分割部33により複数に分割された領域Ra-Rdを示す。
第2の特徴量算出部32bは、例えば各領域Riに対して第1の特徴量算出部32aによる第1の特徴量と同様の特徴量を第2の特徴量として算出しても良い。但し、領域毎に上記のR,G,B信号の各信号値、輝度値、テクスチャ特徴、フィルタ出力値等の各種特徴量の平均値や分散量等の統計量も第2の特徴量として算出する。
また、CPU22は、第2の特徴量に基づいて、領域分割部33により分割された複数の領域Ra-Rdにおける各領域Riが、予め用意された複数種類の属性のいずれの属性を持つか否かの分類を行う分類部34の処理機能を有する。
そして、分類部34は、各領域が属性情報格納部25aに格納された複数種類の属性におけるいずれの属性を持つか否かの分類を行う。分類部34が例えばM個となる複数の領域を、各領域が持つ属性(の領域)に分類する場合、同じ属性となる領域が存在する可能性があるため、分類後にはM個以下となる所定数の属性の領域に分類する。
上記属性情報格納部25aは、検査対象の生体組織(生体粘膜組織)としての、例えば大腸の生体粘膜組織を診断する場合に対応して、属性情報格納部25aは、以下の属性を予め格納している。
A1.規則的なVessels 領域(血管領域)(+)
A2.規則的なSurface Pattern 領域(表面パターン領域)(+)
A3.Vessels が不規則な領域(-)
A4.Surface Pattern が不規則な領域(-)
A5.色調変化の激しい領域(-)
A6.無構造領域(±)
A7.出血している領域(--)
上記のA1-A7の属性は、検査対象の大腸の生体粘膜組織の場合に対して、その病変の目安又は指標となる診断支援情報を算出するために予め設定される。過去に収集した大腸の生体粘膜組織の画像データを複数の属性によって分類ようとした場合、上記のA1-A7の属性により分類することができる。
また、A6の属性の後の符号(±)は、構造が無い(つまり構造を実質的に示さない)ため悪性度が高いか、低いかの判断が困難である指標となる属性(所定の属性)を表す。注目領域としての無構造領域が持つ所定の属性は、該所定の属性を有する領域のみでは、上述したAVA に相当するものであるか、AVA でなく、単に血管が不可視となる領域であるかの判断が困難となる属性である。
そのため、本実施形態は後述するように、この無構造領域(±)の属性を持つ領域(つまり注目領域)に対しては、その領域に隣接する周囲の単数又は複数の領域が持つ各属性それぞれの面積の割合(複数の領域の属性の面積比)に基づいてその属性の値としての属性値を補正(して、補正した属性値を用いて診断支援情報を算出)する。
そして、この特定の属性を持つ領域を検出した場合には、他の属性又は属性値に関わらず、対応する病変名の診断支援情報を算出する。つまり、A7の属性は、A1-A6の属性の場合(少なくとも各属性値の算出に基づいて対応する診断支援情報を算出する場合)と大きく異なる。このため、以下の説明は、主にA1-A6の属性に関連する。
このように、本実施形態においては、属性情報格納部25aは、複数の領域Ra-Rdに対して、主に、悪性度の低い病変の指標となる第1の属性(具体的にはA1,A2)と、悪性度の高い病変の指標となる第2の属性(具体的にはA3-A5)と、悪性度の判断が困難である所定の属性としての第3の属性(具体的にはA6)との情報を予め格納している。
図4の例では、第2の特徴量としての例えば輝度値と、テクステャ特徴とを直交する座標軸に設定して、領域Riが持つ輝度値、テクステャ特徴に応じて6つの属性A1-A6を判別可能に存在する範囲が算出された判別空間の概念図を示す。図4では、第2の特徴量が2つの2次元空間の場合で示しているが、第2の特徴量が3つの場合には3次元空間となり、また第2の特徴量が1つの場合には1次元(空間)となる。また、図4において黒の点(小円)1つが1つの領域に相当する。
分類部34は、特徴量・属性対応付け情報を参照することにより、領域Ri毎に算出された輝度値、テクステャ特徴等の第2の特徴量に対応する属性を簡単に分類(特定)することができる。
図3(C)は、図3(B)の領域Ra-Rdに対して、分類部34が特徴量・属性対応付け情報を参照して属性の分類を行った様子を示す。
また、属性の分類を行った画像において、術者等のユーザはこの画像処理装置3により診断支援情報を得ようとする領域(以下、関心領域)の範囲Roの設定を行うことができる。術者等のユーザは、図1の入力操作部29から、属性の分類が行われた画像に対して、診断支援情報を得ようとする関心領域の範囲Roを設定する。入力操作部29は、ユーザが関心領域の範囲Roを設定する範囲設定部29aを形成する。
図3(D)は、属性の分類が行われた画像に、関心領域の範囲Roが設定された様子を示す。なお、属性の分類が行われた画像に対して、関心領域の範囲Roの設定を行う場合に限定されるものでなく、属性の分類が行われる前の画像に対して、関心領域の範囲Roの設定を行うこともできる。
また、図2に示すようにCPU22は、分類部34により分類された所定数の各領域Riの属性の情報、より具体的には各領域Riそれぞれが、いずれの属性を持つか否かの複数種類の属性及び各属性を持つ領域の面積の情報に基づいて、術者による診断を支援する診断支援情報を算出する診断支援情報算出部35の処理機能を有する。
D1.過形成ポリープ
D2.腺腫
D3.癌
また、本実施形態においては、上述した(領域Riが持つ)第2の特徴量から、第2の特徴量に対応する属性を分類(特定)できるようにしたのと同様に、予め教師データを用いて複数の診断支援情報(具体的にはD1-D3)を判別する境界を、複数種類の属性(具体的にはA1-A6の属性)を用いて、公知の判別分類手法で算出する。
また、情報記憶部25は、教師データを用いて予め算出した属性・診断支援情報対応付け情報を格納する属性・診断支援情報対応付け情報格納部25cを有する。
そして、診断支援情報算出部35は、分類部34により分類された各領域Riが有する属性の情報と、各領域Riの面積の情報とから、属性・診断支援情報対応付け情報格納部25cに格納された属性・診断支援情報対応付け情報を参照して、診断支援情報を算出する。
従って、診断支援情報算出部35は、複数種類の属性において、各属性を持つ単数又は複数の領域の面積をそれぞれ算出した結果の各属性の値から、当該各属性の値に対応する診断支援情報を、属性・診断支援情報対応付け情報から簡単に算出することができる。
このため、本実施形態の診断支援情報算出部35は、関心領域の範囲Ro内にA6の属性のような所定の属性を含む状態で分類した場合には、所定の属性を持つ注目領域を中心として、その周囲に存在する複数の領域が有する属性及び領域の面積から、第1の属性、又は第2の属性のいずれの属性に近いか否かの属性値に補正する処理を行う。
また、CPU22(の診断支援情報算出部35)は、算出した診断支援情報を図1の表示処理部28に送り、表示処理部28は、算出した診断支援情報を表示モニタ4で表示する。表示処理部28は、診断支援情報を表示する処理を行う診断支援情報表示処理部28aを形成し、表示モニタ4は診断支援情報を表示する診断支援情報表示部を形成する。
なお、図2においては前処理部31、特徴量算出部32、領域分割部33、分類部34及び診断支援情報算出部35をCPU22により構成した場合を示しているが、CPU22により構成する場合に限定されるものでなく、専用の電子回路等のハードウェアを用いて構成しても良い。
図1に示すように内視鏡観察装置2、画像処理装置3及び表示モニタ4を接続した状態において術者は、内視鏡システム1の電源を投入する。
また、術者は、内視鏡6を被検体としての患者の例えば大腸を検査するために大腸内に挿入する。
内視鏡6の撮像装置17により撮像された画像は、モニタ9で表示されると共に、画像処理装置3にも画像入力部21を通って入力される。
つまり、図6のステップS1に示すように画像処理装置3には、画像入力部21により、例えばアナログの画像からデジタルの画像にA/D変換されて入力される。この画像は、例えば画像記憶部24に一時的に格納される。図3(A)は、その画像を模式的に示す。なお、図3(Aにおいては、処置対象の画像Iを中央部分の略楕円形状の領域に設定しているが、このような領域の場合に限定されるものでない。
ステップS3に示すようにCPU22(の第1の特徴量算出部32a)は、前処理部31により処理された画像Iにおける各画素からR,G,B信号値、各信号値の演算によって算出される値、輝度値、テクスチャ特徴、フィルタ出力値等の第1の特徴量を算出する。
ステップS4に示すようにCPU22(の領域分割部33)は、第1の特徴量に基づいて、公知のクラスタリング手法としてのk-means法や最短距離法等を用いて複数の領域に分割する。
図3(B)は、領域分割部33により複数に分割された複数の領域Ra-Rdを示す。
次のステップS6に示すようにCPU22(の分類部34)は、第2の特徴量算出部32bにより算出された第2の特徴量に基づいて、領域分割部33により分割された複数の領域Ra-Rdにおける各領域Riが、属性情報格納部25aに格納された複数種類の属性におけるいずれの属性を持つか否かの分類を行う。
この場合、図4において説明した特徴量・属性対応付け情報を予め特徴量・属性対応付け情報格納部25bに格納しておくと、各領域Riに対応する属性を簡単に特定(分類)することができる。
次のステップS7に示すようにCPU22は、術者により入力操作部29からの診断支援情報を算出する関心領域の範囲Roを設定する入力操作によって、CPU22は属性の分類が行われた画像I上に関心領域の範囲Roを設定する。
図3(D)は、属性の分類が行われた画像に、上記範囲Roが設定された様子を示す。なお、上述したようにステップS7に示した処理を、属性の分類前の画像Iにおいて行うようにしても良い。また、図3では範囲Roを1つの矩形領域で設定しているが、範囲Roは形状、サイズ、個数が限定されるものではない。また、範囲Roは特に設定せず、画像I全体を関心領域としても良い(画像I全体を範囲Roとすることと同等)。
範囲Ro内に特定の属性の領域を含むと判定した場合には、ステップS9においてCPU22(の診断支援情報算出部35)は、他の属性に関わらず、その特定の属性から、対応する診断支援情報を算出する。A7のような特定の属性を持つ領域が存在した場合には癌の病変名の診断支援情報を算出した後、ステップS14の処理に移る。
一方、範囲Ro内に特定の属性の領域を含まないと判定した場合には、次のステップS10においてCPU22(の診断支援情報算出部35)は、上記範囲Ro内の複数種類の属性の割合を複数種類の次元数の多次元ベクトル化(属性の多次元ベクトル化と略記)する処理を開始する。なお、属性の多次元ベクトル化の処理内容は、図7を参照して後述する。
図3(D)に示すように範囲Ro内に所定の属性の注目領域を含む判定結果の場合には、ステップS12において診断支援情報算出部35(の重み付け補正部35b)は、その所定の属性を含む注目領域に対して、重み付け補正処理により、属性の値、つまり属性値を補正した後、次のステップS13の処理に進む。
一方、範囲Ro内に所定の属性の領域を含まないと判定した場合には、重み付け補正処理を行うこと無く、ステップS13の処理に移る。
次のステップS14において表示処理部28(の診断支援情報表示処理部28a)は、診断支援情報を表示する処理を行い、表示モニタ4の表示画面に診断支援情報を表示する。図3(E)は、範囲Roに対して、算出した診断支援情報(具体的には腺種の病変名)を表示した様子を示す。なお、範囲Roの上に診断支援情報を表示するようにしても良い。
術者は、このように表示された診断支援情報を参考にすることによって、効率良く内視鏡検査を行うことができる。
属性の多次元ベクトル化の処理が開始すると、診断支援情報算出部35(の面積算出部35a)は、図7のステップS21に示すように範囲Ro内に含まれる各領域の画素数又は面積比(換言すると、範囲Ro内に含まれる領域の属性の面積比)を算出する。
図8(A)は、面積算出部35aにより算出された領域Ra-Rdの各面積比を示す。なお、図8(A)においては、各領域Riの属性も示している。
また、ステップS22においてCPU22(の診断支援情報算出部35)は、ステップS9と同様に範囲Ro内に所定の属性の注目領域を含むか否かの判定を行い、所定の属性の注目領域を含む場合には、ステップS10と同様にステップS23において診断支援情報算出部35(の重み付け補正部35b)は、その所定の属性、又はその所定の属性を含む注目領域に対して、重み付け補正処理を行った後、ステップS24の処理に移る。
図8(A)に示すように領域の面積比が算出されたので、CPU22(の診断支援情報算出部35)は、属性A1-A6を6次元ベクトルの6個のベクトル成分の値としてのベクトル成分値(単に成分値とも言う)を算出する。なお、ベクトル成分値(成分値)は、属性値又は属性の割合に相当する。
図8(A)のデータの場合には、A1,A2,A5の成分値は、それぞれ0となり、A3,A4,A6の成分値は、それぞれ0.1,0.7,0.2となる。従って、6次元ベクトルは、図8(B)のように算出(決定)される。
図3(D)に示すように範囲Roが設定されている場合、所定の属性としてのA6の属性を持つ注目領域Rbの周囲には領域Ra,Rc,Rdが存在する。
Wc=Ar2×W/(Ar1+Ar2) …(1)
本実施形態においては重み係数Wを2に設定している(W=2)。
Wc=(0.1+0.7+0.0)×2/(0.0+0.0+0.1+0.7+0.0)=2.0 …(2)
となる。重み付け補正部35bは、算出した重み補正値Wc(=2.0)を用いて、A6の成分値0.2を0.2×Wcにより補正した補正値0.4をA6の成分値の補正値とする。このように、重み付け補正部35bは、補正前のA6の成分値0.2を重み補正値Wcを用いて0.4に補正する。
従って6次元ベクトルA1-A6の成分値は、図8(B)に示すように0.0,0.0,0.1,0.7,0.0,0.4と決定する。
6次元ベクトルの各成分値が決定したため、図7に示すようにステップS25においてCPU22(の診断支援情報算出部35)は、属性A1-A6の6次元ベクトルに対応する診断支援情報を算出する。
なお、術者は、画像記憶部24に記憶された他の画像を選択して、同様の処理を行わせることもできる。
このような画像処理を行う画像処理装置3によれば、術者が指定した関心領域の範囲Roに対して診断支援情報を表示する処理を行うので、術者は効率良く内視鏡検査を行うことができる。
また、本実施形態の画像処理装置3によれば、特徴量に基づいて分割した複数の領域における各領域がそれぞれ持つ属性の割合(つまり、個々の領域でなく複数の領域にまたがる属性の割合)に基づいてより適切な診断支援情報を算出することができる。
また、本実施形態の画像処理装置3によれば、個々の領域からでは、対応する診断支援情報を算出するために必要となる属性値を適正に算出できないような場合においても、その周辺の2以上の領域が持つ属性の割合等から該当する属性値を算出することができるようにしているので、より適切な診断支援情報を算出することができる。
次に図9を参照して本発明の第2の実施形態を説明する。
第1の実施形態においては、検査対象(診断対象)部位又は組織として大腸に適用した場合において説明したが、本実施形態は胃粘膜等に対しても同様の画像処理を行うことができるようにした画像処理装置である。
本実施形態の画像処理装置は、図1に示す画像処理装置3と同様である。但し、本実施形態においては、図9に示すように情報格納部25は大腸用の属性情報格納部25aと共に、胃用の属性情報格納部25a′を格納している。
また、情報格納部25は、大腸用の特徴量・属性対応付け情報格納部25bと共に、胃用の特徴量・属性対応付け情報格納部25b′と、大腸用の属性・診断支援情報対応付け情報格納部25cと共に、胃用の属性・診断支援情報対応付け情報格納部25c′と、を格納している。
入力操作部29から大腸を選択した場合には、その動作は第1の実施形態と同様になるこのため、胃を選択した場合を説明する。
胃用の属性情報格納部25a′は、以下の4つの属性A11-A14を格納している。
A12.規則的な線状血管領域、又は規則的な帯状Surface Pattern 領域(表面パターン領域)(+)
A13.不規則的な蛇行血管領域、又はSurface Pattern(表面パターン)が消失した領域(-)
A14.太径血管(±)
上記A11-A12の属性は、第1の実施形態におけるA1-A2の属性と同様に第1の属性に相当し、A13の属性は、第1の実施形態におけるA3-A5の属性と同様に第2の属性に相当し、A14の属性は、第1の実施形態におけるA6の属性と同様に第3の属性に相当する。この場合、第1の実施形態におけるA6の場合と同様に、個々の領域のみから太径血管が癌の場合に現れる異常血管であるか、正常な胃底腺粘膜に現れる集合細静脈であるかの判別が困難となる。
また、本実施形態においても、A14の属性を、所定の属性として、この所定の属性を持つ所定の領域に対しては、第1の実施形態と同様に、診断支援情報算出部35(の重み付け補正部35b)は、同様の重み付け補正処理を行うことにより、その属性値を補正する。
また、胃用の診断支援情報として、以下のD11-D14を用意している。
D12.正常幽門腺粘膜
D13.胃炎
D14.癌
そして、第1の実施形態における例えば図6の処理手順により診断支援情報を算出し、表示モニタ4にて診断支援情報を表示する。
本実施形態によれば、第1の実施形態と同様の効果を有すると共に、術者が、検査する部位を指定又は選択することにより、指定又は選択された部位の画像に対して適切な診断支援情報を算出して表示することができる。
なお、図9において点線で示すように、情報格納部25に、さらに食道用の属性情報格納部25a″、食道用の特徴量・属性対応付け情報格納部25b″と、食道用の属性・診断支援情報対応付け情報格納部25c″を設け、食道を検査する場合にも適切な診断支援情報を提供できるようにしても良い。
また、本実施形態では検査対象部位または組織をあらかじめ選択することで情報記憶部25から適した情報を参照する方法を例示したが、算出された各種特徴量を用いて検査対象部位または組織を推定しても良い。
つまり、重み付け補正部35bは、分類部34により第3の属性を持つ所定の領域が存在するような分類を行った場合に、前記所定の領域の周囲における第3の属性と異なる第1の属性を持つ領域の面積又は領域の数と、第2の属性を持つ領域の面積又は領域の数との割合に応じた重み付けした属性値に補正するようにしても良い。
また、情報記憶部25に含まれる属性、特徴量、診断支援情報は、実施形態で例示したものに限られるものではなく、種々の変更が可能である。なお、上述した注目領域判定手段又は注目領域選択手段としての注目領域判定部35cが、範囲Roにおける複数の領域から注目領域を判定又は選択する場合、以下のように判定又は選択するようにしても良い。入力操作部29等から注目領域に該当するA6等の所定の属性を指定する所定の属性指定手段を設け、この所定の属性設定手段により指定された所定の属性に基づいて、上記複数の領域から所定の属性に該当する注目領域を判定又は選択するようにしても良い。
Claims (15)
- 被検体を撮像して得られる画像から、該画像を構成する画素毎に第1の特徴量を算出する第1の特徴量算出部と、
前記第1の特徴量に基づいて前記画像を複数の領域に分割する領域分割部と、
前記領域分割部により分割された領域毎に第2の特徴量を算出する第2の特徴量算出部と、
前記第2の特徴量に基づき前記複数の領域における各領域が、複数種類の属性のいずれの属性を持つかの分類を行う分類部と、
前記分類部により分類された前記複数の領域における2以上の所定数の領域が有する属性の割合に基づいて診断支援するための診断支援情報を算出する診断支援情報算出部と、
を備えることを特徴とする画像処理装置。 - 前記診断支援情報算出部は、さらに
前記複数の領域が所定の属性を有する注目領域を含むか否かを判定する注目領域判定部と、
前記注目領域が有する前記所定の属性に対して前記注目領域の周囲に存在する前記複数の領域が持つ属性に応じて前記注目領域が有する前記所定の属性を補正する補正部と、
を備えることを特徴とする請求項1に記載の画像処理装置。 - 前記診断支援情報算出部は、前記分類部により分類された前記所定数の領域がそれぞれ有する属性の面積比または領域数に基づいて前記診断支援情報を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記診断支援情報算出部は、前記分類部により分類された前記所定数の領域がそれぞれ有する属性を有する領域の面積比または領域数に基づいて前記診断支援情報を算出することを特徴とする請求項2に記載の画像処理装置。
- 前記分類部が分類する前記複数種類の属性として、悪性度の高い病変の指標となる第1の属性と、悪性度の低い病変の指標となる第2の属性と、該当する属性の領域のみでは良悪性判断が困難な第3の属性との各属性情報を予め格納する属性情報格納部を有することを特徴とする請求項1に記載の画像処理装置。
- 前記分類部が分類する前記複数種類の属性として、悪性度の高い病変の指標となる第1の属性と、悪性度の低い病変の指標となる第2の属性と、該当する属性の領域のみでは悪性度の判定が困難な前記所定の属性である第3の属性との各属性情報を予め格納する属性情報格納部を有することを特徴とする請求項2に記載の画像処理装置。
- 前記分類部が分類する前記複数種類の属性として、悪性度の高い病変の指標となる第1の属性と、悪性度の低い病変の指標となる第2の属性と、該当する属性の領域のみでは悪性度の判定が困難な第3の属性との属性情報を予め格納する属性情報格納部を有することを特徴とする請求項3に記載の画像処理装置。
- 前記診断支援情報算出部は、前記領域分割部により分割された前記複数の領域におけるいずれかの領域が前記分類部により悪性度が顕著な指標となる特定の属性を含む場合には、他の領域が有する属性に関わらず、前記特定の属性に基づいて前記診断支援情報を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記診断支援情報算出部は、前記領域分割部により分割された前記複数の領域におけるいずれかの領域が前記分類部により前記第1の属性よりも悪性度が顕著な指標となる特定の属性を含む場合には、他の領域が有する属性に関わらず、前記特定の属性に基づいて前記診断支援情報を算出することを特徴とする請求項7に記載の画像処理装置。
- 前記被検体における異なる検査部位に応じて、前記第1の特徴量、前記第2の特徴量、前記複数種類の属性のうち1つ以上を変更することを特徴とする請求項1に記載の画像処理装置。
- 前記被検体における異なる検査部位に応じて、前記第1の特徴量、前記第2の特徴量、前記複数種類の属性のうち1つ以上を変更することを特徴とする請求項9に記載の画像処理装置。
- 前記被検体における異なる検査部位に応じて、前記第1の特徴量、前記第2の特徴量、前記複数種類の属性のうち少なくとも前記複数種類の属性を含む1つ以上を変更することを特徴とする請求項7に記載の画像処理装置。
- 前記複数種類Nの属性に対応したN次元の仮想空間において、前記被検体に対して教師データを用いて予め用意した病変名又は症状名を含む前記診断支援情報が存在する範囲を格納した診断支援情報格納部を有し、前記診断支援情報算出部は、前記領域分割部により分割された前記複数の領域における前記分類部により分類された前記所定数の領域がそれぞれ有する属性の面積比または領域数に基づいて前記所定数の領域が前記仮想空間内で存在する位置から、該位置に対応する前記診断支援情報を算出することを特徴とする請求項2に記載の画像処理装置。
- 前記検査部位が大腸である場合には、前記診断支援情報算出部は、前記検査部位が過形成ポリープ、腺腫、癌におけるいずれの病変名に該当するか否かを算出することを特徴とする請求項11に記載の画像処理装置。
- 前記検査部位が胃である場合には、前記診断支援情報算出部は、前記検査部位が正常胃底腺粘膜、正常幽門腺粘膜、胃炎、癌におけるいずれに該当するかを算出することを特徴とする請求項11に記載の画像処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12871722.0A EP2727514B1 (en) | 2012-03-21 | 2012-11-28 | Image processing device |
CN201280040149.1A CN103747718B (zh) | 2012-03-21 | 2012-11-28 | 图像处理装置 |
JP2013534110A JP5444511B1 (ja) | 2012-03-21 | 2012-11-28 | 画像処理装置 |
US13/955,594 US8994801B2 (en) | 2012-03-21 | 2013-07-31 | Image processing apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012064195 | 2012-03-21 | ||
JP2012-064195 | 2012-03-21 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US13/955,594 Continuation US8994801B2 (en) | 2012-03-21 | 2013-07-31 | Image processing apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013140667A1 true WO2013140667A1 (ja) | 2013-09-26 |
Family
ID=49222155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/080679 WO2013140667A1 (ja) | 2012-03-21 | 2012-11-28 | 画像処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8994801B2 (ja) |
EP (1) | EP2727514B1 (ja) |
JP (1) | JP5444511B1 (ja) |
CN (1) | CN103747718B (ja) |
WO (1) | WO2013140667A1 (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150086616A (ko) * | 2014-01-20 | 2015-07-29 | 한국과학기술원 | 영상의 다변수화를 이용한 영상 구별 특징 자동 선별 장치 및 방법 |
JP2017070609A (ja) * | 2015-10-09 | 2017-04-13 | サイバネットシステム株式会社 | 画像処理装置及び画像処理方法 |
JP2017153763A (ja) * | 2016-03-03 | 2017-09-07 | 富士フイルム株式会社 | 画像処理装置とその作動方法および作動プログラム |
WO2018079116A1 (ja) * | 2016-10-27 | 2018-05-03 | 富士フイルム株式会社 | 内視鏡システム |
WO2019012911A1 (ja) | 2017-07-14 | 2019-01-17 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置 |
JPWO2018105063A1 (ja) * | 2016-12-07 | 2019-07-04 | オリンパス株式会社 | 画像処理装置 |
JPWO2018079205A1 (ja) * | 2016-10-27 | 2019-07-18 | 富士フイルム株式会社 | プロセッサ装置及び内視鏡システム |
WO2019142243A1 (ja) * | 2018-01-16 | 2019-07-25 | オリンパス株式会社 | 画像診断支援システムおよび画像診断支援方法 |
JP2019213929A (ja) * | 2019-08-28 | 2019-12-19 | サイバネットシステム株式会社 | 画像処理装置及び画像処理方法 |
JP2020058590A (ja) * | 2018-10-10 | 2020-04-16 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置、医用画像処理システム及び医用画像処理プログラム |
WO2020162275A1 (ja) * | 2019-02-08 | 2020-08-13 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡システム、及び医療画像処理方法 |
JPWO2019078204A1 (ja) * | 2017-10-17 | 2020-10-22 | 富士フイルム株式会社 | 医療画像処理装置、及び、内視鏡装置 |
JP2020188872A (ja) * | 2019-05-20 | 2020-11-26 | 国立研究開発法人理化学研究所 | 判別装置、学習装置、方法、プログラム、学習済みモデルおよび記憶媒体 |
JPWO2021060159A1 (ja) * | 2019-09-27 | 2021-04-01 | ||
JPWO2021079691A1 (ja) * | 2019-10-23 | 2021-04-29 | ||
US12035879B2 (en) | 2019-02-08 | 2024-07-16 | Fujifilm Corporation | Medical image processing apparatus, endoscope system, and medical image processing method |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5764592B2 (ja) * | 2013-02-22 | 2015-08-19 | 東京エレクトロン株式会社 | 基板処理装置、基板処理装置の監視装置及び基板処理装置の監視方法 |
JP6598850B2 (ja) * | 2015-04-23 | 2019-10-30 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
CN110769737B (zh) * | 2017-06-21 | 2022-03-29 | 奥林巴斯株式会社 | 插入辅助装置、工作方法和包括插入辅助装置的内窥镜装置 |
CN109191424B (zh) * | 2018-07-23 | 2022-04-22 | 哈尔滨工业大学(深圳) | 一种乳腺肿块检测与分类系统、计算机可读存储介质 |
JP7281308B2 (ja) * | 2019-03-07 | 2023-05-25 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
CN111415564B (zh) * | 2020-03-02 | 2022-03-18 | 武汉大学 | 基于人工智能的胰腺超声内镜检查导航方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002165757A (ja) * | 2000-11-30 | 2002-06-11 | Olympus Optical Co Ltd | 診断支援装置 |
JP2009291415A (ja) * | 2008-06-05 | 2009-12-17 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP4451460B2 (ja) | 2007-03-16 | 2010-04-14 | オリンパス株式会社 | 内視鏡診断支援装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6960165B2 (en) * | 2001-05-16 | 2005-11-01 | Olympus Corporation | Endoscope with a single image pick-up element for fluorescent and normal-light images |
JP4615963B2 (ja) * | 2004-10-29 | 2011-01-19 | オリンパス株式会社 | カプセル型内視鏡装置 |
WO2006062163A1 (ja) * | 2004-12-10 | 2006-06-15 | Olympus Corporation | 医用画像処理方法 |
JP4624841B2 (ja) * | 2005-04-13 | 2011-02-02 | オリンパスメディカルシステムズ株式会社 | 画像処理装置および当該画像処理装置における画像処理方法 |
EP1870020B1 (en) * | 2005-04-13 | 2015-08-05 | Olympus Medical Systems Corp. | Image processing apparatus and image processing method |
EP1875855B1 (en) * | 2005-04-27 | 2012-05-02 | Olympus Medical Systems Corp. | Image processing apparatus, image processing method, and image processing program |
JP5094036B2 (ja) * | 2006-04-17 | 2012-12-12 | オリンパスメディカルシステムズ株式会社 | 内視鏡挿入方向検出装置 |
US8331641B2 (en) * | 2008-11-03 | 2012-12-11 | Siemens Medical Solutions Usa, Inc. | System and method for automatically classifying regions-of-interest |
JP5305850B2 (ja) * | 2008-11-14 | 2013-10-02 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
US8591401B2 (en) * | 2010-08-18 | 2013-11-26 | Olympus Corporation | Endoscope apparatus displaying information indicating gravity direction on screen |
-
2012
- 2012-11-28 JP JP2013534110A patent/JP5444511B1/ja active Active
- 2012-11-28 CN CN201280040149.1A patent/CN103747718B/zh active Active
- 2012-11-28 WO PCT/JP2012/080679 patent/WO2013140667A1/ja active Application Filing
- 2012-11-28 EP EP12871722.0A patent/EP2727514B1/en active Active
-
2013
- 2013-07-31 US US13/955,594 patent/US8994801B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002165757A (ja) * | 2000-11-30 | 2002-06-11 | Olympus Optical Co Ltd | 診断支援装置 |
JP4451460B2 (ja) | 2007-03-16 | 2010-04-14 | オリンパス株式会社 | 内視鏡診断支援装置 |
JP2009291415A (ja) * | 2008-06-05 | 2009-12-17 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2727514A4 |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101598873B1 (ko) | 2014-01-20 | 2016-03-02 | 한국과학기술원 | 영상의 다변수화를 이용한 영상 구별 특징 자동 선별 장치 및 방법 |
KR20150086616A (ko) * | 2014-01-20 | 2015-07-29 | 한국과학기술원 | 영상의 다변수화를 이용한 영상 구별 특징 자동 선별 장치 및 방법 |
JP2017070609A (ja) * | 2015-10-09 | 2017-04-13 | サイバネットシステム株式会社 | 画像処理装置及び画像処理方法 |
JP2017153763A (ja) * | 2016-03-03 | 2017-09-07 | 富士フイルム株式会社 | 画像処理装置とその作動方法および作動プログラム |
CN107153833A (zh) * | 2016-03-03 | 2017-09-12 | 富士胶片株式会社 | 图像处理装置及其工作方法 |
US10521904B2 (en) | 2016-03-03 | 2019-12-31 | Fujifilm Corporation | Image processing apparatus, operating method, and non-transitory computer readable medium |
JPWO2018079116A1 (ja) * | 2016-10-27 | 2019-09-12 | 富士フイルム株式会社 | 内視鏡システム |
WO2018079116A1 (ja) * | 2016-10-27 | 2018-05-03 | 富士フイルム株式会社 | 内視鏡システム |
US10986987B2 (en) | 2016-10-27 | 2021-04-27 | Fujifilm Corporation | Processor device and endoscope system |
JPWO2018079205A1 (ja) * | 2016-10-27 | 2019-07-18 | 富士フイルム株式会社 | プロセッサ装置及び内視鏡システム |
US11145053B2 (en) | 2016-12-07 | 2021-10-12 | Olympus Corporation | Image processing apparatus and computer-readable storage medium storing instructions for specifying lesion portion and performing differentiation classification in response to judging that differentiation classification operation is engaged based on signal from endoscope |
JPWO2018105063A1 (ja) * | 2016-12-07 | 2019-07-04 | オリンパス株式会社 | 画像処理装置 |
WO2019012911A1 (ja) | 2017-07-14 | 2019-01-17 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置 |
US10891737B2 (en) | 2017-07-14 | 2021-01-12 | Fujifilm Corporation | Medical image processing device, endoscope system, diagnosis support device, and medical service support device |
JP7296498B2 (ja) | 2017-10-17 | 2023-06-22 | 富士フイルム株式会社 | 医療画像処理装置、及び、内視鏡装置 |
JPWO2019078204A1 (ja) * | 2017-10-17 | 2020-10-22 | 富士フイルム株式会社 | 医療画像処理装置、及び、内視鏡装置 |
US11574401B2 (en) | 2017-10-17 | 2023-02-07 | Fujifilm Corporation | Medical image processing apparatus and endoscope apparatus |
JP2022060540A (ja) * | 2017-10-17 | 2022-04-14 | 富士フイルム株式会社 | 医療画像処理装置、及び、内視鏡装置 |
JP7033146B2 (ja) | 2017-10-17 | 2022-03-09 | 富士フイルム株式会社 | 医療画像処理装置、及び、内視鏡装置 |
WO2019142243A1 (ja) * | 2018-01-16 | 2019-07-25 | オリンパス株式会社 | 画像診断支援システムおよび画像診断支援方法 |
JP2020058590A (ja) * | 2018-10-10 | 2020-04-16 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置、医用画像処理システム及び医用画像処理プログラム |
JP7187244B2 (ja) | 2018-10-10 | 2022-12-12 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置、医用画像処理システム及び医用画像処理プログラム |
CN113395929A (zh) * | 2019-02-08 | 2021-09-14 | 富士胶片株式会社 | 医疗图像处理装置、内窥镜系统、以及医疗图像处理方法 |
JPWO2020162275A1 (ja) * | 2019-02-08 | 2021-12-02 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡システム、及び医療画像処理方法 |
WO2020162275A1 (ja) * | 2019-02-08 | 2020-08-13 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡システム、及び医療画像処理方法 |
US12035879B2 (en) | 2019-02-08 | 2024-07-16 | Fujifilm Corporation | Medical image processing apparatus, endoscope system, and medical image processing method |
JP2020188872A (ja) * | 2019-05-20 | 2020-11-26 | 国立研究開発法人理化学研究所 | 判別装置、学習装置、方法、プログラム、学習済みモデルおよび記憶媒体 |
JP7334900B2 (ja) | 2019-05-20 | 2023-08-29 | 国立研究開発法人理化学研究所 | 判別装置、学習装置、方法、プログラム、学習済みモデルおよび記憶媒体 |
JP2019213929A (ja) * | 2019-08-28 | 2019-12-19 | サイバネットシステム株式会社 | 画像処理装置及び画像処理方法 |
WO2021060159A1 (ja) * | 2019-09-27 | 2021-04-01 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理の作動方法 |
JPWO2021060159A1 (ja) * | 2019-09-27 | 2021-04-01 | ||
JP7196330B2 (ja) | 2019-09-27 | 2022-12-26 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 |
WO2021079691A1 (ja) * | 2019-10-23 | 2021-04-29 | 富士フイルム株式会社 | 画像処理装置及びその作動方法 |
JPWO2021079691A1 (ja) * | 2019-10-23 | 2021-04-29 | ||
JP7214886B2 (ja) | 2019-10-23 | 2023-01-30 | 富士フイルム株式会社 | 画像処理装置及びその作動方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2727514A4 (en) | 2015-06-17 |
CN103747718A (zh) | 2014-04-23 |
JPWO2013140667A1 (ja) | 2015-08-03 |
EP2727514A1 (en) | 2014-05-07 |
EP2727514B1 (en) | 2017-05-10 |
US20140028821A1 (en) | 2014-01-30 |
JP5444511B1 (ja) | 2014-03-19 |
US8994801B2 (en) | 2015-03-31 |
CN103747718B (zh) | 2016-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5444511B1 (ja) | 画像処理装置 | |
JP5242381B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP6833870B2 (ja) | 画像処理装置 | |
JP5580637B2 (ja) | 画像処理装置、内視鏡装置の作動方法及びプログラム | |
WO2014136579A1 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
JP5326064B2 (ja) | 画像処理装置 | |
WO2012114600A1 (ja) | 医用画像処理装置及び医用画像処理方法 | |
JP2008029520A (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP5750669B2 (ja) | 内視鏡システム | |
JP7125479B2 (ja) | 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム | |
JP5078486B2 (ja) | 医療用画像処理装置及び医療用画像処理装置の作動方法 | |
JP2012005512A (ja) | 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法 | |
JP4855901B2 (ja) | 内視鏡挿入形状解析システム | |
US10231601B2 (en) | Medical apparatus for associating index indicating priority corresponding to lesion occurrence frequency with position of inner wall opposing in visual line direction of endoscope the position being one at which image is acquired | |
JPWO2019130868A1 (ja) | 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム | |
JP2023014288A (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
WO2021171465A1 (ja) | 内視鏡システム及び内視鏡システムによる管腔走査方法 | |
WO2021171464A1 (ja) | 処理装置、内視鏡システム及び撮像画像の処理方法 | |
JP2013048646A (ja) | 診断システム | |
JP2008093213A (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP2007236630A (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP2008023266A (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
WO2024084578A1 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
JP2008093287A (ja) | 医療用画像処理装置及び医療用画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 201280040149.1 Country of ref document: CN |
|
ENP | Entry into the national phase |
Ref document number: 2013534110 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12871722 Country of ref document: EP Kind code of ref document: A1 |
|
REEP | Request for entry into the european phase |
Ref document number: 2012871722 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2012871722 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |